Private GPT LLMs: Azure OpenAI Service sicher deployen mit Terraform

Microsoft bietet mit dem Azure OpenAI Service die Möglichkeit, vortrainierte Large Language Models (LLMs) wie GPT-4 Turbo in Anwendungen und Business-Prozesse zu integrieren. Aber jenseits der programmatischen Ansteuerung stellen sich wichtige Fragen über Deployment und Hosting: Wie rolle ich den Azure OpenAI Service und die gewünschten LLMs deklarativ mit Terraform aus? Wie kann ich den Service in meine virtuelle, private Netzwerkinfrastruktur integrieren? Wie kontrolliere und limitiere ich den Zugriff auf das LLM? Wie sieht es mit Data Residency und Data Sovereignty aus: Ist garantiert, dass die Daten in der EU/Deutschland verbleiben? Und wie kann ich Response Streaming zu meinen Frontends umsetzen? Auf all diese Fragen gehen wir in diesem Talk ein, sodass Sie am Ende entscheiden können, ob der OpenAI Service für Sie eine sinnvolle Option ist und wie Sie ihn in bestehende oder neue Cloud-Infrastrukturen integrieren können.

...

Link zum Online Meeting (Zoom):
https://us06web.zoom.us/j/89125832419?pwd=wa70uxkyUq8bAbN957C8NnglpbLJiR.1

Ablauf:
1930h Offzieller Beginn (Aktuelles & interaktiver Vortrag)
2100h Offizelles Ende
After-Session-Beer für Interessierte

...

Über den Sprecher:
Kenny Pflug ist Software Architect Consultant bei Thinktecture und seit 2009 professionell unterwegs mit Microsofts .NET Technologiestack. Dabei fokussiert er sich auf Architektur und Design von verteilten Systemen mit ASP.NET Core, egal ob in der Cloud oder On-Premise. Ebenso fühlt er sich bei .NET Interna sehr wohl, v.a. im Bereich Memory Management und Garbage Collection, Threading, asynchrone Programmierung und Performanceoptimierung.