Demokratisierung großer Sprachmodelle (LLMs) – Meetup #55

***Agenda***
17:30 Doors open
18:00 Talk
19:00 Q&A
19:15 Pizza, Networking, Getränke
21:30 Ende

***Vortrag***
Generative AI ist in aller Munde. Begeisterte Lobeshymnen auf das im November 2022 erschienene ChatGPT (175 Milliarden trainierbare Parameter) von OpenAI durch die ersten Anwender mündeten schnell in Projektionen zu Zuwächsen an Produktivität für die Unternehmen und die Weltwirtschaft durch einschlägige Analysten. Auch die Börse spielt verrückt und die Gewinne und Verluste einschlägiger Hauptdarsteller liegen tageweise schon mal bei zweistelligen Prozenten.

Der Vortrag ist dreiteilig angelegt. Im ersten Teil werden wir uns die Entwicklung im letzten Jahr getrieben durch die Architekturstile Attention und Diffusion mit der zunehmenden Verlagerung auf kleinere und offenere Modelle anschauen.

Im zweiten Teil werden wir genauer nachrechnen, wo eigentlich die Parameter in Transformer-Architekturen (Attention) stecken und was das für die Auslegung von Anzahlen und Größen von CPUs und GPUs bei Training und Inferenz bedeutet.

Im dritten Teil werden wir die technologische Entwicklung bei Grafikkarten – oder allgemeiner Beschleunigern – nachzeichnen, beim Platzhirsch NVIDIA (insbesondere auch Blackwell der aktuellen GTC 2024), aber auch bei AMD und bei großen Cloud-Providern. Und im vierten Teil wird in einer kleinen Praxisdemo gezeigt, wie Demokratisierung durch kleinere und offenere Modelle die Möglichkeiten von Generative AI einfacher, schneller und breiter verfügbar macht.

***Speaker***

Lothar Wieske arbeitet als Architect mit vielen Technologien rund um Digitalisierung. Bis 2009 arbeitete er in Leuchttürmen wie einer Digitalen Radiologie, einer Wertpapierverwaltung sowie für Miles-and-More u.a. bei IBM, Microsoft und Sun Microsystems. Im Innovationsmanagement arbeitete er ab 2009 praktisch mit Cloud und Analytics. Mit den Jahren kamen dann IoT, Blockchain und Augmented Reality hinzu, ebenso wie Artificial Intelligence und Deep Learning. Zuletzt lag sein Fokus auf Cloud-Native und Generative AI ebenso wie digitaler und ökologischer Transformation. Neben technologischen Aspekten der Digitalisierung haben für ihn zunehmend auch Fragen zur wirtschaflichen, unternehmerischen und gesellschaftlichen Entwicklung und Umsetzung an Bedeutung gewonnen.