Probieren ist nicht Evaluieren: Bauchgefühl vs. belastbare KI-Bewertungsmethoden

👉🏽 Was erwartet Euch an dem Abend?

Bei Getränken und Snacks starten wir in ein weiteres Event der Reihe "KI connect Monnem" um 18 Uhr in unserem Mannheimer Büro.
Ab ca. 18:30 Uhr startet die liebe Barbara mit ihrem Vortrag.

👉🏽 Worum wird es genau gehen?

"Läuft doch gut!" ist keine Metrik - und trotzdem verlassen sich viele Teams bei der Bewertung ihrer KI-Systeme noch auf Bauchgefühl und Stichproben. In einer Zeit geschäftskritischer KI-Anwendungen brauchen wir mehr als nur sporadisches Testen. Dieser Vortrag zeigt den Weg von subjektiven Einzeleindrücken zu systematischer Evaluation: Von LLM-as-a-Judge Ansätzen über ROUGE und BLEU Scores bis hin zu nuancierten Retrieval-Metriken. Wie konstruiert man synthetische vs. reale Testdatensätze? Welche Rolle spielen Evaluationsplattformen wie LangSmith oder Langfuse? Und wie integriert man Nutzerfeedback in quantitative Bewertungssysteme? Mit konkreten Implementierungsbeispielen und praxiserprobten Methoden zeigen wir, wie moderne KI-Evaluation funktioniert - und warum sie mehr strategisches Handwerk als Glücksspiel ist.

👉🏽 Wer ist Barbara Lampl?

Ein Resultat-Junkie, der gerne Klartext redet und definitiv in die Kategorie “Freak” oder “Nerd” fällt. Ich lese gern schon zum ersten Kaffee wissenschaftliche Studien, nur so als Beispiel.
AI Babsi ?! Ist das Dein Ernst Barbara? Mein voller und es passt halt auch. Entstanden ist das ganze, da ich einfach Fashion liebe und ein selbst erklärtes Fashion Victim bin, daraus wurde AI Barbie… Problem, Mattel reagiert nicht auf meine Emails. Wer gute Freunde hat dem wird geholfen und aus dem Startplatz Insider seit 10 Jahren “Data & Tech Babsi” wurde kurz und knackig AI Babsi!

Barbara Lampl, eine Liebhaberin der Datenwissenschaft seit den frühen 2000er Jahren, verbindet eine tiefe Leidenschaft für Mathematik mit einem visionären Ansatz für Daten. Als führende Expertin in Strategien für Daten und KI hat sie dazu beigetragen, Unternehmen im digitalen Zeitalter zu transformieren. Seit 2016 hat Barbara Vorlesungen in Datenwissenschaft gehalten, wobei sie sich darauf konzentriert hat, komplexe Datenkonzepte einem breiteren Publikum zugänglich zu machen. Ihr einzigartiger Lehrstil entmystifiziert die Datenwissenschaft, insbesondere für Lernende ohne technischen Hintergrund.
Barbaras Expertise überschneidet sich einzigartig mit Finanzen, Psychologie und Datenwissenschaft und macht sie zu einer seltenen Autorität im Zusammenspiel zwischen numerischen Daten und menschlichem Verhalten. Ihre bedeutenden Beiträge zu den Umsatzoperationen zeigen ihr tiefes Verständnis für datengesteuerte Strategien zur Umsatzoptimierung und Geschäftserfolg.

👉🏽 Na? Konnten wir Euer Interesse wecken?

Wir freuen uns Euch am 18.03.25 bei uns begrüßen zu dürfen und hoffen auf einen spannenden Austausch!