Evaluation von RAG-Systemen - automatisiert und kontinuierlich

Retrieval-Augmented Generation (RAG) erweitert Large Language Models (LLMs) um aktuelle und relevante Informationen und ermöglicht so präzisere, nachvollziehbare und fundierte Antworten. Im produktiven Unternehmensumfeld ist es unerlässlich, dass die gelieferten Informationen verlässlich und qualitativ hochwertig sind. Ein RAG-System besteht jedoch aus einer fragilen Kette diverser Komponenten – von Embeddings und Vektor-Datenbanken bis hin zu unterschiedlichen KI-Modellen. Jede dieser Komponenten verfügt über zahlreiche Konfigurationsparameter, deren Effekte oft erst im Zusammenspiel sichtbar werden. Wie lässt sich mit überschaubarem Aufwand beurteilen, ob die gewählte RAG-Konfiguration tatsächlich optimale Ergebnisse liefert – bezogen auf die tatsächlichen, einzulesenden Informationen? Wie können alternative Komponenten, etwa lokal gehostete KI-Modelle, risikofrei getestet werden?

In diesem Vortrag präsentieren Max Jung und Sven Förster praxiserprobte Ansätze zur automatisierten und kontinuierlichen Evaluation, zum systematischen Vergleich und zur gezielten Optimierung von RAG-Systemen. Anhand konkreter Evaluationsframeworks und -Tools demonstrieren wir, wie sich unterschiedliche Konfigurationen schnell und effizient bewerten lassen. Teilnehmende erleben in einer Live-Demo direkt, wie sich Automatisierung, qualitative Analysen und gezielte Benchmarking-Strategien kombinieren lassen, um fundierte Entscheidungen für den Einsatz und die Optimierung von RAG-Systemen zu treffen.

Key Takeaways:
✅ Automatisierte Evaluation von RAG-Systemen:
Welche Tests eignen sich besonders gut, um Qualität und Effizienz objektiv zu messen?
✅ Gezielter Vergleich von Modellen und Vektor-Datenbanken:
Wie wirken sich unterschiedliche Embeddings oder Datenbanken auf die Performance und Genauigkeit aus?
✅ Strategien zur Optimierung von Kosten und Qualität:
Welche Faktoren sind entscheidend bei der Auswahl von LLMs und Komponenten, um Kosten zu senken und zugleich die Ergebnisqualität zu erhöhen?
✅ CI/CD gegen Regression:
Wie können Änderungen an einem RAG-System, z.B. Wechsel auf ein neues LLM, abgesichert werden um Qualitätsregression zu vermeiden?

...

Dieser Termin wird in Präsenz in den Räumen der IHK Regensburg für Oberpfalz / Kelheim Geschäftsstelle Nordoberpfalz in der Brenner-Schäffer-Straße 26, 92637 Weiden in der Oberpfalz stattfinden.

Ablauf:
1730h get together
1800h Offizieller Beginn (Aktuelles & interaktiver Vortrag)
1930h Offizielles Ende
Anschließend freie Diskussion

...

Über den Sprecher:
Max Jung ist freiberuflicher Softwerker und Problemlöser. Langjährige Erfahrung in verschiedenen Rollen der Software-Entwicklung – neben Entwickler und Architekt auch Scrum Master, Projektleiter und Tester – haben ihn in seiner ganzheitlichen und zugleich pragmatischen Auffassung unseres Handwerks bestärkt. Neben Domain-Driven Design (DDD) und EventStorming hat er nun seine Begeisterung für KI entdeckt und liebt es, Andere für deren Potenziale zu begeistern.