Name: Evaluation von RAG-Systemen - automatisiert und kontinuierlich
Start: 2025-10-21T18:00:00+02:00
End: 2025-10-21T19:30:00+02:00
Location: Brenner-Schäffer-Straße 26

Retrieval-Augmented Generation (RAG) erweitert Large Language Models (LLMs) um aktuelle und relevante Informationen und ermöglicht so präzisere, nachvollziehbare und fundierte Antworten. Im produktiven Unternehmensumfeld ist es unerlässlich, dass die gelieferten Informationen verlässlich und qualitativ hochwertig sind.

Ein RAG-System besteht jedoch aus einer fragilen Kette diverser Komponenten – von Embeddings und Vektor-Datenbanken bis hin zu unterschiedlichen KI-Modellen. Jede dieser Komponenten verfügt über zahlreiche Konfigurationsparameter, deren Effekte oft erst im Zusammenspiel sichtbar werden.

Wie lässt sich mit überschaubarem Aufwand beurteilen, ob die gewählte RAG-Konfiguration tatsächlich optimale Ergebnisse liefert – bezogen auf die tatsächlichen, einzulesenden Informationen?

Wie können alternative Komponenten, etwa lokal gehostete KI-Modelle, risikofrei getestet werden?

In diesem Vortrag präsentiert Max Jung praxiserprobte Ansätze zur automatisierten und kontinuierlichen Evaluation, zum systematischen Vergleich und zur gezielten Optimierung von RAG-Systemen.

Anhand konkreter Evaluationsframeworks und -Tools demonstriert er, wie sich unterschiedliche Konfigurationen schnell und effizient bewerten lassen.

Teilnehmende erleben in einer Live-Demo direkt, wie sich Automatisierung, qualitative Analysen und gezielte Benchmarking-Strategien kombinieren lassen, um fundierte Entscheidungen für den Einsatz und die Optimierung von RAG-Systemen zu treffen.
Key Takeaways:

✅ Automatisierte Evaluation von RAG-Systemen:
Welche Tests eignen sich besonders gut, um Qualität und Effizienz objektiv zu messen?

✅ Gezielter Vergleich von Modellen und Vektor-Datenbanken:
Wie wirken sich unterschiedliche Embeddings oder Datenbanken auf die Performance und Genauigkeit aus?

✅ Strategien zur Optimierung von Kosten und Qualität:
Welche Faktoren sind entscheidend bei der Auswahl von LLMs und Komponenten, um Kosten zu senken und zugleich die Ergebnisqualität zu erhöhen?

✅ CI/CD gegen Regression:
Wie können Änderungen an einem RAG-System, z.B. Wechsel auf ein neues LLM, abgesichert werden um Qualitätsregression zu vermeiden?

\-\-\-

Dieser Termin wird in Präsenz in den Räumen der IHK Regensburg für Oberpfalz / Kelheim Geschäftsstelle Nordoberpfalz in der Brenner-Schäffer-Straße 26, 92637 Weiden in der Oberpfalz stattfinden.

Ablauf:
1730h get together
1800h Offizieller Beginn (Aktuelles & interaktiver Vortrag)
1930h Offizielles Ende
Anschließend freie Diskussion

\-\-\-

Über den Sprecher:
Max Jung ist freiberuflicher Softwerker und Problemlöser. Über 10 Jahre Erfahrung in verschiedenen Rollen der Software-Entwicklung – neben Entwickler und Architekt auch Scrum Master, Projektleiter und Tester – haben ihn in seiner ganzheitlichen und zugleich pragmatischen Auffassung unseres Handwerks bestärkt. Neben Domain-Driven Design (DDD) und EventStorming begeistert er sich und andere für Pair- und Mobprogramming sowie für Extreme Programming (XP) und Test-Driven Development (TDD).

Luca Wunderlich

Roland König

Richard Fichtner

Thomas Schattan

Digital Craftsmanship Nordoberpfalz

Technology

Web Development

Software Development

Mobile Development

Agile Project Management

UI/UX Design

Software QA and Testing

Software Product Management

Software Architecture

Software Craftsmanship

Agile Coaching

Agile Transformation

Software Engineering

Digitalization

Evaluation von RAG-Systemen - automatisiert und kontinuierlich

Brenner-Schäffer-Straße 26

Teilen

Digital Craftsmanship Nordoberpfalz

Evaluation von RAG-Systemen - automatisiert und kontinuierlich

Digital Craftsmanship Nordoberpfalz

Details

Mitglieder interessieren sich auch für