Ist mein KI-Use-Case machbar? - Ein Beispiel aus der Praxis

👉🏽 Was erwartet Euch an dem Abend?

Bei Getränken und Snacks starten wir in ein weiteres Event der Reihe "KI Connect Monnem" um 18 Uhr. Wir freuen uns, Euch an diesem Abend zwei kurzweilige Vorträge von Steve Haupt und Steffen Heberle, sowie Anja Kleebaum und Jacques Huss präsentieren zu können. Die Vortragsreihe beginnt um 18.30 Uhr und wird jeweils circa 30 Minuten dauern, danach ist Zeit und Raum für einen intensiven und inspirierenden Austausch mit allen Beteiligten. 😎

👉🏽 Worum wird es genau gehen?

Vortrag 1 mit Steve Haupt und Steffen Heberle:
Ist mein KI-Use-Case machbar? - Ein Beispiel aus der Praxis

Die Idee für ein neues Feature mit generativer KI ist geboren. Aber bleibt sie nur eine Idee oder wird daraus mehr? Anhand eines Praxisbeispiels zeigen wir, wie wir schnell und effizient einen Prototypen erstellen, die Leistungsfähigkeit der KI-Komponente bewerten und dem Kunden eine fundierte Entscheidungsgrundlage bieten: Lohnt es sich, in die Umsetzung der Idee zu investieren?

👉🏽Vortrag 2 mit Anja Kleebaum und Jacques Huss:
Wie testet man automatisiert die Antwortqualität einer lokalen RAG-Anwendung?

Wir haben einen KI-ChatBot entwickelt, der Nutzerfragen auf Basis von Daten aus unserem unternehmensinternen Wiki beantwortet. Die Antworten werden mithilfe eines Large Language Models (LLM) generiert und die Datenanreicherung erfolgt durch Retrieval Augmented Generation (RAG). Alle KI-Komponenten unseres SmartWiki-ChatBots laufen lokal und sind selbst gehostet.

Wie testet man nun automatisiert die Antwortqualität einer lokalen RAG-Anwendung? Bei der Beantwortung dieser Frage gibt es diverse Herausforderungen, die bei der Entwicklung berücksichtigt werden müssen. Darunter:

• Wie baut man einen Evaluationsdatensatz auf (selbst erstellt vs. synthetische Daten)?
• Wie kann man bewerten, ob eine zurückgegebene Antwort mit der erwarteten Antwort übereinstimmt (reguläre Ausdrücke vs. LLM-as-a-judge)?
• Welche Metriken kann man für Retrieval und Generation erheben?
• Welche Plattformen gibt es (z.B. Langfuse, LangSmith)?
• Wie kann man Nutzerfeedback sammeln und zur Verbesserung des ChatBots verwenden?
• Wie können Chatverläufe (nicht nur Einzelfragen) getestet werden?

In unserem Vortrag diskutieren wir diese Fragen und stellen unsere Lösung für das automatisierte Testen der Antwortqualität unserer lokalen RAG-Anwendung vor.

👉🏽 Wer sind die Referenten

Steve Haupt und Steffen Heberle sind beide Agile Software Engineers der andrena objects ag und unsere Spezialisten wenn es um das Thema KI geht. Sie fungieren, wenn sie nicht gerade im Projekt arbeiten, als Trainer für unsere KI Basics Kurse oder halten spannende Vorträge wie diesen.
Anja Kleebaum und Jacques Huss sind ebenfalls Agile Software Engineers bei andrena und Teil des Mercury-Teams, das unseren KIChat-Bot entwickelt.

Wir hoffen wir konnten Euer Interesse wecken und freuen uns über Eure Teilnahme!🫶🏽