Automatisiertes Testing und Qualitätskontrolle für KI-Agenten

Erinnert sich noch jemand an die “gute, alte Zeit” des Software Crafterships? Damals, als man noch Tests schrieb, weil es wirklich viele gute Gründe dafür gibt? Wieso haben wir dann das Gefühl, dass dieses Handwerk im AI-Wahn untergegangen ist? Dabei muss das gar nicht so …

Das wollen wir ändern! Im Fokus steht deswegen die Integration von automatisierten Tests in Agenten-Systemen.

Unser Blanky demonstriert, wie man semantische Ähnlichkeitsprüfungen und LLM-basierte Metriken in Testumgebungen einbettet, um verlässliche und sichere Anwendungen zu entwickeln.

Zudem beleuchtet er, wie promptfoo uns dabei hilft, Red Teaming für KI-Agenten zu betreiben und wie man eigene KPIs definieren kann, um unsere Agenten auch vor böswilligen Angriffen zu schützen.

Ihr wollt mitmachen?
Bringt ruhig euren Rechner mit und testet Hands-on eure AI Agents!