Der Einsatz von LLMs oder GenAI stellt neue Anforderungen an Observability. Ein- und Ausgaben von LLMs sind absolut unvorhersehbar, gerade im Einsatz in der Kundenkommunikation (z. B. als Chatbot). Dem Tracing kommt hier eine wesentlich Bedeutung zu, da so komplette Chatverläufe nachvollzogen werden können. In diesem Vortrag beleuchte ich neue Werkzeuge, die uns helfen, den Einsatz von LLMs in Java Microservices und speziell in Spring AI zu überwachen. Ich stelle Langfuse als spezialisierte Tracing-Lösung vor und beleuchte, wie das gesamte Projektteam Mehrwert aus den aufgezeichneten Traces und Konversationen ziehen kann. Ich zeige, wie aktuelle LLM-Verbrauchsmetriken z. B. von Google Gemini in Prometheus überführt werden können, um gezielt zu alarmieren. Ich zeige, wie wir testen, dass unsere LLM-Anwendung nicht halluziniert und wie auch hier Tracing hilft, Security-Angriffe detailliert nachzuvollziehen. Denn: Tracing und Security gehen im speziellen Chatbotumfeld Hand in Hand.
Referent:
Torsten Köster ist freiberuflicher Software-Entwickler mit einem Fokus auf Open-Source-Suchtechnologien und Observability. Seit mehr als fünfzehn Jahren entwickelt er Suchlösungen auf Basis von Lucene/Solr und betreut in diesem Umfeld diverse Open-Source-Projekte.
