11. BEF - Platform Observability & Evaluating LLMs

Das 11. Bergische Entwicklerforum findet am 14.05.2025 ab 18 Uhr im W-tec statt. Spannende Talks, Pizza, Getränke und Zeit zum Netzwerken!

# Agenda
18:00 - Einlass & frische Pizza (25 min)
18:25 - Begrüßung (5 min)
18:30 - Talk 1 (45 min + 15 min Fragen)
19:30 - Pause (5 min)
19:35 - Talk 2 (45 min + 15 min Fragen)
20:35 - Netzwerken

# Talk 1: Platform Observability with Grafana - A Hands-On Introduction

## Zusammenfassung
Wie kann man eine moderne und agile Plattformüberwachung aufbauen, wenn man bisher keine Erfahrung mit Observability-Tools hatte? Mit einem Grafana Observability Stack! Der Vortrag zeigt wie man einen ersten Observability Stack aufbaut und welche Vor- und Nachteile dieser Ansatz für Teams und einzelne Entwickler bietet. Abschließend werden die Stärken und Schwächen verschiedener Tools für die Problemstellung verglichen.

## Referent
Jonathan Debus, Solution Developer bei RWE Renewables, Physicist

# Talk 2: Evaluating LLMs: Why Benchmarks Are Non-Negotiable

## Zusammenfassung
Der Vortrag beleuchtet die Rolle von Benchmarks bei der Bewertung von Large Language Models (LLMs). Erklärt wird, wie Messungen der Modellleistung zur Unterstützung fundierter Entscheidungen beitragen. Der Vortrag deckt verschiedene Arten von Benchmarks, deren Metriken und deren praktische Anwendung ab. Es wird gezeigt, wie eigene Benchmarks entwickelt und durchgeführt werden können, um spezifische Anforderungen und Anwendungsfällen gerecht zu werden.

## Referent
Fabian Preiß ist Mitgründer der Digon.IO GmbH, wo er als Data Scientist und Python-Backend-Entwickler arbeitet. Neben seiner unternehmerischen Tätigkeit ist er auch Autor und Maintainer der „scheduler“-Bibliothek für Python.