Graph / Hybrid RAG - Maßgeschneiderter Kontext fürs LLM

RAG (Retrieval Augmented Generation) ist mittlerweile ein Standardbaustein in vielen LLM basierten AI-Systemen.
Das Verfahren erlaubt es, Daten außerhalb des Trainingssets des LLM zu berücksichtigen und den Kontext des LLMs auf eine handhabbare Größe zu beschränken. Hierbei kommen häufig Vektordatenbanken zum Einsatz, um über Distanzsuche im Vektorraum relevante Dokumente oder Textauszüge auszuwählen und damit den Kontext des LLMs anzureichern.

Dieses Verfahren stößt bei Anfragen an seine Grenzen, die auf komplexe Zusammenhänge oder Aggregation über viele Datensätze abzielen. Hier glänzen graphbasierte RAG-Systeme. Grundlage hierfür ist die Repräsentation der Daten in Form von Knowledge Graphen, welche Informationen über die Beziehungen der Entitäten zueinander enthalten. Dies ermöglicht komplexe Schlussfolgerungen über in mehreren Stufen semantisch verknüpfte Entitäten. Ergebnisse werden basierend auf 'Wegen im Beziehungsgraph' geliefert, was deutlich einfacher nachzuvollziehen ist als die abstrakten Vektordistanzen im 'klassischen' Vector RAG.

Wie so oft ist aber nicht eines der Verfahren grundsätzlich dem anderen überlegen, sondern 'es hängt davon ab'.

An diesem Abend wird Alexander Wiedemann mit uns zusammen die grundlegende Funktionsweise von Graph RAG erkunden. Welche Domänen eigenen sich, wie müssen die Daten vorbereitet werden und wie formuliert man eine Anfrage an solch ein System? Lassen sich verschiedene RAG-Verfahren kombinieren und wie funktioniert die Auswahl der Ergebnisse, Stichwort 'Reranking'.