Cyber Security Meetup: Prompt Injection: Angriffe auf KI-Sprachmodelle

Im gleichen Atemzug mit dem Erfolg und der Verbreitung von Large Language Models (LLMs) ergeben sich auch neue Angriffsvektoren auf LLM-basierte Softwareprodukte, von denen Prompt Injection einen der gefährlichsten darstellt. Hierbei wird die Anwendung mittels der Verarbeitung präparierter und ungeprüfter Eingaben durch das LLM beeinflusst.

Ausgehend von einem kurzen Rückblick auf die ähnliche SQL-Injection erläutern wir einige Charakteristika von LLMs und versuchen eine Systematisierung der daraus resultierenden Schwächen. Im Hauptteil demonstrieren wir beispielhaft betrügerische Manipulationen von LLM-basierter Software sowie neue Gefahren für Datenabflüsse, geben aber auch Handlungsempfehlungen zu Erhöhung der Resilienz derartiger Systeme.

Den Vortrag hält Dr. Stephan Schwinger, Data Scientist bei der genua GmbH.