KI-Sicherheit: Der digitale Enkeltrick und wie man sich schützt

Am 23.09. steigt unser nächstes Codineers Rosenheim Meetup vor Ort in unserem Büro in Rosenheim oder Remote via Zoom.

Meeting-Link: TBD

### Vergesst den Hype! Wir reden über die Realität.

KI und LLMs sind die neuen Stars am Tech-Himmel. Doch sind sie wirklich so schlau, kreativ und unfehlbar, wie alle behaupten? Oder eher die digitalen „Oma Gertrudes” unserer Zeit?

In diesem Meetup decken wir die ungeschminkte Wahrheit auf: Wie kann man die eingebauten Sicherheitsregeln von LLMs umgehen, sie zu unabsichtlichen Helfern für Cyberkriminelle machen und ihnen sogar schadhaften Code entlocken? Emanuel Böse zeigt, wie Social Engineering in der KI-Ära funktioniert und warum Chatbots die perfekten Opfer sind.

Aber damit nicht genug: Wie testet man eigentlich etwas, das ständig dazulernt? Marcus Ciolkowski erklärt, wie man trotzdem zuverlässige Chatbots baut und warum traditionelle Testmethoden dabei komplett versagen.

Sei dabei, wenn wir hinter die Kulissen blicken und die echten Herausforderungen und Schwachstellen von KI und LLMs beleuchten.

*** Agenda ***

• 17.30 Uhr | Doors open. Schnapp' dir Snacks & Getränke.
• 17:45 Uhr | Welcome & Intro
• 18:00 Uhr | KI und LLMs – Die neuen Opfer im Social Engineering - Emanuel Böse
• 18:45 Uhr | Testen nicht vergessen - wie man zuverlässige Chatbots baut - Marcus Ciolkowski
• 19:30 Uhr | GetTogether

Wir sind Partner der ROSIK.

*** Unsere Vorträge ***

KI und LLMs – Die neuen Opfer im Social Engineering - Emanuel Böse

KI und LLMs werden als die nächste technologische Revolution gefeiert: Sie sind angeblich allwissend, kreativ und unbestechlich. Viele befürchten bereits, bald ersetzt zu werden. In der Praxis zeigt sich jedoch ein anderes Bild: Sie sind die digitale „Oma Gertrude” unserer Zeit.
Mit dem richtigen „digitalen Enkeltrick” lassen sich ihre eingebauten Sicherheitsregeln umgehen. Sie verraten Geheimnisse, schreiben Schadcode und werfen ihre Prinzipien über Bord. Noch schlimmer: Oft produzieren sie unsichere Ergebnisse sogar unbeabsichtigt. In diesem Vortrag zeige ich, wie diese neuen Social Engineering Opfer funktionieren und wie ihre Kooperationsbereitschaft ausgenutzt werden kann, um die Kontrolle zu übernehmen. Vergessen wir den Hype, reden wir über die Realität!

Testen nicht vergessen - wie man zuverlässige Chatbots baut - Marcus Ciolkowski

Traditionelle Test-Ansätze funktionieren bei vielen AI-Anwendungen nicht - insbesondere wenn Large Language Models (LLMs) involviert sind. Wie beispielsweise kann man beabsichtigte Variationen einer Chatbot-Antwort von Halluzination unterscheiden? Was macht eine “gute” Chatbot-Antwort aus, und wie kann man die erkennen? Die Techniken dafür sind Forschungsgegenstand und müssen meistens an den aktuellen Kontext angepasst werden.

Im Vortrag zeige ich, wie wir automatisiertes Testen in einem Kundenprojekt umgesetzt haben und wieso das immer noch eine Herausforderung ist und bleibt.

*** Unsere Speaker ***

Emanuel Böse

Emanuel Böse, Mitgründer von Lutra Security, ist Penetrationstester, OSINT-Experte und "AI Liebhasser". Seine Faszination für IT-Sicherheit wurde nicht im Hörsaal geweckt, sondern in den Grauzonen des Internets. Dort erlebte er die Kreativität von Angreifern aus erster Hand und lernte, wie diese wirklich denken.
Bis heute treiben ihn das ewige Katz-und-Maus-Spiel und die Frage, welche kreativen Techniken die „Maus” als Nächstes auspackt, an. Genau mit dieser Perspektive schaut er jetzt auf KI und LLMs: nicht als Magie, sondern als neuen Tech-Stack, den man auf neue und unkonventionelle Weise kaputtspielen kann. Sein Wunsch: „Lasst uns die Systeme, die wir täglich nutzen und bauen, endlich wieder verstehen!”

Marcus Ciolkowski

Dr. Marcus Ciolkowski ist Head of Division bei der QAware und verantwortet den fachlichen und technischen Projekterfolg im Bereich Aftersales beim Kunden BMW. Er hat an der Technischen Universität Kaiserslautern Informatik studiert und später am Fraunhofer Institut für Experimentelles Software Engineering und der TU Kaiserslautern promoviert. 2011 startete er bei QAware als Projektleiter. Seine aktuellen Schwerpunktthemen sind Softwarequalität, Technische Schulden, Künstliche Intelligenz sowie Data Value.