AI Agents: Test or Trust?

AI is inmiddels overal in softwareontwikkeling te vinden. Van code genereren tot documentatie schrijven, van workflows automatiseren tot agents die zelfstandig acties uitvoeren. Maar hoe houd je grip op tools die niet altijd hetzelfde antwoord geven? En wie is er uiteindelijk verantwoordelijk als AI daadwerkelijk iets gaat doen?

Tijdens deze meetup duiken we in de praktische kant van AI in software engineering en test automation. Zoals altijd georganiseerd door deTesters, TestCoders en TechChamps, in ons kantoor in de Werkspoorkathedraal in Utrecht.

Deze keer hebben we twee talks die mooi op elkaar aansluiten. Ghislain Gabriëlse laat zien hoe je AI skills kunt testen wanneer klassieke assertions niet meer genoeg zijn. Bert Jan Schrijver neemt ons mee in de bredere vraag wat AI agents betekenen voor software engineering, verantwoordelijkheid en controle.

Twee talks, twee invalshoeken, maar allebei heel relevant voor iedereen die serieus bezig is met kwaliteit, test automation en de manier waarop AI ons vak verandert.

The Agent Who Tested Me: Behavioral Testing for AI Skills
Hoe test je tools die elke keer net een ander antwoord kunnen geven?
Ghislain laat zien hoe zij AI skills testen met echte Copilot sessies, zonder alles weg te mocken. Want bij LLMs kun je niet simpelweg een assertEquals op de output zetten. Tenzij je van mega flaky tests houdt.
In deze talk neemt hij je mee in een framework waarmee AI skills op verschillende niveaus worden gevalideerd. Van deterministische checks en een LLM Judge tot baseline vergelijkingen en variance analysis. Zo wordt niet alleen gekeken of een skill iets teruggeeft, maar ook of het antwoord klopt, waarde toevoegt en betrouwbaar genoeg is.
Een praktische sessie over testen, CI en non determinisme voor iedereen die bezig is met AI, test automation of Copilot skills.

Ghislain Gabriëlse
Ghislain Gabriëlse is een ervaren Test Automation Engineer met ruim 11 jaar ervaring in testen en automatisering. Hij richt zich vooral op het ontwikkelen en inrichten van tools en frameworks die de developer experience verbeteren, zodat teams beter en efficiënter kunnen ontwikkelen en testen.

Software engineering in the age of AI agents: who’s in control?
Een AI verwijdert een production database en blijft vervolgens volhouden dat dit niet is gebeurd. Welkom in moderne software engineering.
Generatieve AI wordt steeds vaker een echte samenwerkingspartner. Het schrijft code, past systemen aan en voert acties uit. Maar dat betekent niet automatisch dat het ook doet wat wij denken dat het doet.
In deze presentatie neemt Bert Jan ons mee in wat er echt verandert. Niet alleen in hoe we code schrijven, maar vooral in hoe we controleren, begeleiden en verantwoordelijkheid nemen. De rol van engineers verschuift steeds meer van zelf bouwen naar richting geven, beoordelen en kritisch blijven kijken naar wat AI oplevert.
Aan de hand van persoonlijke verhalen, inzichten uit de industrie, successen en mislukkingen laat Bert Jan zien hoe je verantwoord om kunt gaan met AI tools die zich razendsnel ontwikkelen.
Want ook als je AI het werk laat doen, blijf jij verantwoordelijk voor de uitkomst.

Bert Jan Schrijver
Bert Jan Schrijver is CTO bij OpenValue en houdt zich bezig met Java, AI, software architectuur, Continuous Delivery en DevOps. Hij is Java Champion, JavaOne Rock Star speaker, winnaar van een Duke’s Choice Award en bestuurslid bij NLJUG, de Nederlandse Java User Group.
Daarnaast deelt hij graag zijn kennis op conferenties, schrijft hij voor het Nederlandse Java Magazine en helpt hij bij Devoxx4Kids om kinderen te leren programmeren.

Doelgroep
Deze meetup is interessant voor testers, QA engineers, developers en iedereen die bezig is met kwaliteit in moderne software teams.
Deze avond is volledig in het Nederlands (Dutch spoken).

Programma
17:30 Ontvangst en eten
18:30 The Agent Who Tested Me: Behavioral Testing for AI Skills
19:30 Korte pauze
19:45 Software engineering in the age of AI agents: who’s in control?
20:45 Q&A en discussie
21:00 Afsluiting met een borrel