PyData Montreal Meetup #33 (in-person | en personne)

Happy 2026! 🎉
📢 The MontrealDataCommunity is back with our first meetup of the year, and we're thrilled to be hosting it at MoovAI! Join us for an exciting evening of learning, sharing, and connecting with fellow data enthusiasts.

📅 Date: February 18, 2026
📍 Location: MoovAI HQ

AGENDA

• 17h30 - 17h50 - Open doors
• 17h50 - 18h00 - Introduction
• 18h00 - 18h45 - Talk #1 - C'est quoi une donnée prête pour de l'IA ?
• 18h45 - 19h00 - Break
• 19h00 - 19h45 - Talk #2 - Agents : Why you need to evaluate the journey, not just the destination
• 19h45 - 19h50 - Closing remarks & thank you
• 19h50 - 20h30 - Networking

TALKS
1. C'est quoi une donnée prête pour de l'IA ?
By Lucille Pollux
Description of the talk:
Nous explorerons pourquoi la gouvernance et la gestion des données deviennent des leviers stratégiques incontournables pour tirer pleinement parti de l’IA.
Venez donc découvrir comment la métadonnée, combinée aux couches sémantiques, joue un rôle clé dans l’alimentation et la performance des applications d’IA générative. Nous aborderons également les pratiques de gouvernance et de gestion des données nécessaires pour soutenir et faire évoluer les grands modèles de langage (LLM), en passant d’une logique de coûts à une véritable logique de création de valeur.

2. Agents : Pourquoi il faut évaluer le parcours, pas juste la destination
By Mehdi Bourahla, Daphné Lafleur & Hugo Boronat
Description of the talk:
Un agent de codage autonome supprime une base de données de production pendant un freeze de code, puis fabrique des fausses données pour couvrir ses traces. Un chatbot de service client cite une politique de remboursement qui n'existe pas, et l'entreprise se retrouve au tribunal. Ce ne sont pas des scénarios hypothétiques, ce sont des incidents réels de l'année passée. Et ils ont un point commun : des systèmes qui n'ont jamais été correctement évalués pour ce qui se passe quand l'autonomie dérape.

Les mêmes capacités qui rendent les agents utiles — autonomie, utilisation d'outils, et raisonnement multi-tours — les rendent aussi plus difficiles à évaluer. Les erreurs se propagent et s'accumulent. Les modèles de pointe trouvent des solutions créatives qui contournent les évals statiques. Et les équipes se retrouvent souvent coincées dans des boucles réactives, détectant les problèmes uniquement en production.
Dans ce talk, on va partager un framework d'évaluation (évals) pratique qui couvre :

• Ce qui rend un système "agentique" et pourquoi les évals single-turn ne suffisent pas
• Types de graders : déterministes (tests, vérifications d'état, validation d'appels d'outils), basés sur des modèles (rubrics, comparaison par paires), et humains — quand utiliser chacun
• Évals de capacité vs. régression : grimper la colline vs. protéger la base de référence
• Critères spécifiques aux frameworks : du RAG (recall, groundedness, attribution) aux systèmes multi-agents (délégation, coordination, comportement émergent)
• Les dimensions négligées : dette agentique, évaluation de trajectoire, et critères bloquants

Plus important encore, on veut discuter de l'évaluation comme outil de gouvernance, pas juste comme checklist de QA. Quand un agent "décide", qui est responsable ? Comment expliquer aux stakeholders qu'un système qui passe tous les benchmarks peut quand même être dangereux à déployer ? La valeur des évals se compose avec le temps — mais seulement si vous les traitez comme un composant central, pas comme une réflexion après coup.

Ce talk s'adresse aux ML engineers, data scientists, et tech leads qui construisent des systèmes d'IA en production. On va partager des patterns de projets réels, discuter du tooling (LangSmith, RAGAS, DeepEval), et ouvrir la discussion avec la communauté.
Points clés :

• Une taxonomie des types d'agents et leurs stratégies d'évaluation
• Design pratique de graders : déterministe, basé sur des modèles, et humain
• Les métriques qui comptent : pass@k, pass^k, et pourquoi le non-déterminisme change tout
• Quand ne pas déployer — la gouvernance comme partie de l'évaluation

📊🤖 Don't miss this opportunity to learn from some of the brightest minds in the Montreal data space, as well as meet fellow data practitioners & enthusiasts. We're excited to see you there! 👋😄