Déployer une IA souveraine

English version below
⠀
Speaker : Eden Kharoub, Data Scientist chez Agora Calycé
⠀
Déployer une IA souveraine sur Kubernetes
⠀
58 % des employés utilisent déjà l'IA au travail (Stanford HAI, AI Index 2026), mais peu d'équipes savent l'héberger correctement en gardant la main sur leurs données.
⠀
Déployer un LLM en interne ne s'arrête pas au lancement du modèle : GPU, coûts, latence et confidentialité deviennent les vrais sujets. On partage avec vous les choix d'architecture qui ont tenu, les arbitrages de coût, et ce que l'observabilité apporte pour garder la maîtrise de son IA, de l'inférence jusqu'à l'infrastructure.
⠀
Plan

1. Le contexte : adoption de l'IA, tensions entre confidentialité et vitesse
2. Contraintes et architecture : le gateway comme véritable produit de contrôle
3. Coût et capacité : TCO, payback, stress test à 40 utilisateurs
4. Conclusion + démo live : avec la possibilité de tester en live !

⠀
-------------- English version --------------
⠀
Deploying Sovereign AI on Kubernetes
⠀
58% of employees already use AI at work (Stanford HAI, AI Index 2026), yet few teams know how to host it properly while retaining control of their data.
⠀
Deploying an LLM in-house goes beyond getting the model up and running: GPUs, costs, latency, and data privacy become the real challenges. We'll share the architectural choices that held up in practice, the cost trade-offs, and how observability helps you stay in control of your AI stack, from inference to infrastructure.
⠀
Agenda

1. Context: AI adoption and the tension between privacy and speed
2. Constraints and architecture: the gateway as a fully fledged control layer
3. Cost and capacity: TCO, payback period, and a 40-user stress test
4. Wrap-up + live demo: with a chance to try it out live!