Démystifier les LLM avec NanoChat de Andrej Karpathy

Dans ce Meetup en ligne, nous allons démystifier le fonctionnement interne des modèles de langage (LLM) en explorant NanoChat, l’approche minimaliste proposée par Andrej Karpathy. L’objectif n’est pas de créer un chatbot “puissant”, mais de comprendre un pipeline LLM de bout en bout : Données → Tokenisation → Modèle → Entraînement → Chat.

Avant la session, j’aurai réalisé un pipeline complet autour de NanoChat. Je partagerai les résultats obtenus — qu’ils soient bons, surprenants ou imparfaits. Le but est d’apprendre en expérimentant, pas d’obtenir un modèle “magique”.

Au programme :
• La philosophie “no magic, no black box” de Karpathy
• Comment fonctionne un petit LLM (dataset, tokenizer, modèle, entraînement)
• Lecture guidée des points clés du code NanoChat
• Démo des résultats et de leurs limites
• Q&A + pistes pour continuer l’exploration

Important : Ce workshop met l’accent sur la compréhension et la pédagogie. Attendez-vous à un mini-LLM expérimental, pas à un modèle de production.

Niveau recommandé : intermédiaire (Python utile).
Rejoignez-nous si vous souhaitez comprendre l’intérieur d’un LLM, progresser en IA open-source, et repartir avec une vision claire de ce qui se passe “sous le capot”.