Pré-entrainement et finetuning des LLMs à partir de zéro (from scratch)

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Build a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalise sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch)
2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions :
- Chaque rencontre se concentre sur un chapitre spécifique du livre
- Les sessions alternent entre présentation théorique et mise en pratique
- Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à :
- Lire le chapitre correspondant avant chaque session
- Préparer vos questions et observations
- Partager vos réflexions lors des discussions de groupe

Prérequis techniques :
- Maîtrise de la programmation orientée objet en Python
- Curiosité et envie d'explorer les mécanismes internes des modèles de langage

Cette dernière session est spéciale car nous avons l'honneur d'accueillir l'auteur du livre lui-même Sebastian Raschka qui nous prodiguera des conseils et nous fournira des recommandations pour aller plus loin en Machine Learning, particulièrement en Traitement Automatique des langues et LLMs. Nous aurons également l'occasion de lui poser nos questions.

Programme de la dernière session de la série ce dimanche 09/03/2025 :
1. Présentation du chapitre 7. Finetuning to follow instructions. Comment ajuster un LLM pré-entraîné pour qu'il soit à mesure de suivre des instructions : 16h00 à 17h00
2. Questions et réponses sur le chapitre 7 : 17h00 à 17h10
3. Conseils et recommandations de Sebastian Raschka pour aller plus loin : 17h10 à 17h30
4. Questions et réponses avec Sebastian Raschka : 17h30 à 18h00

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !