Pré-entrainement et finetuning des LLMs à partir de zéro (from scratch)

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch)
2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions :
- Chaque rencontre se concentre sur un chapitre spécifique du livre
- Les sessions alternent entre présentation théorique et mise en pratique
- Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à :
- Lire le chapitre correspondant avant chaque session
- Préparer vos questions et observations
- Partager vos réflexions lors des discussions de groupe

Prérequis techniques :
- Maîtrise de la programmation orientée objet en Python
- Curiosité et envie d'explorer les mécanismes internes des modèles de langage

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Cette semaine nous verrons comment faire du finetuning des LLMs pour la classification. Comment télécharger un modèle pré-entraîné et l'adapter à vos propres données.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !