Skip to content

Faisons connaissance avec les Transformeurs : Bert, Albert, Roberta…

Photo of m09
Hosted By
m09
Faisons connaissance avec les Transformeurs : Bert, Albert, Roberta…

Details

Résumé :

On ne parlera pas d'Optimus Prime dans ce meetup mais bien des dizaines de papiers sortis récemment qui poursuivent l'étude de l'approche décrite dans “Attention Is All You Need”, qui a introduit les transformeurs il y a plus de deux ans.

Ces modèles, qui traitent le cas crucial de l'apprentissage séquence à séquence, n'utilisent pas les réseaux récurrents mais plutôt des mécanismes d'attention.

Nous passerons en revue les différentes variantes et quelques papiers sympas liés à cette famille de modèles.

Speaker :

Hugo Mougard sort d'une aventure avec source{d} où il appliquait le Machine Learning sur du code pour créer des outils de développement et est maintenant freelance sur Nantes.

Lecture :

Si vous voulez vous plonger dans l'univers en très rapide expansion des transformeurs, voilà quelques papiers ou billets de blog à considérer :

Photo of Nantes Machine Learning Meetup group
Nantes Machine Learning Meetup
See more events
Epitech
18 rue Flandres Dunkerque · Nantes