"Scaling Law" : en route vers l'IA Générale ? (Retransmission live depuis Paris)

Prise de parole 1 (Flavien Chervet)

Scaling Law : en route pour l'AGI ?

S'il est un enseignement que l'on peut tirer des 10 dernières années de Deep Learning, c'est qu'en IA, la taille, ça compte. Si des innovations algorithmiques sont bien sûr venues contribuer aux progrès des IA, leur amélioration est d'abord le fait des passages à l'échelle successifs : plus de neurones, plus de puissance de calcul, plus de données.
Cette loi empirique s'est si bien confirmée qu'elle est devenue un sujet d'étude à part entière, appelé "scaling law" ou "loi d'échelle".

Comment fonctionne la scaling law ?
Va-t-elle se maintenir pour les prochaines générations d'IA ?
A quoi s'attendre s'il on extrapole les courbes ?
Aura-t-on une AGI (Intelligence Artificielle Générale) en 2027 ?
Quels obstacles sont attendus et comment seront-ils surmontés ?
Des clusters de calcul à 1GW, 10G, 100GW : où est la limite ?
Quelles sont les conséquences technologiques et géopolitiques de la scaling law ?

Prise de parole 2 (Abdelmajid Ben Abid)

Le modèle o1 : une nouvelle scaling law ?
En septembre 2024, la société OpenAI dévoile son nouveau modèle, le très attendu "o1". Pour la première fois, un modèle intègre nativement des "chaînes de pensées" lui permettant de simuler une sorte de raisonnement. Plus on lui donne de temps pour "réfléchir", plus les résultats semblent s'améliorer.
Comment fonctionne o1 ?
Est-on devant une nouvelle Scaling Law ?
Que signifie-t-elle pour l'avenir de l'IA ?