DeepSeek : More Heads, Less Pain
Détails
DeepSeek innove grâce à une architecture combinant Multi-Head Latent Attention, Mixture of Experts (MoE), et Multi-Token.
Ajoutez à cela la quantization et le GRPO.
Cette conférence décrypte ces innovations, leurs implications sur la performance et le coût, et propose une lecture critique pour ingénieurs et praticiens.
Artificial Intelligence
Deep Learning
Big Data
Data Science