Mixture d'experts

Dans un modèle classique, dit dense, tous les paramètres participent au calcul de chaque token. Une mixture d'experts, souvent abrégée MoE pour Mixture of Experts, remplace certaines couches du Transformer par plusieurs « experts », de petits réseaux placés en parallèle. Un routeur choisit pour chaque token un petit nombre d'experts jugés pertinents, et seuls ceux-là sont calculés. Mixtral, DeepSeek et certaines versions de Qwen ou de Llama reposent sur ce principe.

On distingue donc deux chiffres : le nombre total de paramètres et le nombre de paramètres actifs. Un modèle doté d'un total élevé mais de peu de paramètres actifs génère ses réponses presque aussi vite qu'un petit modèle dense, tout en profitant des connaissances d'un modèle bien plus grand. C'est ce qui rend possibles de très gros modèles à un coût de calcul raisonnable.

Le piège, c'est la mémoire. Même si peu d'experts travaillent à chaque instant, tous doivent être chargés : un MoE demande autant de VRAM que son nombre total de paramètres l'impose. Pour choisir une machine, regardez le total pour dimensionner la mémoire et les paramètres actifs pour estimer la vitesse. Les MoE profitent bien d'une grande quantité de VRAM répartie sur plusieurs GPU, et certains outils savent laisser une partie des experts dans la mémoire vive du processeur, au prix d'une vitesse moindre.

Nous vous aidons à choisir entre une carte unique et une configuration multi-GPU selon les modèles, denses ou MoE, que vous souhaitez faire tourner.