Paramètres d'un modèle

Les paramètres d'un modèle d'IA sont les nombres, appelés aussi poids, qui relient ses neurones artificiels entre eux. Au départ, ils sont aléatoires ; pendant l'entraînement, ils sont ajustés un très grand nombre de fois jusqu'à ce que le modèle produise de bonnes réponses. Une fois l'entraînement terminé, ils contiennent tout ce que le modèle a appris. Leur nombre sert à désigner la taille du modèle : 8B, 70B ou 405B, le B signifiant « billion », soit un milliard en français.

Plus un modèle a de paramètres, plus il peut retenir de connaissances et raisonner finement, mais plus il demande de mémoire et de calcul. Chaque paramètre occupe 2 octets en 16 bits : un modèle de 70 milliards de paramètres pèse donc environ 140 Go, et autour de 40 Go une fois quantifié en 4 bits. Les modèles à mélange d'experts distinguent le nombre total de paramètres et le nombre de paramètres actifs pour chaque token, ce qui les rend plus rapides que leur taille ne le laisse penser.

Pour choisir une machine, partez du modèle visé. En 4 bits, comptez un peu plus de la moitié du nombre de milliards de paramètres en gigaoctets, plus une marge pour le contexte. Une carte de 16 Go fait tourner des modèles jusqu'à 14 milliards de paramètres environ, 32 Go permettent de monter vers 30 milliards, et les modèles de 70 milliards demandent au moins 48 Go. Un modèle récent et plus petit peut d'ailleurs battre un modèle plus gros mais plus ancien.

Nos stations IA vont d'une carte de 16 Go à plusieurs cartes professionnelles de 96 Go : dites-nous quels modèles vous visez, nous vous orientons vers la bonne configuration.