Quantification
Aussi appelé : 4 bits, 8 bits
Technique qui stocke les poids d'un modèle d'IA sur moins de bits, 8 ou 4 au lieu de 16, pour réduire la mémoire nécessaire avec une faible perte de qualité.
La quantification consiste à convertir les paramètres d'un modèle d'IA dans un format plus compact. Un modèle est généralement publié en 16 bits par paramètre ; quantifié, il passe à 8 bits, à 4 bits, parfois moins. Le modèle reste le même, mais chaque nombre est arrondi pour tenir dans moins de place.
Le gain est direct sur la mémoire. Un modèle de 8 milliards de paramètres occupe environ 16 Go en 16 bits, 8 Go en 8 bits et 5 Go environ en 4 bits. Comme la génération de texte est surtout limitée par la vitesse à laquelle le GPU lit ces poids, un modèle quantifié répond aussi plus vite. La contrepartie est une légère baisse de qualité, à peine perceptible en 8 bits, généralement modérée en 4 bits, et plus marquée en dessous. Plusieurs méthodes existent, et les modèles prêts à l'emploi sont souvent proposés en 4 bits par défaut.
En pratique, la quantification décide de ce qui tient dans votre carte graphique. Avec 16 Go de mémoire vidéo, un modèle de 14 milliards de paramètres en 4 bits passe confortablement ; avec 32 Go, on vise des modèles d'environ 30 milliards de paramètres. Gardez toujours une marge pour la fenêtre de contexte, qui occupe elle aussi de la mémoire. Un modèle plus gros mais quantifié donne souvent de meilleurs résultats qu'un petit modèle en pleine précision.
Nos stations IA sont livrées avec Ollama et Open WebUI installés : vous pouvez télécharger des modèles quantifiés et les utiliser immédiatement.