Précision FP8 / FP4
Aussi appelé : FP16, FP32
Formats de nombres sur 8 ou 4 bits utilisés en IA. Moins de bits, c'est moins de mémoire et plus de calculs par seconde, au prix d'un peu de finesse.
Un GPU calcule avec des nombres à virgule flottante, stockés sur un nombre de bits plus ou moins grand. Le FP32, sur 32 bits, est la simple précision classique, le FP64 sert au calcul scientifique, le FP16 et le BF16 utilisent 16 bits. Pour l'IA, NVIDIA a ajouté le FP8 avec les architectures Hopper et Ada Lovelace, puis le FP4 avec Blackwell.
Diviser par deux le nombre de bits, c'est diviser par deux la mémoire occupée et, sur des Tensor Cores compatibles, doubler à peu près le nombre d'opérations par seconde. Un réseau de neurones tolère bien cette perte de finesse, surtout pour l'inférence : un modèle bien converti en FP8 donne des réponses presque identiques. Le FP4 va plus loin et demande des techniques d'étalonnage pour limiter la perte de qualité. L'entraînement se fait le plus souvent en précision mixte, en BF16 voire en FP8.
Sur une fiche produit, les performances en TFLOPS sont toujours données pour une précision donnée. Un chiffre en FP4 peut être plusieurs fois, voire des dizaines de fois supérieur au chiffre en FP32 : comparez donc deux cartes dans la même précision, et repérez la mention « avec sparsité », qui double encore le résultat. Vérifiez aussi que la précision visée est réellement prise en charge par le matériel : chez NVIDIA, le FP4 natif n'apparaît qu'avec Blackwell.
Nous vous aidons à choisir entre une station IA et un serveur selon la précision et la taille des modèles que vous voulez faire tourner.