GPU et IA

FLOPS

Aussi appelé : TFLOPS, PFLOPS

Nombre d'opérations sur des nombres à virgule flottante qu'une puce réalise par seconde. C'est l'unité de puissance de calcul des GPU et puces d'IA.

FLOPS signifie « floating-point operations per second », soit le nombre d'opérations sur des nombres à virgule flottante effectuées chaque seconde. On l'utilise pour les GPU, les processeurs et les accélérateurs d'IA. Les multiples suivent le système métrique : un TFLOPS vaut mille milliards d'opérations par seconde, un PFLOPS mille TFLOPS. À ne pas confondre avec le hashrate, qui mesure la vitesse d'un mineur en hachages par seconde.

Les FLOPS annoncés sont des valeurs de crête, calculées à partir du nombre d'unités de calcul et de la fréquence. En usage réel, on n'atteint qu'une partie de ce maximum, car la puce attend souvent les données venues de la mémoire. C'est particulièrement vrai pour la génération de texte par un modèle de langage, limitée surtout par la bande passante mémoire plutôt que par la puissance brute.

Sur une fiche produit, un chiffre en FLOPS n'a de sens qu'avec sa précision : FP64, FP32, FP16, FP8 ou FP4. Plus le format est court, plus le chiffre grimpe, et la mention « avec sparsité » le double encore. Pour comparer deux GPU, prenez la même précision, puis regardez la quantité de mémoire et sa bande passante. Pour l'entraînement, les FLOPS en BF16 ou en FP8 sont les plus parlants ; pour faire tourner un modèle en local, la mémoire compte souvent davantage.

Notre page qui compare ASIC et GPU aide à comprendre quelle machine choisir selon que l'on veut miner ou faire de l'IA.