Bande passante mémoire
Volume de données que la mémoire d'un GPU peut échanger avec la puce chaque seconde, en Go/s ou To/s. Un critère clé pour la vitesse de l'IA.
La bande passante mémoire mesure le volume de données que la mémoire d'une carte graphique peut transmettre au processeur graphique en une seconde. Elle s'exprime en gigaoctets par seconde (Go/s) ou, sur les GPU de centre de données, en téraoctets par seconde (To/s). Elle dépend du type de mémoire, de sa fréquence et de la largeur du bus qui la relie au GPU.
Un GPU peut disposer d'une énorme puissance de calcul, il reste bloqué s'il attend ses données. C'est souvent le cas en intelligence artificielle : lors de la génération de texte, chaque nouveau token oblige le GPU à relire la quasi-totalité des paramètres du modèle. La vitesse de génération dépend donc davantage de la bande passante que de la puissance brute. En simplifiant, diviser la bande passante par la taille du modèle en mémoire donne une limite haute du nombre de tokens par seconde pour une requête.
Dans une fiche produit, la bande passante figure souvent à côté de la capacité de VRAM. Pour comparer deux cartes destinées à l'IA, regardez les deux ensemble : la capacité détermine quels modèles peuvent être chargés, la bande passante détermine leur réactivité. Les mémoires HBM offrent les bandes passantes les plus élevées, devant la GDDR7 et la GDDR6X. Pour le minage, certains algorithmes sont aussi limités par la mémoire, ce qui explique l'intérêt des réglages de fréquence mémoire.
Notre page sur le NVIDIA H200 illustre ce que représente une très grande bande passante pour les charges d'IA.