HBM
Aussi appelé : HBM3e
Mémoire à très large bande passante, empilée en couches juste à côté du GPU. La HBM3e équipe les accélérateurs IA comme le NVIDIA H200.
HBM signifie High Bandwidth Memory, mémoire à large bande passante. Au lieu de puces réparties sur la carte comme la GDDR, la HBM empile plusieurs couches de mémoire les unes sur les autres et les place juste à côté du processeur graphique, sur le même support. Les générations se suivent : HBM2, HBM2e, HBM3, puis HBM3e, utilisée sur les accélérateurs IA les plus récents.
Cette proximité permet une interface extrêmement large, de plusieurs milliers de bits, là où une carte grand public se limite à quelques centaines. Le résultat est une bande passante qui se compte en téraoctets par seconde. Le NVIDIA H200, par exemple, embarque 141 Go de HBM3e pour une bande passante d'environ 4,8 To/s. Pour l'IA, c'est décisif : l'entraînement et l'inférence des grands modèles passent l'essentiel de leur temps à lire et à écrire des données en mémoire.
La HBM est coûteuse à fabriquer et réservée aux GPU de centre de données et aux serveurs IA, comme les plateformes HGX. Dans une fiche produit, comparez la capacité totale, la génération de HBM et la bande passante. Pour un modèle de langage, la capacité indique quelle taille de modèle peut être chargée, et la bande passante à quelle vitesse il pourra générer du texte.
Notre page consacrée au NVIDIA H200 présente en détail cette carte et sa mémoire HBM3e.