NVIDIA H200 : l'intérieur du GPU IA, expliqué couche par couche

Qu'est-ce que le NVIDIA H200 ?

Le NVIDIA H200 Tensor Core est le GPU de data center de la génération Hopper, annoncé en novembre 2023 et livré à partir du deuxième trimestre 2024. C'est le successeur direct du H100, dont il reprend la puce GH100 : même architecture, mêmes 16 896 cœurs CUDA, mêmes 528 Tensor Cores. Ce qui change, c'est la mémoire : le H200 est le premier GPU au monde équipé de HBM3e, avec 141 Go et 4,8 To/s de bande passante, contre 80 Go et 3,35 To/s pour le H100.

Chez Happy Mining, nous installons des GPU professionnels dans des serveurs et stations IA pour des entreprises, des laboratoires et des hébergeurs. La question « H100 ou H200 ? » revient à chaque projet. Cette page répond en montrant ce qu'il y a dans le module, couche par couche, dans notre vue éclatée 3D.

L'intérieur du H200, couche par couche

Un GPU de data center n'est pas une carte graphique agrandie. Le module H200 SXM5 est un sandwich de sept couches principales, du bas vers le haut :

1. Les connecteurs mezzanine SXM, sous la carte, qui remplacent le port PCIe et les câbles d'alimentation d'une carte classique. Ils transportent l'énergie, le PCIe 5.0 vers le processeur et les liens NVLink vers les autres GPU.
2. La carte SXM5 (environ 14 × 10 cm), un circuit imprimé multicouche qui porte les étages d'alimentation (VRM), les condensateurs et le boîtier du GPU.
3. Le substrat, un circuit imprimé miniature et très dense sur lequel est monté l'ensemble puce + mémoire, entouré d'un cadre métallique de rigidification.
4. L'interposeur en silicium, cœur de la technologie CoWoS-S de TSMC : une plaque passive qui contient les milliers de pistes reliant le GPU à la mémoire.
5. La puce GH100 (814 mm², 80 milliards de transistors, gravure TSMC 4N) et, autour d'elle, six piles de HBM3e de 24 Go chacune.
6. L'interface thermique, qui assure le contact entre les puces et le refroidissement.
7. Le dissipateur : un bloc d'ailettes passif, sans ventilateur, ou une plaque froide dans les serveurs refroidis par liquide.

Dans la vue 3D, cliquez sur chaque composant pour lire son rôle. Le point important à retenir : la mémoire est collée au GPU, à quelques millimètres, sur le même interposeur. C'est ce qui permet une bande passante impossible à atteindre avec de la mémoire GDDR soudée sur la carte, comme sur une carte graphique de jeu.

141 Go de HBM3e : pourquoi la mémoire fait toute la différence

Pour un grand modèle de langage (LLM), générer un mot consiste à relire tous les poids du modèle et à les multiplier par l'état courant. Un modèle de 70 milliards de paramètres en FP8 occupe environ 70 Go : à chaque token, le GPU lit 70 Go. Avec 4,8 To/s, le H200 peut théoriquement le faire près de 70 fois par seconde, contre une cinquantaine pour le H100. En pratique, NVIDIA mesure jusqu'à 1,9 fois plus de débit sur Llama 2 70B, parce que la mémoire supplémentaire permet aussi de traiter plus de requêtes en parallèle (batch plus grand) et de garder un contexte plus long en mémoire (le « KV cache »).

Concrètement, 141 Go, c'est :

• un modèle de 70 milliards de paramètres en FP8 sur un seul GPU, avec de la place pour le contexte ;
• un modèle de 30 à 40 milliards en FP16 (pleine précision) ;
• sur un serveur à 8 GPU, 1,1 To de mémoire cumulée : de quoi servir Llama 3.1 405B ou DeepSeek R1 en FP8, ou entraîner un modèle de 100 à 180 milliards de paramètres avec moins de machines.

Si votre modèle tient déjà confortablement dans 80 Go, le gain du H200 sur le H100 est plus modeste : les deux ont la même puissance de calcul. Le H200 se justifie quand la mémoire ou sa bande passante est le facteur limitant, ce qui est le cas de la quasi-totalité des déploiements d'inférence de LLM.

H200 SXM ou H200 NVL : quelle version choisir ?

Le H200 existe en deux formats, et ils ne s'installent pas dans les mêmes machines.

H200 SXM : le module pour serveurs HGX

C'est la version montrée dans notre modèle 3D. Le module se visse sur une carte mère HGX H200 à 4 ou 8 GPU, où les puces NVSwitch relient tous les GPU en NVLink à 900 Go/s chacun. Puissance jusqu'à 700 W par GPU, refroidissement par air ou par liquide selon le châssis. C'est le format des serveurs IA 8 × H200 que nous proposons : plus de 32 PFLOPS FP8 et 1,1 To de HBM3e dans un seul châssis.

H200 NVL : la carte PCIe

Annoncée fin 2024, la carte H200 NVL reprend les mêmes 141 Go de HBM3e dans un format PCIe double slot, 600 W, refroidie passivement par le flux d'air du serveur. Deux ou quatre cartes se relient par un pont NVLink (jusqu'à 1,8 To/s cumulés et 564 Go de mémoire partagée pour 4 cartes). Les performances sont environ 15 % inférieures au SXM, mais la carte s'installe dans un serveur standard, par 1, 2, 4 ou 8 : idéal pour démarrer ou pour équiper une salle existante.

H200 vs H100 : ce qui change vraiment

Autre point pratique : les serveurs HGX H200 sont compatibles, matériellement et logiciellement, avec les HGX H100. Un hébergeur qui exploite déjà des H100 passe au H200 sans changer d'infrastructure, de drivers ni de pile logicielle (CUDA, TensorRT-LLM, vLLM…).

Puissance, refroidissement et consommation

Un H200 SXM consomme jusqu'à 700 W. Un serveur HGX H200 complet, avec ses 8 GPU, ses deux processeurs, sa mémoire et ses cartes réseau, dépasse les 10 kW : il faut prévoir l'alimentation électrique (quatre blocs de 3 000 W en redondance est une configuration courante) et l'évacuation de la chaleur. Deux approches :

• Refroidissement par air : chaque GPU porte un dissipateur passif à ailettes comme celui du modèle 3D, et une rangée de ventilateurs haute pression traverse le châssis. Simple, mais bruyant et exigeant pour la climatisation de la salle.
• Refroidissement liquide : une plaque froide remplace le dissipateur sur chaque GPU et l'eau évacue la chaleur vers un échangeur. Châssis plus compacts (4U pour 8 GPU), moins de bruit, et une chaleur plus facile à récupérer.

Cette chaleur n'est pas forcément perdue. Comme pour nos projets de minage alimentés par une production d'électricité locale, un serveur IA peut valoriser un surplus d'énergie ou chauffer un bâtiment. Nous étudions ces configurations au cas par cas.

Pour quels usages ?

• Inférence de LLM en production : chatbots, assistants documentaires, génération de code, avec des modèles de 30 à 400 milliards de paramètres. C'est l'usage où le H200 creuse le plus l'écart avec le H100.
• Fine-tuning et entraînement : adaptation d'un modèle à vos données (LoRA, entraînement complet) sur 1 à 8 GPU, ou entraînement de modèles de taille moyenne sur un cluster.
• IA privée et souveraine : faire tourner un assistant IA sur vos propres documents, dans vos locaux, sans qu'aucune donnée ne sorte de l'entreprise.
• Calcul scientifique (HPC) : simulation, dynamique des fluides, génomique, avec les 34 TFLOPS en FP64 et la mémoire pour des jeux de données plus grands.
• Location de puissance de calcul : un serveur H200 se loue à l'heure sur les places de marché GPU ; notre calculateur de rentabilité GPU donne un ordre de grandeur des revenus possibles.

Prix du NVIDIA H200 et disponibilité en France

Le prix d'un H200 dépend du format, du volume et du moment : le marché des GPU IA évolue chaque trimestre. En ordre de grandeur, une carte H200 NVL se négocie entre 30 000 et 45 000 € HT, et un serveur HGX H200 à 8 GPU complet représente plusieurs centaines de milliers d'euros. Les délais varient de quelques jours à plusieurs semaines selon les stocks des constructeurs.

Nous proposons les cartes et serveurs H200 sur devis, ou avec une réservation par acompte intégralement remboursé si le devis ne vous convient pas. Nous dimensionnons la configuration avec vous (nombre de GPU, processeurs, mémoire, réseau, refroidissement), nous livrons un matériel neuf et testé, et nous pouvons l'installer et l'héberger. Pour une première étape plus accessible, nos stations IA à base de cartes professionnelles de 16 à 96 Go démarrent à quelques milliers d'euros.

H200 ou B200 : faut-il attendre Blackwell ?

Le B200 et le B300 (architecture Blackwell) sont plus rapides, en particulier en FP4 pour l'inférence, avec 180 à 288 Go de mémoire par GPU. Mais ils consomment jusqu'à 1 000 W et plus, imposent souvent le refroidissement liquide et coûtent nettement plus cher. En 2026, le H200 garde un excellent rapport performance/prix : écosystème logiciel parfaitement mûr, disponibilité correcte, compatibilité avec les salles serveurs existantes. Pour un projet qui doit tourner cette année, dans une infrastructure déjà en place, c'est souvent le choix raisonnable ; pour un cluster neuf dimensionné pour plusieurs années, nous proposons aussi des serveurs HGX B200 et B300.