Hopper
Architecture de GPU NVIDIA pour centres de données présentée en 2022, celle des H100 et H200. Elle a introduit le FP8 et le Transformer Engine.
Hopper est l'architecture de GPU que NVIDIA a présentée en 2022 pour les centres de données, du nom de l'informaticienne Grace Hopper. Elle équipe les H100 et H200, ainsi que la puce GH200, qui associe un GPU Hopper à un processeur Grace. Elle a pris la suite d'Ampere, l'architecture de l'A100, avant d'être elle-même remplacée par Blackwell.
Hopper a marqué un tournant pour l'IA générative. Ses Tensor Cores de quatrième génération gèrent la précision FP8, et son Transformer Engine choisit automatiquement entre FP8 et FP16 selon les couches du modèle, ce qui accélère nettement l'entraînement et l'inférence des modèles de type Transformer. Elle apporte aussi NVLink de quatrième génération, à environ 900 Go/s par GPU, et la mémoire HBM3.
Entre H100 et H200, la puissance de calcul est identique : la différence tient à la mémoire. Le H100 SXM dispose de 80 Go de HBM3, le H200 de 141 Go de HBM3e avec une bande passante d'environ 4,8 To/s. Pour faire tourner de grands modèles de langage, c'est souvent la mémoire qui limite, et le H200 permet alors de charger des modèles plus gros ou de traiter plus de requêtes en parallèle. Sur une fiche produit, vérifiez aussi le format, SXM ou PCIe, et la génération de NVLink.
Nous proposons des configurations à base de H200 sur devis, avec un acompte de réservation remboursé si vous renoncez.