VRAM
Aussi appelé : mémoire vidéo
Mémoire intégrée à une carte graphique, où le GPU stocke les données qu'il traite. En IA, sa capacité fixe la taille des modèles utilisables.
La VRAM, ou mémoire vidéo, est la mémoire installée directement sur la carte graphique, autour du processeur graphique. Elle est séparée de la mémoire vive de l'ordinateur et beaucoup plus rapide. On la mesure en gigaoctets : 8 Go sur une carte d'entrée de gamme, plusieurs dizaines sur les cartes professionnelles, et plus de 100 Go sur certains GPU de centre de données.
Pour l'intelligence artificielle, la VRAM est souvent le critère numéro un. Un modèle de langage doit tenir en mémoire, avec ses paramètres, son cache de contexte et les données en cours de traitement. À titre d'ordre de grandeur, chaque milliard de paramètres occupe environ 2 Go en précision 16 bits, et deux à quatre fois moins une fois quantifié. Si la VRAM est insuffisante, le modèle ne se charge pas ou devient très lent. Pour le minage, la quantité de VRAM compte aussi pour certains algorithmes gourmands en mémoire.
Dans une fiche produit, regardez la capacité de VRAM, son type, par exemple GDDR7 ou HBM, et sa bande passante. Pour faire tourner un modèle en local, partez de la taille du modèle visé et ajoutez une marge pour la fenêtre de contexte. Avec plusieurs GPU, la mémoire peut être répartie entre les cartes, mais la liaison entre elles devient alors importante.
Notre collection de GPU pour l'IA et notre page dédiée vous aident à choisir la quantité de VRAM adaptée à vos modèles.