Comment fonctionne un LLM comme ChatGPT ? Expliqué en 3D

Un LLM, c'est quoi ? Une machine à deviner le mot suivant

ChatGPT, Gemini, Mistral ou Llama sont des LLM, des Large Language Models (grands modèles de langage). Derrière leurs réponses de plusieurs pages, le mécanisme est d'une simplicité déroutante : le modèle lit un texte et calcule, pour chaque mot possible, la probabilité qu'il vienne ensuite. Il en choisit un, l'ajoute au texte, et recommence. Tout le reste, la grammaire, les faits, le raisonnement, émerge de cette seule tâche répétée des milliards de fois pendant l'entraînement.

La visualisation en haut de cette page ne montre pas un schéma de principe mais un vrai modèle : Qwen2.5-0.5B, un modèle ouvert publié par Alibaba, de 494 millions de paramètres, en train de lire la phrase « Le bitcoin a été créé par Satoshi ». Chaque case colorée de la 3D est une valeur réellement calculée par le modèle : en vert les nombres positifs, en orange les négatifs, en cyan et violet les poids appris. Survolez un bloc pour lire la valeur exacte.

Étape 1 : découper la phrase en tokens

Un modèle ne lit ni lettres ni mots, mais des tokens : des morceaux de texte tirés d'un dictionnaire fixe d'environ 150 000 entrées. Les mots fréquents ont leur propre token, les mots rares sont découpés en morceaux. Notre phrase donne 7 tokens, dont « ·bitcoin » et « ·Satoshi » (le point représente l'espace qui précède le mot). « Eiffel » devient en revanche « ·E », « iff » et « el », et le modèle écrira « Nakamoto » en deux fois : « ·Nak » puis « amoto ».

Chaque token est remplacé par son numéro dans le dictionnaire : « ·bitcoin » est le token n° 17 873. À partir de là, le modèle ne manipule plus que des nombres.

Étape 2 : les embeddings, des mots devenus vecteurs

Le numéro sert d'adresse dans une grande table de 151 936 lignes sur 896 colonnes, la table des embeddings. Chaque token y récupère sa ligne : une liste de 896 nombres qui résume ce que le modèle a appris de lui. Des tokens de sens proche ont des vecteurs proches. Ces 136 millions de nombres ne sont pas écrits à la main : ils ont été ajustés pendant l'entraînement, comme tous les autres poids.

Notre phrase devient ainsi un bloc de 7 lignes sur 896 colonnes. C'est ce bloc qui va traverser tout le modèle, en étant enrichi à chaque étage : on l'appelle le flux résiduel, la colonne lumineuse de la 3D.

Étape 3 : l'attention, ou comment les mots se regardent

Pour comprendre « créé par Satoshi », chaque token doit pouvoir aller chercher de l'information chez les autres. C'est le rôle de l'attention, le mécanisme au cœur du transformeur, l'architecture de la quasi-totalité des LLM depuis 2017. Chaque vecteur est d'abord normalisé, puis multiplié par trois matrices de poids pour produire trois nouveaux vecteurs :

• une requête (Q) : ce que le token cherche ;
• une clé (K) : ce qu'il offre aux autres ;
• une valeur (V) : l'information qu'il transmettra s'il est choisi.

Chaque token compare sa requête aux clés de tous les tokens précédents. Plus le produit est grand, plus il « regarde » ce token, et il récupère un mélange des valeurs pondéré par ces scores. Il ne peut jamais regarder les tokens suivants, ce qui donne aux tableaux d'attention leur forme de triangle. La position de chaque mot est injectée en faisant tourner les vecteurs d'un angle qui dépend de leur rang (la technique RoPE).

Le modèle fait ce calcul 14 fois en parallèle, avec 14 têtes qui apprennent chacune à repérer autre chose. Dans notre exemple, au 3^e étage, la tête n° 1 fait porter 87 % de l'attention de « ·Satoshi » sur « ·par ». On observe aussi un phénomène bien connu des chercheurs : en moyenne, 59 % de l'attention du dernier token part sur le tout premier, « Le », qui sert de point de repos quand il n'y a rien d'utile à lire.

Étape 4 : le MLP, la mémoire du modèle

Après l'attention, chaque token passe seul dans un réseau MLP : son vecteur de 896 nombres est projeté vers 4 864 dimensions, filtré par une fonction d'activation (SwiGLU), puis ramené à 896. Ces matrices contiennent près des deux tiers des paramètres du modèle. Les travaux d'interprétabilité suggèrent que c'est en bonne partie là que sont stockées les associations apprises, comme « Satoshi » vers « Nakamoto ».

Le résultat de l'attention comme celui du MLP n'écrase jamais le vecteur : il lui est ajouté. Chaque étage écrit sa contribution dans le flux résiduel, qui accumule l'information de bas en haut.

Étape 5 : 24 étages, et une réponse qui n'arrive qu'à la fin

Attention puis MLP forment un bloc. Qwen2.5-0.5B empile 24 blocs identiques dans leur forme, chacun avec ses propres poids. Les très grands modèles en empilent 80 ou plus, avec des vecteurs de plus de 8 000 nombres.

On peut espionner le modèle en route : à la sortie de chaque étage, on traduit le vecteur du dernier token en mot, comme si le modèle devait répondre tout de suite. C'est la logit lens, affichée à droite de chaque étage dans la 3D. Le résultat est frappant : pendant 22 étages, les propositions n'ont aucun sens (des fragments de code, des caractères chinois), puis la réponse surgit d'un coup. « ·Nak » n'apparaît qu'au 24^e et dernier étage ; pour « La tour Eiffel se trouve à », « ·Paris » apparaît au 23^e.

Étape 6 : choisir le mot suivant, et la température

Le vecteur final est comparé à chacune des 151 936 lignes de la table des embeddings, la même qu'au départ : une par token du dictionnaire. Chaque token obtient un score, transformé en probabilité. Ici, « ·Nak » l'emporte avec 96,4 %, loin devant « ·nak » (0,43 %). Sur la tour Eiffel, le modèle hésite davantage : « ·Paris » à 34,4 %, devant « ·la » à 13,5 %.

Un chatbot ne prend pas toujours le premier choix : il tire au sort selon ces probabilités. La température règle ce hasard. Basse, elle rend le modèle prévisible et répétitif ; haute, elle aplatit les probabilités et le rend plus créatif, jusqu'à l'incohérence. Le curseur de la 3D recalcule les barres en direct.

Étape 7 : générer, un token après l'autre

Le token choisi est ajouté à la phrase, et tout recommence : découpage, embeddings, 24 étages, probabilités. Après « ·Nak », le modèle est sûr à 99,5 % que « amoto » suit, puis il écrit « en 2008 ». Une réponse de ChatGPT de 500 mots, c'est environ 700 passages complets dans le modèle. Pour ne pas tout recalculer à chaque fois, les clés et valeurs déjà calculées sont gardées en mémoire (le KV cache).

Et l'entraînement ?

Personne n'a programmé les 494 millions de poids. Au départ, ce sont des nombres aléatoires. On montre au modèle d'immenses quantités de texte (jusqu'à 18 000 milliards de tokens pour la famille Qwen2.5), on lui demande à chaque position de deviner le token suivant, et l'on corrige légèrement chaque poids dans la direction qui aurait réduit l'erreur. Répétée des milliers de milliards de fois, cette correction suffit à faire émerger la langue et une bonne part des connaissances. Un assistant comme ChatGPT ajoute ensuite une seconde phase d'entraînement sur des conversations, pour apprendre à suivre des consignes.

Pourquoi l'IA a besoin de GPU

Chaque token généré demande environ deux opérations par paramètre : un milliard d'opérations pour notre petit modèle, 140 milliards pour un modèle de 70 milliards de paramètres. Surtout, tous les poids doivent être relus en mémoire à chaque token. C'est la bande passante mémoire, plus que la puissance de calcul, qui limite la vitesse d'un LLM.

C'est exactement pour cela que les GPU d'IA embarquent de la mémoire HBM : le NVIDIA H200 offre 141 Go à 4,8 To/s, ce qui permet de loger un modèle de 70 milliards de paramètres en FP8 sur une seule carte. GPT-3 (175 milliards de paramètres) occupe 350 Go en BF16 et demande au moins trois H200 rien que pour ses poids. Et c'est aussi pour cela qu'une puce de minage ne peut pas faire tourner une IA : un ASIC est câblé pour un seul calcul, alors qu'un LLM enchaîne des multiplications de matrices dont les poids changent à chaque étage. Nous l'expliquons en détail dans ASIC ou GPU : quelle différence ?

Faire tourner un modèle chez soi, sur ses propres serveurs, garde les données dans l'entreprise. Nous concevons ces machines, de la station de travail au serveur 8 GPU : voir nos serveurs GPU pour l'IA et notre assistant IA privé.

Les modèles derrière ChatGPT sont bien plus grands et leurs détails ne sont pas publics, mais ils appartiennent à la même famille que celui de cette page, le transformeur décodeur, décrite publiquement jusqu'à GPT-3. Une question sur l'IA ou sur le matériel qui la fait tourner ? Appelez-nous au +33 6 32 49 26 41.