Transformer

Le Transformer est une architecture de réseau de neurones présentée en 2017 par des chercheurs de Google dans l'article « Attention Is All You Need ». Elle est aujourd'hui à la base de presque tous les grands modèles de langage, comme GPT, Llama, Mistral ou Gemini, et sert aussi pour la traduction, la vision par ordinateur et la reconnaissance vocale.

Son idée centrale est le mécanisme d'attention. Le texte est découpé en tokens, chaque token est transformé en vecteur, puis le modèle calcule pour chacun l'importance de tous les autres. Dans « le mineur chauffe car il tourne à pleine charge », l'attention aide à comprendre que « il » désigne le mineur. Ces calculs se font en parallèle, sous forme de grandes multiplications de matrices, ce qui explique pourquoi les GPU et leurs Tensor Cores sont si efficaces pour faire tourner un Transformer. Un modèle empile des dizaines de couches de ce type.

Deux caractéristiques d'un modèle comptent pour choisir une machine. Son nombre de paramètres fixe la mémoire nécessaire pour le charger. Sa fenêtre de contexte pèse aussi, car le coût de l'attention et la mémoire du cache augmentent avec la longueur du texte traité. Un GPU doté de beaucoup de VRAM et d'une bande passante mémoire élevée produira plus de tokens par seconde.

Notre page consacrée au fonctionnement d'un LLM montre pas à pas ce qui se passe dans un Transformer, du découpage en tokens jusqu'au choix du mot suivant.