Fenêtre de contexte
Aussi appelé : contexte
La fenêtre de contexte est la quantité maximale de texte, comptée en tokens, qu'un modèle d'IA prend en compte en une fois : consignes, documents et réponse.
Un modèle de langage ne lit pas un texte de façon illimitée. À chaque requête, il reçoit un ensemble de tokens : les instructions, l'historique de la conversation, les éventuels documents joints, puis la réponse qu'il génère. La fenêtre de contexte est la taille maximale de cet ensemble. Elle s'exprime en tokens, par exemple 8 000, 32 000 ou 128 000. Un mot courant fait souvent un seul token, un mot long ou rare en fait plusieurs.
Tout ce qui dépasse la fenêtre est ignoré : dans une longue discussion, le modèle finit par « oublier » le début. C'est une mémoire de travail, pas une mémoire permanente. Une grande fenêtre permet d'analyser un contrat entier ou une longue base de code en une seule fois, mais elle coûte cher en calcul et en mémoire, car le modèle conserve pour chaque token des données intermédiaires appelées cache clé-valeur.
Sur une machine locale, c'est souvent la VRAM qui limite la fenêtre réellement utilisable, bien avant la limite théorique du modèle. Un modèle qui tient dans 16 Go avec un contexte court peut ne plus tenir avec un contexte de 64 000 tokens. Des outils comme Ollama ou vLLM permettent de régler cette longueur. Pour exploiter de gros volumes de documents, le RAG évite de tout charger d'un coup en ne transmettant au modèle que les passages utiles.
Quand nous configurons une station IA, nous tenons compte de la longueur de contexte dont vous avez besoin pour choisir la quantité de mémoire GPU.