Token

Un token est le petit morceau de texte avec lequel travaille un modèle de langage. Avant d'être traité, tout texte est découpé par un outil appelé tokenizer : un mot courant forme souvent un seul token, tandis qu'un mot long, rare ou composé est coupé en plusieurs morceaux. La ponctuation, les espaces et les chiffres ont aussi leurs tokens. Chaque modèle possède son propre vocabulaire, de quelques dizaines de milliers à plus de cent mille tokens.

Tout se compte en tokens. Le modèle génère sa réponse un token à la fois, chacun dépendant de tous ceux qui le précèdent. La fenêtre de contexte, c'est-à-dire la quantité de texte que le modèle peut prendre en compte en même temps, s'exprime en tokens. Et les services d'IA en ligne facturent généralement à l'usage, selon le nombre de tokens envoyés et reçus. En français, un texte compte en général un peu plus de tokens que de mots.

Pour juger une machine d'IA locale, l'indicateur clé est la vitesse de génération en tokens par seconde. Elle dépend surtout de la bande passante de la mémoire du GPU et de la taille du modèle. Au-delà d'une vingtaine de tokens par seconde, le texte s'affiche plus vite qu'on ne le lit. Regardez aussi la vitesse de lecture du prompt, importante quand vous soumettez de longs documents à analyser.

Avec une station IA chez vous, plus de facturation au token : vous utilisez votre modèle autant que vous le souhaitez, et le coût d'usage se limite à l'électricité consommée.