Embedding
Aussi appelé : vecteur
Un embedding est un vecteur, une liste de nombres, représentant le sens d'un mot, d'une phrase ou d'un document : deux textes proches ont des vecteurs proches.
Un ordinateur ne comprend pas les mots, il manipule des nombres. Un embedding, ou plongement en français, traduit un élément, qu'il s'agisse d'un token, d'une phrase, d'un paragraphe ou même d'une image, en un vecteur de plusieurs centaines ou milliers de nombres. Ces nombres placent l'élément dans un espace mathématique où la distance reflète la ressemblance de sens.
Les embeddings sont partout dans l'IA. À l'intérieur d'un LLM, chaque token est d'abord converti en vecteur avant de traverser les couches du Transformer. À l'extérieur, des modèles d'embedding dédiés servent à la recherche sémantique : « panne de ventilateur » et « le ventilo ne tourne plus » obtiennent des vecteurs voisins alors qu'ils n'ont presque aucun mot en commun. C'est le socle du RAG : les documents sont transformés en vecteurs et stockés dans une base vectorielle, ce qui permet de retrouver en une fraction de seconde les passages qui répondent à une question.
Pour un assistant documentaire, le choix du modèle d'embedding compte autant que celui du LLM : il doit bien gérer le français et le vocabulaire de votre métier. Ces modèles sont bien plus petits qu'un LLM et tournent sans difficulté à ses côtés sur le même GPU, mais la vectorisation initiale de grandes archives profite d'une carte rapide. Attention : si vous changez de modèle d'embedding, il faut revectoriser tous les documents.
Lorsque nous installons un assistant IA privé, nous mettons en place la vectorisation de vos documents avec un modèle adapté au français.