RAG

RAG signifie Retrieval-Augmented Generation, en français génération augmentée par récupération. Le principe est simple : avant de répondre, l'IA va chercher dans une base de documents les passages qui concernent la question, puis elle s'en sert pour rédiger sa réponse. C'est la technique utilisée par la plupart des assistants documentaires d'entreprise.

Le fonctionnement se fait en deux temps. D'abord l'indexation : les documents sont découpés en morceaux, chaque morceau est converti en embedding, un vecteur qui résume son sens, puis rangé dans une base vectorielle. Ensuite, à chaque question, celle-ci est elle aussi transformée en vecteur, les morceaux les plus proches sont retrouvés et transmis au LLM dans sa fenêtre de contexte. Le modèle ne répond donc plus de mémoire : il s'appuie sur vos textes, peut indiquer ses sources et se trompe beaucoup moins. Ajouter un document suffit pour mettre l'assistant à jour, sans réentraînement.

La qualité dépend autant de la préparation que du matériel : documents propres, scans passés à l'OCR, découpage cohérent et bon modèle d'embedding. Côté machine, il faut faire tourner à la fois le modèle d'embedding et le LLM. Une carte de 16 Go suffit pour démarrer ; davantage de VRAM permet un modèle plus capable et un contexte plus long pour citer plus de passages. Open WebUI intègre déjà une fonction RAG pour faire de premiers essais.

Nous installons dans vos locaux des assistants IA privés connectés à vos documents, avec le matériel, l'installation et l'accompagnement, sur devis.