Inférence
Phase où un modèle d'IA déjà entraîné est utilisé pour répondre : générer un texte, analyser un document ou une image. C'est l'usage quotidien d'une IA.
L'inférence désigne l'utilisation d'un modèle d'IA une fois son entraînement terminé. Chaque fois que vous posez une question à un assistant, que vous faites résumer un document ou décrire une image, le modèle réalise une inférence : il applique ce qu'il a appris, sans modifier ses paramètres. C'est l'inverse de l'entraînement, qui sert à construire le modèle et demande des ressources bien plus lourdes.
Pour un modèle de langage, l'inférence se déroule en deux temps. D'abord, le modèle lit l'ensemble de votre demande d'un seul coup : cette étape sollicite surtout la puissance de calcul. Ensuite, il génère la réponse token par token, en relisant à chaque fois tous ses paramètres en mémoire : cette étape dépend surtout de la bande passante de la mémoire du GPU. C'est pourquoi un GPU doté d'une mémoire très rapide répond plus vite, même à puissance de calcul comparable.
Bonne nouvelle : l'inférence est à la portée d'une seule machine. Pour un usage personnel ou une petite équipe, une station avec une ou deux cartes graphiques suffit pour de nombreux modèles. Pour servir des dizaines d'utilisateurs simultanés, on passe à un serveur multi-GPU et à un logiciel optimisé comme vLLM. Les critères à vérifier sont la mémoire vidéo, sa bande passante, les précisions prises en charge et la consommation électrique.
Nos stations IA et nos serveurs GPU sont pensés pour l'inférence en local : vos données restent dans vos murs, sans abonnement à un service en ligne.