LLM
Aussi appelé : grand modèle de langage
Grand modèle de langage : une IA entraînée sur d'immenses volumes de texte, capable de comprendre une demande et d'y répondre, token par token.
LLM est l'abréviation de « Large Language Model », grand modèle de langage en français. C'est un réseau de neurones de type Transformer, entraîné sur des quantités gigantesques de textes pour apprendre les régularités de la langue, du code et des connaissances qu'ils contiennent. Les assistants conversationnels reposent sur ce type de modèle, tout comme des familles de modèles ouverts telles que Llama, Mistral ou Qwen, que l'on peut installer chez soi.
Un LLM fonctionne en prédisant la suite la plus probable d'un texte. Votre question est découpée en tokens, des morceaux de mots, puis le modèle calcule le token suivant, l'ajoute au texte et recommence jusqu'à la fin de la réponse. Ses connaissances sont stockées dans ses paramètres, des milliards de nombres ajustés pendant l'entraînement. Un LLM ne consulte pas Internet de lui-même et peut se tromper avec aplomb : vérifiez toujours ses réponses importantes.
Pour faire tourner un LLM sur votre propre machine, le critère principal est la mémoire vidéo du GPU : elle doit contenir le modèle, selon sa taille et sa quantification, plus une marge pour le contexte. La bande passante de cette mémoire fixe ensuite la vitesse de réponse, en tokens par seconde. Une fois quantifié, un modèle de 7 à 14 milliards de paramètres tient sur une carte de 16 Go ; les modèles plus grands demandent plusieurs GPU ou des cartes professionnelles.
Nos stations IA sont livrées prêtes à l'emploi avec Ollama et Open WebUI : votre LLM fonctionne en local, et vos données restent chez vous.