Ollama

Ollama est un outil libre qui simplifie l'utilisation des grands modèles de langage en local. Une seule commande suffit pour télécharger un modèle ouvert, comme Llama, Mistral, Qwen, Gemma ou DeepSeek, puis pour dialoguer avec lui dans un terminal. Il fonctionne sous Linux, Windows et macOS et détecte automatiquement les cartes graphiques compatibles.

Ollama s'appuie notamment sur le moteur llama.cpp et sur des modèles au format GGUF, le plus souvent quantifiés pour réduire la mémoire nécessaire. Il gère le chargement du modèle sur le GPU, répartit les couches entre la VRAM et la mémoire vive si la carte est trop petite, et expose une API locale. D'autres logiciels, comme Open WebUI, des éditeurs de code ou des outils d'automatisation, peuvent ainsi s'y connecter comme ils le feraient avec un service en ligne, sans que les données quittent la machine.

Pour en profiter pleinement, le modèle doit tenir entièrement dans la VRAM : dès qu'une partie déborde en mémoire vive, la vitesse chute fortement. Sur une carte de 16 Go, visez des modèles jusqu'à environ 14 milliards de paramètres en quantification 4 bits. Avec deux cartes, Ollama sait répartir un modèle plus gros. Il est idéal pour un usage personnel ou une petite équipe ; pour servir de nombreux utilisateurs simultanés, vLLM est souvent plus adapté.

Nos stations IA sont livrées avec Ollama déjà installé et configuré, associé à Open WebUI, pour démarrer dès la première mise sous tension.