vLLM

vLLM est un logiciel libre, né à l'université de Berkeley, spécialisé dans l'inférence des grands modèles de langage. Là où Ollama vise la simplicité sur un poste individuel, vLLM vise le débit : on l'utilise pour faire fonctionner des assistants d'entreprise, des API internes ou des services qui reçoivent beaucoup de requêtes simultanées.

Sa technique phare s'appelle PagedAttention. Elle range le cache lié à la fenêtre de contexte en petits blocs, à la manière de la mémoire virtuelle d'un système d'exploitation, ce qui évite de gaspiller la VRAM. Combinée au traitement en continu des requêtes, qui regroupe les demandes de plusieurs utilisateurs dans les mêmes calculs, elle permet de servir bien plus de conversations en parallèle avec le même GPU. vLLM sait aussi répartir un modèle sur plusieurs cartes et propose une API compatible avec la plupart des outils du marché.

vLLM s'utilise surtout sous Linux avec des cartes NVIDIA récentes. Par défaut, il réserve la majeure partie de la VRAM pour son cache : la mémoire disponible détermine directement le nombre d'utilisateurs simultanés et la longueur de contexte possible. Pour un modèle réparti sur plusieurs GPU, une liaison rapide entre les cartes, comme NVLink sur les modèles qui en disposent, améliore les performances. Comptez un peu plus de configuration qu'avec Ollama.

Pour une équipe ou une entreprise, nous pouvons dimensionner une configuration multi-GPU adaptée à vLLM selon le nombre d'utilisateurs prévus.