Fine-tuning
Aussi appelé : entraînement, LoRA
Le fine-tuning consiste à réentraîner un modèle d'IA existant sur vos propres données pour l'adapter à une tâche, un style ou un vocabulaire précis.
Le fine-tuning, ou ajustement fin, part d'un modèle déjà entraîné sur d'énormes quantités de textes ou d'images, puis le fait travailler à nouveau sur un jeu de données plus petit et ciblé. Le modèle garde ses connaissances générales mais apprend un ton, un format de réponse ou un vocabulaire métier : juridique, médical, technique, ou simplement celui de votre entreprise.
Réentraîner tous les paramètres d'un grand modèle demande beaucoup de mémoire et plusieurs GPU haut de gamme. C'est pourquoi des méthodes comme LoRA sont très utilisées : elles figent le modèle d'origine et n'entraînent que de petites matrices ajoutées à côté, quelques millions de paramètres au lieu de plusieurs milliards. Le résultat tient dans un petit fichier que l'on charge par-dessus le modèle de base. Le fine-tuning n'est pas toujours la bonne réponse : pour qu'une IA connaisse vos documents, le RAG est souvent plus simple et plus facile à mettre à jour.
Côté matériel, la quantité de VRAM est le premier critère. Un LoRA sur un modèle de 7 à 8 milliards de paramètres chargé en version quantifiée reste accessible à une carte de 16 Go. Un fine-tuning complet du même modèle demande bien davantage, souvent plusieurs GPU reliés entre eux. Regardez aussi la bande passante mémoire et la prise en charge des formats de calcul récents comme le BF16.
Nous assemblons des stations et des rigs GPU adaptés à l'entraînement comme à l'inférence, et nous vous aidons à dimensionner la mémoire selon les modèles que vous visez.