LLM locaux pour entreprises : ce que c'est, quand ça rapporte et comment en opérer un
Un LLM local est un grand modèle de langage qui tourne sur une infrastructure que vous contrôlez : un serveur dans vos bureaux, une baie dans un centre de données canadien ou un nuage privé sans points d'accès partagés. Vos requêtes, vos documents et les réponses du modèle ne franchissent jamais cette frontière. C'est le cœur pratique de l'IA souveraine, et c'est maintenant à la portée des moyennes entreprises, pas seulement des banques et des gouvernements.
Deux choses ont rendu cela possible. Les modèles à poids ouverts comme Llama, Mistral, Qwen et Gemma égalent désormais les modèles infonuagiques généralistes d'il y a dix-huit mois sur la plupart des tâches d'affaires. Et les petits modèles de langage (SLM) de 3 à 14 milliards de paramètres tournent bien sur un seul GPU de station de travail, ce qui veut dire qu'un déploiement sérieux n'exige plus un budget de centre de données.
Quand un LLM local rapporte
La sensibilité. Si le modèle doit lire des dossiers clients, des contrats, des notes de patients, des plans d'ingénierie, des configurations réseau ou quoi que ce soit visé par la Loi 25 ou par les clauses de confidentialité d'un client, l'envoyer à une API publique est une discussion que vous préférez éviter avec votre service juridique. Un modèle local règle la question.
Le volume. Les modèles infonuagiques facturent au jeton. À quelques centaines de requêtes par jour, la facture est négligeable; à des dizaines de milliers de requêtes par jour, ou quand chaque requête transporte un long document, un déploiement local peut coûter moins cher dès la première année, avec un montant mensuel prévisible plutôt qu'une courbe d'utilisation.
La latence et la disponibilité. Un modèle qui tourne à côté de vos systèmes répond en quelques dizaines de millisecondes et continue de fonctionner pendant une panne du fournisseur ou un incident de limitation de débit. Pour les agents vocaux et tout ce qui se trouve sur un plancher d'usine, c'est la différence entre un outil auquel les gens font confiance et un outil qu'ils contournent.
La spécialisation. Un petit modèle ajusté à votre terminologie, qui puise dans vos documents approuvés, bat souvent un modèle généraliste beaucoup plus gros sur vos tâches réelles, parce qu'il est jugé sur vos exemples, pas sur Internet.
Quand ce n'est pas le bon choix
Si vos données ne sont pas sensibles, que vos volumes sont modestes et que le travail est générique (rédiger, résumer, traduire du matériel public), une API gérée est moins chère et plus simple. La réponse honnête, c'est que bien des entreprises devraient commencer là et migrer vers un modèle local les flux de travail sensibles et à fort volume une fois qu'ils existent.
Ce qu'il faut concrètement pour en opérer un
Le matériel. Un GPU de 24 à 48 Go de mémoire sert un modèle de 7 à 14 milliards de paramètres à une équipe; deux à quatre GPU servent un modèle de 70 milliards de paramètres ou une plus forte concurrence d'utilisateurs. Les cartes d'entreprise d'occasion et les GPU de station de travail ramènent ce coût en capital à quelques dizaines de milliers de dollars, pas à des centaines.
Le service. Un serveur d'inférence (vLLM, llama.cpp, Ollama ou TensorRT-LLM) expose le modèle derrière une API semblable aux API publiques, de sorte que les applications se moquent de l'endroit où vit le modèle. La recherche documentaire se place à côté : vos documents, indexés et soumis aux permissions, pour que le modèle réponde à partir du savoir approuvé plutôt que de mémoire.
L'évaluation. Avant toute mise en service, un ensemble de vraies questions avec des réponses connues, noté chaque fois que le modèle, les consignes ou les documents changent. C'est l'étape que la plupart des projets sautent, et celle qui décide si les gens utilisent encore le système après la deuxième semaine.
L'exploitation. Mises à jour du modèle, contrôle d'accès, journalisation, sauvegardes et une personne désignée qui en est responsable. Un modèle local est un système que vous opérez, pas un abonnement qu'on oublie.
Les trois questions à régler d'abord
Quel flux de travail, précisément, et à quoi ressemble la réussite dans ce flux? Quelles données le modèle doit-il voir, et qui a le droit de voir les réponses? Et combien coûte chaque mois la façon de faire actuelle, pour que le projet soit jugé contre un vrai chiffre? Une fois ces questions réglées, un premier déploiement local est un projet de six à dix semaines, et il commence par une conversation de 30 minutes.