Quel serveur pour une IA locale en entreprise ?

La taille du modèle fixe la mémoire nécessaire : en compression 4 bits (Q4_K_M), un modèle de 8 milliards de paramètres occupe environ 5 Go, un modèle de 32 milliards environ 20 Go.

Trois autres critères s'ajoutent :

• Le nombre d'utilisateurs simultanés. Chaque requête parallèle consomme sa propre mémoire de contexte : quatre requêtes avec un contexte de 2K font passer l'usage d'environ 5-6 Go à 6-7 Go (Hostinger).
• La longueur des documents traités. Plus le contexte est long, plus la mémoire nécessaire augmente, ce qui compte pour la recherche documentaire (RAG).
• Le budget et l'exploitation : achat du matériel, électricité, maintenance, mises à jour des modèles.

Le bon point de départ dépend du nombre d'utilisateurs et de la taille du modèle. Les trois profils ci-dessous reprennent les paliers de mémoire du tableau précédent ; les prix ne figurent pas ici, car ils dépendent du matériel et du fournisseur et se chiffrent au cadrage.

Ces profils sont des ordres de grandeur de dimensionnement, pas des recommandations d'achat : le test sur vos propres documents et vos propres questions reste l'étape qui tranche.

Ollama convient aux petits groupes, vLLM aux usages simultanés plus nombreux. Selon Red Hat (12 mai 2026), Ollama sert surtout le développement local, l'expérimentation et un petit nombre d'utilisateurs, où les requêtes supplémentaires attendent dans une file. vLLM vise les environnements de production à forte charge, mais suppose des équipes techniques expérimentées.

• Ollama : installation simple, bien adapté à un poste dédié ou à un pilote.
• vLLM : à prévoir dès que l'assistant devient un service partagé par de nombreux utilisateurs.
• Open WebUI : l'interface de discussion en navigateur que les collaborateurs utilisent ; elle se branche sur l'un ou l'autre.

Le seuil exact d'utilisateurs simultanés où vLLM devient préférable varie selon le modèle et la carte ; il se mesure sur votre configuration plutôt qu'il ne se lit dans un tableau.

Le choix se joue sur trois questions : où doivent rester les données, quel investissement initial est acceptable, et qui assure l'exploitation. Le tableau compare les trois options sans chiffres, car les coûts dépendent du matériel et du fournisseur retenus.

La mission ITA compare ces options sur vos volumes réels et vous remet un comparatif de coûts et de performances avec les solutions en ligne.

Héberger le modèle sur vos serveurs supprime l'envoi des données à un service externe, mais ne dispense pas des obligations de conformité. Chaque point ci-dessous renvoie à son texte.

• Données personnelles. Le RGPD s'applique dès que l'assistant traite des données personnelles, y compris en interne : principes de l'article 5, protection des données dès la conception (article 25), sécurité du traitement (article 32). Règlement (UE) 2016/679.
• Analyse d'impact. Un usage à risque élevé pour les personnes (RH, santé, par exemple) peut exiger une analyse d'impact (article 35 du RGPD).
• Sous-traitance. Si un prestataire installe ou maintient le serveur avec accès aux données, un contrat de sous-traitance est requis (article 28 du RGPD). Un cloud souverain européen suppose aussi de vérifier l'absence de transfert hors Union (articles 44 à 46).
• Position de la CNIL. La CNIL rappelle que le RGPD s'applique aux systèmes d'IA traitant des données personnelles et que certains modèles, dont les grands modèles de langage, peuvent contenir des données personnelles (CNIL, 7 février 2025).
• Formation des utilisateurs. L'article 4 du règlement (UE) 2024/1689 (AI Act), applicable depuis le 2 février 2025, impose de prendre des mesures pour favoriser la maîtrise de l'IA du personnel ; l'omnibus numérique, règlement (UE) 2026/1744 en vigueur depuis le 27 juillet 2026, en a reformulé le texte (donneespersonnelles.fr).
• Transparence. Si l'assistant dialogue avec des personnes, l'article 50 de l'AI Act, applicable depuis le 2 août 2026, impose de les informer qu'elles échangent avec une IA (donneespersonnelles.fr).

Peut-on démarrer sur un ordinateur sans carte graphique dédiée ?

Oui pour tester, mais Ollama reporte alors une partie du modèle sur la mémoire de l'ordinateur et les performances baissent nettement (Evetech). Un pilote vaut mieux sur une carte de 8 Go ou plus.

Quel modèle choisir pour commencer ?

Un modèle de 7 à 8 milliards de paramètres en compression 4 bits tient sur une carte de 8 Go (Hostinger). Il couvre la rédaction, les résumés et les questions sur documents simples.

Ollama ou vLLM ?

Ollama pour un petit groupe, vLLM quand l'assistant devient un service partagé (Red Hat).

Les données quittent-elles l'entreprise ?

Avec un modèle hébergé sur vos serveurs, elles ne sont pas envoyées à un service externe. Les obligations du RGPD restent à respecter, comme indiqué plus haut.

Combien de temps pour un premier assistant opérationnel ?

Un pilote se déploie en 3 à 6 semaines dans le cadre de la mission ITA.