🏭 Scénario D : Datacenter (RoCE & Multi-GPU)
Votre client est un grand compte, un hébergeur cloud souverain ou une institution publique. Le cahier des charges est implacable : il faut héberger un modèle de la classe 70B ou un géant MoE de 300B à plus de 1T de paramètres, et surtout, pouvoir servir des dizaines, voire des centaines d’utilisateurs en même temps avec un temps de réponse instantané.
Le Scénario B (l’Appliance) s’étoufferait sous la charge concurrente, et le Scénario C (Cluster Exo) a un TTFT beaucoup trop lent. Pour la production massive, il n’y a pas de secret : il faut basculer sur l’architecture standard des Datacenters IA.
🏗️ L’Architecture Matérielle
Ici, l’unité de base n’est plus la carte graphique, mais le Nœud Serveur (Node) et le Réseau Fabric.
- Le Nœud (Scale-Up) : Un serveur format rack (ex: architecture NVIDIA HGX) contenant 8 GPU de classe Datacenter (NVIDIA H200, B200 ou B300 ; AMD Instinct MI350X/MI455X)1. Contrairement à un PC classique, ces 8 puces ne communiquent pas via PCIe, mais via un NVLink et un NVSwitch. Ce bus permet aux puces de s’échanger des données à 1 800 Go/s (sur Blackwell)2.
- Le Réseau (Scale-Out) : Pour relier plusieurs nœuds entre eux, on utilise des cartes réseau à très haut débit (400 Gbps ou 800 Gbps) compatibles RDMA. Le standard est InfiniBand ou RoCEv2 (RDMA over Converged Ethernet)3.
- Le Stockage : Un stockage flash NVMe distribué accessible en GPUDirect Storage, pour charger les To de poids du modèle en quelques secondes au démarrage.
Budget estimé (T4 2026) : d’environ 280 000 € (nœud HGX H200, 300–420 k$ selon des estimations tierces, sur devis) à plus d’1 million d’euros par nœud (GB300 sur devis)4, hors coûts d’infrastructure réseau, d’énergie et de refroidissement. Un serveur 8× RTX PRO 6000 (prix public OEM 266 k$, ~250 000 €) coûte moins cher, mais ses GPU communiquent en PCIe, sans NVLink ni NVSwitch : c’est une variante PCIe qui ne bénéficie pas du Tensor Parallelism NVLink décrit ci-dessous.
⚙️ La Stack Logicielle et le Mécanisme
Cette débauche de matériel exige des moteurs d’inférence capables de l’exploiter à la milliseconde près : vLLM (≥ 0.34.0 au T4 2026, plancher de sécurité, voir Sécurité ; vllm serve) ou le SDK officiel TensorRT-LLM (trtllm-serve ; au T4 2026, figer en production la 1.3.0, stable depuis le 20 novembre 2026, plutôt que les release candidates 1.4, et désactiver la télémétrie activée par défaut depuis la 1.3 avec TRTLLM_NO_USAGE_STATS=1)5. L’orchestration multi-nœuds est gérée par Ray (Ray Serve LLM, GA depuis la 2.59 avec routage sensible au KV cache)6.
La Magie du Tensor Parallelism
Sur le Cluster Mac (Scénario C), nous avions vu le Pipeline Parallelism (découpage couche par couche), qui augmente la latence. Dans un nœud HGX, l’incroyable vitesse du NVLink permet d’utiliser le Tensor Parallelism (TP). Une seule et même opération mathématique (une matrice) est découpée et calculée en même temps par les 8 GPU.
- Résultat : Les 8 cartes agissent comme un seul GPU géant. La latence de génération s’effondre, et les tokens/s explosent, même sur un modèle massif.
Formats Extrêmes (FP4)
Si vous déployez des puces NVIDIA Blackwell (B200), le logiciel utilisera nativement la quantification FP4 ou FP8. Cela permet de faire tenir des modèles gigantesques dans un seul nœud de 8 GPU — DeepSeek V4.1 Flash ou GLM-5.3 (~760 Go en FP8) dans 8× H200, Kimi K3 (~1,5 To en MXFP4) dans 8× B300 ou 16× H2007 — évitant ainsi de devoir traverser le réseau RoCE pour chaque calcul8.
Le Piège de l’Ingénierie Réseau (Le drame RoCE)
📋 Le Verdict de l’Architecte
✅ Quand utiliser ce Blueprint ?
- La production à l’échelle : C’est la seule architecture viable pour servir de véritables applications SaaS souveraines (comme un ChatGPT d’entreprise interne pour 1 000 salariés).
- Le besoin de garanties (SLA) : Quand le TTFT doit toujours rester inférieur à 500 ms, quel que soit le nombre d’utilisateurs connectés.
❌ Quand fuir ce Blueprint ?
- Si vous n’avez pas d’ingénieur réseau dédié. L’exploitation d’un fabric RoCE/InfiniBand et d’un cluster Ray demande des compétences d’administration très pointues, souvent issues du monde du Calcul Haute Performance (HPC).
- Contraintes de datacenter : Ces machines sont des radiateurs géants. Une baie classique ne peut souvent pas refroidir un tel nœud sans un aménagement lourd (Direct Liquid Cooling).
📊 Monitoring recommandé
Le scénario D est le seul blueprint qui justifie un monitoring outillé en production : métriques vLLM, stack Prometheus + Grafana, dashboards et alertes sont dans 📊 Monitoring de la stack d'inférence. Compléments propres à ce blueprint :
GPU et VRAM (par nœud) :
# Surveillance en temps réel de tous les GPUwatch -n 1 nvidia-smi
# Format CSV pour export Prometheusnvidia-smi --query-gpu=timestamp,name,utilization.gpu,utilization.memory,\memory.used,memory.free,temperature.gpu,power.draw \--format=csv -l 5Réseau (RoCE/InfiniBand) :
# Compteurs RDMA (erreurs, retransmissions)rdma statistic show
# Perte de paquets sur interface RoCEethtool -S <interface> | grep -E "rx_discards|tx_discards"Storage Wall — temps de boot SSD→VRAM (impact sur le MTTR)
Le “Memory Wall” couvre les performances en régime permanent. Le “Storage Wall” couvre les redémarrages : chaque restart vLLM impose de recharger les poids du modèle depuis le SSD vers la VRAM.
| Modèle | Taille BF16 | SSD PCIe 3.0 (3 Go/s) | SSD NVMe PCIe 5.0 (10 Go/s) | GPUDirect Storage |
|---|---|---|---|---|
| 70B | ~140 Go | ~47 secondes | ~14 secondes | ~8 secondes |
| 405B | ~810 Go | ~4,5 minutes | ~81 secondes | ~45 secondes |
Pour un SLA datacenter avec objectif de MTTR (Mean Time To Recovery) sous 2 minutes, un 405B en BF16 sur SSD PCIe 3.0 est incompatible avec cet objectif. Solutions :
- NVMe PCIe 5.0 en RAID 0 : doublement du débit séquentiel (~20 Go/s réels), MTTR < 45 secondes sur un 405B
- GPUDirect Storage (NVIDIA Magnum IO) : transfert direct SSD→VRAM sans copie CPU, réduit la charge système et améliore le débit9
- Modèle quantifié : un 405B en Q4 (~230 Go) réduit le temps de chargement de ~65% vs BF16
- Préchargement vLLM : depuis vLLM 0.31 (octobre 2026),
vllm preloadlance un démon qui garde les poids déjà quantifiés en mémoire GPU d’un redémarrage du moteur à l’autre (avec un endpoint/health) ; cela raccourcit les redémarrages de service, pas un redémarrage de la machine ni une panne GPU10
🛡️ Haute Disponibilité et Reprise (DRP)
Le Blueprint D est le seul scénario pour lequel un PRA formel est justifié économiquement. Un downtime de 2 heures sur un nœud HGX en production représente un coût opérationnel et réputationnel significatif.
Stratégies HA par composant
| Composant | Stratégie HA | Notes |
|---|---|---|
| vLLM | Double instance avec load balancer (Nginx / HAProxy) | Rolling restart pour les mises à jour sans downtime |
| Qdrant cluster | Mode distribué (3 nœuds minimum) avec réplication | Qdrant supporte nativement le sharding et la réplication |
| PostgreSQL / SQLite | Streaming replication (Postgres) ou WAL archiving | SQLite insuffisant en production D — migrer vers Postgres |
| Stockage modèles | NVMe RAID 0 + snapshot quotidien vers NAS ou S3 souverain | GPUDirect Storage nécessite un chemin dédié, à exclure du RAID logiciel |
| Réseau RoCE | Redondance de switch (dual-spine) + monitoring PFC/ECN actif | Une perte de paquet non contrôlée s’effondre silencieusement |
Objectifs RTO / RPO
| Incident | RTO cible | RPO cible | Action |
|---|---|---|---|
| Crash process vLLM | < 2 min | 0 (sans perte de données) | Redémarrage automatique (systemd / Docker restart policy) |
| Panne GPU unique (8 GPU) | < 5 min | 0 | Tensor Parallelism réduit à 7 GPU le temps du remplacement |
| Panne nœud complet | < 30 min | < 15 min | Bascule sur nœud de secours pré-configuré |
| Corruption base vectorielle | < 1 h | < 1 h | Restauration depuis snapshot Qdrant le plus récent |
| Sinistre salle (incendie, inondation) | < 4 h | < 24 h | Réplication hors-site (datacenter secondaire ou cloud souverain) |
Sauvegarde quotidienne minimale
# Snapshot Qdrant (toutes les collections)curl -X POST http://localhost:6333/snapshots
# Export Postgres (historiques, métadonnées agents)pg_dump -Fc ia_on_prem_db > /backup/$(date +%F)_pg.dump
# Copie hors-site (exemple rsync vers NAS secondaire)rsync -az /backup/ nas-secondary:/ia-on-prem-backup/📚 Sources et Références
Footnotes
-
NVIDIA Newsroom, NVIDIA Announces Financial Results for Second Quarter Fiscal 2027 (Blackwell Ultra B300 / GB300 expédiés ; Vera Rubin « en pleine production », alloué d’abord aux grands clouds), 26 août 2026. https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-second-quarter-fiscal-2027 · AMD, AAI 2026: AMD Delivers Full-Stack Compute for the Agentic AI Era (MI350X disponible, rack Helios / MI455X « en production », premiers racks 2H 2026), 23 juillet 2026. https://ir.amd.com/news-events/press-releases/detail/1294/aai-2026-amd-delivers-full-stack-compute-for-the-agentic-ai-era ↩
-
NVIDIA Technical Blog, NVIDIA NVLink and NVIDIA NVSwitch Supercharge Large Language Model Inference (Architecture HGX, Blackwell NVLink 1.8 TB/s), 2024-2026. https://developer.nvidia.com/blog/nvidia-nvlink-and-nvidia-nvswitch-supercharge-large-language-model-inference/ ↩
-
NVIDIA, RDMA over Converged Ethernet - RoCE | Cumulus Linux (Importance critique du PFC/ECN pour éviter l’effondrement des performances LLM), 2026. https://docs.nvidia.com/networking-ethernet-software/cumulus-linux/Layer-1-and-Switch-Ports/Quality-of-Service/RDMA-over-Converged-Ethernet-RoCE/ ↩ ↩2
-
AMD, AAI 2026 — note 8 (serveur 8× RTX PRO 6000 au prix public OEM de 265 928 $ au 2026-07-16 ; serveur MI350P estimé 327 238 $), 23 juillet 2026. https://ir.amd.com/news-events/press-releases/detail/1294/aai-2026-amd-delivers-full-stack-compute-for-the-agentic-ai-era · NVIDIA HGX H200 et DGX B300 : pas de prix catalogue public, estimations tierces 300–420 k$ (H200) et ≈ 400 k$ US (B300), sur devis. ↩
-
NVIDIA, TensorRT-LLM — Release v1.3.0 (première version stable de la ligne 1.3 après 30 RC ; télémétrie d’usage activée par défaut, désactivable par
TRTLLM_NO_USAGE_STATS=1), 20 novembre 2026. https://github.com/NVIDIA/TensorRT-LLM/releases/tag/v1.3.0 · PyPI, tensorrt-llm (1.4.0rc0 → 1.4.0rc4, octobre–novembre 2026), relevé le 2026-11-19. https://pypi.org/project/tensorrt-llm/ · NVIDIA, TensorRT-LLM Release Notes (backend TensorRT retiré en 1.2, PyTorch par défaut,trtllm-serve). https://nvidia.github.io/TensorRT-LLM/release-notes.html · vLLM Project, Release v0.34.0 (plancher de sécurité au T4 2026 : corrige l’avis GHSA-xgh8-qwjh-q853 et reprend les correctifs de la 0.33.0), 16 novembre 2026. https://github.com/vllm-project/vllm/releases/tag/v0.34.0 ↩ -
Ray Project, Release ray-2.59.0 (Ray Serve LLM GA : routage KV-aware, désagrégation prefill/decode, vLLM figé en 0.27.0), 2 octobre 2026. https://github.com/ray-project/ray/releases/tag/ray-2.59.0 ↩
-
DeepSeek AI, DeepSeek-V4.1-Flash (≈ 763 Go en FP8, MIT), septembre 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash · Moonshot AI, Kimi K3 (poids MXFP4 natifs, ≈ 1,4–1,56 To), juillet 2026. https://huggingface.co/moonshotai/Kimi-K3 ↩
-
NVIDIA Technical Blog, Optimizing Inference for Long Context and Large Batch Sizes with NVFP4 KV Cache (Blackwell, TensorRT-LLM natif), Décembre 2025. https://developer.nvidia.com/blog/optimizing-inference-for-long-context-and-large-batch-sizes-with-nvfp4-kv-cache/ ↩
-
NVIDIA, GPUDirect Storage Overview (transfert direct NVMe→VRAM, sans copie CPU, Magnum IO). https://developer.nvidia.com/gpudirect-storage ↩
-
vLLM Project, Release v0.31.0 (
vllm preload: démon qui conserve les poids post-quantifiés en mémoire GPU entre redémarrages du moteur, #56680, #58552), 2026-10-05. https://github.com/vllm-project/vllm/releases/tag/v0.31.0 ↩
Références entrantes
- 🏗️ Architectures Possibles
- 🏭 Serveurs rack GPU
- 💰 Comparaison TCO : On-Premise vs Cloud API
- 📊 Monitoring de la stack d'inférence
- 🔒 Souveraineté & Confidentialité
- 🖥️ Index — Le Matériel
- 🖥️ Scénario C : Le Cluster Bureau (Exo & Thunderbolt)
- 🗺️ Choisir son modèle local
- 🤖 Agents & Assistants On-Premise
- 🚀 Index Zero to Hero
- HBM
- InfiniBand
- LiteLLM
- NVSwitch
- Open WebUI
- Ray
- Tensor Parallelism
- TensorRT-LLM