Aller au contenu

🏭 Scénario D : Datacenter (RoCE & Multi-GPU)

Votre client est un grand compte, un hébergeur cloud souverain ou une institution publique. Le cahier des charges est implacable : il faut héberger un modèle de la classe 70B ou un géant MoE de 300B à plus de 1T de paramètres, et surtout, pouvoir servir des dizaines, voire des centaines d’utilisateurs en même temps avec un temps de réponse instantané.

Le Scénario B (l’Appliance) s’étoufferait sous la charge concurrente, et le Scénario C (Cluster Exo) a un TTFT beaucoup trop lent. Pour la production massive, il n’y a pas de secret : il faut basculer sur l’architecture standard des Datacenters IA.


🏗️ L’Architecture Matérielle

Ici, l’unité de base n’est plus la carte graphique, mais le Nœud Serveur (Node) et le Réseau Fabric.

  • Le Nœud (Scale-Up) : Un serveur format rack (ex: architecture NVIDIA HGX) contenant 8 GPU de classe Datacenter (NVIDIA H200, B200 ou B300 ; AMD Instinct MI350X/MI455X)1. Contrairement à un PC classique, ces 8 puces ne communiquent pas via PCIe, mais via un NVLink et un NVSwitch. Ce bus permet aux puces de s’échanger des données à 1 800 Go/s (sur Blackwell)2.
  • Le Réseau (Scale-Out) : Pour relier plusieurs nœuds entre eux, on utilise des cartes réseau à très haut débit (400 Gbps ou 800 Gbps) compatibles RDMA. Le standard est InfiniBand ou RoCEv2 (RDMA over Converged Ethernet)3.
  • Le Stockage : Un stockage flash NVMe distribué accessible en GPUDirect Storage, pour charger les To de poids du modèle en quelques secondes au démarrage.

Budget estimé (T4 2026) : d’environ 280 000 € (nœud HGX H200, 300–420 k$ selon des estimations tierces, sur devis) à plus d’1 million d’euros par nœud (GB300 sur devis)4, hors coûts d’infrastructure réseau, d’énergie et de refroidissement. Un serveur 8× RTX PRO 6000 (prix public OEM 266 k$, ~250 000 €) coûte moins cher, mais ses GPU communiquent en PCIe, sans NVLink ni NVSwitch : c’est une variante PCIe qui ne bénéficie pas du Tensor Parallelism NVLink décrit ci-dessous.


⚙️ La Stack Logicielle et le Mécanisme

Cette débauche de matériel exige des moteurs d’inférence capables de l’exploiter à la milliseconde près : vLLM (≥ 0.34.0 au T4 2026, plancher de sécurité, voir Sécurité ; vllm serve) ou le SDK officiel TensorRT-LLM (trtllm-serve ; au T4 2026, figer en production la 1.3.0, stable depuis le 20 novembre 2026, plutôt que les release candidates 1.4, et désactiver la télémétrie activée par défaut depuis la 1.3 avec TRTLLM_NO_USAGE_STATS=1)5. L’orchestration multi-nœuds est gérée par Ray (Ray Serve LLM, GA depuis la 2.59 avec routage sensible au KV cache)6.

La Magie du Tensor Parallelism

Sur le Cluster Mac (Scénario C), nous avions vu le Pipeline Parallelism (découpage couche par couche), qui augmente la latence. Dans un nœud HGX, l’incroyable vitesse du NVLink permet d’utiliser le Tensor Parallelism (TP). Une seule et même opération mathématique (une matrice) est découpée et calculée en même temps par les 8 GPU.

  • Résultat : Les 8 cartes agissent comme un seul GPU géant. La latence de génération s’effondre, et les tokens/s explosent, même sur un modèle massif.

Formats Extrêmes (FP4)

Si vous déployez des puces NVIDIA Blackwell (B200), le logiciel utilisera nativement la quantification FP4 ou FP8. Cela permet de faire tenir des modèles gigantesques dans un seul nœud de 8 GPU — DeepSeek V4.1 Flash ou GLM-5.3 (~760 Go en FP8) dans 8× H200, Kimi K3 (~1,5 To en MXFP4) dans 8× B300 ou 16× H2007 — évitant ainsi de devoir traverser le réseau RoCE pour chaque calcul8.


Le Piège de l’Ingénierie Réseau (Le drame RoCE)


📋 Le Verdict de l’Architecte

✅ Quand utiliser ce Blueprint ?

  • La production à l’échelle : C’est la seule architecture viable pour servir de véritables applications SaaS souveraines (comme un ChatGPT d’entreprise interne pour 1 000 salariés).
  • Le besoin de garanties (SLA) : Quand le TTFT doit toujours rester inférieur à 500 ms, quel que soit le nombre d’utilisateurs connectés.

❌ Quand fuir ce Blueprint ?

  • Si vous n’avez pas d’ingénieur réseau dédié. L’exploitation d’un fabric RoCE/InfiniBand et d’un cluster Ray demande des compétences d’administration très pointues, souvent issues du monde du Calcul Haute Performance (HPC).
  • Contraintes de datacenter : Ces machines sont des radiateurs géants. Une baie classique ne peut souvent pas refroidir un tel nœud sans un aménagement lourd (Direct Liquid Cooling).

📊 Monitoring recommandé

Le scénario D est le seul blueprint qui justifie un monitoring outillé en production : métriques vLLM, stack Prometheus + Grafana, dashboards et alertes sont dans 📊 Monitoring de la stack d'inférence. Compléments propres à ce blueprint :

GPU et VRAM (par nœud) :

Fenêtre de terminal
# Surveillance en temps réel de tous les GPU
watch -n 1 nvidia-smi
# Format CSV pour export Prometheus
nvidia-smi --query-gpu=timestamp,name,utilization.gpu,utilization.memory,\
memory.used,memory.free,temperature.gpu,power.draw \
--format=csv -l 5

Réseau (RoCE/InfiniBand) :

Fenêtre de terminal
# Compteurs RDMA (erreurs, retransmissions)
rdma statistic show
# Perte de paquets sur interface RoCE
ethtool -S <interface> | grep -E "rx_discards|tx_discards"

Storage Wall — temps de boot SSD→VRAM (impact sur le MTTR)

Le “Memory Wall” couvre les performances en régime permanent. Le “Storage Wall” couvre les redémarrages : chaque restart vLLM impose de recharger les poids du modèle depuis le SSD vers la VRAM.

ModèleTaille BF16SSD PCIe 3.0 (3 Go/s)SSD NVMe PCIe 5.0 (10 Go/s)GPUDirect Storage
70B~140 Go~47 secondes~14 secondes~8 secondes
405B~810 Go~4,5 minutes~81 secondes~45 secondes

Pour un SLA datacenter avec objectif de MTTR (Mean Time To Recovery) sous 2 minutes, un 405B en BF16 sur SSD PCIe 3.0 est incompatible avec cet objectif. Solutions :

  • NVMe PCIe 5.0 en RAID 0 : doublement du débit séquentiel (~20 Go/s réels), MTTR < 45 secondes sur un 405B
  • GPUDirect Storage (NVIDIA Magnum IO) : transfert direct SSD→VRAM sans copie CPU, réduit la charge système et améliore le débit9
  • Modèle quantifié : un 405B en Q4 (~230 Go) réduit le temps de chargement de ~65% vs BF16
  • Préchargement vLLM : depuis vLLM 0.31 (octobre 2026), vllm preload lance un démon qui garde les poids déjà quantifiés en mémoire GPU d’un redémarrage du moteur à l’autre (avec un endpoint /health) ; cela raccourcit les redémarrages de service, pas un redémarrage de la machine ni une panne GPU10

🛡️ Haute Disponibilité et Reprise (DRP)

Le Blueprint D est le seul scénario pour lequel un PRA formel est justifié économiquement. Un downtime de 2 heures sur un nœud HGX en production représente un coût opérationnel et réputationnel significatif.

Stratégies HA par composant

ComposantStratégie HANotes
vLLMDouble instance avec load balancer (Nginx / HAProxy)Rolling restart pour les mises à jour sans downtime
Qdrant clusterMode distribué (3 nœuds minimum) avec réplicationQdrant supporte nativement le sharding et la réplication
PostgreSQL / SQLiteStreaming replication (Postgres) ou WAL archivingSQLite insuffisant en production D — migrer vers Postgres
Stockage modèlesNVMe RAID 0 + snapshot quotidien vers NAS ou S3 souverainGPUDirect Storage nécessite un chemin dédié, à exclure du RAID logiciel
Réseau RoCERedondance de switch (dual-spine) + monitoring PFC/ECN actifUne perte de paquet non contrôlée s’effondre silencieusement

Objectifs RTO / RPO

IncidentRTO cibleRPO cibleAction
Crash process vLLM< 2 min0 (sans perte de données)Redémarrage automatique (systemd / Docker restart policy)
Panne GPU unique (8 GPU)< 5 min0Tensor Parallelism réduit à 7 GPU le temps du remplacement
Panne nœud complet< 30 min< 15 minBascule sur nœud de secours pré-configuré
Corruption base vectorielle< 1 h< 1 hRestauration depuis snapshot Qdrant le plus récent
Sinistre salle (incendie, inondation)< 4 h< 24 hRéplication hors-site (datacenter secondaire ou cloud souverain)

Sauvegarde quotidienne minimale

Fenêtre de terminal
# Snapshot Qdrant (toutes les collections)
curl -X POST http://localhost:6333/snapshots
# Export Postgres (historiques, métadonnées agents)
pg_dump -Fc ia_on_prem_db > /backup/$(date +%F)_pg.dump
# Copie hors-site (exemple rsync vers NAS secondaire)
rsync -az /backup/ nas-secondary:/ia-on-prem-backup/

📚 Sources et Références

Footnotes

  1. NVIDIA Newsroom, NVIDIA Announces Financial Results for Second Quarter Fiscal 2027 (Blackwell Ultra B300 / GB300 expédiés ; Vera Rubin « en pleine production », alloué d’abord aux grands clouds), 26 août 2026. https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-second-quarter-fiscal-2027 · AMD, AAI 2026: AMD Delivers Full-Stack Compute for the Agentic AI Era (MI350X disponible, rack Helios / MI455X « en production », premiers racks 2H 2026), 23 juillet 2026. https://ir.amd.com/news-events/press-releases/detail/1294/aai-2026-amd-delivers-full-stack-compute-for-the-agentic-ai-era ↩

  2. NVIDIA Technical Blog, NVIDIA NVLink and NVIDIA NVSwitch Supercharge Large Language Model Inference (Architecture HGX, Blackwell NVLink 1.8 TB/s), 2024-2026. https://developer.nvidia.com/blog/nvidia-nvlink-and-nvidia-nvswitch-supercharge-large-language-model-inference/ ↩

  3. NVIDIA, RDMA over Converged Ethernet - RoCE | Cumulus Linux (Importance critique du PFC/ECN pour éviter l’effondrement des performances LLM), 2026. https://docs.nvidia.com/networking-ethernet-software/cumulus-linux/Layer-1-and-Switch-Ports/Quality-of-Service/RDMA-over-Converged-Ethernet-RoCE/ ↩ ↩2

  4. AMD, AAI 2026 — note 8 (serveur 8× RTX PRO 6000 au prix public OEM de 265 928 $ au 2026-07-16 ; serveur MI350P estimé 327 238 $), 23 juillet 2026. https://ir.amd.com/news-events/press-releases/detail/1294/aai-2026-amd-delivers-full-stack-compute-for-the-agentic-ai-era · NVIDIA HGX H200 et DGX B300 : pas de prix catalogue public, estimations tierces 300–420 k$ (H200) et ≈ 400 k$ US (B300), sur devis. ↩

  5. NVIDIA, TensorRT-LLM — Release v1.3.0 (première version stable de la ligne 1.3 après 30 RC ; télémétrie d’usage activée par défaut, désactivable par TRTLLM_NO_USAGE_STATS=1), 20 novembre 2026. https://github.com/NVIDIA/TensorRT-LLM/releases/tag/v1.3.0 · PyPI, tensorrt-llm (1.4.0rc0 → 1.4.0rc4, octobre–novembre 2026), relevé le 2026-11-19. https://pypi.org/project/tensorrt-llm/ · NVIDIA, TensorRT-LLM Release Notes (backend TensorRT retiré en 1.2, PyTorch par défaut, trtllm-serve). https://nvidia.github.io/TensorRT-LLM/release-notes.html · vLLM Project, Release v0.34.0 (plancher de sécurité au T4 2026 : corrige l’avis GHSA-xgh8-qwjh-q853 et reprend les correctifs de la 0.33.0), 16 novembre 2026. https://github.com/vllm-project/vllm/releases/tag/v0.34.0 ↩

  6. Ray Project, Release ray-2.59.0 (Ray Serve LLM GA : routage KV-aware, désagrégation prefill/decode, vLLM figé en 0.27.0), 2 octobre 2026. https://github.com/ray-project/ray/releases/tag/ray-2.59.0 ↩

  7. DeepSeek AI, DeepSeek-V4.1-Flash (≈ 763 Go en FP8, MIT), septembre 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash · Moonshot AI, Kimi K3 (poids MXFP4 natifs, ≈ 1,4–1,56 To), juillet 2026. https://huggingface.co/moonshotai/Kimi-K3 ↩

  8. NVIDIA Technical Blog, Optimizing Inference for Long Context and Large Batch Sizes with NVFP4 KV Cache (Blackwell, TensorRT-LLM natif), Décembre 2025. https://developer.nvidia.com/blog/optimizing-inference-for-long-context-and-large-batch-sizes-with-nvfp4-kv-cache/ ↩

  9. NVIDIA, GPUDirect Storage Overview (transfert direct NVMe→VRAM, sans copie CPU, Magnum IO). https://developer.nvidia.com/gpudirect-storage ↩

  10. vLLM Project, Release v0.31.0 (vllm preload : démon qui conserve les poids post-quantifiés en mémoire GPU entre redémarrages du moteur, #56680, #58552), 2026-10-05. https://github.com/vllm-project/vllm/releases/tag/v0.31.0 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.