🏭 Serveurs rack GPU
Après les APU mémoire unifiée (PME légère) et les stations bureau, les serveurs rack GPU sont la brique standard des scénarios B (appliance rackable) et D (datacenter) — voir Scénario B et Scénario D.
1. Formats et capacité GPU
| Format | GPU typiques | Usage inférence |
|---|---|---|
| 1U | 1–2 GPU (souvent RTX/L40S) | PME, edge, modèles ≤ 30B quantifiés |
| 2U | 2–4 GPU PCIe | Sweet spot PME / ETI — vLLM multi-utilisateurs |
| 4U | 4–8 GPU, parfois NVLink intra-nœud | Modèles 70B+, tensor parallelism |
| HGX / OAM / NVL72 | 8× H100/H200/B200/B300, NVSwitch ; Vera Rubin (NVL72) en pleine production depuis août 2026, d’abord pour les grands clouds1 | Datacenter, modèles 405B+, TP massif |
La contrainte n°1 reste la VRAM totale adressable : un Llama 3 70B en FP16 demande ~140 Go de poids seuls, sans compter le KV Cache concurrent.
Hors NVIDIA, trois annonces de 2026 complètent le paysage rack sans le changer pour une PME. Côté AMD, le rack Helios (72 Instinct MI455X HBM4, 18 EPYC « Venice », réseau Pensando) est déclaré « en production » depuis le 2026-07-23, avec Bull, HPE, Lenovo et Supermicro comme intégrateurs, et AMD maintient la cible du second semestre 2026 malgré les rumeurs de retard : pour un datacenter souverain, c’est une alternative à qualifier en 2027, pas un achat 202623. Le Cerebras CS-4 (2026-08-18, trois Wafer Scale Engine 3 Turbo, SRAM on-chip, « jusqu’à 30× » le débit d’inférence d’un système GPU selon Cerebras) vise les neoclouds et hyperscalers, en vente directe sans prix public4. Enfin Intel prépare Crescent Island, un GPU d’inférence à 160 Go de LPDDR5X sans date publiée (voir Stations multi-GPU).
2. RTX consumer vs GPU datacenter
| Critère | RTX 5090 / RTX PRO 6000 (workstation/rack 2U) | H100 / H200 / B200 / B300 (HGX) |
|---|---|---|
| VRAM | 32–96 Go GDDR7 | 80–288 Go HBM |
| Bande passante mémoire | ~1,8 To/s5 | ~3–8 To/s |
| NVLink multi-GPU | Aucun (pas de NVLink depuis Ada ; PCIe seulement)5 | NVSwitch full mesh |
| Coût d’acquisition | Nettement inférieur au HGX, mais l’écart se réduit avec la hausse 2026 des GPU GDDR7 (RTX PRO 6000 ~16 000 $, RTX 5090 ≥ 5 000 $, voir Stations multi-GPU) ; un serveur 8× RTX PRO 6000 est listé ~266 k$ par un OEM en juillet 20262 | TCO datacenter, support enterprise ; pas de prix catalogue public pour HGX B300 / GB300 |
| Meilleur pour | Scénario B, labo charge modérée | Scénario D, SLA strict, gros modèles |
Les générations précédentes restent des achats sûrs : NVIDIA AI Enterprise Infra 8.x (mai 2026) conserve A100, H100/H200, L40/L40S et RTX 6000 Ada parmi les GPU supportés ; seuls les V100, RTX 4000 SFF Ada, RTX A4000 et Quadro RTX ont été retirés (encore supportés sur la ligne 7.x LTSB)6.
3. Dimensionnement rapide
Étape 1 — Poids du modèle cible
Utilisez quantification 4/8-bit et Choisir son modèle pour estimer la VRAM poids.
Étape 2 — KV Cache concurrent
Référez-vous à KV Cache et contexte : chaque session active consomme de la VRAM proportionnelle à la longueur de contexte.
Étape 3 — Moteur
Ollama sur 1 GPU RTX convient au test ; la production multi-user bascule vers vLLM7 ou SGLang (CUDA 13 par défaut depuis l’été 2026) ; TensorRT-LLM8 est stable en 1.3.0 depuis le 20 novembre 2026 (la 1.4 est en release candidate ; télémétrie d’usage active par défaut, à désactiver sur un déploiement souverain)9 — ⚙️ Moteurs d'inférence.
Étape 4 — Réseau multi-nœuds
Au-delà d’un nœud, le fabric RoCE ou InfiniBand devient obligatoire pour le tensor parallelism inter-serveurs.
4. Pièges d’achat
- Sous-estimer le refroidissement et l’alimentation : GPU datacenter en 1U = bruit et thermique extrêmes ; prévoir salle ou baie adaptée.
- PCIe x16 partagé : vérifier le découpage des lanes quand 4 GPU partagent le même CPU — voir Stations multi-GPU (mêmes principes).
- Licences et support : certains constructeurs restreignent l’usage « datacenter » des cartes gaming — lire les EULA avant déploiement prod.
- Oublier le front applicatif : le rack GPU sert vLLM ; l’UI utilisateur reste Open WebUI ou équivalent.
- Sous-estimer la RAM système : la DRAM augmente encore chaque trimestre (voir 💰 Comparaison TCO) ; les nœuds qui déchargent du KV cache ou des poids en RAM se chiffrent désormais aussi en euros par Go.
📋 Le conseil de l’architecte
Pour une PME qui veut un rack 2U × 2× L40S (48 Go, 350 W) ou RTX PRO 6000 (96 Go, ~16 000 $ au T3 2026) : dimensionnez pour un modèle 32B–70B quantifié + 10–20 utilisateurs concurrents, front Open WebUI, vLLM derrière reverse proxy — blueprint B.
Pour un datacenter : commencez par le modèle cible (405B ? 70B dense ? MoE ?) et descendez vers le nombre de GPU HGX — blueprint D.
📚 Sources
Footnotes
-
NVIDIA Newsroom, NVIDIA Announces Financial Results for Second Quarter Fiscal 2027 (« Vera Rubin, now in full production », racks chez CoreWeave, Google Cloud, Microsoft Azure, OCI, Nebius), 26 août 2026. https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-second-quarter-fiscal-2027 ↩
-
AMD, AAI 2026: AMD Delivers Full-Stack Compute for the Agentic AI Era (Helios « now in production », 72 MI455X + 18 EPYC Venice, OEM Bull / HPE / Lenovo / Supermicro ; note 8 : serveur à base de RTX PRO 6000 au prix public OEM de 265 928,24 $ au 2026-07-16), 23 juillet 2026. https://ir.amd.com/news-events/press-releases/detail/1294/aai-2026-amd-delivers-full-stack-compute-for-the-agentic-ai-era ↩ ↩2
-
Tom’s Hardware, AMD denies report of MI455X delays as Nvidia VR200 systems are rumored to arrive early — company says Helios systems on target for 2H 2026, septembre 2026. https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-denies-report-of-mi455x-delays-as-nvidia-vr200-systems-are-rumored-to-arrive-early-company-says-helios-systems-on-target-for-2h-2026 ↩
-
Cerebras, Introducing Cerebras CS-4 (trois WSE-3 Turbo, « up to 30 times faster inference than GPU systems », cible neoclouds et hyperscalers, pas de prix public), 18 août 2026. https://www.cerebras.ai/blog/introducing-cerebras-cs-4 ↩
-
NVIDIA, RTX PRO 6000 Blackwell Workstation Edition (96 Go GDDR7 ECC, 1 792 Go/s, PCIe Gen 5, 600 W, pas de connecteur NVLink). https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ · NVIDIA, GeForce RTX 5090 (32 Go GDDR7, bus 512-bit, 575 W). https://www.nvidia.com/fr-fr/geforce/graphics-cards/50-series/rtx-5090/ ↩ ↩2
-
NVIDIA, NVIDIA AI Enterprise — End-of-Life Notices (GPU retirés à partir d’Infra 8.0 : Tesla V100, RTX 4000 SFF Ada, RTX A4000, Quadro RTX ; A100, H100/H200, L40/L40S et RTX 6000 Ada toujours supportés), relu le 2026-10-10. https://docs.nvidia.com/ai-enterprise/lifecycle/latest/eol-notices.html ↩
-
vLLM, Parallelism and Scaling (tensor parallel, pipeline parallel, exigences multi-GPU). https://docs.vllm.ai/en/stable/serving/parallelism_scaling/ ↩
-
NVIDIA, TensorRT-LLM et documentation GPU datacenter. https://nvidia.github.io/TensorRT-LLM/ ↩
-
PyPI, tensorrt-llm (1.3.0 stable du 2026-11-20 après les release candidates rc0 → rc29 ; 1.4.0 en release candidates depuis le 2026-10-13), relevé le 2026-11-20. https://pypi.org/project/tensorrt-llm/ · vLLM Project, Release v0.28.0 (CUDA 13 par défaut), août 2026. https://github.com/vllm-project/vllm/releases/tag/v0.28.0 · SGLang Project, Release v0.5.20 (CUDA 13 obligatoire), 18 septembre 2026. https://github.com/sgl-project/sglang/releases/tag/v0.5.20 ↩