Aller au contenu

🏭 Serveurs rack GPU

Après les APU mémoire unifiée (PME légère) et les stations bureau, les serveurs rack GPU sont la brique standard des scénarios B (appliance rackable) et D (datacenter) — voir Scénario B et Scénario D.


1. Formats et capacité GPU

FormatGPU typiquesUsage inférence
1U1–2 GPU (souvent RTX/L40S)PME, edge, modèles ≤ 30B quantifiés
2U2–4 GPU PCIeSweet spot PME / ETI — vLLM multi-utilisateurs
4U4–8 GPU, parfois NVLink intra-nœudModèles 70B+, tensor parallelism
HGX / OAM / NVL728× H100/H200/B200/B300, NVSwitch ; Vera Rubin (NVL72) en pleine production depuis août 2026, d’abord pour les grands clouds1Datacenter, modèles 405B+, TP massif

La contrainte n°1 reste la VRAM totale adressable : un Llama 3 70B en FP16 demande ~140 Go de poids seuls, sans compter le KV Cache concurrent.

Hors NVIDIA, trois annonces de 2026 complètent le paysage rack sans le changer pour une PME. Côté AMD, le rack Helios (72 Instinct MI455X HBM4, 18 EPYC « Venice », réseau Pensando) est déclaré « en production » depuis le 2026-07-23, avec Bull, HPE, Lenovo et Supermicro comme intégrateurs, et AMD maintient la cible du second semestre 2026 malgré les rumeurs de retard : pour un datacenter souverain, c’est une alternative à qualifier en 2027, pas un achat 202623. Le Cerebras CS-4 (2026-08-18, trois Wafer Scale Engine 3 Turbo, SRAM on-chip, « jusqu’à 30× » le débit d’inférence d’un système GPU selon Cerebras) vise les neoclouds et hyperscalers, en vente directe sans prix public4. Enfin Intel prépare Crescent Island, un GPU d’inférence à 160 Go de LPDDR5X sans date publiée (voir Stations multi-GPU).


2. RTX consumer vs GPU datacenter

CritèreRTX 5090 / RTX PRO 6000 (workstation/rack 2U)H100 / H200 / B200 / B300 (HGX)
VRAM32–96 Go GDDR780–288 Go HBM
Bande passante mémoire~1,8 To/s5~3–8 To/s
NVLink multi-GPUAucun (pas de NVLink depuis Ada ; PCIe seulement)5NVSwitch full mesh
Coût d’acquisitionNettement inférieur au HGX, mais l’écart se réduit avec la hausse 2026 des GPU GDDR7 (RTX PRO 6000 ~16 000 $, RTX 5090 ≥ 5 000 $, voir Stations multi-GPU) ; un serveur 8× RTX PRO 6000 est listé ~266 k$ par un OEM en juillet 20262TCO datacenter, support enterprise ; pas de prix catalogue public pour HGX B300 / GB300
Meilleur pourScénario B, labo charge modéréeScénario D, SLA strict, gros modèles

Les générations précédentes restent des achats sûrs : NVIDIA AI Enterprise Infra 8.x (mai 2026) conserve A100, H100/H200, L40/L40S et RTX 6000 Ada parmi les GPU supportés ; seuls les V100, RTX 4000 SFF Ada, RTX A4000 et Quadro RTX ont été retirés (encore supportés sur la ligne 7.x LTSB)6.


3. Dimensionnement rapide

Étape 1 — Poids du modèle cible
Utilisez quantification 4/8-bit et Choisir son modèle pour estimer la VRAM poids.

Étape 2 — KV Cache concurrent
Référez-vous à KV Cache et contexte : chaque session active consomme de la VRAM proportionnelle à la longueur de contexte.

Étape 3 — Moteur
Ollama sur 1 GPU RTX convient au test ; la production multi-user bascule vers vLLM7 ou SGLang (CUDA 13 par défaut depuis l’été 2026) ; TensorRT-LLM8 est stable en 1.3.0 depuis le 20 novembre 2026 (la 1.4 est en release candidate ; télémétrie d’usage active par défaut, à désactiver sur un déploiement souverain)9 — ⚙️ Moteurs d'inférence.

Étape 4 — Réseau multi-nœuds
Au-delà d’un nœud, le fabric RoCE ou InfiniBand devient obligatoire pour le tensor parallelism inter-serveurs.


4. Pièges d’achat

  • Sous-estimer le refroidissement et l’alimentation : GPU datacenter en 1U = bruit et thermique extrêmes ; prévoir salle ou baie adaptée.
  • PCIe x16 partagé : vérifier le découpage des lanes quand 4 GPU partagent le même CPU — voir Stations multi-GPU (mêmes principes).
  • Licences et support : certains constructeurs restreignent l’usage « datacenter » des cartes gaming — lire les EULA avant déploiement prod.
  • Oublier le front applicatif : le rack GPU sert vLLM ; l’UI utilisateur reste Open WebUI ou équivalent.
  • Sous-estimer la RAM système : la DRAM augmente encore chaque trimestre (voir 💰 Comparaison TCO) ; les nœuds qui déchargent du KV cache ou des poids en RAM se chiffrent désormais aussi en euros par Go.

📋 Le conseil de l’architecte

Pour une PME qui veut un rack 2U × 2× L40S (48 Go, 350 W) ou RTX PRO 6000 (96 Go, ~16 000 $ au T3 2026) : dimensionnez pour un modèle 32B–70B quantifié + 10–20 utilisateurs concurrents, front Open WebUI, vLLM derrière reverse proxy — blueprint B.

Pour un datacenter : commencez par le modèle cible (405B ? 70B dense ? MoE ?) et descendez vers le nombre de GPU HGX — blueprint D.


📚 Sources

Footnotes

  1. NVIDIA Newsroom, NVIDIA Announces Financial Results for Second Quarter Fiscal 2027 (« Vera Rubin, now in full production », racks chez CoreWeave, Google Cloud, Microsoft Azure, OCI, Nebius), 26 août 2026. https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-second-quarter-fiscal-2027 ↩

  2. AMD, AAI 2026: AMD Delivers Full-Stack Compute for the Agentic AI Era (Helios « now in production », 72 MI455X + 18 EPYC Venice, OEM Bull / HPE / Lenovo / Supermicro ; note 8 : serveur à base de RTX PRO 6000 au prix public OEM de 265 928,24 $ au 2026-07-16), 23 juillet 2026. https://ir.amd.com/news-events/press-releases/detail/1294/aai-2026-amd-delivers-full-stack-compute-for-the-agentic-ai-era ↩ ↩2

  3. Tom’s Hardware, AMD denies report of MI455X delays as Nvidia VR200 systems are rumored to arrive early — company says Helios systems on target for 2H 2026, septembre 2026. https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-denies-report-of-mi455x-delays-as-nvidia-vr200-systems-are-rumored-to-arrive-early-company-says-helios-systems-on-target-for-2h-2026 ↩

  4. Cerebras, Introducing Cerebras CS-4 (trois WSE-3 Turbo, « up to 30 times faster inference than GPU systems », cible neoclouds et hyperscalers, pas de prix public), 18 août 2026. https://www.cerebras.ai/blog/introducing-cerebras-cs-4 ↩

  5. NVIDIA, RTX PRO 6000 Blackwell Workstation Edition (96 Go GDDR7 ECC, 1 792 Go/s, PCIe Gen 5, 600 W, pas de connecteur NVLink). https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ · NVIDIA, GeForce RTX 5090 (32 Go GDDR7, bus 512-bit, 575 W). https://www.nvidia.com/fr-fr/geforce/graphics-cards/50-series/rtx-5090/ ↩ ↩2

  6. NVIDIA, NVIDIA AI Enterprise — End-of-Life Notices (GPU retirés à partir d’Infra 8.0 : Tesla V100, RTX 4000 SFF Ada, RTX A4000, Quadro RTX ; A100, H100/H200, L40/L40S et RTX 6000 Ada toujours supportés), relu le 2026-10-10. https://docs.nvidia.com/ai-enterprise/lifecycle/latest/eol-notices.html ↩

  7. vLLM, Parallelism and Scaling (tensor parallel, pipeline parallel, exigences multi-GPU). https://docs.vllm.ai/en/stable/serving/parallelism_scaling/ ↩

  8. NVIDIA, TensorRT-LLM et documentation GPU datacenter. https://nvidia.github.io/TensorRT-LLM/ ↩

  9. PyPI, tensorrt-llm (1.3.0 stable du 2026-11-20 après les release candidates rc0 → rc29 ; 1.4.0 en release candidates depuis le 2026-10-13), relevé le 2026-11-20. https://pypi.org/project/tensorrt-llm/ · vLLM Project, Release v0.28.0 (CUDA 13 par défaut), août 2026. https://github.com/vllm-project/vllm/releases/tag/v0.28.0 · SGLang Project, Release v0.5.20 (CUDA 13 obligatoire), 18 septembre 2026. https://github.com/sgl-project/sglang/releases/tag/v0.5.20 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.