🏎️ La Bande Passante Mémoire & Le "Memory Wall"
Vous avez peut-être déjà entendu : “Pour faire tourner un LLM, il faut un GPU puissant.” C’est vrai, mais incomplet. En pratique, la carte la plus rapide du marché peut saturer et devenir aussi lente qu’une carte d’entrée de gamme — si la mémoire ne suit pas.
C’est le paradoxe que ce chapitre va expliquer. Comprendre la bande passante mémoire, c’est comprendre pourquoi votre config génère 4 tokens/s au lieu de 40 — et comment y remédier.
En architecture système appliquée à l’IA, une réalité revient en permanence : en inférence LLM, la limite est souvent la mémoire avant le calcul brut1.
Ce phénomène est classiquement appelé “Memory Wall”. Pendant la génération auto-régressive, le GPU/CPU alterne des phases de calcul très rapides et des phases d’attente de données depuis la mémoire. Le débit final est donc fortement corrélé à la bande passante mémoire (Go/s), pas seulement aux TFLOPS1.
🧠 La Physique de l’Inférence : Prefill vs Decoding
Pour comprendre le goulot d’étranglement, il faut séparer deux phases :
graph TD
A[Saisie du Prompt] --> B(Phase 1: Prefill)
B -->|Calcul parallèle lourd| C[Calculé en TFLOPS]
C --> D(Phase 2: Decoding / Génération)
D -->|Lecture séquentielle de la RAM| E[Bloqué par la Bande Passante]
1. La Phase de “Prefill” (Ingestion du Prompt)
Le modèle traite le prompt d’entrée en parallèle (matrices de grande taille).
- Comportement matériel : meilleure utilisation des unités de calcul.
- Facteur dominant : mix calcul + mémoire, souvent plus favorable au calcul qu’en decoding.
2. La Phase de “Decoding” (Génération Mot à Mot)
Le modèle génère un token puis recommence le cycle pour le token suivant. Ce processus est séquentiel.
- Comportement matériel : lecture répétée des poids + gestion du KV Cache ; l’intensité arithmétique est plus faible qu’en prefill.
- Facteur dominant : la bande passante mémoire, surtout à batch faible1.
📐 L’Équation Mathématique du Débit
Pour dimensionner rapidement une machine, on utilise une borne supérieure :
Cas Pratique : Modèle dense 70B en quantification 4-bit (Q4)
Un modèle dense de 70B quantifié en 4-bit occupe environ 40 Go en mémoire de poids (ordre de grandeur).
- Sur un PC classique (RAM DDR5 Dual Channel) :
- Bande passante réelle :
- Calcul : (borne théorique).
- Sur un système AMD Ryzen AI Max+ PRO 495 (Gorgon Halo, ex. Framework Desktop 192 Go)34 :
- Bande passante réelle :
- Calcul : (borne théorique).
- Sur un Mac Studio M5 Max (mémoire unifiée haut de gamme) :
- Sur une carte Nvidia RTX 5090 (VRAM GDDR7 dédiée - Blackwell) :
- Bande passante réelle :
- Calcul : (borne théorique).
- Exemple de bande passante seulement : au T3 2026 la RTX 5090 se négocie ≥ 5 000 $ (voir Stations Multi-GPU) — la RTX PRO 6000 Blackwell offre la même bande passante (1 792 Go/s) avec 96 Go 6.
📊 Le Grand Comparatif des Technologies de Stockage
Valeurs ci-dessous : ordres de grandeur utiles pour l’architecture (les performances réelles varient selon le stack logiciel et la charge).
| Technologie | Bande passante (ordre de grandeur) | Source | Impact pour l’inférence |
|---|---|---|---|
| Ethernet 10 GbE | conversion 10 Gbit/s | trop faible pour “étendre” un modèle en ligne sans forte pénalité | |
| PCIe 5.0 x16 | (par direction) | spécification bus | devient un goulot lors des transferts fréquents CPU↔GPU |
| RAM DDR5 desktop | à | plateformes dual-channel typiques | capacité élevée, débit limité pour grands LLM |
| Mémoire unifiée AMD Ryzen AI Max PRO 400 | jusqu’à | 3 | compromis capacité/débit intéressant en x86 |
| Mémoire unifiée NVIDIA DGX Spark (LPDDR5x) | 7 | même classe que l’APU AMD ; CUDA et FP4 natifs | |
| Mémoire unifiée Apple M5 Max / M5 Ultra | à | 5 | excellent débit local sans offload PCIe |
| VRAM RTX 5090 (GDDR7) | 89 | très haut débit pour decoding rapide |
Deux remarques datées (T4 2026). Intel prépare un GPU d’inférence « capacité d’abord » (Crescent Island, voir 🧩 Stations Multi-GPU) dont la bande passante n’est pas publiée : la formule ci-dessus dit déjà qu’il sera limité en decode mono-requête et pertinent en batch. Et la RAM n’est plus l’option bon marché du tableau : la DRAM augmente encore chaque trimestre (voir 💰 Comparaison TCO), si bien que l’arbitrage « capacité vs bande passante » se fait désormais aussi en euros par Go.
Les Limites du Clustering Réseau
📚 Sources et Références
Footnotes
-
Amir Gholami et al., AI and Memory Wall (arXiv:2403.14123), 2024. https://arxiv.org/abs/2403.14123 ↩ ↩2 ↩3
-
Meta, Llama 4 Model Card (Scout/Maverick, MoE, pas de variante “70B” dense), 2025. https://raw.githubusercontent.com/meta-llama/llama-models/main/models/llama4/MODEL_CARD.md ↩
-
ServeTheHome, AMD Ups Ante With 192GB Ryzen AI Max PRO 400 Chips for AI Systems, 2026. https://www.servethehome.com/amd-reveals-ryzen-ai-max-pro-400-series-192gb-ram-for-ai-systems/ ↩ ↩2
-
AMD, AMD Ryzen AI Max+ PRO 495 — fiche produit (192 Go LPDDR5X-8533, bus 256-bit), consultée le 2026-10-09. https://www.amd.com/en/products/processors/laptop/ryzen-pro/ai-max-pro-400-series/amd-ryzen-ai-max-plus-pro-495.html · Framework, The 192GB Framework Desktop is open for pre-order (précommandes du 2026-09-30, livraisons novembre 2026), 30 septembre 2026. https://frame.work/blog/192gb-framework-desktop-open-for-pre-order ↩
-
Apple, Mac Studio — Technical Specifications (M5 Max 614 Go/s, M5 Ultra 1,2 To/s ; la page décrit la génération M5 depuis le 2026-08-25, les valeurs M4 Max 546 Go/s / M3 Ultra 819 Go/s restent sur la fiche « Mac Studio (2025) »), relue le 2026-10-09. https://www.apple.com/mac-studio/specs/ · Apple Support, Mac Studio (2025) — Tech Specs. https://support.apple.com/en-us/122211 ↩ ↩2 ↩3
-
Tom’s Hardware, Nvidia’s RTX 5090 vanishes from online retail in the US — third-party sellers now demand as much as $9,500 (MSRP 1 999 $), 14 septembre 2026. https://www.tomshardware.com/pc-components/gpus/nvidias-rtx-5090-vanishes-from-online-retail-in-the-us-third-party-sellers-now-demand-as-much-as-usd9-500-for-nvidias-fastest-gpu · NVIDIA, RTX PRO 6000 Blackwell Workstation Edition (96 Go GDDR7 ECC, 1 792 Go/s). https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ ↩
-
NVIDIA, DGX Spark — page produit (Grace Blackwell GB10, 128 Go LPDDR5x, ~273 Go/s, FP4 natif), relue le 2026-10-09. https://www.nvidia.com/en-us/products/workstations/dgx-spark/ ↩
-
NVIDIA, GeForce RTX 5090 product page (32 GB GDDR7, bus 512-bit, TGP 575 W). https://www.nvidia.com/fr-fr/geforce/graphics-cards/50-series/rtx-5090/ ↩
-
TechPowerUp, NVIDIA GeForce RTX 5090 Specs (bandwidth mémoire 1.79 TB/s), 2026. https://www.techpowerup.com/gpu-specs/geforce-rtx-5090.c4216 ↩
-
Apple MLX, Distributed Communication (« Starting from macOS 26.2, RDMA over thunderbolt is available » ; backend JACCL), consulté le 2026-10-10. https://ml-explore.github.io/mlx/build/html/usage/distributed.html ↩
Références entrantes
- 🏢 Scénario B : L'Appliance PME (Mémoire Unifiée)
- 🧠 Le Voyage d'un Prompt : Comment fonctionne un LLM ?
- 🚀 Démarrer avec Ollama
- 🚀 Index Zero to Hero
- 🛠️ Scénario A : Le Labo Dev (PC GPU ou mémoire unifiée)
- Bande passante mémoire
- Decoding
- HBM
- Inférence (LLM)
- KV Cache
- LPDDR5X
- Memory Wall
- NPU
- Prefill
- RDMA
- TFLOPS
- Zero to Hero : IA on-premise