🖥️ Index — Le Matériel
Le matériel dicte ce que vous pouvez charger en VRAM, quel débit mémoire atteindre en decoding, et si vous pouvez faire du tensor parallelism ou du offloading.
Parcours par scénario
| Blueprint | Fiches matériel prioritaires |
|---|---|
| A — Labo Dev | APU & mémoire unifiée, Stations multi-GPU (offloading) |
| B — Appliance PME | APU & mémoire unifiée, Serveurs rack GPU (1–2 GPU) |
| C — Cluster bureau | Stations multi-GPU, Réseau IA (Thunderbolt 5 + RDMA) |
| D — Datacenter | Serveurs rack GPU, RoCE / InfiniBand |
Fiches du chapitre
- 🧠 APU & Mémoire Unifiée — Apple M5, AMD Ryzen AI Max PRO 400, NVIDIA DGX Spark 64/128 Go
- 🧩 Stations Multi-GPU — workstations PCIe (sans NVLink depuis Ada), switches PCIe, serveurs L40S / A100
- 🏭 Serveurs rack GPU — 1U/2U/4U, HGX, choix RTX vs datacenter
- 🌐 Réseau IA — RoCE, InfiniBand, Thunderbolt
Lexique matériel utile
VRAM · HBM · NVLink · PCIe · Multi-GPU · Mémoire unifiée
Mémoire à haut débit attachée au GPU, qui stocke poids, KV Cache et buffers ; capacité et bande passante déterminent quels modèles tournent sans offloading.Phase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall.Stratégie de distribution d'un LLM par découpage des matrices mathématiques entre plusieurs GPU d'un même nœud.Technique qui place une partie du modèle en RAM ou sur SSD quand la VRAM est insuffisante, au prix d'un débit réduit.Mémoire empilée à très haute bande passante, utilisée sur les accélérateurs IA professionnels.Lien matériel dédié qui relie les GPU NVIDIA à très haute vitesse en contournant le bus PCIe ; il a disparu des cartes workstation et grand public récentes.Bus standard reliant CPU, GPU, SSD et autres périphériques ; il limite l'offloading CPU vers GPU et le Tensor Parallelism sur les setups multi-GPU sans NVLink.Architecture à plusieurs GPU dans une machine ou un cluster pour augmenter la mémoire et le débit ; les gains dépendent de l'interconnexion (PCIe, NVLink).Architecture où CPU, GPU et parfois NPU partagent un même pool mémoire, évitant certaines copies via PCIe ; présente sur Apple Silicon et des APU AMD récents.