VRAM
📝 Définition courte
Mémoire à très haut débit attachée au GPU (ex: GDDR7).
📖 Définition détaillée
La VRAM sert à stocker poids, activations, KV Cache et buffers de modèles exécutés sur GPU. Elle offre un débit nettement supérieur à la RAM système :
| Mémoire | Type | Débit typique |
|---|---|---|
| DDR5 (RAM PC, dual-channel) | SDRAM | ~80–100 Go/s |
| GDDR7 (RTX 50xx) | GDDR | ~1 700 Go/s |
| HBM3 (H100 SXM) | HBM | ~3 350 Go/s |
Le débit VRAM est le facteur limitant du Decoding : c’est le principe du Memory Wall.
💡 Pourquoi c’est important en IA on-premise
La disponibilité et le débit VRAM déterminent quels modèles peuvent tourner vite sans offloading massif. Pour estimer la VRAM nécessaire : taille du modèle (Go) + ≈20 % pour le KV Cache et les activations.
⚠️ Pièges fréquents
- Ne regarder que la capacité VRAM et ignorer la bande passante mémoire.
- Sur un setup multi-GPU sans NVLink, la VRAM de chaque GPU n’est pas une pool unifiée : chaque GPU ne voit directement que sa propre VRAM.
🔗 Voir aussi
Mémoire qui conserve les clés et valeurs d'attention déjà calculées pour éviter de les recalculer, mais dont la taille croît avec le contexte.Phase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall.Situation où le débit mémoire limite la performance plus que la puissance de calcul, surtout en génération auto-régressive ; à ne pas juger sur les TFLOPS.Mémoire empilée à très haute bande passante, utilisée sur les accélérateurs IA professionnels.Mémoire vive système, second choix pour l'inférence LLM quand la VRAM est insuffisante.Architecture où CPU, GPU et parfois NPU partagent un même pool mémoire, évitant certaines copies via PCIe ; présente sur Apple Silicon et des APU AMD récents.