Aller au contenu

VRAM

📝 Définition courte

Mémoire à très haut débit attachée au GPU (ex: GDDR7).

📖 Définition détaillée

La VRAM sert à stocker poids, activations, KV Cache et buffers de modèles exécutés sur GPU. Elle offre un débit nettement supérieur à la RAM système :

MémoireTypeDébit typique
DDR5 (RAM PC, dual-channel)SDRAM~80–100 Go/s
GDDR7 (RTX 50xx)GDDR~1 700 Go/s
HBM3 (H100 SXM)HBM~3 350 Go/s

Le débit VRAM est le facteur limitant du Decoding : c’est le principe du Memory Wall.

💡 Pourquoi c’est important en IA on-premise

La disponibilité et le débit VRAM déterminent quels modèles peuvent tourner vite sans offloading massif. Pour estimer la VRAM nécessaire : taille du modèle (Go) + ≈20 % pour le KV Cache et les activations.

⚠️ Pièges fréquents

  • Ne regarder que la capacité VRAM et ignorer la bande passante mémoire.
  • Sur un setup multi-GPU sans NVLink, la VRAM de chaque GPU n’est pas une pool unifiée : chaque GPU ne voit directement que sa propre VRAM.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.