Aller au contenu

HBM

📝 Définition courte

Technologie mémoire qui empile plusieurs puces DRAM en vertical pour atteindre des bandes passantes très supérieures à la GDDR grand public — réservée aux accélérateurs professionnels (H100, MI300X, TPU).

📖 Définition détaillée

Là où une RTX 4090 grand public offre ~1 008 Go/s via GDDR6X, une puce HBM3 atteint des bandes passantes de :

PuceMémoireBande passante
NVIDIA H100 SXM5HBM3 80 Go3,35 To/s
AMD MI300XHBM3 192 Go5,3 To/s
Apple M5 UltraLPDDR5X 512 Go1 200 Go/s
RTX 4090 (grand public)GDDR6X 24 Go~1 008 Go/s

Cette différence explique pourquoi le Memory Wall est bien moins contraignant sur un H100 : il peut saturer le débit de génération d’un modèle 70B sans être memory-bound au même degré qu’une carte de workstation.

La HBM est empilée directement sur le substrat de la puce via des interconnexions TSV (Through-Silicon Via), ce qui raccourcit le chemin électrique et réduit la latence.

💡 Pourquoi c’est important en IA on-premise

La HBM est présente dans les puces datacenter — hors de portée budgétaire on-premise sauf au Scénario D. Comprendre ses chiffres permet de calibrer ses attentes : un H100 loué 3 €/h via API n’est pas comparable à une RTX 4090 à 2 000 €, même si les deux “font de l’IA”.

⚠️ Pièges fréquents

  • Confondre HBM et VRAM GDDR dans les comparatifs : les ordres de grandeur de bande passante sont totalement différents.
  • Croire qu’une puce HBM est “juste une meilleure GDDR” : c’est une technologie d’empilement 3D avec des contraintes thermiques et de coût radicalement différentes.

📚 Pour comprendre en profondeur

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.