Aller au contenu

NVLink

📝 Définition courte

Lien matériel dédié pour accélérer les échanges entre GPU NVIDIA compatibles.

📖 Définition détaillée

NVLink est le protocole et la technologie de câblage qui relie les GPU NVIDIA à très haute vitesse, en contournant le bus PCIe. Les débits varient selon la génération :

VersionBande passante bidirectionnelle totaleGPU compatibles
NVLink 3 (A100)600 Go/sA100 SXM
NVLink 4 (H100)900 Go/sH100 SXM
NVLink 5 (B200)1 800 Go/sB200 (avec NVSwitch)

NVLink vs NVSwitch : NVLink est le lien point-à-point entre deux GPU ; NVSwitch est la puce qui forme un fabric non bloquant entre tous les GPU d’un nœud HGX.

💡 Pourquoi c’est important en IA on-premise

Le débit NVLink est la condition sine qua non d’un Tensor Parallelism efficace. Sans NVLink, les échanges inter-GPU via PCIe (~64 Go/s) deviennent le goulot d’étranglement.

⚠️ Pièges fréquents

  • NVLink est mort sur workstation depuis Ada Lovelace. Les cartes RTX workstation (RTX 6000 Ada, RTX PRO 6000 Blackwell) et grand public (RTX 40xx, RTX 50xx) n’ont plus de connecteur NVLink physique. NVIDIA a supprimé les ponts NVLink externes de toutes ces gammes. Il est impossible de relier deux RTX PRO 6000 via NVLink : le connecteur n’existe pas. NVLink est aujourd’hui strictement réservé aux GPU SXM (A100, H100, H200, B200) dans des systèmes HGX/DGX.
  • Deux GPU reliés en NVLink point-à-point n’atteignent pas les débits d’un fabric NVSwitch complet.
  • Confondre “supporte CUDA” et “supporte NVLink” — une carte peut être compatible CUDA/vLLM sans avoir la moindre capacité NVLink.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.