Aller au contenu

Multi-GPU

📝 Définition courte

Architecture utilisant plusieurs cartes GPU dans une même machine ou un cluster.

📖 Définition détaillée

Le multi-GPU sert à augmenter la capacité mémoire totale, le débit, ou les deux. Les gains dépendent directement de l’interconnexion entre GPU :

TopologieBande passante inter-GPUUsage typique
PCIe x16~64 Go/s (Gen5)assemblages bureau, Exo
NVLink (H100)900 Go/snœuds pro/datacenter
NVLink 5 + NVSwitch (HGX B200)1 800 Go/s par GPU (~14,4 To/s agrégés sur 8 GPU)nœuds HGX B200

Deux stratégies de parallélisme utilisent le multi-GPU : le Tensor Parallelism (distribue les calculs dans une couche) et le Pipeline Parallelism (distribue les couches entre nœuds).

💡 Pourquoi c’est important en IA on-premise

Indispensable pour les modèles dépassant la VRAM d’un seul GPU (ex. Llama 3.1 405B en FP8 = ~405 Go de poids, à 1 octet par paramètre). La vitesse de l’interconnexion est souvent plus limitante que la puissance de calcul brute.

⚠️ Pièges fréquents

  • La VRAM totale de plusieurs GPU n’est pas une pool unifiée sur PCIe : chaque GPU n’accède aux poids de l’autre qu’en passant par le bus, avec latence.
  • Sur PCIe, le Tensor Parallelism est peu efficient : préférer le Pipeline Parallelism pour réduire la fréquence des échanges.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.