Multi-GPU
📝 Définition courte
Architecture utilisant plusieurs cartes GPU dans une même machine ou un cluster.
📖 Définition détaillée
Le multi-GPU sert à augmenter la capacité mémoire totale, le débit, ou les deux. Les gains dépendent directement de l’interconnexion entre GPU :
| Topologie | Bande passante inter-GPU | Usage typique |
|---|---|---|
| PCIe x16 | ~64 Go/s (Gen5) | assemblages bureau, Exo |
| NVLink (H100) | 900 Go/s | nœuds pro/datacenter |
| NVLink 5 + NVSwitch (HGX B200) | 1 800 Go/s par GPU (~14,4 To/s agrégés sur 8 GPU) | nœuds HGX B200 |
Deux stratégies de parallélisme utilisent le multi-GPU : le Tensor Parallelism (distribue les calculs dans une couche) et le Pipeline Parallelism (distribue les couches entre nœuds).
💡 Pourquoi c’est important en IA on-premise
Indispensable pour les modèles dépassant la VRAM d’un seul GPU (ex. Llama 3.1 405B en FP8 = ~405 Go de poids, à 1 octet par paramètre). La vitesse de l’interconnexion est souvent plus limitante que la puissance de calcul brute.
⚠️ Pièges fréquents
- La VRAM totale de plusieurs GPU n’est pas une pool unifiée sur PCIe : chaque GPU n’accède aux poids de l’autre qu’en passant par le bus, avec latence.
- Sur PCIe, le Tensor Parallelism est peu efficient : préférer le Pipeline Parallelism pour réduire la fréquence des échanges.
🔗 Voir aussi
Stratégie de distribution d'un LLM par découpage des matrices mathématiques entre plusieurs GPU d'un même nœud.Stratégie de distribution d'un LLM en tranches de couches entre plusieurs machines.Lien matériel dédié qui relie les GPU NVIDIA à très haute vitesse en contournant le bus PCIe ; il a disparu des cartes workstation et grand public récentes.Commutateur NVIDIA qui connecte plusieurs GPU en un fabric NVLink totalement non bloquant à l'intérieur d'un nœud.Bus standard reliant CPU, GPU, SSD et autres périphériques ; il limite l'offloading CPU vers GPU et le Tensor Parallelism sur les setups multi-GPU sans NVLink.Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.