Tensor Parallelism
📝 Définition courte
Les opérations matricielles d’une même couche sont découpées et calculées simultanément par plusieurs GPU — ils agissent comme un seul GPU géant.
📖 Définition détaillée
Contrairement au Pipeline Parallelism (découpage entre couches), le découpage ici est au sein d’une même couche : chaque GPU calcule une partie de la matrice, puis les GPU synchronisent leurs résultats partiels via l’interconnexion.
Cette synchronisation est très fréquente (à chaque couche), donc elle nécessite une interconnexion extrêmement rapide : NVLink ou NVSwitch dans les nœuds HGX. Sur PCIe seul, la bande passante insuffisante annule le bénéfice.
Exploité nativement par vLLM et TensorRT-LLM. La configuration tp=8 sur un nœud HGX 8-GPU répartit le modèle sur les 8 puces.
💡 Pourquoi c’est important en IA on-premise
Réduit la latence de génération en production datacenter : chaque GPU ne lit plus que 1/N des poids, mais les synchronisations à chaque couche (all-reduce via NCCL) rendent le gain sous-linéaire. Il reste inférieur à ×N, et d’autant plus que l’interconnexion est lente. Clé du Scénario D : permet aux 8 GPU d’un nœud HGX d’agir comme un seul accélérateur.
⚠️ Pièges fréquents
- Inefficace sur PCIe seul (bus trop lent pour la synchronisation inter-GPU).
- Nécessite que le nombre de têtes d’attention soit divisible par TP.
- Ne s’applique pas au-delà d’un nœud sans coupler avec du Pipeline Parallelism.
📚 Pour comprendre en profondeur
- 🏢 Scénario D : Datacenter (Tensor Parallelism + NVLink + Ray en pratique)
- 🌐 Clustering IA : Exo et Ray (comparaison avec Pipeline Parallelism)
- 🧩 Stations Multi-GPU (pourquoi le TP plafonne sur PCIe et n’est efficace qu’avec le NVLink / NVSwitch des serveurs SXM)