Aller au contenu

Tensor Parallelism

📝 Définition courte

Les opérations matricielles d’une même couche sont découpées et calculées simultanément par plusieurs GPU — ils agissent comme un seul GPU géant.

📖 Définition détaillée

Contrairement au Pipeline Parallelism (découpage entre couches), le découpage ici est au sein d’une même couche : chaque GPU calcule une partie de la matrice, puis les GPU synchronisent leurs résultats partiels via l’interconnexion.

Cette synchronisation est très fréquente (à chaque couche), donc elle nécessite une interconnexion extrêmement rapide : NVLink ou NVSwitch dans les nœuds HGX. Sur PCIe seul, la bande passante insuffisante annule le bénéfice.

Exploité nativement par vLLM et TensorRT-LLM. La configuration tp=8 sur un nœud HGX 8-GPU répartit le modèle sur les 8 puces.

💡 Pourquoi c’est important en IA on-premise

Réduit la latence de génération en production datacenter : chaque GPU ne lit plus que 1/N des poids, mais les synchronisations à chaque couche (all-reduce via NCCL) rendent le gain sous-linéaire. Il reste inférieur à ×N, et d’autant plus que l’interconnexion est lente. Clé du Scénario D : permet aux 8 GPU d’un nœud HGX d’agir comme un seul accélérateur.

⚠️ Pièges fréquents

  • Inefficace sur PCIe seul (bus trop lent pour la synchronisation inter-GPU).
  • Nécessite que le nombre de têtes d’attention soit divisible par TP.
  • Ne s’applique pas au-delà d’un nœud sans coupler avec du Pipeline Parallelism.

📚 Pour comprendre en profondeur

  1. 🏢 Scénario D : Datacenter (Tensor Parallelism + NVLink + Ray en pratique)
  2. 🌐 Clustering IA : Exo et Ray (comparaison avec Pipeline Parallelism)
  3. 🧩 Stations Multi-GPU (pourquoi le TP plafonne sur PCIe et n’est efficace qu’avec le NVLink / NVSwitch des serveurs SXM)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.