Aller au contenu

Pipeline Parallelism

📝 Définition courte

Découpage d’un modèle en blocs de couches répartis sur plusieurs nœuds : chaque nœud traite sa tranche et transmet le résultat au suivant.

📖 Définition détaillée

La machine A calcule les couches 1 à N, envoie le résultat (les activations) par le réseau à la machine B qui calcule les suivantes, et ainsi de suite jusqu’au dernier nœud. C’est l’une des deux stratégies d’Exo sur les clusters de bureau (l’autre étant le Tensor Parallelism en RDMA Thunderbolt 5).

Différence clé avec le Tensor Parallelism :

  • Pipeline Parallelism : découpage entre couches (besoin d’un réseau rapide mais pas extrême).
  • Tensor Parallelism : découpage au sein d’une couche (besoin de NVLink ou équivalent très rapide).

Le Pipeline Parallelism augmente la capacité mémoire mais introduit de la latence à chaque frontière entre nœuds (les fameux “pipeline bubbles” — temps d’attente entre tranches).

💡 Pourquoi c’est important en IA on-premise

Option la plus robuste pour les clusters bureau sans NVLink (le Tensor Parallelism n’y est envisageable qu’entre Mac reliés en RDMA Thunderbolt 5). Clé pour comprendre pourquoi le TTFT se dégrade dans le Scénario C.

⚠️ Pièges fréquents

  • Les pipeline bubbles dégradent la latence, surtout sur les prompts longs (prefill).
  • Supporte mal les requêtes concurrentes massives.
  • Un réseau lent (Wi-Fi, 1 GbE) peut neutraliser tout le gain de capacité.

📚 Pour comprendre en profondeur

  1. 🌐 Clustering IA : Exo et Ray (comment Exo utilise cette stratégie)
  2. 🖥️ Scénario C : Le Cluster Bureau (impact sur le TTFT en pratique)
  3. Tensor Parallelism (la stratégie alternative pour les nœuds NVLink)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.