Pipeline Parallelism
📝 Définition courte
Découpage d’un modèle en blocs de couches répartis sur plusieurs nœuds : chaque nœud traite sa tranche et transmet le résultat au suivant.
📖 Définition détaillée
La machine A calcule les couches 1 à N, envoie le résultat (les activations) par le réseau à la machine B qui calcule les suivantes, et ainsi de suite jusqu’au dernier nœud. C’est l’une des deux stratégies d’Exo sur les clusters de bureau (l’autre étant le Tensor Parallelism en RDMA Thunderbolt 5).
Différence clé avec le Tensor Parallelism :
- Pipeline Parallelism : découpage entre couches (besoin d’un réseau rapide mais pas extrême).
- Tensor Parallelism : découpage au sein d’une couche (besoin de NVLink ou équivalent très rapide).
Le Pipeline Parallelism augmente la capacité mémoire mais introduit de la latence à chaque frontière entre nœuds (les fameux “pipeline bubbles” — temps d’attente entre tranches).
💡 Pourquoi c’est important en IA on-premise
Option la plus robuste pour les clusters bureau sans NVLink (le Tensor Parallelism n’y est envisageable qu’entre Mac reliés en RDMA Thunderbolt 5). Clé pour comprendre pourquoi le TTFT se dégrade dans le Scénario C.
⚠️ Pièges fréquents
- Les pipeline bubbles dégradent la latence, surtout sur les prompts longs (prefill).
- Supporte mal les requêtes concurrentes massives.
- Un réseau lent (Wi-Fi, 1 GbE) peut neutraliser tout le gain de capacité.
📚 Pour comprendre en profondeur
- 🌐 Clustering IA : Exo et Ray (comment Exo utilise cette stratégie)
- 🖥️ Scénario C : Le Cluster Bureau (impact sur le TTFT en pratique)
- Tensor Parallelism (la stratégie alternative pour les nœuds NVLink)