NCCL
📝 Définition courte
Bibliothèque logicielle NVIDIA qui gère les opérations collectives (AllReduce, AllGather, Broadcast) entre GPU, en exploitant NVLink, InfiniBand ou PCIe selon la topologie disponible.
📖 Définition détaillée
NCCL (prononcé « nickel ») est la couche de communication sur laquelle s’appuient PyTorch, vLLM, TensorRT-LLM et Ray pour synchroniser les gradients ou les activations entre GPU.
Opérations principales :
- AllReduce : somme/moyenne d’un tenseur sur tous les GPU (utilisé en entraînement distribué et Tensor Parallelism).
- AllGather : chaque GPU collecte les fragments des autres.
- Broadcast : diffuse un tenseur d’un GPU maître vers tous les autres.
NCCL détecte automatiquement la topologie (NVLink > InfiniBand > PCIe > Ethernet) et optimise les chemins de communication en conséquence.
💡 Pourquoi c’est important en IA on-premise
Couche invisible mais critique : si NCCL n’est pas configuré pour exploiter NVLink ou InfiniBand, toutes les communications inter-GPU transitent par PCIe et dégradent fortement le débit du Tensor Parallelism.
⚠️ Pièges fréquents
- La variable d’environnement
NCCL_P2P_DISABLE=1désactive les transferts peer-to-peer directs — une erreur de configuration fréquente qui peut diviser les performances par 5. - Les logs NCCL révèlent la topologie détectée : toujours vérifier que NVLink est bien sélectionné sur les nœuds HGX.
🔗 Voir aussi
Stratégie de distribution d'un LLM par découpage des matrices mathématiques entre plusieurs GPU d'un même nœud.Lien matériel dédié qui relie les GPU NVIDIA à très haute vitesse en contournant le bus PCIe ; il a disparu des cartes workstation et grand public récentes.Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.