Aller au contenu

NCCL

📝 Définition courte

Bibliothèque logicielle NVIDIA qui gère les opérations collectives (AllReduce, AllGather, Broadcast) entre GPU, en exploitant NVLink, InfiniBand ou PCIe selon la topologie disponible.

📖 Définition détaillée

NCCL (prononcé « nickel ») est la couche de communication sur laquelle s’appuient PyTorch, vLLM, TensorRT-LLM et Ray pour synchroniser les gradients ou les activations entre GPU.

Opérations principales :

  • AllReduce : somme/moyenne d’un tenseur sur tous les GPU (utilisé en entraînement distribué et Tensor Parallelism).
  • AllGather : chaque GPU collecte les fragments des autres.
  • Broadcast : diffuse un tenseur d’un GPU maître vers tous les autres.

NCCL détecte automatiquement la topologie (NVLink > InfiniBand > PCIe > Ethernet) et optimise les chemins de communication en conséquence.

💡 Pourquoi c’est important en IA on-premise

Couche invisible mais critique : si NCCL n’est pas configuré pour exploiter NVLink ou InfiniBand, toutes les communications inter-GPU transitent par PCIe et dégradent fortement le débit du Tensor Parallelism.

⚠️ Pièges fréquents

  • La variable d’environnement NCCL_P2P_DISABLE=1 désactive les transferts peer-to-peer directs — une erreur de configuration fréquente qui peut diviser les performances par 5.
  • Les logs NCCL révèlent la topologie détectée : toujours vérifier que NVLink est bien sélectionné sur les nœuds HGX.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.