Aller au contenu

GPUDirect RDMA

📝 Définition courte

Technologie NVIDIA qui permet à un GPU d’envoyer ou recevoir des données directement depuis/vers une carte réseau compatible, sans passer par la mémoire CPU (zero-copy).

📖 Définition détaillée

Dans un pipeline classique, un transfert GPU → réseau requiert : GPU VRAM → RAM CPU → carte réseau (deux copies). GPUDirect RDMA supprime la copie CPU en permettant à la carte réseau d’accéder directement à la VRAM du GPU via PCIe (DMA-BUF).

Utilisé par NCCL pour les communications inter-nœuds dans les clusters distribués.

💡 Pourquoi c’est important en IA on-premise

Réduit la latence et la charge CPU lors des synchronisations inter-GPU sur InfiniBand ou RoCE. Critique pour maintenir le débit du Tensor Parallelism et du Pipeline Parallelism à grande échelle.

⚠️ Pièges fréquents

  • Ne fonctionne pas si le GPU et la carte réseau sont sur des branches PCIe séparées avec une topologie NUMA défavorable.
  • Sans DMA-BUF ni nvidia-peermem chargé, NCCL bascule silencieusement en mode copie CPU : vérifier dans les logs (NCCL_DEBUG=INFO) que le chemin NET/IB/GDRDMA est bien utilisé.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.