GPUDirect RDMA
📝 Définition courte
Technologie NVIDIA qui permet à un GPU d’envoyer ou recevoir des données directement depuis/vers une carte réseau compatible, sans passer par la mémoire CPU (zero-copy).
📖 Définition détaillée
Dans un pipeline classique, un transfert GPU → réseau requiert : GPU VRAM → RAM CPU → carte réseau (deux copies). GPUDirect RDMA supprime la copie CPU en permettant à la carte réseau d’accéder directement à la VRAM du GPU via PCIe (DMA-BUF).
Utilisé par NCCL pour les communications inter-nœuds dans les clusters distribués.
💡 Pourquoi c’est important en IA on-premise
Réduit la latence et la charge CPU lors des synchronisations inter-GPU sur InfiniBand ou RoCE. Critique pour maintenir le débit du Tensor Parallelism et du Pipeline Parallelism à grande échelle.
⚠️ Pièges fréquents
- Ne fonctionne pas si le GPU et la carte réseau sont sur des branches PCIe séparées avec une topologie NUMA défavorable.
- Sans DMA-BUF ni
nvidia-peermemchargé, NCCL bascule silencieusement en mode copie CPU : vérifier dans les logs (NCCL_DEBUG=INFO) que le cheminNET/IB/GDRDMAest bien utilisé.
🔗 Voir aussi
Stratégie de distribution d'un LLM par découpage des matrices mathématiques entre plusieurs GPU d'un même nœud.Stratégie de distribution d'un LLM en tranches de couches entre plusieurs machines.Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.Bibliothèque NVIDIA de communication collective optimisée pour les transferts GPU-à-GPU à grande échelle.Fabric réseau dédié hautes performances pour les clusters GPU, standard HPC et datacenter IA.Bus standard reliant CPU, GPU, SSD et autres périphériques ; il limite l'offloading CPU vers GPU et le Tensor Parallelism sur les setups multi-GPU sans NVLink.