RoCE
📝 Définition courte
Protocole qui apporte les bénéfices RDMA sur des réseaux Ethernet adaptés.
📖 Définition détaillée
RoCE apporte les bénéfices de RDMA (faible latence, faible charge CPU) sur des switches Ethernet standard, sans nécessiter un fabric InfiniBand dédié.
RoCE v2 (la version courante) utilise UDP/IP, ce qui simplifie le routage mais exige un réseau lossless pour ne pas dégrader les performances RDMA :
- PFC (Priority Flow Control) : évite les pertes de paquets en pausant le trafic par priorité.
- ECN (Explicit Congestion Notification) : gère la congestion avant que les buffers saturent.
Sans cette configuration, une perte de paquet force une retransmission qui peut dégrader le débit par ×10 ou plus.
RoCE vs InfiniBand :
- RoCE : réutilise l’infrastructure Ethernet, coût inférieur, configuration réseau exigeante.
- InfiniBand : fabric dédié, lossless natif, latence la plus basse, coût élevé.
💡 Pourquoi c’est important en IA on-premise
Alternative crédible à InfiniBand pour les clusters IA on-premise quand le budget ne permet pas un fabric IB dédié. Backbone des clusters GPU à 25/100/400 GbE.
⚠️ Pièges fréquents
- RoCE sans PFC/ECN correctement configurés dégénère en performances inférieures à du TCP optimisé.
- Un seul switch non configuré sur le chemin casse le lossless pour tout le flux.
🔗 Voir aussi
Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.Fabric réseau dédié hautes performances pour les clusters GPU, standard HPC et datacenter IA.Priority Flow Control — mécanisme Ethernet de pause par priorité pour garantir un réseau lossless nécessaire à RoCE.Explicit Congestion Notification — mécanisme de signalement de congestion réseau utilisé avec RoCE pour éviter les pertes de paquets.Mécanisme permettant aux GPU d'échanger des données directement avec des périphériques réseau sans copie CPU.