Aller au contenu

🌐 Réseau IA : RoCE, InfiniBand et Thunderbolt

Après la station multi-GPU, la question suivante est naturelle : peut-on relier plusieurs machines pour obtenir un “super ordinateur” IA on-premise ?

Oui, mais le réseau devient vite plus important que le nombre de GPU. Une carte moderne lit sa VRAM à des centaines ou milliers de Go/s, alors qu’un lien réseau se compte souvent en dizaines ou centaines de Gb/s. Même RDMA ne transforme pas un cluster de bureau en système NVLink externe.


🎯 Le vrai rôle du réseau

Dans une architecture IA on-premise, le réseau sert surtout à trois choses :

  1. Distribuer des requêtes entre plusieurs machines.
  2. Synchroniser des GPU pour du parallélisme multi-nœuds.
  3. Déplacer des données entre stockage, CPU, GPU et services applicatifs.

Ces usages n’ont pas le même niveau d’exigence. Servir plusieurs utilisateurs avec plusieurs machines indépendantes tolère très bien Ethernet classique. En revanche, découper un même modèle sur plusieurs nœuds demande des échanges fréquents : latence, congestion, débit réel et support RDMA deviennent critiques.

graph TD
    A[Utilisateur / API] --> B[Routeur applicatif]
    B --> C[Noeud GPU 1]
    B --> D[Noeud GPU 2]
    B --> E[Noeud GPU 3]
    C -. synchronisation modele .-> D
    D -. synchronisation modele .-> E

La bonne question n’est donc pas “quel est le débit maximal du câble ?”, mais “quelles données doivent traverser le réseau pendant l’inférence ?”.


🧱 Ethernet classique, RoCE, InfiniBand : trois niveaux différents

1. Ethernet classique

Ethernet standard est parfait pour l’accès utilisateur, l’administration, les API, le stockage léger et les architectures où chaque machine sert une charge indépendante.

Son avantage est évident : coût raisonnable, matériel disponible, compétences réseau courantes. Sa limite est tout aussi claire : le protocole TCP/IP classique passe par plus de couches CPU et n’offre pas les mêmes garanties de latence qu’un fabric RDMA correctement configuré.

2. RoCE : RDMA sur Ethernet

RoCE signifie RDMA over Converged Ethernet. Il apporte une partie des bénéfices RDMA sur une infrastructure Ethernet adaptée : les transferts peuvent éviter une partie des copies et du traitement CPU, ce qui aide les communications entre nœuds GPU 12.

Mais RoCE n’est pas un bouton magique. La documentation NVIDIA indique que RoCE s’appuie sur ECN et PFC pour fonctionner en environnement Ethernet lossless ou semi-lossless, et que la configuration doit être cohérente côté hôtes, switches, priorités et files de trafic 3. En pratique, RoCE demande donc :

  • des NIC compatibles, souvent NVIDIA ConnectX
  • des switches adaptés
  • une configuration PFC/ECN comprise et testée
  • une surveillance de congestion
  • une pile logicielle compatible avec le runtime IA

Sur un réseau mal configuré, RoCE peut être pire qu’Ethernet classique : pauses PFC excessives, congestion invisible, performances instables.

3. InfiniBand : fabric dédié HPC/IA

InfiniBand est historiquement le choix des clusters HPC et IA quand la latence et la prédictibilité priment. Il combine réseau, transport RDMA et gestion de fabric dans un écosystème pensé pour les communications intensives.

Pour un particulier ou une petite PME, InfiniBand peut être trop coûteux ou trop spécialisé. Pour un cluster IA sérieux avec parallélisme multi-nœuds, il reste une référence parce qu’il réduit les surprises réseau et s’intègre bien avec les bibliothèques de communication GPU.

NVIDIA pousse désormais Spectrum-X Ethernet (switches Spectrum-6, optique enfichable ou co-packagée, livrés avec la plateforme Vera Rubin depuis août 2026) au même rang qu’InfiniBand pour les fabrics IA ; pour un datacenter souverain neuf, comparer les deux offres plutôt que de considérer InfiniBand comme seule référence 4.


🚀 GPUDirect RDMA : éviter le détour par la RAM

NVIDIA GPUDirect RDMA permet à une carte réseau ou un autre périphérique tiers d’échanger directement avec la mémoire GPU via PCIe, sans recopier systématiquement les données en RAM système 5. La documentation NVIDIA précise que la technologie fonctionne avec InfiniBand et RoCE sur matériel compatible 5.

graph LR
    A[GPU local - VRAM] -->|GPUDirect RDMA| B[NIC RDMA]
    B --> C[Fabric RoCE / InfiniBand]
    C --> D[NIC RDMA distant]
    D --> E[GPU distant - VRAM]

Ce mécanisme est important pour les moteurs distribués, mais il ne supprime pas les limites physiques :

  • le trafic traverse toujours PCIe, la NIC, le switch et les liens réseau
  • le gain dépend du moteur d’inférence et des bibliothèques de communication
  • la topologie PCIe de la machine reste importante
  • la compatibilité driver/kernel peut devenir un sujet d’exploitation

NVIDIA recommande désormais DMA-BUF comme approche moderne pour certains déploiements GPUDirect RDMA dans le GPU Operator, plutôt que le chemin historique nvidia-peermem quand les conditions de plateforme sont remplies 1.


⚡ Thunderbolt : utile, mais pas un fabric IA

Thunderbolt est séduisant pour l’on-premise : un câble compact, des docks, du stockage rapide, parfois du réseau point-à-point. Mais il faut garder les ordres de grandeur.

Depuis macOS 26.2, Apple supporte le RDMA over Thunderbolt 5 entre Mac ; MLX (backend JACCL, latence « d’un ordre de grandeur » inférieure au ring TCP) et Exo s’en servent pour le parallélisme entre deux à quatre machines, et Apple annonce « jusqu’à 3× » le débit d’inférence d’un seul Mac Studio M5 avec quatre nœuds. Conditions : Thunderbolt 5 sur chaque machine et câbles TB5, rdma_ctl enable à exécuter une fois en mode Recovery, topologie entièrement maillée pour JACCL, même build macOS partout — Thunderbolt 4 ne fournit qu’un lien IP 67.

Intel décrit Thunderbolt 4 comme un lien à 40 Gb/s bidirectionnel avec 32 Gb/s de données PCIe minimales 8. Thunderbolt 5 monte à 80 Gb/s bidirectionnels, avec un mode Bandwidth Boost pouvant réallouer le lien jusqu’à 120 Gb/s en émission et 40 Gb/s en réception, principalement pour les usages vidéo 9. Apple annonce « Thunderbolt 5 (120 Gb/s) » pour le Mac Studio M5 : c’est ce mode asymétrique, pas un débit symétrique 7.

Même Thunderbolt 5 reste très loin d’un fabric NVLink/NVSwitch de serveur GPU. Il peut être utile pour :

  • stockage externe rapide
  • station de travail compacte
  • dock réseau ou 10/25 GbE
  • expérimentation homelab
  • liaison simple entre machines dans certains scénarios

Il ne faut pas le vendre comme :

  • une extension transparente de VRAM
  • un NVLink externe
  • une solution robuste pour le tensor parallel multi-nœuds GPU (hors du cas Mac-à-Mac en RDMA Thunderbolt 5, limité à quatre machines et à l’écosystème MLX)
  • un réseau datacenter IA

Pour un mini-cluster de bureau, Thunderbolt peut aider à prototyper. Pour de la production multi-GPU distribuée, RoCE ou InfiniBand deviennent beaucoup plus crédibles.


🧠 Parallélisme IA : quel réseau pour quel usage ?

UsageRéseau acceptableCommentaire
Plusieurs utilisateurs, modèles répliquésEthernet classiqueLe load balancer distribue les requêtes, peu de synchronisation GPU
RAG + services applicatifsEthernet classique ou 10/25 GbELa latence applicative compte plus que RDMA
Stockage partagé performant25/100 GbE, parfois RDMADépend fortement du backend stockage
Multi-nœuds avec pipeline parallelRoCE ou InfiniBand recommandéLes activations traversent le réseau
Tensor parallel multi-nœudsInfiniBand ou RoCE très bien configuréCommunications fréquentes, réseau critique
Prototype homelabEthernet / ThunderboltUtile pour apprendre, pas pour promettre des gains linéaires
Cluster Mac 2–4 nœuds (MLX / Exo)Thunderbolt 5 + RDMA (macOS 26.2+)Gains sub-linéaires (Apple : ≤ 3× pour 4 nœuds) ; Thunderbolt 4 = IP seulement 67

vLLM recommande de raisonner sur la topologie : tensor parallel dans un nœud quand le modèle tient sur les GPU du nœud, puis pipeline parallel entre nœuds quand il faut dépasser cette limite. La documentation mentionne aussi GPUDirect RDMA pour les communications réseau GPU efficaces dans les déploiements compatibles 10.


📋 Le Conseil de l’Architecte

Pour un déploiement souverain on-premise :

  1. Commencer par répliquer avant de distribuer. Deux machines qui servent chacune leur propre modèle sont souvent plus fiables qu’un modèle coupé en deux sur un réseau fragile.
  2. Ne pas confondre débit marketing et débit utile. Un lien réseau annoncé en Gb/s ne dit rien de la latence, de la congestion, du CPU bypass ou du comportement NCCL.
  3. Réserver RoCE aux environnements maîtrisés. RoCE est pertinent si vous contrôlez les NIC, switches, QoS, PFC/ECN et monitoring.
  4. Choisir InfiniBand pour le multi-nœuds sérieux. Si l’objectif est un cluster IA à faible latence, InfiniBand évite beaucoup de bricolage.
  5. Utiliser Thunderbolt comme outil de station — et, sur Mac, comme lien de cluster RDMA à petite échelle. Très pratique pour le stockage et les docks ; en Thunderbolt 5 + macOS 26.2 il porte un cluster MLX/Exo de 2 à 4 Mac ; il ne remplace pas un fabric GPU 6.

Le réseau IA on-premise n’est donc pas “plus de câbles”. C’est une décision d’architecture : quelle part du modèle, du cache et des requêtes accepte-t-on de faire traverser entre machines ?


📚 Sources et Références

Footnotes

  1. NVIDIA, GPUDirect RDMA and GPUDirect Storage — GPU Operator (DMA-BUF, nvidia-peermem, configuration GPUDirect RDMA). https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/26.3/gpu-operator-rdma.html ↩ ↩2

  2. NVIDIA, RDMA over Converged Ethernet — DOCA SDK (RDMA, RoCE, faible latence, lossless Ethernet). https://docs.nvidia.com/doca/sdk/rdma-over-converged-ethernet.pdf ↩

  3. NVIDIA, RDMA over Converged Ethernet - RoCE | Cumulus Linux (PFC, ECN, modes lossy/lossless). https://docs.nvidia.com/networking-ethernet-software/cumulus-linux/Layer-1-and-Switch-Ports/Quality-of-Service/RDMA-over-Converged-Ethernet-RoCE/ ↩

  4. NVIDIA Newsroom, NVIDIA Announces Financial Results for Second Quarter Fiscal 2027 (Spectrum-6 « supporting both pluggable and co-packaged optics as part of the NVIDIA Vera Rubin platform » ; Vera Rubin en pleine production), 26 août 2026. https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-second-quarter-fiscal-2027 ↩

  5. NVIDIA, GPUDirect RDMA 13.2 documentation (échanges directs entre GPU et périphériques tiers, support InfiniBand/RoCE). https://docs.nvidia.com/cuda/gpudirect-rdma/ ↩ ↩2

  6. Apple MLX, Distributed Communication (« Starting from macOS 26.2, RDMA over thunderbolt is available » ; backend JACCL, topologie entièrement maillée, latence d’un ordre de grandeur inférieure au ring ; rdma_ctl enable en Recovery ; mlx.launch et hostfile), consulté le 2026-10-10. https://ml-explore.github.io/mlx/build/html/usage/distributed.html · Exo Labs, GitHub - exo-explore/exo (README : RDMA Thunderbolt 5 + macOS 26.2, même build macOS sur chaque nœud), relu le 2026-10-09. https://github.com/exo-explore/exo ↩ ↩2 ↩3

  7. Apple Newsroom, Apple introduces new Mac Studio with M5 Max and M5 Ultra (clustering « using the built-in support for Thunderbolt 5 and RDMA » ; « A cluster of four Mac Studio systems delivers up to a remarkable 3x faster AI inference than a single system »), 25 août 2026. https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/ ↩ ↩2 ↩3

  8. Intel, What Is Thunderbolt 4? (40 Gb/s bidirectionnel, PCIe 32 Gb/s). https://www.intel.com/content/www/us/en/gaming/resources/upgrade-gaming-accessories-thunderbolt-4.html ↩

  9. Thunderbolt Technology, Thunderbolt 5 Technology Brief (80 Gb/s bidirectionnel, 120/40 Gb/s Bandwidth Boost, PCIe 64 Gb/s). https://www.thunderbolttechnology.net/sites/default/files/Thunderbolt_5_TechBrief_2023_09_12.pdf ↩

  10. vLLM, Parallelism and Scaling (tensor parallel, pipeline parallel, multi-nœuds, GPUDirect RDMA). https://docs.vllm.ai/en/stable/serving/parallelism_scaling/ ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.