InfiniBand
📝 Définition courte
Réseau dédié à très faible latence et très haute bande passante (jusqu’à 400–800 Gb/s par lien) conçu pour le calcul haute performance et les clusters GPU IA.
📖 Définition détaillée
InfiniBand est à la fois un protocole et un fabric physique (câbles, switches, cartes HCA). Il supporte nativement le RDMA — les GPU peuvent s’envoyer des données directement sans passer par le CPU.
Générations : HDR (200 Gb/s), NDR (400 Gb/s), XDR (800 Gb/s par port).
InfiniBand vs RoCE :
- InfiniBand : fabric dédié, lossless natif, latence la plus basse (~1 µs), coût élevé.
- RoCE : RDMA sur Ethernet standard, moins coûteux mais nécessite une configuration réseau stricte (PFC/ECN) pour éviter les pertes de paquets.
💡 Pourquoi c’est important en IA on-premise
Standard de facto pour les clusters GPU de production (datacenters IA, HPC). Condition pour le Tensor Parallelism et Pipeline Parallelism inter-nœuds à plein débit.
⚠️ Pièges fréquents
- Nécessite du matériel dédié et des compétences réseau HPC spécifiques.
- Infrastructure propriétaire (essentiellement NVIDIA/Mellanox) : migration vers Ethernet difficile.
- Le coût total (switchs, câbles, cartes HCA) peut dépasser le coût des serveurs GPU eux-mêmes.
🔗 Voir aussi
Technique réseau qui lit et écrit en mémoire distante sans passer par le CPU, avec faible latence ; elle se décline en InfiniBand et en RoCE.Protocole qui apporte les bénéfices du RDMA sur Ethernet standard, sans fabric InfiniBand dédié, au prix d'un réseau lossless à configurer (PFC, ECN).Stratégie de distribution d'un LLM par découpage des matrices mathématiques entre plusieurs GPU d'un même nœud.Stratégie de distribution d'un LLM en tranches de couches entre plusieurs machines.Mécanisme permettant aux GPU d'échanger des données directement avec des périphériques réseau sans copie CPU.