Aller au contenu

Thunderbolt

📝 Définition courte

Interface câblée qui permet jusqu’à 80 Gb/s bidirectionnel entre machines — utilisée pour relier les nœuds d’un cluster de bureau IA (Exo).

📖 Définition détaillée

  • Thunderbolt 4 : jusqu’à 40 Gb/s bidirectionnel.
  • Thunderbolt 5 : jusqu’à 80 Gb/s bidirectionnel.

Entre Mac, Thunderbolt 4 fournit une connexion réseau IP locale (IP-over-Thunderbolt) ; depuis macOS 26.2, Thunderbolt 5 ajoute le RDMA (backend JACCL de MLX, utilisé aussi par Exo) ; conditions d’activation dans Réseau IA : RoCE, InfiniBand et Thunderbolt. Cette bande passante est suffisante pour le Pipeline Parallelism d’Exo sur des modèles jusqu’à 600B+.

En perspective : un lien Thunderbolt 5 à 80 Gb/s ≈ 10 Go/s, soit cent fois moins qu’un bus NVLink (1 800 Go/s). C’est sa limite fondamentale.

💡 Pourquoi c’est important en IA on-premise

Solution bureau pour relier plusieurs Mac Mini en cluster silencieux et économique, sans investir dans un réseau datacenter RoCE/InfiniBand.

⚠️ Pièges fréquents

  • RDMA seulement en Thunderbolt 5 sous macOS 26.2+ (Thunderbolt 4 : IP uniquement) ; même en RDMA, débit et latence restent loin de NVLink ou InfiniBand.
  • Le TTFT se dégrade fortement sur les prompts longs (le prefill fait transiter beaucoup de données).
  • Pas un substitut au réseau datacenter pour la production à haute concurrence.

📚 Pour comprendre en profondeur

  1. 🖥️ Scénario C : Le Cluster Bureau (Exo + Thunderbolt en pratique)
  2. 🌐 Réseau IA : RoCE, InfiniBand et Thunderbolt (comparaison complète des interconnexions)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.