Aller au contenu

Exo

📝 Définition courte

Logiciel open-source qui relie plusieurs Mac Apple Silicon en un cluster IA P2P capable de faire tourner des modèles massifs ; au T4 2026, Exo repose uniquement sur MLX (Linux en CPU seulement, Windows non pris en charge).

📖 Définition détaillée

Exo (développé par Exo Labs) utilise la découverte automatique sur le réseau local : chaque machine lance uv run exo, elles se détectent et fusionnent leur mémoire disponible. Le modèle est réparti soit en tranches de couches (Pipeline Parallelism : la machine A calcule les premières couches, transmet le résultat à la machine B, etc.), soit en Tensor Parallelism via RDMA Thunderbolt 5 ; Exo choisit automatiquement selon la bande passante mesurée entre nœuds.

Les Mac sont reliés de préférence par des câbles Thunderbolt 5 (RDMA sous macOS 26.2+), seule liaison de bureau assez rapide pour compenser la latence inter-machines.

💡 Pourquoi c’est important en IA on-premise

Permet de dépasser la limite d’une seule machine sans investissement datacenter. Un cluster de 2 à 4 Mac reliés en RDMA Thunderbolt 5 (maillage complet), ou davantage de Mac Mini en pipeline sur IP, comme les 8 Mac Mini du test Exo de 2024, peut accueillir des modèles de 200 à 600B+ inaccessibles sur une machine unique.

⚠️ Pièges fréquents

  • Un réseau Wi-Fi ou Ethernet 1 Gbps détruit les performances : le réseau devient le goulot.
  • Le TTFT explose sur les prompts longs (le prefill fait transiter beaucoup de données entre nœuds).
  • Mauvais support de la concurrence élevée : pas adapté à 50 utilisateurs simultanés.
  • Projet au ralenti : aucune release depuis la v1.0.71 (avril 2026) ; pour un cluster Mac neuf, comparer avec MLX distribué (mlx.launch), maintenu par Apple.

📚 Pour comprendre en profondeur

  1. 🌐 Clustering IA : Exo et Ray (le chapitre complet avec benchmarks et cas d’usage)
  2. 🖥️ Scénario C : Le Cluster Bureau (blueprint Exo + Thunderbolt)
  3. Pipeline Parallelism (la stratégie de découpage utilisée)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.