Exo
📝 Définition courte
Logiciel open-source qui relie plusieurs Mac Apple Silicon en un cluster IA P2P capable de faire tourner des modèles massifs ; au T4 2026, Exo repose uniquement sur MLX (Linux en CPU seulement, Windows non pris en charge).
📖 Définition détaillée
Exo (développé par Exo Labs) utilise la découverte automatique sur le réseau local : chaque machine lance uv run exo, elles se détectent et fusionnent leur mémoire disponible. Le modèle est réparti soit en tranches de couches (Pipeline Parallelism : la machine A calcule les premières couches, transmet le résultat à la machine B, etc.), soit en Tensor Parallelism via RDMA Thunderbolt 5 ; Exo choisit automatiquement selon la bande passante mesurée entre nœuds.
Les Mac sont reliés de préférence par des câbles Thunderbolt 5 (RDMA sous macOS 26.2+), seule liaison de bureau assez rapide pour compenser la latence inter-machines.
💡 Pourquoi c’est important en IA on-premise
Permet de dépasser la limite d’une seule machine sans investissement datacenter. Un cluster de 2 à 4 Mac reliés en RDMA Thunderbolt 5 (maillage complet), ou davantage de Mac Mini en pipeline sur IP, comme les 8 Mac Mini du test Exo de 2024, peut accueillir des modèles de 200 à 600B+ inaccessibles sur une machine unique.
⚠️ Pièges fréquents
- Un réseau Wi-Fi ou Ethernet 1 Gbps détruit les performances : le réseau devient le goulot.
- Le TTFT explose sur les prompts longs (le prefill fait transiter beaucoup de données entre nœuds).
- Mauvais support de la concurrence élevée : pas adapté à 50 utilisateurs simultanés.
- Projet au ralenti : aucune release depuis la v1.0.71 (avril 2026) ; pour un cluster Mac neuf, comparer avec MLX distribué (
mlx.launch), maintenu par Apple.
📚 Pour comprendre en profondeur
- 🌐 Clustering IA : Exo et Ray (le chapitre complet avec benchmarks et cas d’usage)
- 🖥️ Scénario C : Le Cluster Bureau (blueprint Exo + Thunderbolt)
- Pipeline Parallelism (la stratégie de découpage utilisée)