🌐 Clustering IA : Relier les GPU avec Exo et Ray
Même avec la meilleure quantification, un modèle massif comme DeepSeek V3 (671 milliards de paramètres) demande plus de 400 Go de mémoire vidéo. Aucune carte graphique grand public ne possède cette capacité seule.
La solution matérielle est d’utiliser un serveur multi-GPU. Mais comment le logiciel gère-t-il cette distribution ? Et comment faire si vous n’avez pas un énorme serveur, mais plutôt plusieurs Mac Studio branchés en réseau ?
En 2026, deux écoles logicielles s’affrontent pour le clustering IA : Exo pour le matériel de bureau, et Ray pour les datacenters.
1. Exo : Le cluster P2P du poste de travail
Exo (développé par Exo Labs) est la révolution de l’inférence locale “grand public”. Son objectif est simple : créer un cluster d’IA à partir de Mac Apple Silicon connectés au même réseau ; au T4 2026 Exo repose uniquement sur MLX, Linux n’est supporté qu’en CPU (le GPU est « en développement », extras mlx-cuda12/13 expérimentaux) et Windows n’est pas pris en charge1.
🌟 Comment ça marche ?
Exo fonctionne en Peer-to-Peer (P2P). Vous lancez la commande uv run exo sur chaque machine. Elles se découvrent automatiquement sur le réseau local et fusionnent leur mémoire disponible1. Lorsqu’une requête est envoyée, Exo découpe le modèle en pipeline (couches successives sur des machines successives : la machine A calcule les premières couches du réseau de neurones, puis envoie le résultat à la machine B, qui calcule la suite) ou en tensor parallel (chaque couche répartie sur toutes les machines, via RDMA Thunderbolt 5), selon la bande passante mesurée entre nœuds1.
🚀 Cas d’usage : Le Mac Cluster
Exo brille particulièrement sur Apple Silicon. En reliant les Mac par Thunderbolt 5 sous macOS 26.2 ou plus récent, Exo active le RDMA over Thunderbolt (conditions d’activation dans Réseau IA) et obtient une bande passante suffisante pour compenser la latence inter-machines ; en Thunderbolt 4 on ne dispose que d’un lien IP, suffisant pour tester mais pas pour le parallélisme tensoriel1. Exo Labs a mesuré, sur un cluster de 8 Mac mini M4 Pro 64 Go (512 Go agrégés), DeepSeek V3 671B en 4-bit à 5,4 tokens/s (TTFT 2,9 s) ; la génération Mac mini M5 Pro (307 Go/s, Thunderbolt 5) le remplace depuis septembre 2026 sans nouveau chiffre publié45.
⚠️ Les limites
Si la connexion réseau est lente (Wi-Fi ou simple câble Ethernet 1 Gigabit), le transfert des activations entre les machines devient un goulot d’étranglement fatal. La capacité globale augmente, mais les tokens/s s’effondrent.
2. Ray & vLLM : Le standard Datacenter
Pour la production d’entreprise (comme l’infrastructure d’Apple ou d’OpenAI), le réseau grand public n’a pas sa place. Le standard de l’industrie repose sur l’orchestrateur distribué Ray (souvent couplé au moteur vLLM étudié précédemment). Ray Serve LLM est passé en disponibilité générale avec Ray 2.59.0 (2 octobre 2026) : backends vLLM et SGLang, désagrégation prefill/decode, routage par préfixe et par occupation du KV cache, multi-LoRA ; la version de vLLM épinglée par Ray (0.27.0) retarde de quelques versions sur vLLM amont (0.31.0), à vérifier avant d’aligner CUDA 13 / PyTorch67.
🌟 Comment ça marche ?
Ray gère des fermes de serveurs entières. Au lieu du P2P, il repose sur une architecture Maître/Travailleur. La commande ray symmetric-run permet par exemple de lancer et synchroniser le moteur vLLM à travers plusieurs serveurs physiques de manière unifiée6.
Ray orchestre la combinaison de plusieurs stratégies mathématiques :
- Tensor Parallelism (TP) : Découpe les matrices mathématiques d’une même couche entre les GPU à l’intérieur d’un serveur (nécessite un bus NVLink).
- Pipeline Parallelism (PP) : Découpe les blocs de couches du modèle entre les différents serveurs (nécessite un réseau RoCE ou InfiniBand).
🚀 Cas d’usage : Désagrégation et MoE
En 2026, l’architecture Ray + vLLM permet des optimisations extrêmes, comme la désagrégation Prefill/Decode : un serveur spécifique (optimisé pour le calcul pur) s’occupe de lire le prompt initial (Prefill), puis transfère le KV Cache sur le réseau vers un autre serveur (optimisé pour la capacité mémoire) qui va s’occuper de générer la réponse (Decoding)8. C’est indispensable pour servir efficacement et à grande échelle les modèles Mixture-of-Experts (MoE).
⚠️ Les limites
Ray est très complexe à administrer. Il exige une infrastructure de classe entreprise, un stockage partagé, et un réseau IA extrêmement performant configuré spécifiquement pour réduire la latence.
3. Comparatif opérationnel Exo vs Ray
| Critère | Exo | Ray + vLLM |
|---|---|---|
| Installation | brew install --cask exo (app macOS) ou uv sync --extra mlx + uv run exo | Ray cluster + vLLM, configuration YAML |
| Découverte des nœuds | Automatique (zenoh depuis juin 2026 ; IP ou Thunderbolt)9 | Manuelle (IP/DNS ou config explicite) |
| Réseau recommandé | Thunderbolt 5 + RDMA (macOS 26.2+) ; TB4 / Ethernet pour tester | RoCE v2 ou InfiniBand (200/400 Gb) |
| Matériel cible | Mac Apple Silicon (Mac mini M5 Pro, Mac Studio M5 Max / Ultra) ; Linux CPU-only | Serveurs rack NVIDIA (H100/H200/B200/B300), AMD MI300X/MI355X via vLLM/SGLang |
| Parallelisme | Pipeline + Tensor (choix automatique selon la topologie ; TP annoncé jusqu’à 1,8× sur 2 nœuds, 3,2× sur 4)1 | TP + PP + désagrégation Prefill/Decode |
| Monitoring | Tableau de bord web et API sur localhost:52415 ; pas de métriques Prometheus1 | Prometheus, Grafana (dashboards vLLM / SGLang), traces Ray |
| Tolérance aux pannes | Faible (perte d’un nœud = crash) | Forte (Ray redémarre les workers) |
| Seuil de budget | < 15 000–25 000 € (2–4 Mac Studio M5 selon la mémoire) | > 100 000 € (serveur GPU + réseau) |
| Complexité opérationnelle | ⭐ (très simple) | ⭐⭐⭐⭐⭐ (expertise HPC requise) |
4. Démarrage rapide — Exo sur deux Mac
# Sur chaque machine du cluster (depuis les sources ; ou `brew install --cask exo`)git clone https://github.com/exo-explore/exo && cd exo && uv sync --extra mlx
# Machine 1 (démarrage du cluster P2P)uv run exo
# Machine 2 (join automatique, découverte zenoh)uv run exo
# Vérifier que les nœuds se voient# Exo affiche dans les logs : "Discovered peer: <hostname>"
# Envoyer une requête au cluster (API compatible OpenAI) — "model" = identifiant Hugging Face# tel qu'affiché dans le tableau de bord (http://localhost:52415) ; exemple du README Exocurl http://localhost:52415/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "mlx-community/Llama-3.2-1B-Instruct-4bit", "messages": [{"role": "user", "content": "Combien de nœuds dans ce cluster ?"}] }'📋 Le Conseil de l’Architecte
Pour déployer des agents autonomes on-premise chez des clients :
- En phase de test ou pour un Labo PME : si vos modèles dépassent la mémoire d’un seul Mac (DeepSeek, Kimi, Qwen 3.x-480B…), reliez deux à quatre Mac Apple Silicon en Thunderbolt 5 avec MLX distribué (
mlx.launch, backend JACCL) ou Exo ; un 70B Q4 tient dans un Mac Studio 64–128 Go sans cluster. Les PC Linux/Windows à GPU ne sont pas servis par Exo au T4 202613. En quelques minutes, votre cluster est prêt et le modèle tourne sans investissement cloud supplémentaire. - En production critique multi-utilisateurs : Oubliez le P2P. Utilisez Ray Serve avec vLLM sur des serveurs Linux équipés de GPU dédiés. C’est la seule architecture logicielle qui vous garantira un monitoring précis, un routage intelligent des requêtes concurrentes et une vraie tolérance aux pannes au niveau du datacenter local.
📚 Sources et Références
Footnotes
-
Exo Labs, GitHub - exo-explore/exo: Run frontier AI locally (README : API et tableau de bord sur
localhost:52415, exemples d’API avecmlx-community/Llama-3.2-1B-Instruct-4bit, backend MLX uniquement, Linux CPU-only, RDMA Thunderbolt 5 + macOS 26.2,rdma_ctl enable, pipeline et tensor parallelism à choix automatique — TP « jusqu’à 1,8× sur 2 appareils, 3,2× sur 4 » —, installationbrew/uv sync --extra mlx), relu le 2026-10-09. https://github.com/exo-explore/exo ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 -
Exo Labs, exo — Releases (dernière version v1.0.71 du 2026-04-23), consulté le 2026-10-09. https://github.com/exo-explore/exo/releases ↩
-
Apple MLX, Distributed Communication (
mlx.launch, backends JACCL / ring, Thunderbolt 5 RDMA), consulté le 2026-10-09. https://ml-explore.github.io/mlx/build/html/usage/distributed.html ↩ ↩2 ↩3 -
Exo Labs, Running DeepSeek V3 671B on M4 Mac Mini Cluster — 12 days of EXO (8 × Mac mini M4 Pro 64 Go, 4-bit, 5,37 tok/s, TTFT 2,91 s ; page non datée, série de décembre 2024), relu le 2026-10-09. https://blog.exolabs.net/day-2 ↩
-
Apple Newsroom, Apple unveils a more powerful Mac mini featuring the all-new M6 and M5 Pro (Mac mini M5 Pro : jusqu’à 64 Go, 307 Go/s, Thunderbolt 5), août 2026 · Apple, Mac mini — Technical Specifications, consultée le 2026-10-09. https://www.apple.com/newsroom/2026/08/apple-unveils-a-more-powerful-mac-mini-featuring-the-all-new-m6-and-m5-pro/ · https://www.apple.com/mac-mini/specs/ ↩
-
Anyscale & vLLM Blog, Streamlined multi-node serving with Ray symmetric-run (Lancement vLLM multi-nœuds), Novembre 2025. https://vllm.ai/blog/2025-11-22-ray-symmetric-run ↩ ↩2
-
Ray Project, Release ray-2.59.0 (« LLM APIs graduate to general availability » : vLLM 0.27.0 et SGLang, désagrégation prefill/decode, routage KV-aware, multi-LoRA), 2026-10-02 · Ray Docs, Serving LLMs. https://github.com/ray-project/ray/releases/tag/ray-2.59.0 · https://docs.ray.io/en/latest/serve/llm/index.html ↩
-
Anyscale, Ray Serve LLM — Wide-EP disaggregated serving with vLLM (Désagrégation Prefill/Decode, MoE), 2025. https://www.anyscale.com/blog/ray-serve-llm-anyscale-apis-wide-ep-disaggregated-serving-vllm ↩
-
Exo Labs, dépôt
exo-explore/exo, PR #2132 « libp2p -> zenoh » (remplacement de la couche de découverte), fusionnée le 2026-06-03. https://github.com/exo-explore/exo/pull/2132 ↩