Aller au contenu

🌐 Clustering IA : Relier les GPU avec Exo et Ray

Même avec la meilleure quantification, un modèle massif comme DeepSeek V3 (671 milliards de paramètres) demande plus de 400 Go de mémoire vidéo. Aucune carte graphique grand public ne possède cette capacité seule.

La solution matérielle est d’utiliser un serveur multi-GPU. Mais comment le logiciel gère-t-il cette distribution ? Et comment faire si vous n’avez pas un énorme serveur, mais plutôt plusieurs Mac Studio branchés en réseau ?

En 2026, deux écoles logicielles s’affrontent pour le clustering IA : Exo pour le matériel de bureau, et Ray pour les datacenters.


1. Exo : Le cluster P2P du poste de travail

Exo (développé par Exo Labs) est la révolution de l’inférence locale “grand public”. Son objectif est simple : créer un cluster d’IA à partir de Mac Apple Silicon connectés au même réseau ; au T4 2026 Exo repose uniquement sur MLX, Linux n’est supporté qu’en CPU (le GPU est « en développement », extras mlx-cuda12/13 expérimentaux) et Windows n’est pas pris en charge1.

🌟 Comment ça marche ?

Exo fonctionne en Peer-to-Peer (P2P). Vous lancez la commande uv run exo sur chaque machine. Elles se découvrent automatiquement sur le réseau local et fusionnent leur mémoire disponible1. Lorsqu’une requête est envoyée, Exo découpe le modèle en pipeline (couches successives sur des machines successives : la machine A calcule les premières couches du réseau de neurones, puis envoie le résultat à la machine B, qui calcule la suite) ou en tensor parallel (chaque couche répartie sur toutes les machines, via RDMA Thunderbolt 5), selon la bande passante mesurée entre nœuds1.

🚀 Cas d’usage : Le Mac Cluster

Exo brille particulièrement sur Apple Silicon. En reliant les Mac par Thunderbolt 5 sous macOS 26.2 ou plus récent, Exo active le RDMA over Thunderbolt (conditions d’activation dans Réseau IA) et obtient une bande passante suffisante pour compenser la latence inter-machines ; en Thunderbolt 4 on ne dispose que d’un lien IP, suffisant pour tester mais pas pour le parallélisme tensoriel1. Exo Labs a mesuré, sur un cluster de 8 Mac mini M4 Pro 64 Go (512 Go agrégés), DeepSeek V3 671B en 4-bit à 5,4 tokens/s (TTFT 2,9 s) ; la génération Mac mini M5 Pro (307 Go/s, Thunderbolt 5) le remplace depuis septembre 2026 sans nouveau chiffre publié45.

⚠️ Les limites

Si la connexion réseau est lente (Wi-Fi ou simple câble Ethernet 1 Gigabit), le transfert des activations entre les machines devient un goulot d’étranglement fatal. La capacité globale augmente, mais les tokens/s s’effondrent.


2. Ray & vLLM : Le standard Datacenter

Pour la production d’entreprise (comme l’infrastructure d’Apple ou d’OpenAI), le réseau grand public n’a pas sa place. Le standard de l’industrie repose sur l’orchestrateur distribué Ray (souvent couplé au moteur vLLM étudié précédemment). Ray Serve LLM est passé en disponibilité générale avec Ray 2.59.0 (2 octobre 2026) : backends vLLM et SGLang, désagrégation prefill/decode, routage par préfixe et par occupation du KV cache, multi-LoRA ; la version de vLLM épinglée par Ray (0.27.0) retarde de quelques versions sur vLLM amont (0.31.0), à vérifier avant d’aligner CUDA 13 / PyTorch67.

🌟 Comment ça marche ?

Ray gère des fermes de serveurs entières. Au lieu du P2P, il repose sur une architecture Maître/Travailleur. La commande ray symmetric-run permet par exemple de lancer et synchroniser le moteur vLLM à travers plusieurs serveurs physiques de manière unifiée6.

Ray orchestre la combinaison de plusieurs stratégies mathématiques :

  • Tensor Parallelism (TP) : Découpe les matrices mathématiques d’une même couche entre les GPU à l’intérieur d’un serveur (nécessite un bus NVLink).
  • Pipeline Parallelism (PP) : Découpe les blocs de couches du modèle entre les différents serveurs (nécessite un réseau RoCE ou InfiniBand).

🚀 Cas d’usage : Désagrégation et MoE

En 2026, l’architecture Ray + vLLM permet des optimisations extrêmes, comme la désagrégation Prefill/Decode : un serveur spécifique (optimisé pour le calcul pur) s’occupe de lire le prompt initial (Prefill), puis transfère le KV Cache sur le réseau vers un autre serveur (optimisé pour la capacité mémoire) qui va s’occuper de générer la réponse (Decoding)8. C’est indispensable pour servir efficacement et à grande échelle les modèles Mixture-of-Experts (MoE).

⚠️ Les limites

Ray est très complexe à administrer. Il exige une infrastructure de classe entreprise, un stockage partagé, et un réseau IA extrêmement performant configuré spécifiquement pour réduire la latence.


3. Comparatif opérationnel Exo vs Ray

CritèreExoRay + vLLM
Installationbrew install --cask exo (app macOS) ou uv sync --extra mlx + uv run exoRay cluster + vLLM, configuration YAML
Découverte des nœudsAutomatique (zenoh depuis juin 2026 ; IP ou Thunderbolt)9Manuelle (IP/DNS ou config explicite)
Réseau recommandéThunderbolt 5 + RDMA (macOS 26.2+) ; TB4 / Ethernet pour testerRoCE v2 ou InfiniBand (200/400 Gb)
Matériel cibleMac Apple Silicon (Mac mini M5 Pro, Mac Studio M5 Max / Ultra) ; Linux CPU-onlyServeurs rack NVIDIA (H100/H200/B200/B300), AMD MI300X/MI355X via vLLM/SGLang
ParallelismePipeline + Tensor (choix automatique selon la topologie ; TP annoncé jusqu’à 1,8× sur 2 nœuds, 3,2× sur 4)1TP + PP + désagrégation Prefill/Decode
MonitoringTableau de bord web et API sur localhost:52415 ; pas de métriques Prometheus1Prometheus, Grafana (dashboards vLLM / SGLang), traces Ray
Tolérance aux pannesFaible (perte d’un nœud = crash)Forte (Ray redémarre les workers)
Seuil de budget< 15 000–25 000 € (2–4 Mac Studio M5 selon la mémoire)> 100 000 € (serveur GPU + réseau)
Complexité opérationnelle⭐ (très simple)⭐⭐⭐⭐⭐ (expertise HPC requise)

4. Démarrage rapide — Exo sur deux Mac

Fenêtre de terminal
# Sur chaque machine du cluster (depuis les sources ; ou `brew install --cask exo`)
git clone https://github.com/exo-explore/exo && cd exo && uv sync --extra mlx
# Machine 1 (démarrage du cluster P2P)
uv run exo
# Machine 2 (join automatique, découverte zenoh)
uv run exo
# Vérifier que les nœuds se voient
# Exo affiche dans les logs : "Discovered peer: <hostname>"
# Envoyer une requête au cluster (API compatible OpenAI) — "model" = identifiant Hugging Face
# tel qu'affiché dans le tableau de bord (http://localhost:52415) ; exemple du README Exo
curl http://localhost:52415/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mlx-community/Llama-3.2-1B-Instruct-4bit",
"messages": [{"role": "user", "content": "Combien de nœuds dans ce cluster ?"}]
}'

📋 Le Conseil de l’Architecte

Pour déployer des agents autonomes on-premise chez des clients :

  1. En phase de test ou pour un Labo PME : si vos modèles dépassent la mémoire d’un seul Mac (DeepSeek, Kimi, Qwen 3.x-480B…), reliez deux à quatre Mac Apple Silicon en Thunderbolt 5 avec MLX distribué (mlx.launch, backend JACCL) ou Exo ; un 70B Q4 tient dans un Mac Studio 64–128 Go sans cluster. Les PC Linux/Windows à GPU ne sont pas servis par Exo au T4 202613. En quelques minutes, votre cluster est prêt et le modèle tourne sans investissement cloud supplémentaire.
  2. En production critique multi-utilisateurs : Oubliez le P2P. Utilisez Ray Serve avec vLLM sur des serveurs Linux équipés de GPU dédiés. C’est la seule architecture logicielle qui vous garantira un monitoring précis, un routage intelligent des requêtes concurrentes et une vraie tolérance aux pannes au niveau du datacenter local.

📚 Sources et Références

Footnotes

  1. Exo Labs, GitHub - exo-explore/exo: Run frontier AI locally (README : API et tableau de bord sur localhost:52415, exemples d’API avec mlx-community/Llama-3.2-1B-Instruct-4bit, backend MLX uniquement, Linux CPU-only, RDMA Thunderbolt 5 + macOS 26.2, rdma_ctl enable, pipeline et tensor parallelism à choix automatique — TP « jusqu’à 1,8× sur 2 appareils, 3,2× sur 4 » —, installation brew / uv sync --extra mlx), relu le 2026-10-09. https://github.com/exo-explore/exo ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

  2. Exo Labs, exo — Releases (dernière version v1.0.71 du 2026-04-23), consulté le 2026-10-09. https://github.com/exo-explore/exo/releases ↩

  3. Apple MLX, Distributed Communication (mlx.launch, backends JACCL / ring, Thunderbolt 5 RDMA), consulté le 2026-10-09. https://ml-explore.github.io/mlx/build/html/usage/distributed.html ↩ ↩2 ↩3

  4. Exo Labs, Running DeepSeek V3 671B on M4 Mac Mini Cluster — 12 days of EXO (8 × Mac mini M4 Pro 64 Go, 4-bit, 5,37 tok/s, TTFT 2,91 s ; page non datée, série de décembre 2024), relu le 2026-10-09. https://blog.exolabs.net/day-2 ↩

  5. Apple Newsroom, Apple unveils a more powerful Mac mini featuring the all-new M6 and M5 Pro (Mac mini M5 Pro : jusqu’à 64 Go, 307 Go/s, Thunderbolt 5), août 2026 · Apple, Mac mini — Technical Specifications, consultée le 2026-10-09. https://www.apple.com/newsroom/2026/08/apple-unveils-a-more-powerful-mac-mini-featuring-the-all-new-m6-and-m5-pro/ · https://www.apple.com/mac-mini/specs/ ↩

  6. Anyscale & vLLM Blog, Streamlined multi-node serving with Ray symmetric-run (Lancement vLLM multi-nœuds), Novembre 2025. https://vllm.ai/blog/2025-11-22-ray-symmetric-run ↩ ↩2

  7. Ray Project, Release ray-2.59.0 (« LLM APIs graduate to general availability » : vLLM 0.27.0 et SGLang, désagrégation prefill/decode, routage KV-aware, multi-LoRA), 2026-10-02 · Ray Docs, Serving LLMs. https://github.com/ray-project/ray/releases/tag/ray-2.59.0 · https://docs.ray.io/en/latest/serve/llm/index.html ↩

  8. Anyscale, Ray Serve LLM — Wide-EP disaggregated serving with vLLM (Désagrégation Prefill/Decode, MoE), 2025. https://www.anyscale.com/blog/ray-serve-llm-anyscale-apis-wide-ep-disaggregated-serving-vllm ↩

  9. Exo Labs, dépôt exo-explore/exo, PR #2132 « libp2p -> zenoh » (remplacement de la couche de découverte), fusionnée le 2026-06-03. https://github.com/exo-explore/exo/pull/2132 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.