🖥️ Scénario C : Le Cluster Bureau (Exo & Thunderbolt)
Le Scénario B (l’Appliance) a un défaut majeur : sa mémoire est figée. Si le besoin de votre client évolue et qu’il souhaite déployer un modèle MoE colossal de plus de 400 milliards de paramètres (nécessitant plus de 300 Go de mémoire), seule une station à mémoire unifiée haut de gamme peut l’accueillir — le Mac Studio M5 Ultra, configurable jusqu’à 512 Go (1,2 To/s ; option à partir de 25 079 € TTC, détail dans 🧠 APU & Mémoire Unifiée) — et aucune ne dépasse 512 Go12.
Avant 2025, la seule solution était de louer un serveur cloud ou d’acheter une baie Datacenter hors de prix. Aujourd’hui, l’architecture logicielle permet de fusionner plusieurs petites machines abordables : c’est le Cluster de Bureau.
🏗️ L’Architecture Matérielle
L’idée est de créer une “ferme” de calcul posée sur une étagère.
- Les Nœuds : 4 à 8 machines compactes. Le standard en 2026 pour ce scénario est le Mac mini M5 Pro (64 Go de mémoire unifiée, 307 Go/s, Thunderbolt 5, à partir de 1 999 € TTC en 24 Go) — ou, plus cher mais plus rapide, le Mac Studio M5 Max 64 Go (3 659 € TTC) — et des mini-PC AMD Ryzen AI Max récents3.
- Le Réseau : C’est le cœur du système. Pour éviter que le transfert de données ne tue les performances, les machines sont reliées par des câbles Thunderbolt 5 (80 Gb/s symétrique, jusqu’à 120 Gb/s en mode asymétrique), seuls à permettre le RDMA sur Thunderbolt introduit par macOS 26.2. Ce RDMA (backend JACCL de MLX) exige un maillage complet, avec un câble entre chaque paire de machines, soit en pratique 2 à 4 Mac (configuration documentée par Apple et MLX). Au-delà, ou en guirlande via un hub, les nœuds échangent en TCP sur Thunderbolt (backend ring, pipeline parallelism), sans RDMA — Thunderbolt 4 reste limité à de l’IP classique à 40 Gb/s145.
- Capacité Totale : Avec 4 Mac Mini de 64 Go reliés en maillage RDMA, vous obtenez un cluster silencieux avec 256 Go de mémoire unifiée agrégée ; avec 6 Mac Mini (384 Go), il faut passer au backend ring en TCP sur Thunderbolt, sans RDMA.
Budget estimé (T4 2026) : ~10 000 € à 22 000 € pour 4 à 6 machines (Mac mini M5 Pro 64 Go ou Mac Studio M5 Max 64 Go à 3 659 € TTC)3. C’est environ 10 fois moins cher qu’un serveur NVIDIA DGX équivalent en VRAM. Les machines à 64 Go suivent la hausse de la DRAM (voir 💰 Comparaison TCO) : les prix relevés en octobre 2026 sont à revérifier à l’achat.
⚙️ La Stack Logicielle et le Mécanisme
Ce miracle matériel est rendu possible par l’inférence distribuée de MLX (mlx.launch avec un fichier d’hôtes, pipeline parallelism, RDMA sur Thunderbolt 5 depuis macOS 26.2) — l’orchestrateur Exo, qui a popularisé l’approche, doit être considéré comme au ralenti au T4 2026 (état détaillé dans le chapitre Clustering IA)45.
- Le runtime distribué (MLX, ou Exo) s’installe sur tous les Mac Mini.
- Ils se découvrent via le réseau Thunderbolt.
- Le LLM massif (ex : DeepSeek V4-Flash 284B, ou V3 671B en 4 bits)6 est découpé en tranches selon le principe du Pipeline Parallelism.
- Le Mac n°1 calcule les 10 premières couches du réseau de neurones, envoie son résultat brut via Thunderbolt au Mac n°2, qui calcule les 10 couches suivantes, et ainsi de suite.
Les Performances Attendues
Le gain est purement capacitaire : vous ne gagnez pas en vitesse, vous gagnez le droit de faire tourner le modèle. La latence du réseau, même en Thunderbolt, est infiniment plus lente que la vitesse interne de la RAM. Sur un cluster de 8 Mac Mini M4 Pro 64 Go faisant tourner DeepSeek V3 671B en 4 bits, Exo Labs a mesuré 5,4 tokens/s (TTFT 2,9 s, décembre 2024, sans RDMA ; le billet ne précise pas l’interconnexion)7 ; Apple annonce jusqu’à 3× mieux avec quatre Mac Studio M5 reliés en RDMA sur Thunderbolt 51. Côté modèles, DeepSeek V4.1 Flash (septembre 2026) introduit un KV cache FP4 d’environ 890 octets par token, ce qui soulage précisément la contrainte mémoire et TTFT de ce scénario8.
Le Piège de la Latence (TTFT)
📋 Le Verdict de l’Architecte
✅ Quand utiliser ce Blueprint ?
- Prototypage de modèles frontières : Pour des équipes de chercheurs ou d’ingénieurs qui doivent absolument tester des LLM monumentaux (DeepSeek V4, GLM-5.3, Kimi K3, Qwen3.8-2.4T) sans que la donnée ne sorte de l’entreprise.
- Traitement en arrière-plan : Parfait pour de l’analyse documentaire asynchrone (où la latence n’a aucune importance).
- Évolutivité budgétaire : Vous pouvez commencer avec 2 machines et en ajouter une 3ème l’année suivante pour augmenter votre capacité VRAM.
❌ Quand fuir ce Blueprint ?
- Pour un assistant RAG conversationnel en temps réel. Attendre 45 secondes pour le premier mot après avoir posé une question sur un PDF va frustrer vos utilisateurs.
- Pour servir de nombreux collaborateurs simultanément. Le réseau Thunderbolt et le Pipeline Parallelism gèrent très mal les requêtes concurrentes massives. Si vous devez servir 50 utilisateurs en temps réel sur un modèle géant, il faut basculer sur un véritable réseau Datacenter (RoCE/InfiniBand) et des serveurs multi-GPU — c’est l’objet du 🏭 Scénario D : Datacenter.
📊 Monitoring recommandé
Sur un cluster Exo, le monitoring est plus manuel qu’en production datacenter, mais quelques commandes couvrent l’essentiel.
Sur chaque nœud Mac :
# Charge GPU et mémoire unifiée (macOS)sudo powermetrics --samplers gpu_power -i 1000 | grep -E "GPU|ANE"
# Activité réseau Thunderboltnettop -m tcp -J bytes_in,bytes_outVia Ollama (si utilisé comme frontend) :
# Statut des modèles chargéscurl http://localhost:11434/api/tags
# Métriques de génération dans les logscat ~/.ollama/logs/server.log # macOS ; Linux : journalctl -u ollama --no-pager --follow --pager-endIndicateurs clés à surveiller :
| Métrique | Seuil d’alerte | Outil |
|---|---|---|
| TTFT | > 30 s sur prompt court | logs Exo |
| Tokens/s | < 2 tok/s | logs Exo |
| Mémoire unifiée par nœud | > 90 % | vm_stat / Activity Monitor |
| Bande passante Thunderbolt | > 70 Gb/s soutenu | nettop |
Storage Wall — temps de rechargement du modèle
📚 Sources et Références
Footnotes
-
Apple Newsroom, Apple introduces new Mac Studio with M5 Max and M5 Ultra (M5 Ultra jusqu’à 512 Go de mémoire unifiée, 1,2 To/s, configuration 512 Go disponible fin octobre 2026), 2026-08-25. https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/ · Apple Store France, Mac Studio (M5 Ultra 96 Go à partir de 6 599 € TTC), relevé le 2026-10-09. https://www.apple.com/fr/shop/buy-mac/mac-studio ↩ ↩2 ↩3 ↩4
-
MacRumors, Mac Studio With M5 Ultra Now Available With 512GB RAM for $22,299 (option 512 Go réservée au M5 Ultra 36c CPU / 80c GPU, 6 799 $ + 15 500 $), 28 octobre 2026 · MacGeneration, Mac Studio M5 Ultra : l’option 512 Go de RAM coûte plus cher qu’un second Mac Studio (25 079 € TTC, délais de 13 à 15 semaines), 4 novembre 2026. https://www.macrumors.com/2026/10/28/mac-studio-m5-ultra-512gb-ram/ · https://www.macg.co/mac/2026/11/mac-studio-m5-ultra-loption-512-go-de-ram-coute-plus-cher-quun-second-mac-studio-312149 ↩
-
Apple Newsroom, Apple unveils a more powerful Mac mini featuring the all-new M6 and M5 Pro (Mac mini M5 Pro : jusqu’à 64 Go, 307 Go/s, Thunderbolt 5), août 2026. https://www.apple.com/newsroom/2026/08/apple-unveils-a-more-powerful-mac-mini-featuring-the-all-new-m6-and-m5-pro/ · Apple Store France, Mac mini (M5 Pro 24 Go 1 999 € TTC) et Mac Studio (M5 Max 64 Go 3 659 € TTC), relevé le 2026-10-09. https://www.apple.com/fr/shop/buy-mac/mac-mini ↩ ↩2
-
Exo Labs, exo — Releases (dernière version v1.0.71 du 2026-04-23), consulté le 2026-10-09. https://github.com/exo-explore/exo/releases · Exo Labs, GitHub - exo-explore/exo (README : backend MLX uniquement, Linux CPU-only, RDMA Thunderbolt 5 + macOS 26.2), relu le 2026-10-09. https://github.com/exo-explore/exo ↩ ↩2
-
Apple MLX, Distributed Communication (
mlx.launchet hostfile, backends JACCL — RDMA over Thunderbolt depuis macOS 26.2, Thunderbolt 5 — et ring), consulté le 2026-10-10. https://ml-explore.github.io/mlx/build/html/usage/distributed.html ↩ ↩2 ↩3 -
DeepSeek AI — organisation Hugging Face (famille V4 : DeepSeek-V4-Flash 284B-A13B, DeepSeek-V4.1-Flash, DeepSeek-V4-Pro 1,6T ; V3 671B conservé), relevé le 2026-10-09. https://huggingface.co/deepseek-ai ↩
-
Exo Labs, Running DeepSeek V3 671B on M4 Mac Mini Cluster — 12 days of EXO, day 2 (8× Mac mini M4 Pro 64 Go, DeepSeek V3 4 bits, TTFT et tokens/s ; page non datée, série de décembre 2024), relu le 2026-10-09. https://blog.exolabs.net/day-2 ↩
-
DeepSeek AI, DeepSeek-V4.1-Flash (MIT, 8–16B actifs, KV cache FP4 890 octets/token), septembre 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash ↩
Références entrantes
- 🏢 Scénario B : L'Appliance PME (Mémoire Unifiée)
- 🏭 Scénario D : Datacenter (RoCE & Multi-GPU)
- 💰 Comparaison TCO : On-Premise vs Cloud API
- 📊 Monitoring de la stack d'inférence
- 🔒 Souveraineté & Confidentialité
- 🖥️ Index — Le Matériel
- 🗺️ Choisir son modèle local
- 🤖 Agents & Assistants On-Premise
- 🚀 Index Zero to Hero
- Exo
- Pipeline Parallelism
- Thunderbolt