🏢 Scénario B : L'Appliance PME (Mémoire Unifiée)
Votre client (une agence d’avocats, un cabinet médical, une PME) a besoin d’un assistant local capable de traiter des documents confidentiels. Le modèle retenu est un LLM lourd : soit un 70B dense quantifié (~40 Go de poids, l’étalon de capacité de ce blueprint), soit — plus rapide sur ce matériel — un MoE léger comme gpt-oss-120b (~70 Go, 34–38 t/s mesurés sur un APU 128 Go) ou un dense de 27–30B comme Qwen3.8-27B (~18 Go en Q4)1.
Comme vu dans le Scénario A, un PC classique s’effondre à cause du CPU Offloading. Acheter un serveur multi-GPU coûte très cher, fait le bruit d’un avion au décollage et consomme énormément d’électricité. La solution la plus élégante en 2026 est l’Appliance à Mémoire Unifiée.
🏗️ L’Architecture Matérielle
L’objectif est d’avoir une seule puce (SoC) où le CPU et le GPU piochent dans la même énorme réserve de mémoire. Trois choix s’offrent à vous :
- Option Apple (Le standard du silence) : Un Mac Studio M5 Max (jusqu’à 128 Go, 614 Go/s, à partir de 2 999 € TTC) ou M5 Ultra (jusqu’à 512 Go, 1,2 To/s, à partir de 6 599 € TTC)23.
- Option PC x86 (La souveraineté Docker) : Une station de travail basée sur l’APU AMD Ryzen AI Max PRO 400 (“Gorgon Halo”) avec 192 Go de RAM — en précommande chez Framework à 6 799 $ pour une livraison en novembre 2026 ; la génération précédente à 128 Go (Ryzen AI Max+ 395) est affichée 3 889 € TTC mais en rupture au 2026-10-094.
- Option NVIDIA (CUDA sans friction) : Un DGX Spark 128 Go (≈ 6 950 $ au 2026-10-02) ou sa déclinaison 64 Go — même bus 273 Go/s que Gorgon Halo, CUDA et FP4 natifs ; prix et disponibilité dans APU & Mémoire Unifiée.
Budget estimé (T4 2026) : entre 3 900 € et plus de 8 000 € TTC selon la puce et la mémoire soudée — et en hausse : la DRAM monte chaque trimestre (voir 💰 Comparaison TCO) et Framework annonce des hausses de prix mémoire sur toutes les capacités pendant six mois4. Les prix cités ici sont ceux d’octobre 2026 : à revérifier à l’achat. Avantages physiques : Consommation électrique très faible (souvent moins de 150W en pleine charge), format compact, aucun bruit de ventilation excessif.
⚙️ La Stack Logicielle
Ici, la stack logicielle diffère selon le matériel choisi :
- Sur Mac Studio : MLX (serveur
mlx_lm.server, ou Ollama ≥ 0.40 qui l’utilise par défaut sur Apple Silicon) ou llama.cpp via Metal (port par défaut dellama-serverpassé à 9931 en octobre 2026)5. Les deux exploitent la bande passante maximale de la mémoire unifiée. - Sur AMD Gorgon Halo (Linux) : llama.cpp (Vulkan ou ROCm) ou SGLang (image ROCm pour
gfx1151depuis la 0.5.20), qui apporte les optimisations serveur comme le Continuous Batching ; vLLM sur ROCm reste à valider sur cette puce6.
Les Performances Attendues
Puisque le modèle de 40 Go rentre intégralement dans la Mémoire unifiée (qui agit ici comme une immense VRAM), les vitesses de génération sont excellentes et stables :
- Mac Studio (M5 Max, ~614 Go/s) : borne théorique d’environ 15 tokens/s en phase de Decoding sur un 70B Q4 (~40 Go), calculée avec la formule du chapitre bande passante à partir de la bande passante annoncée par Apple en août 20262 — soit 10 à 15 t/s attendus en pratique, à confirmer par un benchmark publié.
- AMD Ryzen AI Max PRO 400 (~273 Go/s) : de l’ordre de 5 tokens/s mesurés (4,7–4,9 t/s sur Llama 3.1 70B Q4_K_M, Strix Halo 128 Go, même bus)71 — cohérent avec la borne théorique de ~6,8 t/s donnée par la formule.
Le Piège du KV Cache Concurrent
📋 Le Verdict de l’Architecte
✅ Quand utiliser ce Blueprint ?
- C’est le cœur de cible de l’IA on-premise pour les PME.
- Parfait pour un déploiement “sous le bureau” ou dans une petite baie de brassage non climatisée.
- Excellent pour exécuter un assistant ou agent souverain local servant une dizaine de requêtes concurrentes modérées.
❌ Quand fuir ce Blueprint ?
- Si votre client a un besoin de croissance non prévisible. La mémoire unifiée est soudée à la carte mère. Il est impossible de rajouter de la RAM dans un Mac Studio ou un APU Gorgon Halo après l’achat. Si le modèle métier de l’entreprise passe de 70B à 200B l’année suivante, il faudra jeter la machine et en racheter une.
Pour dépasser cette contrainte de capacité fixe et rester sur du matériel de bureau abordable, le prochain blueprint propose une approche évolutive : Le Cluster Bureau — relier plusieurs machines via Thunderbolt.
🛡️ Sauvegarde et Reprise (DRP)
Ce qu’il faut sauvegarder sur le Blueprint B
| Données | Emplacement typique | Fréquence |
|---|---|---|
| Base vectorielle (Qdrant / Chroma) | /qdrant/storage/ ou volume Docker | Quotidien — snapshot API |
| Historiques de conversations (SQLite) | ~/.open-webui/data/ ou volume Docker | Quotidien ou horaire |
| Configuration Ollama / vLLM | ~/.ollama/ ou config.yaml | À chaque modification (Git) |
| Adaptateurs LoRA fine-tunés | Répertoire dédié | Après chaque session d’entraînement |
| Modèles de base (GGUF) | ~/.ollama/models/ | Non prioritaire — re-téléchargeable |
Procédure de reprise minimale
- Démarrer une instance temporaire (autre Mac, VM cloud souverain) avec Ollama
- Restaurer la base vectorielle depuis le dernier snapshot
- Restaurer l’historique SQLite
- Pointer les clients (Open WebUI, LiteLLM) vers la nouvelle IP — en versions à jour : LiteLLM ≥ 1.106.9 / 1.108.6 / 1.109.1 selon sa ligne (voir la fiche LiteLLM), et Open WebUI suivi au fil des releases (voir sa fiche) ; ne jamais figer une version
RTO indicatif Blueprint B : < 45 minutes avec une sauvegarde quotidienne à jour.
📚 Sources et Références
Footnotes
-
Qwen, Qwen3.8-27B (dense, Apache 2.0, contexte 262k ; Q4 via Ollama ≈ 18 Go), août 2026. https://huggingface.co/Qwen/Qwen3.8-27B · Ollama, qwen3.8. https://ollama.com/library/qwen3.8 · ignasivt, Strix Halo Guide (gpt-oss-120b ≈ 70 Go, 34–38 tok/s ; Llama 3.1 70B Q4_K_M 4,7–4,9 tok/s sur Ryzen AI Max+ 395 128 Go), relu le 2026-10-10. https://github.com/ignasivt/strix-halo-guide ↩ ↩2
-
Apple Newsroom, Apple introduces new Mac Studio with M5 Max and M5 Ultra (bande passante mémoire M5 Max 614 Go/s et M5 Ultra 1,2 To/s, capacités jusqu’à 128 Go et 512 Go, clustering Thunderbolt 5), 2026-08-25. https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/ ↩ ↩2 ↩3
-
Apple, Mac Studio — Apple Store France (M5 Max 36 Go à partir de 2 999 € TTC, M5 Max 64 Go 3 659 € TTC, M5 Ultra 96 Go à partir de 6 599 € TTC, option 512 Go « fin octobre »), relevé le 2026-10-09. https://www.apple.com/fr/shop/buy-mac/mac-studio ↩ ↩2
-
Framework, The 192GB Framework Desktop is open for pre-order (Ryzen AI Max+ PRO 495, 192 Go à 6 799 $, précommandes du 2026-09-30, livraisons novembre 2026, avertissement sur la hausse des prix mémoire), 30 septembre 2026. https://frame.work/blog/192gb-framework-desktop-open-for-pre-order · Framework, Framework Desktop — AMD Ryzen AI Max+ 395 (128 Go 3 889 € TTC, en rupture), relevé le 2026-10-09. https://frame.work/fr/fr/products/desktop-diy-amd-aimax300 ↩ ↩2
-
Ollama, Release v0.40.0 (MLX utilisé par défaut sur Apple Silicon), octobre 2026. https://github.com/ollama/ollama/releases/tag/v0.40.0 · ggml-org, llama.cpp — Release b11521 (port par défaut de
llama-serverpassé de 8080 à 9931), 9 octobre 2026. https://github.com/ggml-org/llama.cpp/releases/tag/b11521 ↩ -
SGLang Project, Release v0.5.20 (image ROCm pour
gfx1151Strix / Gorgon Halo), 18 septembre 2026. https://github.com/sgl-project/sglang/releases/tag/v0.5.20 · ignasivt, Strix Halo Guide (chemins llama.cpp Vulkan / ROCm vérifiés sur gfx1151), relu le 2026-10-09. https://github.com/ignasivt/strix-halo-guide ↩ -
ServeTheHome & ignasivt (GitHub), Strix Halo / Gorgon Halo 192GB Unified Memory Benchmarks (Débit decoding attendu sur modèle dense 70B), Mai 2026. https://www.servethehome.com/amd-reveals-ryzen-ai-max-pro-400-series-192gb-ram-for-ai-systems/ · https://github.com/ignasivt/strix-halo-guide ↩
Références entrantes
- ⚙️ Moteurs d'Inférence : vLLM, Ollama et TensorRT-LLM
- 🏗️ Architectures Possibles
- 🏭 Scénario D : Datacenter (RoCE & Multi-GPU)
- 🏭 Serveurs rack GPU
- 💰 Comparaison TCO : On-Premise vs Cloud API
- 🖥️ Index — Le Matériel
- 🖥️ Scénario C : Le Cluster Bureau (Exo & Thunderbolt)
- 🖼️ Multimodalité : Impact Matériel (VRAM & KV Cache)
- 🗺️ Choisir son modèle local
- 🤖 Agents & Assistants On-Premise
- 🚀 Index Zero to Hero
- AnythingLLM
- APU
- Open WebUI
- Zero to Hero : IA on-premise