Ray
📝 Définition courte
Orchestrateur Python open-source pour déployer et scaler des applications IA sur plusieurs serveurs, souvent couplé à vLLM.
📖 Définition détaillée
Ray repose sur une architecture Maître/Travailleur sur des fermes de serveurs. Couplé à vLLM, il orchestre le Tensor Parallelism (découpage des matrices au sein d’un nœud) et le Pipeline Parallelism (découpage entre nœuds). Il permet aussi la désagrégation Prefill/Decode : un serveur dédié au calcul du prompt (Prefill), un autre dédié à la génération (Decoding).
Contraste avec Exo : Ray vise la production d’entreprise (monitoring, tolérance aux pannes, routage intelligent) ; Exo vise le bureau/homelab.
💡 Pourquoi c’est important en IA on-premise
Standard de facto pour les datacenters souverains. La seule architecture qui garantit SLA, concurrence élevée et tolérance aux pannes sur un cluster GPU multi-nœuds.
⚠️ Pièges fréquents
- Complexe à administrer : nécessite réseau IA configuré (RoCE/InfiniBand), stockage partagé, compétences HPC.
- Laisser un cluster multi-nœuds sans authentification : depuis Ray 2.59 (2 octobre 2026), l’authentification par jeton n’est active par défaut que sur les clusters locaux ; au T4 2026 (Ray 2.60 incluse), un cluster distant ou multi-nœuds reste ouvert tant que Ray 2.61 n’est pas sortie, sauf si
RAY_AUTH_MODE=tokenest posé sur chaque nœud1. Ray 2.61 exigera le même jeton sur chaque nœud et chaque client : générez-le (ray get-auth-token --generate) et distribuez-le avant la mise à jour, sinon les nœuds et les clients ne pourront plus se connecter au cluster1. - Inutile et surdimensionné pour les scénarios bureau ou PME.
📚 Pour comprendre en profondeur
- 🌐 Clustering IA : Exo et Ray (le chapitre complet)
- 🏢 Scénario D : Datacenter (blueprint Ray + vLLM + RoCE)
- Tensor Parallelism (la stratégie intra-nœud exploitée par Ray)
🔗 Voir aussi
Footnotes
-
Ray Project, Release ray-2.59.0 (« token authentication by default for local clusters … Remote and multi-node clusters are unchanged »), 2026-10-02 · Ray Docs, Token authentication (« Ray 2.61 extends the default to all clusters »), consulté le 2026-10-10. https://github.com/ray-project/ray/releases/tag/ray-2.59.0 · https://docs.ray.io/en/latest/ray-security/token-auth.html ↩ ↩2