Aller au contenu

Ray

📝 Définition courte

Orchestrateur Python open-source pour déployer et scaler des applications IA sur plusieurs serveurs, souvent couplé à vLLM.

📖 Définition détaillée

Ray repose sur une architecture Maître/Travailleur sur des fermes de serveurs. Couplé à vLLM, il orchestre le Tensor Parallelism (découpage des matrices au sein d’un nœud) et le Pipeline Parallelism (découpage entre nœuds). Il permet aussi la désagrégation Prefill/Decode : un serveur dédié au calcul du prompt (Prefill), un autre dédié à la génération (Decoding).

Contraste avec Exo : Ray vise la production d’entreprise (monitoring, tolérance aux pannes, routage intelligent) ; Exo vise le bureau/homelab.

💡 Pourquoi c’est important en IA on-premise

Standard de facto pour les datacenters souverains. La seule architecture qui garantit SLA, concurrence élevée et tolérance aux pannes sur un cluster GPU multi-nœuds.

⚠️ Pièges fréquents

  • Complexe à administrer : nécessite réseau IA configuré (RoCE/InfiniBand), stockage partagé, compétences HPC.
  • Laisser un cluster multi-nœuds sans authentification : depuis Ray 2.59 (2 octobre 2026), l’authentification par jeton n’est active par défaut que sur les clusters locaux ; au T4 2026 (Ray 2.60 incluse), un cluster distant ou multi-nœuds reste ouvert tant que Ray 2.61 n’est pas sortie, sauf si RAY_AUTH_MODE=token est posé sur chaque nœud1. Ray 2.61 exigera le même jeton sur chaque nœud et chaque client : générez-le (ray get-auth-token --generate) et distribuez-le avant la mise à jour, sinon les nœuds et les clients ne pourront plus se connecter au cluster1.
  • Inutile et surdimensionné pour les scénarios bureau ou PME.

📚 Pour comprendre en profondeur

  1. 🌐 Clustering IA : Exo et Ray (le chapitre complet)
  2. 🏢 Scénario D : Datacenter (blueprint Ray + vLLM + RoCE)
  3. Tensor Parallelism (la stratégie intra-nœud exploitée par Ray)

🔗 Voir aussi

Footnotes

  1. Ray Project, Release ray-2.59.0 (« token authentication by default for local clusters … Remote and multi-node clusters are unchanged »), 2026-10-02 · Ray Docs, Token authentication (« Ray 2.61 extends the default to all clusters »), consulté le 2026-10-10. https://github.com/ray-project/ray/releases/tag/ray-2.59.0 · https://docs.ray.io/en/latest/ray-security/token-auth.html ↩ ↩2

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.