Aller au contenu

LiteLLM

🔍 Vue d’ensemble rapide

LiteLLM est un proxy/gateway open-source (cœur sous licence MIT, fonctions enterprise/ sous licence commerciale) qui expose une interface compatible OpenAI vers plus de 100 providers au T4 2026 : Ollama, vLLM, OpenAI, Anthropic, Azure, Bedrock, Vertex AI, Hugging Face et d’autres1.

💡 Pourquoi ce projet nous intéresse

Pour un agent custodien, LiteLLM sert de couche d’abstraction modèle. L’agent parle OpenAI-compatible ; l’opérateur décide si la requête part vers Ollama local, vLLM, ou un provider cloud.

Cela évite de réécrire l’agent à chaque changement de modèle.

✅ Points forts

  • API unifiée pour modèles locaux et cloud1.
  • Support Ollama/vLLM documenté12.
  • Proxy central avec clés virtuelles, routage, coûts, logs et guardrails.
  • Utile pour migrer progressivement cloud → local.

⚠️ Limites et risques

  • N’est pas un modèle : il route vers des backends.
  • Mauvaise config = fuite vers cloud.
  • Logging/observabilité peuvent capturer prompts/réponses si activés sans précaution3.
  • Ajoute une couche critique à sécuriser : LiteLLM a connu en 2026 une série de failles exploitées, dont trois inscrites au catalogue KEV de la CISA (CVE-2026-42208, CVE-2026-42271, CVE-2026-59822, toutes corrigées à partir de la 1.84.0) et une escalade de privilèges critique (GHSA-7hp6-4w63-5g45, CVSS 9.9, un internal_user devient proxy_admin puis exécute des commandes sur l’hôte ; corrigée en 1.100.4 / 1.101.3 / 1.102.2 / 1.103.1). Au T4 2026, ne jamais déployer une version antérieure à 1.84.0. La 1.100.4 corrige l’escalade de septembre, mais l’avis critique du 2026-10-27 ne corrige que les lignes 1.103 à 1.106 (1.103.10 / 1.104.8 / 1.105.6 / 1.106.5), et l’avis du 2026-11-12 (GHSA-2rwg-2wh4-7c4f, gravité haute, CVSS 7.7 : sur un proxy qui sert au moins un modèle azure/ ou azure_ai/ sans AZURE_API_KEY ni AZURE_OPENAI_API_KEY défini, un utilisateur authentifié lit les variables d’environnement du proxy, dont LITELLM_MASTER_KEY) n’est corrigé qu’en 1.106.9 / 1.108.6 / 1.109.1, la ligne 1.107 n’ayant pas de correctif : au T4 2026, viser au minimum l’une de ces trois versions, ou bloquer en attendant les paramètres Entra ID (tenant_id, client_id, client_secret, azure_username, azure_password, azure_scope) au reverse proxy4. C’est impératif avec une licence Enterprise (GHSA-w4c7-34wj-hqm8, CVSS 10.0 : une requête non authentifiée fait lire au proxy un fichier local, par exemple /proc/self/environ, et expose LITELLM_MASTER_KEY et les clés des providers ; les déploiements open source sans licence ne sont pas concernés). Dans tous les cas, limiter les sorties réseau du proxy aux endpoints des providers et charger la clé maître depuis un gestionnaire de secrets plutôt que depuis l’environnement du processus567.
  • Discipline de version : depuis le 2026-06-29, seules les quatre lignes mineures stables les plus récentes reçoivent des correctifs (une mineure par semaine, soit environ un mois de couverture par ligne) — prévoir une mise à jour mensuelle au minimum, une version figée est une version vulnérable8.
  • Chaîne d’approvisionnement : en mars 2026, deux versions PyPI (1.82.7 et 1.82.8) publiées par un attaquant volaient les secrets de la machine hôte ; l’image Docker officielle n’était pas concernée9. Installer depuis l’image officielle épinglée ou avec des dépendances épinglées par hash, et faire tourner tous les secrets détenus par le proxy si une version compromise a été installée.
  • Surface MCP : le proxy embarque aussi une passerelle MCP ; deux de ses failles ont été exploitées en 2026 (CVE-2026-42271, CVE-2026-59822). Si l’agent custodien n’utilise pas MCP via LiteLLM, ne pas exposer ces endpoints5.

🔒 Souveraineté et confidentialité

  • Données : transitent par le proxy ; destination selon backend.
  • Modèle : local si backend Ollama/vLLM local ; cloud si provider cloud.
  • Mémoire : pas une mémoire applicative, sauf logs/observabilité.
  • Télémétrie/logging : configurable ; désactiver message logging pour données sensibles3.
  • Mode 100% offline : oui avec backends locaux.
  • Verdict : ✅ souverain si configuré local-only ; ⚠️ sinon.

🔗 Intégration possible dans ce vault

LiteLLM est la couche cible entre :

  • OpenHands / Agent Canvas (ou Aider, dont le développement est gelé depuis mai 2026, voir sa fiche) ;
  • Ollama/vLLM ;
  • politiques de routage ;
  • logs locaux ;
  • éventuelle bascule cloud de secours.

📊 Maturité du projet

Très utilisé comme gateway (plus de 60 000 étoiles GitHub au T4 20261), LiteLLM publie une ligne mineure par semaine (1.104.2 le 2026-10-0810) et, depuis le 2026-06-29, ne corrige que les quatre lignes mineures stables les plus récentes : chaque ligne reçoit environ un mois de correctifs8. Figer une version n’est donc pas une stratégie viable : prévoir une mise à jour mensuelle au minimum, suivre le flux des advisories GitHub, et versionner/auditer configuration, secrets, logs et règles de routage.

🔗 Voir aussi

📚 Sources

Footnotes

  1. LiteLLM GitHub README (« 100+ LLM providers ») et LICENSE (MIT, sauf enterprise/ sous enterprise/LICENSE), lus le 2026-10-09. https://github.com/BerriAI/litellm ↩ ↩2 ↩3 ↩4

  2. LiteLLM Proxy docs — local proxy, Ollama, vLLM. https://docs.litellm.ai/docs/proxy_server ↩

  3. LiteLLM Docs, Logging — callbacks, OpenTelemetry, turn_off_message_logging. https://docs.litellm.ai/docs/proxy/logging ↩ ↩2

  4. BerriAI, GHSA-2rwg-2wh4-7c4f (advisory LiteLLM, gravité haute : exfiltration de secrets par un utilisateur authentifié via les paramètres Entra ID d’un modèle azure/ ou azure_ai/, lorsque AZURE_API_KEY et AZURE_OPENAI_API_KEY ne sont pas définis ; corrigé en 1.106.9 / 1.108.6 / 1.109.1 ; contournement : bloquer les six paramètres au reverse proxy), 2026-11-12. https://github.com/BerriAI/litellm/security/advisories/GHSA-2rwg-2wh4-7c4f ↩

  5. CISA, Known Exploited Vulnerabilities Catalog (flux JSON ; entrées LiteLLM CVE-2026-42208 ajoutée le 2026-05-08, CVE-2026-42271 le 2026-06-08, CVE-2026-59822 le 2026-09-02), catalogue daté 2026-10-08. https://www.cisa.gov/sites/default/files/feeds/known_exploited_vulnerabilities.json ↩ ↩2

  6. BerriAI, GHSA-7hp6-4w63-5g45 (advisory LiteLLM, escalade internal_user → proxy_admin → exécution de commandes sur l’hôte, CVSS 9.9, versions 1.91.0 → < 1.100.4, corrigé 1.100.4 / 1.101.3 / 1.102.2 / 1.103.1), 2026-09-30. https://github.com/BerriAI/litellm/security/advisories/GHSA-7hp6-4w63-5g45 ↩

  7. BerriAI, GHSA-w4c7-34wj-hqm8 (advisory LiteLLM critique, CVSS 10.0 : lecture de fichier non authentifiée sur un proxy sous licence Enterprise, exposant LITELLM_MASTER_KEY et les clés des providers ; versions affectées < 1.103.10 / < 1.104.8 / < 1.105.6 / < 1.106.5, corrigées en 1.103.10 / 1.104.8 / 1.105.6 / 1.106.5 ; open source sans licence non concerné ; recommandations : clé maître dans un gestionnaire de secrets, LITELLM_SALT_KEY distinct, sorties réseau limitées aux providers), 2026-10-27. https://github.com/BerriAI/litellm/security/advisories/GHSA-w4c7-34wj-hqm8 ↩

  8. LiteLLM, Version Support Policy (blog : à partir du 2026-06-29, seules les quatre lignes mineures stables les plus récentes reçoivent des correctifs), 2026-06-20. https://docs.litellm.ai/blog/version-support ↩ ↩2

  9. BerriAI, Issue #24518 (versions PyPI 1.82.7 et 1.82.8 publiées hors CI par un attaquant, vol de secrets de l’hôte ; image Docker du proxy non concernée), 2026-03-24. https://github.com/BerriAI/litellm/issues/24518 ↩

  10. BerriAI, LiteLLM Releases (v1.104.2 publiée le 2026-10-08, cadence d’une ligne mineure par semaine), consulté le 2026-10-09. https://github.com/BerriAI/litellm/releases ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.