LiteLLM
🔍 Vue d’ensemble rapide
LiteLLM est un proxy/gateway open-source (cœur sous licence MIT, fonctions enterprise/ sous licence commerciale) qui expose une interface compatible OpenAI vers plus de 100 providers au T4 2026 : Ollama, vLLM, OpenAI, Anthropic, Azure, Bedrock, Vertex AI, Hugging Face et d’autres1.
💡 Pourquoi ce projet nous intéresse
Pour un agent custodien, LiteLLM sert de couche d’abstraction modèle. L’agent parle OpenAI-compatible ; l’opérateur décide si la requête part vers Ollama local, vLLM, ou un provider cloud.
Cela évite de réécrire l’agent à chaque changement de modèle.
✅ Points forts
- API unifiée pour modèles locaux et cloud1.
- Support Ollama/vLLM documenté12.
- Proxy central avec clés virtuelles, routage, coûts, logs et guardrails.
- Utile pour migrer progressivement cloud → local.
⚠️ Limites et risques
- N’est pas un modèle : il route vers des backends.
- Mauvaise config = fuite vers cloud.
- Logging/observabilité peuvent capturer prompts/réponses si activés sans précaution3.
- Ajoute une couche critique à sécuriser : LiteLLM a connu en 2026 une série de failles exploitées, dont trois inscrites au catalogue KEV de la CISA (CVE-2026-42208, CVE-2026-42271, CVE-2026-59822, toutes corrigées à partir de la 1.84.0) et une escalade de privilèges critique (GHSA-7hp6-4w63-5g45, CVSS 9.9, un
internal_userdevientproxy_adminpuis exécute des commandes sur l’hôte ; corrigée en 1.100.4 / 1.101.3 / 1.102.2 / 1.103.1). Au T4 2026, ne jamais déployer une version antérieure à 1.84.0. La 1.100.4 corrige l’escalade de septembre, mais l’avis critique du 2026-10-27 ne corrige que les lignes 1.103 à 1.106 (1.103.10 / 1.104.8 / 1.105.6 / 1.106.5), et l’avis du 2026-11-12 (GHSA-2rwg-2wh4-7c4f, gravité haute, CVSS 7.7 : sur un proxy qui sert au moins un modèleazure/ouazure_ai/sansAZURE_API_KEYniAZURE_OPENAI_API_KEYdéfini, un utilisateur authentifié lit les variables d’environnement du proxy, dontLITELLM_MASTER_KEY) n’est corrigé qu’en 1.106.9 / 1.108.6 / 1.109.1, la ligne 1.107 n’ayant pas de correctif : au T4 2026, viser au minimum l’une de ces trois versions, ou bloquer en attendant les paramètres Entra ID (tenant_id,client_id,client_secret,azure_username,azure_password,azure_scope) au reverse proxy4. C’est impératif avec une licence Enterprise (GHSA-w4c7-34wj-hqm8, CVSS 10.0 : une requête non authentifiée fait lire au proxy un fichier local, par exemple/proc/self/environ, et exposeLITELLM_MASTER_KEYet les clés des providers ; les déploiements open source sans licence ne sont pas concernés). Dans tous les cas, limiter les sorties réseau du proxy aux endpoints des providers et charger la clé maître depuis un gestionnaire de secrets plutôt que depuis l’environnement du processus567. - Discipline de version : depuis le 2026-06-29, seules les quatre lignes mineures stables les plus récentes reçoivent des correctifs (une mineure par semaine, soit environ un mois de couverture par ligne) — prévoir une mise à jour mensuelle au minimum, une version figée est une version vulnérable8.
- Chaîne d’approvisionnement : en mars 2026, deux versions PyPI (1.82.7 et 1.82.8) publiées par un attaquant volaient les secrets de la machine hôte ; l’image Docker officielle n’était pas concernée9. Installer depuis l’image officielle épinglée ou avec des dépendances épinglées par hash, et faire tourner tous les secrets détenus par le proxy si une version compromise a été installée.
- Surface MCP : le proxy embarque aussi une passerelle MCP ; deux de ses failles ont été exploitées en 2026 (CVE-2026-42271, CVE-2026-59822). Si l’agent custodien n’utilise pas MCP via LiteLLM, ne pas exposer ces endpoints5.
🔒 Souveraineté et confidentialité
- Données : transitent par le proxy ; destination selon backend.
- Modèle : local si backend Ollama/vLLM local ; cloud si provider cloud.
- Mémoire : pas une mémoire applicative, sauf logs/observabilité.
- Télémétrie/logging : configurable ; désactiver message logging pour données sensibles3.
- Mode 100% offline : oui avec backends locaux.
- Verdict : ✅ souverain si configuré local-only ; ⚠️ sinon.
🔗 Intégration possible dans ce vault
LiteLLM est la couche cible entre :
- OpenHands / Agent Canvas (ou Aider, dont le développement est gelé depuis mai 2026, voir sa fiche) ;
- Ollama/vLLM ;
- politiques de routage ;
- logs locaux ;
- éventuelle bascule cloud de secours.
📊 Maturité du projet
Très utilisé comme gateway (plus de 60 000 étoiles GitHub au T4 20261), LiteLLM publie une ligne mineure par semaine (1.104.2 le 2026-10-0810) et, depuis le 2026-06-29, ne corrige que les quatre lignes mineures stables les plus récentes : chaque ligne reçoit environ un mois de correctifs8. Figer une version n’est donc pas une stratégie viable : prévoir une mise à jour mensuelle au minimum, suivre le flux des advisories GitHub, et versionner/auditer configuration, secrets, logs et règles de routage.
🔗 Voir aussi
- LiteLLM · vLLM · Ollama
- 🔐 Sécurité inférence · 📊 Monitoring
- OpenHands — orchestration agent complète
- Scénario D
📚 Sources
Footnotes
-
LiteLLM GitHub README (« 100+ LLM providers ») et LICENSE (MIT, sauf
enterprise/sousenterprise/LICENSE), lus le 2026-10-09. https://github.com/BerriAI/litellm ↩ ↩2 ↩3 ↩4 -
LiteLLM Proxy docs — local proxy, Ollama, vLLM. https://docs.litellm.ai/docs/proxy_server ↩
-
LiteLLM Docs, Logging — callbacks, OpenTelemetry,
turn_off_message_logging. https://docs.litellm.ai/docs/proxy/logging ↩ ↩2 -
BerriAI, GHSA-2rwg-2wh4-7c4f (advisory LiteLLM, gravité haute : exfiltration de secrets par un utilisateur authentifié via les paramètres Entra ID d’un modèle
azure/ouazure_ai/, lorsqueAZURE_API_KEYetAZURE_OPENAI_API_KEYne sont pas définis ; corrigé en 1.106.9 / 1.108.6 / 1.109.1 ; contournement : bloquer les six paramètres au reverse proxy), 2026-11-12. https://github.com/BerriAI/litellm/security/advisories/GHSA-2rwg-2wh4-7c4f ↩ -
CISA, Known Exploited Vulnerabilities Catalog (flux JSON ; entrées LiteLLM CVE-2026-42208 ajoutée le 2026-05-08, CVE-2026-42271 le 2026-06-08, CVE-2026-59822 le 2026-09-02), catalogue daté 2026-10-08. https://www.cisa.gov/sites/default/files/feeds/known_exploited_vulnerabilities.json ↩ ↩2
-
BerriAI, GHSA-7hp6-4w63-5g45 (advisory LiteLLM, escalade
internal_user→proxy_admin→ exécution de commandes sur l’hôte, CVSS 9.9, versions 1.91.0 → < 1.100.4, corrigé 1.100.4 / 1.101.3 / 1.102.2 / 1.103.1), 2026-09-30. https://github.com/BerriAI/litellm/security/advisories/GHSA-7hp6-4w63-5g45 ↩ -
BerriAI, GHSA-w4c7-34wj-hqm8 (advisory LiteLLM critique, CVSS 10.0 : lecture de fichier non authentifiée sur un proxy sous licence Enterprise, exposant
LITELLM_MASTER_KEYet les clés des providers ; versions affectées < 1.103.10 / < 1.104.8 / < 1.105.6 / < 1.106.5, corrigées en 1.103.10 / 1.104.8 / 1.105.6 / 1.106.5 ; open source sans licence non concerné ; recommandations : clé maître dans un gestionnaire de secrets,LITELLM_SALT_KEYdistinct, sorties réseau limitées aux providers), 2026-10-27. https://github.com/BerriAI/litellm/security/advisories/GHSA-w4c7-34wj-hqm8 ↩ -
LiteLLM, Version Support Policy (blog : à partir du 2026-06-29, seules les quatre lignes mineures stables les plus récentes reçoivent des correctifs), 2026-06-20. https://docs.litellm.ai/blog/version-support ↩ ↩2
-
BerriAI, Issue #24518 (versions PyPI 1.82.7 et 1.82.8 publiées hors CI par un attaquant, vol de secrets de l’hôte ; image Docker du proxy non concernée), 2026-03-24. https://github.com/BerriAI/litellm/issues/24518 ↩
-
BerriAI, LiteLLM Releases (v1.104.2 publiée le 2026-10-08, cadence d’une ligne mineure par semaine), consulté le 2026-10-09. https://github.com/BerriAI/litellm/releases ↩