Aller au contenu

LiteLLM

📝 Définition courte

Proxy/gateway qui expose une API compatible OpenAI et redirige les requêtes vers Ollama, vLLM, OpenAI, Anthropic, Azure, Bedrock ou d’autres providers.

📖 Définition détaillée

LiteLLM sert de couche d’abstraction entre une application agentique et les moteurs de modèle. Au lieu de coder un connecteur par provider, l’agent parle une interface commune ; l’opérateur décide ensuite si les requêtes partent vers un modèle local, un cluster vLLM ou un fournisseur cloud.

Il peut aussi centraliser les clés, le routage, les quotas, les logs, l’observabilité et, depuis 2026, une passerelle MCP vers les outils des agents1.

💡 Pourquoi c’est important en IA on-premise

Dans une cible souveraine, LiteLLM peut forcer un routage local-only vers Ollama ou vLLM. Dans une architecture hybride, il permet de garder une API stable tout en migrant progressivement du cloud vers le local.

⚠️ Pièges fréquents

  • Croire que LiteLLM rend automatiquement une stack souveraine : tout dépend du backend configuré.
  • Activer des logs de prompts/réponses sans politique de rétention.
  • Laisser un fallback cloud silencieux dans une configuration supposée on-premise.
  • Déployer le proxy puis l’oublier : depuis juin 2026, LiteLLM ne maintient que ses quatre dernières lignes mineures (environ un mois de correctifs chacune)2, et plusieurs de ses failles 2026 sont exploitées activement (catalogue KEV de la CISA). Une gateway exposée aux utilisateurs doit suivre les releases — voir la fiche solution.

📚 Pour comprendre en profondeur

  1. Fiche solution LiteLLM
  2. Architecture cible des agents custodiens

🔗 Voir aussi

Footnotes

  1. LiteLLM Docs, MCP Overview (MCP Gateway : point d’entrée unique vers les serveurs MCP, contrôle d’accès par clé et par équipe ; « Agent Gateway » A2A au menu), consulté le 2026-10-10. https://docs.litellm.ai/docs/mcp ↩

  2. LiteLLM, Version Support Policy (quatre lignes mineures stables maintenues, fenêtre glissante d’environ un mois par ligne, en vigueur le 2026-06-29), 2026-06-20. https://docs.litellm.ai/blog/version-support ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.