Aller au contenu

Ollama

📝 Définition courte

Distribution et CLI qui exécute des LLM localement en quelques commandes, via llama.cpp (Linux, Windows, format GGUF) ou, sur Apple Silicon, via le moteur MLX d’Apple par défaut, avec serveur API compatible OpenAI sur le port 114341.

📖 Définition détaillée

Ollama est le chemin le plus court pour tester un LLM on-premise : ollama pull, ollama run, puis branchement d’une UI (Open WebUI, script Python, etc.).

Sous le capot, Ollama s’appuie sur llama.cpp (C/C++) — quantification agressive (Q4_K_M, etc.), offloading CPU/GPU sur postes modestes, format GGUF — et, sur Apple Silicon, sur le moteur MLX (poids safetensors, mémoire unifiée), utilisé par défaut depuis la 0.40 pour les architectures prises en charge2.

💡 Pourquoi c’est important en IA on-premise

  • Scénario A (labo dev) et premiers pas du scénario B (PME) : validation modèle, prompts, RAG léger avant bascule vers vLLM sur serveur GPU (ou maintien sur llama.cpp / MLX pour une appliance Mac ou APU).
  • Référence pour les guides Démarrer avec Ollama et évaluer un modèle local.
  • Modèles d’embedding locaux (nomic-embed-text, etc.) via la même API.

⚠️ Pièges fréquents

  • Servir plusieurs utilisateurs simultanés en production : par défaut Ollama ne traite qu’une requête à la fois par modèle (OLLAMA_NUM_PARALLEL=1) et met les autres en file ; relever ce parallélisme coûte de la mémoire (∝ parallélisme × contexte) et ne remplace pas le batching continu d’un moteur de production3.
  • Tirer un modèle :cloud en croyant rester on-prem : certains modèles de la bibliothèque n’existent qu’en version hébergée (kimi-k3:cloud, glm-5.2:cloud) et envoient les requêtes hors du poste ; le compte proposé au premier lancement ne sert qu’à ces modèles cloud et aux dépôts privés, l’inférence locale n’en a pas besoin (détail par version dans Démarrer avec Ollama)4.
  • Confondre « modèle téléchargé » et « modèle adapté au métier » : toujours valider avec un golden dataset.
  • Exposer l’API 11434 sans authentification sur le réseau interne : voir sécurité inférence.

📚 Pour comprendre en profondeur

  1. ⚙️ Moteurs d'inférence — limites Ollama vs vLLM
  2. 🚀 Démarrer avec Ollama
  3. 🛠️ Scénario A — Labo Dev

🔗 Voir aussi

Footnotes

  1. Ollama — site et documentation. https://ollama.com/ ↩

  2. Ollama, Release v0.40.0 (« Models run on MLX on Apple Silicon by default »), octobre 2026. https://github.com/ollama/ollama/releases/tag/v0.40.0 ↩

  3. Ollama, FAQ — How does Ollama handle concurrent requests? (OLLAMA_NUM_PARALLEL par défaut à 1, OLLAMA_MAX_LOADED_MODELS, file d’attente), consultée le 2026-10-10. https://docs.ollama.com/faq — voir aussi ⚙️ Moteurs d'inférence. ↩

  4. Ollama, Release v0.32.0 (ollama sans argument lance un agent, entrée par défaut glm-5.2:cloud), 11 juillet 2026 · Release v0.32.6 (ollama run kimi-k3 propose kimi-k3:cloud « for cloud-only models that publish no default tag »), 4 août 2026 · Release v0.34.2 (écran de première exécution « sign in or continue locally »), 15 septembre 2026. https://github.com/ollama/ollama/releases/tag/v0.32.0 · https://github.com/ollama/ollama/releases/tag/v0.32.6 · https://github.com/ollama/ollama/releases/tag/v0.34.2 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.