Ollama
📝 Définition courte
Distribution et CLI qui exécute des LLM localement en quelques commandes, via llama.cpp (Linux, Windows, format GGUF) ou, sur Apple Silicon, via le moteur MLX d’Apple par défaut, avec serveur API compatible OpenAI sur le port 114341.
📖 Définition détaillée
Ollama est le chemin le plus court pour tester un LLM on-premise : ollama pull, ollama run, puis branchement d’une UI (Open WebUI, script Python, etc.).
Sous le capot, Ollama s’appuie sur llama.cpp (C/C++) — quantification agressive (Q4_K_M, etc.), offloading CPU/GPU sur postes modestes, format GGUF — et, sur Apple Silicon, sur le moteur MLX (poids safetensors, mémoire unifiée), utilisé par défaut depuis la 0.40 pour les architectures prises en charge2.
💡 Pourquoi c’est important en IA on-premise
- Scénario A (labo dev) et premiers pas du scénario B (PME) : validation modèle, prompts, RAG léger avant bascule vers vLLM sur serveur GPU (ou maintien sur llama.cpp / MLX pour une appliance Mac ou APU).
- Référence pour les guides Démarrer avec Ollama et évaluer un modèle local.
- Modèles d’embedding locaux (
nomic-embed-text, etc.) via la même API.
⚠️ Pièges fréquents
- Servir plusieurs utilisateurs simultanés en production : par défaut Ollama ne traite qu’une requête à la fois par modèle (
OLLAMA_NUM_PARALLEL=1) et met les autres en file ; relever ce parallélisme coûte de la mémoire (∝ parallélisme × contexte) et ne remplace pas le batching continu d’un moteur de production3. - Tirer un modèle
:clouden croyant rester on-prem : certains modèles de la bibliothèque n’existent qu’en version hébergée (kimi-k3:cloud,glm-5.2:cloud) et envoient les requêtes hors du poste ; le compte proposé au premier lancement ne sert qu’à ces modèles cloud et aux dépôts privés, l’inférence locale n’en a pas besoin (détail par version dans Démarrer avec Ollama)4. - Confondre « modèle téléchargé » et « modèle adapté au métier » : toujours valider avec un golden dataset.
- Exposer l’API 11434 sans authentification sur le réseau interne : voir sécurité inférence.
📚 Pour comprendre en profondeur
- ⚙️ Moteurs d'inférence — limites Ollama vs vLLM
- 🚀 Démarrer avec Ollama
- 🛠️ Scénario A — Labo Dev
🔗 Voir aussi
Footnotes
-
Ollama — site et documentation. https://ollama.com/ ↩
-
Ollama, Release v0.40.0 (« Models run on MLX on Apple Silicon by default »), octobre 2026. https://github.com/ollama/ollama/releases/tag/v0.40.0 ↩
-
Ollama, FAQ — How does Ollama handle concurrent requests? (
OLLAMA_NUM_PARALLELpar défaut à 1,OLLAMA_MAX_LOADED_MODELS, file d’attente), consultée le 2026-10-10. https://docs.ollama.com/faq — voir aussi ⚙️ Moteurs d'inférence. ↩ -
Ollama, Release v0.32.0 (
ollamasans argument lance un agent, entrée par défautglm-5.2:cloud), 11 juillet 2026 · Release v0.32.6 (ollama run kimi-k3proposekimi-k3:cloud« for cloud-only models that publish no default tag »), 4 août 2026 · Release v0.34.2 (écran de première exécution « sign in or continue locally »), 15 septembre 2026. https://github.com/ollama/ollama/releases/tag/v0.32.0 · https://github.com/ollama/ollama/releases/tag/v0.32.6 · https://github.com/ollama/ollama/releases/tag/v0.34.2 ↩