Aller au contenu

🚀 Démarrer avec Ollama


Prérequis

  • macOS (Apple Silicon recommandé — depuis Ollama 0.40, octobre 2026, les architectures compatibles tournent par défaut sur le moteur MLX d’Apple1) ou Linux (GPU NVIDIA ou AMD, ou CPU seul)
  • Windows : supporté via WSL2 ou installeur natif — les performances GPU nécessitent les pilotes CUDA ou ROCm
  • Au moins 8 Go de RAM (16+ recommandé pour un 7B/8B confortable)
  • Espace disque : 5–50 Go selon le modèle téléchargé

Installation

macOS / Linux

Fenêtre de terminal
curl -fsSL https://ollama.com/install.sh | sh

Ollama installe un service système qui démarre automatiquement au boot.

Vérification :

Fenêtre de terminal
ollama --version
# ollama version is 0.40.x (0.40.16 au 2026-11-09)
# Le service tourne ?
curl http://localhost:11434/
# Ollama is running

Windows

Télécharger l’installeur depuis ollama.com/download. L’installeur configure le service en arrière-plan et ajoute ollama au PATH.


Premier modèle

Fenêtre de terminal
# Télécharger et lancer un petit modèle récent (~6,5 Go en Q4_K_M)
ollama run qwen3.5:9b
# Ou un 3B très léger (~2 Go)
ollama run llama3.2
# Ou un modèle plus compact pour tester rapidement (~2,5 Go)
ollama run phi4-mini
# Ou un modèle coder (~18,6 Go)
ollama run qwen3-coder:30b
# qwen2.5-coder:14b (~9 Go) reste disponible mais est signalé comme ancien par Ollama ≥ 0.32

La première exécution télécharge le modèle depuis ollama.com/library (tailles relevées sur le registre au 2026-10-093). Les suivantes utilisent le cache local.

Pour quitter la session interactive : /bye ou Ctrl+D.


Commandes essentielles

Fenêtre de terminal
# Lister les modèles téléchargés
ollama list
# Voir les modèles disponibles en ligne
# → https://ollama.com/library
# Télécharger sans lancer
ollama pull qwen3.6:35b # ~22,6 Go
# Supprimer un modèle du cache
ollama rm llama3.2
# Voir les processus en cours
ollama ps
# Logs du service (Linux systemd) — il n'existe pas de sous-commande `ollama logs`
journalctl -u ollama --no-pager --follow --pager-end
# macOS : cat ~/.ollama/logs/server.log

Les emplacements des logs par plateforme sont décrits dans la page de dépannage d’Ollama4.

Depuis Ollama 0.40.2 (octobre 2026), les modèles téléchargés avec une version antérieure sont réécrits en arrière-plan au premier lancement (originaux conservés comme sauvegardes) ; revenir à une version < 0.40 oblige à re-tirer les modèles — sur une appliance, épinglez la version d’Ollama5.


L’API compatible OpenAI

Ollama expose une API REST sur http://localhost:11434 compatible avec le format OpenAI. Toutes les bibliothèques qui utilisent l’API OpenAI fonctionnent sans modification en changeant l’URL de base.

Requête directe

Fenêtre de terminal
curl http://localhost:11434/api/generate \
-d '{
"model": "llama3.2",
"prompt": "Explique le KV Cache en 3 phrases.",
"stream": false
}'

Format compatible OpenAI (/v1/chat/completions)

Fenêtre de terminal
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama3.2",
"messages": [
{"role": "system", "content": "Tu es un assistant technique."},
{"role": "user", "content": "Quelle est la différence entre prefill et decoding ?"}
]
}'

Python (openai SDK)

from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama", # valeur arbitraire, Ollama ne vérifie pas la clé
)
response = client.chat.completions.create(
model="llama3.2",
messages=[
{"role": "user", "content": "Résume le concept de mémoire unifiée en 2 phrases."}
]
)
print(response.choices[0].message.content)

Réglages utiles

Contexte plus long

Par défaut, le serveur Ollama utilise une fenêtre de 4 096 tokens (OLLAMA_CONTEXT_LENGTH) ; l’application de bureau choisit une valeur selon la VRAM (4k sous 24 Gio, 32k entre 24 et 48 Gio, 256k au-delà)6. Pour étendre :

Fenêtre de terminal
# Pour tout le serveur (variable d'environnement)
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
# Via l'API (par requête)
curl http://localhost:11434/api/generate \
-d '{"model": "llama3.2", "prompt": "...", "options": {"num_ctx": 8192}}'
# Via Modelfile (persistant)
ollama show llama3.2 --modelfile > Modelfile
# Ajouter dans le Modelfile :
# PARAMETER num_ctx 8192
ollama create llama3.2-8k -f Modelfile

Requêtes concurrentes

Par défaut, chaque modèle ne traite qu’une requête à la fois (OLLAMA_NUM_PARALLEL=1) : la deuxième attend en file. Relever cette valeur multiplie la mémoire réservée au contexte (parallélisme × OLLAMA_CONTEXT_LENGTH) ; OLLAMA_MAX_LOADED_MODELS (3 × nombre de GPU par défaut) borne le nombre de modèles chargés simultanément6. Pour plusieurs utilisateurs réguliers, voir ⚙️ Moteurs d'inférence.

Température et paramètres de génération

Fenêtre de terminal
curl http://localhost:11434/api/generate \
-d '{
"model": "llama3.2",
"prompt": "...",
"options": {
"temperature": 0.1,
"top_p": 0.9,
"num_predict": 512
}
}'

temperature règle la part de hasard (0 = réponses déterministes, 1 = plus créatives) et num_predict le nombre maximal de tokens générés. Le JSON n’accepte pas de commentaires : ne collez pas de # dans le corps de la requête.

Exposer Ollama sur le réseau local

Par défaut, Ollama n’écoute que sur localhost. Pour le rendre accessible aux autres machines :

Fenêtre de terminal
# Linux : variable d'environnement du service
OLLAMA_HOST=0.0.0.0 ollama serve
# Ou via systemd (modifier /etc/systemd/system/ollama.service)
# Environment="OLLAMA_HOST=0.0.0.0"

Vérifier les performances

Fenêtre de terminal
# Lancer une requête et mesurer le débit
curl http://localhost:11434/api/generate \
-d '{"model": "llama3.2", "prompt": "Dis bonjour en 10 langues.", "stream": false}' \
| python3 -c "import sys,json; r=json.load(sys.stdin); \
print(f\"Durée: {r['total_duration']/1e9:.1f}s | \
Tokens générés: {r['eval_count']} | \
Débit: {r['eval_count']/(r['eval_duration']/1e9):.1f} tok/s\")"

Ordres de grandeur indicatifs (mesures communautaires sur llama.cpp, mi-2026, non sourcées individuellement ; sur Apple Silicon, Ollama ≥ 0.40 utilise MLX par défaut et les débits peuvent différer — mesurez avec la commande ci-dessus et le protocole de 🧪 Évaluer un modèle local). Les lignes Apple portent sur la génération précédente, faute de mesure publiée pour le Mac Studio M5 (bornes théoriques dans 🏎️ La Bande Passante Mémoire) :

MatérielModèle 8B Q4Modèle 70B Q4
MacBook Pro M4 Pro 48 Go (génération 2024, 273 Go/s)~30–50 tok/s✗ (~40 Go de poids > ~36 Go allouables au GPU par défaut ; borne ≤ 6,8 tok/s même après sysctl)
Mac Studio M3 Ultra 256 Go (génération 2025, 819 Go/s)~50–70 tok/s~12–18 tok/s
AMD Ryzen AI Max PRO (192 Go, 273 Go/s)~25–35 tok/s~4–6 tok/s
RTX 4090 (24 Go VRAM)~50–80 tok/sPartiel offloading
CPU seul (pas de GPU)~3–8 tok/s< 2 tok/s

Prochaines étapes


Sources et Références

Footnotes

  1. Ollama, Release v0.40.0 (« Models run on MLX on Apple Silicon by default »), octobre 2026. https://github.com/ollama/ollama/releases/tag/v0.40.0 ↩

  2. Ollama, Release v0.32.0 (ollama sans argument lance un agent, entrée par défaut glm-5.2:cloud ; avertissement de dépréciation des anciens modèles agent), 11 juillet 2026 · Ollama, Release v0.34.2 (« first-run setup … with options to sign in or continue locally »), 15 septembre 2026. https://github.com/ollama/ollama/releases/tag/v0.32.0 · https://github.com/ollama/ollama/releases/tag/v0.34.2 ↩

  3. Ollama, Library et registre registry.ollama.ai (manifestes : llama3.2 = 3B, 2,02 Go ; qwen3.5:9b ≈ 6,5 Go ; qwen3-coder:30b ≈ 18,6 Go ; qwen3.6:35b ≈ 22,6 Go ; qwen2.5-coder:14b ≈ 9 Go), consultés le 2026-10-09. https://ollama.com/library ↩

  4. Ollama, Troubleshooting (emplacement des logs : journalctl -u ollama, ~/.ollama/logs/server.log), consulté le 2026-10-09 · dépôt ollama/ollama, cmd/cmd.go (liste des sous-commandes, sans logs). https://docs.ollama.com/troubleshooting · https://github.com/ollama/ollama ↩

  5. Ollama, Release v0.40.2 (modèles « upgraded in the background the first time you run them », sauvegardes conservées, re-pull nécessaire en cas de retour < 0.40), 8 octobre 2026. https://github.com/ollama/ollama/releases/tag/v0.40.2 ↩

  6. Ollama, FAQ (« By default, Ollama uses a context window size of 4096 tokens », OLLAMA_CONTEXT_LENGTH, OLLAMA_NUM_PARALLEL = 1, OLLAMA_MAX_LOADED_MODELS = 3 × GPU) et Context length (défauts de l’application : 4k / 32k / 256k selon la VRAM), consultées le 2026-10-10. https://docs.ollama.com/faq · https://docs.ollama.com/context-length ↩ ↩2

  7. VulnCheck, Ollama 0.30.0 through 0.33.2 SSRF via Cross-Host Tensor Blob Redirect (CVE-2026-85180, CVSS 4.0 8.7, sans authentification, aucune version corrigée nommée), 2026-09-03 · Ollama, PR #18512 « x/transfer, server: tighten redirect handling for registry requests » (validation de la cible des redirections pour les téléchargements du registre et des blobs ; commit du 2026-09-17, livré dans la 0.34.2). https://www.vulncheck.com/advisories/ollama-0.30.0-through-0.33.2-ssrf-via-cross-host-tensor-blob-redirect · https://github.com/ollama/ollama/pull/18512 ↩ ↩2

  8. MITRE, CVE-2026-102697 (Ollama 0.14.0 → < 0.31.2, contournement de l’approbation des commandes Bash du mode agent, CVSS v3.1 7.8), publiée le 2026-09-29 · Ollama, Release v0.31.2 (« Hardened GGUF model creation »), 6 juillet 2026. https://cveawg.mitre.org/api/cve/CVE-2026-102697 · https://github.com/ollama/ollama/releases/tag/v0.31.2 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.