Aller au contenu

🔄 Migrer d'Ollama vers vLLM


Quand migrer ?

Ollama reste le meilleur choix pour le développement solo et les petites équipes. La migration vers vLLM se justifie quand :

SignalSeuil indicatif
Utilisateurs simultanésplusieurs requêtes concurrentes sur le même modèle (Ollama n’en traite qu’une à la fois par défaut, OLLAMA_NUM_PARALLEL=1)1
Latence p95> 10 s pour un modèle 8B
Débit cible> 50 tok/s agrégés
Requêtes concurrentes> 20/min en pointe
SLA définiTTFT < 2 s garanti

Compatibilité API — ce qui change, ce qui ne change pas

Les deux services exposent une API compatible OpenAI sur /v1/. Dans la majorité des cas, seule l’URL de base change.

Ce qui ne change pas

# Avant (Ollama)
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# Après (vLLM)
client = OpenAI(base_url="http://localhost:8000/v1", api_key="VOTRE-TOKEN-A-REMPLACER")
# Le code qui suit est identique dans les deux cas
response = client.chat.completions.create(
model="llama3.1", # voir section "noms de modèles" ci-dessous
messages=[{"role": "user", "content": "Bonjour"}],
temperature=0.7,
max_tokens=500
)

Ce qui change

FonctionnalitéOllamavLLM
Port par défaut114348000
AuthentificationAucune (clé ignorée)--api-key (ne couvre pas toutes les routes : reverse proxy obligatoire, voir Sécurité)
Format modèleGGUF (natif)HuggingFace safetensors, AWQ, GPTQ
Endpoint pull modèlePOST /api/pullNon supporté (pré-chargement)
Endpoint generate (legacy)POST /api/generateNon supporté (utiliser /v1/)
StreamSupporté (format de fil OpenAI depuis 0.32.6)3Supporté
EmbeddingsPOST /api/embed (natif, champ input)4 ou POST /v1/embeddingsPOST /v1/embeddings
API ResponsesPOST /v1/responses (depuis 0.13.3, variante sans état)POST /v1/responses

Si vos clients ont été écrits avant août 2026 contre le streaming d’Ollama, revalidez-les en phase 2 : la 0.32.6 (4 août 2026) a aligné le format des chunks sur OpenAI (role sur le premier chunk seulement, finish_reason sur son propre chunk, usage via stream_options.include_usage) et les réponses tronquées renvoient désormais finish_reason: "length"3.


Noms de modèles

Ollama utilise ses propres noms (llama3.2, qwen2.5:14b). vLLM utilise les identifiants HuggingFace (meta-llama/Llama-3.2-3B-Instruct), mais vous pouvez définir un alias avec --served-model-name pour conserver la compatibilité :

Fenêtre de terminal
# vLLM avec alias compatible Ollama
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--served-model-name llama3.1 \ # ← le client envoie "llama3.1", vLLM comprend
--port 8000

Conversion des modèles GGUF

vLLM peut charger un GGUF (plugin vllm-gguf-plugin, ex. vllm serve unsloth/Qwen3-0.6B-GGUF:Q4_K_M --tokenizer Qwen/Qwen3-0.6B), mais ce support est qualifié de « hautement expérimental et peu optimisé » par le projet au T4 2026 : il convient pour valider un modèle, pas pour la production6. Trois options, par ordre de préférence :

Option A — Télécharger les poids HuggingFace natifs (recommandé)

La plupart des modèles Ollama ont un équivalent HuggingFace officiel :

Modèle OllamaÉquivalent HuggingFace
llama3.2meta-llama/Llama-3.2-3B-Instruct
llama3.1:70bmeta-llama/Llama-3.1-70B-Instruct
qwen2.5:14bQwen/Qwen2.5-14B-Instruct
qwen2.5-coder:32bQwen/Qwen2.5-Coder-32B-Instruct
phi4microsoft/phi-4
deepseek-r1:70bdeepseek-ai/DeepSeek-R1-Distill-Llama-70B

Ces équivalences restent valables, mais ces modèles appartiennent à la génération qu’Ollama ≥ 0.32 (juillet 2026) signale comme « anciens » au ollama launch (CodeLlama, Qwen2.5, Llama 3.x, Mistral, DeepSeek-R1 de base) ; la bibliothèque courante au T4 2026 est qwen3.5 / qwen3.6, gemma4, qwen3-coder, dont les poids Hugging Face se trouvent de la même manière7.

Fenêtre de terminal
# Télécharger via Hugging Face CLI (commande `hf`, qui remplace `huggingface-cli`)
pip install huggingface_hub
hf auth login # token HF requis pour les modèles protégés (Llama)
hf download meta-llama/Llama-3.1-8B-Instruct \
--local-dir /data/models/llama3.1-8b

Visez exclusivement des dépôts en safetensors : n’acceptez jamais de poids .bin / pickle, même « scannés » — des chargements pickle malveillants échappent aux scanners de modèles (ShadowPickle, juillet 2026)8. La commande hf est la forme documentée du CLI Hugging Face au T4 20269.

Option B — Utiliser une version AWQ pré-quantifiée

Pour les modèles lourds (70B+), les versions AWQ sont plus légères et gérées nativement par vLLM10 :

Fenêtre de terminal
# AWQ 4-bit — qualité proche du BF16 avec ~25% de la VRAM
vllm serve hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4 \
--quantization awq_marlin \
--dtype half

Option C — Convertir un GGUF vers safetensors (avancé)

Si vous avez un modèle GGUF custom (fine-tuné, merged), la conversion est possible via le chargeur GGUF de Transformers (llama.cpp ne fait que le sens inverse, HF → GGUF, avec convert_hf_to_gguf.py)11 :

Fenêtre de terminal
pip install transformers gguf
# Convertir GGUF → safetensors avec Transformers (déquantifie vers bf16)
python - <<'PY'
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GgufConfig
repo, f = "/path/to/model-dir", "model.gguf"
m = AutoModelForCausalLM.from_pretrained(
repo, gguf_file=f,
quantization_config=GgufConfig(dequantize=True),
dtype=torch.bfloat16,
)
t = AutoTokenizer.from_pretrained(repo, gguf_file=f)
m.save_pretrained("/path/to/output"); t.save_pretrained("/path/to/output")
PY

Le chargeur déquantifie Llama, Mistral, Qwen2, Phi3, etc. ; vérifiez la liste des architectures prises en charge dans la documentation Transformers11.


Stratégie de bascule sans interruption

Phase 1 — Déploiement parallèle

Lancez vLLM sur un port différent (8001) en parallèle d’Ollama (11434). Ne touchez pas encore aux clients.

Fenêtre de terminal
# vLLM sur port 8001 (staging)
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--served-model-name llama3.2 \
--port 8001

Phase 2 — Qualification

Comparez les résultats sur vos prompts réels12 ; vllm bench serve --model … --dataset-name sharegpt mesure en complément le débit et le TTFT sous charge.

Fenêtre de terminal
# Script de comparaison A/B
for prompt in "Résume ce contrat" "Rédige un email" "Analyse ce code"; do
echo "=== Ollama ==="
curl -s http://localhost:11434/v1/chat/completions \
-d "{\"model\":\"llama3.2\",\"messages\":[{\"role\":\"user\",\"content\":\"$prompt\"}]}" \
| python3 -c "import sys,json; r=json.load(sys.stdin); print(r['choices'][0]['message']['content'][:200])"
echo "=== vLLM ==="
curl -s http://localhost:8001/v1/chat/completions \
-H "Authorization: Bearer sk-token" \
-d "{\"model\":\"llama3.2\",\"messages\":[{\"role\":\"user\",\"content\":\"$prompt\"}]}" \
| python3 -c "import sys,json; r=json.load(sys.stdin); print(r['choices'][0]['message']['content'][:200])"
done

Phase 3 — Bascule via reverse proxy

Modifiez uniquement la configuration du reverse proxy (Caddy ou Nginx), pas les clients.

Caddy — bascule du backend :

# Avant
reverse_proxy localhost:11434
# Après (changer uniquement cette ligne)
reverse_proxy localhost:8000

Rechargement à chaud de Caddy sans coupure :

Fenêtre de terminal
caddy reload --config Caddyfile

Phase 4 — Arrêt d’Ollama

Après 48h sans problème signalé :

Fenêtre de terminal
# Arrêter Ollama
sudo systemctl stop ollama
sudo systemctl disable ollama
# Libérer la mémoire des modèles en cache Ollama
# (optionnel, les fichiers GGUF restent sur disque)

Plan de rollback

Fenêtre de terminal
# 1. Redémarrer Ollama
sudo systemctl start ollama
# 2. Rebrancher le reverse proxy sur Ollama
# Modifier le backend dans Caddyfile/nginx.conf → port 11434
caddy reload --config Caddyfile
# 3. Vérifier
curl http://localhost/v1/models

Le rollback complet prend < 2 minutes si Ollama était simplement arrêté (pas désinstallé).


Checklist de migration

□ vLLM ≥ 0.34.0 installé, trust_remote_code désactivé
□ Équivalent HuggingFace identifié pour chaque modèle Ollama utilisé
□ Modèles téléchargés et chargés dans vLLM (test /health OK)
□ --served-model-name configuré pour la compatibilité des noms
□ Authentification Bearer Token configurée et testée côté clients
□ Déploiement parallèle validé (phase 1-2 complètes)
□ Performances comparées sur les prompts métier (débit, TTFT, qualité)
□ Monitoring Prometheus actif avant la bascule
□ Reverse proxy reconfiguré et rechargé sans coupure
□ Période de surveillance 48h post-bascule
□ Procédure de rollback documentée et testée

La version minimale n’est pas un détail : vLLM a corrigé plusieurs exécutions de code à distance et dénis de service en 2026 ; le durcissement complet est décrit dans Configurer vLLM multi-GPU et Sécurité de l'inférence locale.


Voir aussi


Sources et Références

Footnotes

  1. Ollama, FAQ — How does Ollama handle concurrent requests? (OLLAMA_NUM_PARALLEL par défaut à 1, file d’attente), consultée le 2026-10-10. https://docs.ollama.com/faq ↩

  2. vLLM Project, vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention (batching continu, gestion dynamique du KV Cache), 20 juin 2023, vérifié le 2026-10-10. https://vllm.ai/blog/2023-06-20-vllm ↩

  3. Ollama, Release v0.32.6 (« /v1/chat/completions streaming now matches OpenAI’s wire format » ; finish_reason: "length" pour les réponses tronquées), 4 août 2026. https://github.com/ollama/ollama/releases/tag/v0.32.6 ↩ ↩2

  4. Ollama, API — Generate embeddings (POST /api/embed, champ input chaîne ou tableau ; aucun endpoint /api/embeddings documenté), consulté le 2026-10-10. https://docs.ollama.com/api/embed ↩

  5. vLLM Project, Online Serving — OpenAI-Compatible Server (endpoints supportés /v1/chat/completions, /v1/completions, /v1/embeddings, /v1/responses), consulté le 2026-10-10 · Ollama, OpenAI compatibility (/v1/responses depuis 0.13.3, clé API « required but ignored »), consulté le 2026-10-10. https://docs.vllm.ai/en/stable/serving/online_serving/ · https://docs.ollama.com/api/openai-compatibility ↩

  6. vLLM Project, Quantization — GGUF (plugin vllm-gguf-plugin, support « highly experimental and under-optimized », tokenizer du modèle de base recommandé), consulté le 2026-10-09. https://docs.vllm.ai/en/stable/features/quantization/gguf/ ↩

  7. Ollama, Release v0.32.0 (avertissement de dépréciation pour CodeLlama, Qwen2.5(-coder), Llama 3.x, Mistral, StarCoder et DeepSeek-R1 de base), 11 juillet 2026 · Ollama, Library (qwen3.5, qwen3.6, gemma4, qwen3-coder), consultée le 2026-10-10. https://github.com/ollama/ollama/releases/tag/v0.32.0 · https://ollama.com/library ↩

  8. ShadowPickle: Evading Machine Learning Model Scanners via Stealthy Pickle Deserialization Attacks (arXiv:2607.17503 ; dix scanners de modèles contournés), juillet 2026. https://arxiv.org/abs/2607.17503 ↩

  9. Hugging Face, Command Line Interface (CLI) (hf auth login, hf download … --local-dir), consulté le 2026-10-10. https://huggingface.co/docs/huggingface_hub/guides/cli ↩

  10. vLLM Project, Quantization — AWQ (« The AutoAWQ library is deprecated », workflow repris par llm-compressor, kernels Marlin), consulté le 2026-10-10 · casper-hansen, AutoAWQ (dépôt archivé le 2025-05-11, « officially deprecated »). https://docs.vllm.ai/en/stable/features/quantization/auto_awq/ · https://github.com/casper-hansen/AutoAWQ ↩ ↩2

  11. Hugging Face, Transformers — GGUF (from_pretrained(gguf_file=…), GgufConfig(dequantize=True), architectures prises en charge, export via save_pretrained), consulté le 2026-10-09. https://huggingface.co/docs/transformers/gguf ↩ ↩2

  12. vLLM Project, Benchmarking (vllm bench serve, latency, throughput), consulté le 2026-10-10. https://docs.vllm.ai/en/stable/benchmarking/ ↩

  13. Ollama, Release v0.40.2 (modèles « upgraded in the background the first time you run them », sauvegardes conservées, re-pull nécessaire en cas de retour < 0.40), 8 octobre 2026. https://github.com/ollama/ollama/releases/tag/v0.40.2 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.