Speculative Decoding
📝 Définition courte
Technique d’accélération d’inférence où un petit modèle rapide (« draft model ») génère des tokens candidats en avance, puis un grand modèle (« target model ») vérifie et corrige l’ensemble en un seul passage parallèle.
📖 Définition détaillée
Le goulot d’étranglement de la génération LLM est sa nature autoregressive : chaque token doit attendre le précédent avant d’être calculé. Le speculative decoding contourne cette contrainte en deux phases :
- Phase de draft : un modèle léger (ex. un 1B ou 7B) génère γ tokens candidats en γ passes rapides.
- Phase de vérification : le grand modèle cible évalue les γ candidats en un seul forward pass parallèle — aussi rapide que de générer 1 token. Il accepte les tokens valides et rejette les incorrects dès le premier écart.
Si le draft model prédit correctement k tokens sur γ, on obtient k+1 tokens au prix d’un seul appel du grand modèle.
Draft model (7B) → [tok1, tok2, tok3, tok4] (4 tokens candidats) ↓Target model (70B) → ✅ tok1 ✅ tok2 ❌ tok3 [arrêt, correction] → Résultat : tok1, tok2, tok3-corrigé (3 tokens en 1 pass)Condition d’efficacité
Le gain réel dépend du taux d’acceptation des tokens candidats. Quand le draft model prédit correctement 70 à 90 % des tokens (forte corrélation de distribution avec le modèle cible), l’accélération est significative. Si le taux d’acceptation est bas (< 50 %), les vérifications fréquentes annulent le bénéfice.
⚙️ Support dans vLLM
vLLM supporte le speculative decoding via le paramètre --speculative-config (objet JSON) au démarrage du serveur ; l’ancien flag --speculative-model n’apparaît plus dans la documentation au 2026-10-10 1 :
vllm serve meta-llama/Llama-3.1-70B-Instruct \ --speculative-config '{"method": "draft_model", "model": "meta-llama/Llama-3.2-1B-Instruct", "num_speculative_tokens": 5}'La clé num_speculative_tokens (γ) contrôle le nombre de tokens générés par le draft model à chaque étape. Une valeur entre 3 et 8 est généralement recommandée selon les docs vLLM.
💡 Pourquoi c’est important en IA on-premise
Pour une stack souveraine avec un seul modèle 70B en service, le speculative decoding peut réduire le temps de génération perçu par utilisateur (latence entre tokens) sans changer le matériel — à condition de disposer de la capacité mémoire pour le second modèle. Il n’améliore pas le TTFT, qui dépend du prefill, et peut même l’allonger légèrement.
Il est particulièrement attractif sur les blueprints haute capacité (mémoire unifiée 128 Go+) où charger un draft model 1B–7B ne représente que quelques gigaoctets supplémentaires.
⚠️ Pièges fréquents
- Ne charge pas deux fois le même modèle. Le draft model doit être un modèle différent, plus petit et aligné avec le target.
- N’améliore pas le débit total (throughput) en multi-utilisateurs. Le gain est sur la latence par requête individuelle. Sous forte charge concurrente, le PagedAttention et le continuous batching restent prioritaires.
- Incompatible avec certains modes de quantification. Les quantifications très agressives (Q2) peuvent dégrader le taux d’acceptation et annuler le bénéfice.
- Chiffres de gain : très variables. Ne pas citer de multiplicateur de vitesse sans préciser le modèle, le draft model, le taux d’acceptation mesuré et le batch size.
📚 Pour comprendre en profondeur
- ⚙️ Moteurs d'Inférence — vLLM (paramètre
--speculative-config, configuration) - 🧠 APU & Mémoire Unifiée (prérequis matériel : 128 Go+)
- 💾 KV Cache & Contexte (comprendre pourquoi l’autorégressivité est le goulot)
🔗 Voir aussi
📚 Sources
Footnotes
-
vLLM Project, Speculative Decoding — documentation officielle (
--speculative-configavec les clésmethod,model,num_speculative_tokens; variantes draft model, EAGLE, MTP, n-gram), consulté le 2026-10-10. https://docs.vllm.ai/en/stable/features/speculative_decoding/ ↩