Aller au contenu

Speculative Decoding

📝 Définition courte

Technique d’accélération d’inférence où un petit modèle rapide (« draft model ») génère des tokens candidats en avance, puis un grand modèle (« target model ») vérifie et corrige l’ensemble en un seul passage parallèle.

📖 Définition détaillée

Le goulot d’étranglement de la génération LLM est sa nature autoregressive : chaque token doit attendre le précédent avant d’être calculé. Le speculative decoding contourne cette contrainte en deux phases :

  1. Phase de draft : un modèle léger (ex. un 1B ou 7B) génère γ tokens candidats en γ passes rapides.
  2. Phase de vérification : le grand modèle cible évalue les γ candidats en un seul forward pass parallèle — aussi rapide que de générer 1 token. Il accepte les tokens valides et rejette les incorrects dès le premier écart.

Si le draft model prédit correctement k tokens sur γ, on obtient k+1 tokens au prix d’un seul appel du grand modèle.

Draft model (7B) → [tok1, tok2, tok3, tok4] (4 tokens candidats)
↓
Target model (70B) → ✅ tok1 ✅ tok2 ❌ tok3 [arrêt, correction]
→ Résultat : tok1, tok2, tok3-corrigé (3 tokens en 1 pass)

Condition d’efficacité

Le gain réel dépend du taux d’acceptation des tokens candidats. Quand le draft model prédit correctement 70 à 90 % des tokens (forte corrélation de distribution avec le modèle cible), l’accélération est significative. Si le taux d’acceptation est bas (< 50 %), les vérifications fréquentes annulent le bénéfice.

⚙️ Support dans vLLM

vLLM supporte le speculative decoding via le paramètre --speculative-config (objet JSON) au démarrage du serveur ; l’ancien flag --speculative-model n’apparaît plus dans la documentation au 2026-10-10 1 :

Fenêtre de terminal
vllm serve meta-llama/Llama-3.1-70B-Instruct \
--speculative-config '{"method": "draft_model", "model": "meta-llama/Llama-3.2-1B-Instruct", "num_speculative_tokens": 5}'

La clé num_speculative_tokens (γ) contrôle le nombre de tokens générés par le draft model à chaque étape. Une valeur entre 3 et 8 est généralement recommandée selon les docs vLLM.

💡 Pourquoi c’est important en IA on-premise

Pour une stack souveraine avec un seul modèle 70B en service, le speculative decoding peut réduire le temps de génération perçu par utilisateur (latence entre tokens) sans changer le matériel — à condition de disposer de la capacité mémoire pour le second modèle. Il n’améliore pas le TTFT, qui dépend du prefill, et peut même l’allonger légèrement.

Il est particulièrement attractif sur les blueprints haute capacité (mémoire unifiée 128 Go+) où charger un draft model 1B–7B ne représente que quelques gigaoctets supplémentaires.

⚠️ Pièges fréquents

  • Ne charge pas deux fois le même modèle. Le draft model doit être un modèle différent, plus petit et aligné avec le target.
  • N’améliore pas le débit total (throughput) en multi-utilisateurs. Le gain est sur la latence par requête individuelle. Sous forte charge concurrente, le PagedAttention et le continuous batching restent prioritaires.
  • Incompatible avec certains modes de quantification. Les quantifications très agressives (Q2) peuvent dégrader le taux d’acceptation et annuler le bénéfice.
  • Chiffres de gain : très variables. Ne pas citer de multiplicateur de vitesse sans préciser le modèle, le draft model, le taux d’acceptation mesuré et le batch size.

📚 Pour comprendre en profondeur

  1. ⚙️ Moteurs d'Inférence — vLLM (paramètre --speculative-config, configuration)
  2. 🧠 APU & Mémoire Unifiée (prérequis matériel : 128 Go+)
  3. 💾 KV Cache & Contexte (comprendre pourquoi l’autorégressivité est le goulot)

🔗 Voir aussi

📚 Sources

Footnotes

  1. vLLM Project, Speculative Decoding — documentation officielle (--speculative-config avec les clés method, model, num_speculative_tokens ; variantes draft model, EAGLE, MTP, n-gram), consulté le 2026-10-10. https://docs.vllm.ai/en/stable/features/speculative_decoding/ ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.