Decoding
📝 Définition courte
Phase où le modèle génère sa réponse de manière séquentielle, en prédisant un token (mot), puis en l’ajoutant au contexte pour prédire le suivant, et ainsi de suite.
🔬 Ce n’est pas de la magie (Le mécanisme)
Une fois que le prompt initial a été lu (la phase de Prefill), le modèle passe en boucle de génération. Pour deviner le mot suivant, il n’a pas besoin de recalculer tout l’historique : il relit les états passés stockés dans le KV Cache. Cependant, comme il génère un seul mot à la fois, le processeur passe son temps à attendre que la mémoire (VRAM) lui envoie les données du cache et du modèle.
💡 Pourquoi c’est important en IA on-premise
C’est cette phase qui gouverne le débit “tokens/s” observé par vos utilisateurs. C’est ici que l’on heurte le Memory Wall : ce n’est pas la puissance de la puce qui limite la vitesse, mais la largeur des tuyaux mémoires.
📚 Pour comprendre en profondeur
Vous ne saisissez pas bien pourquoi c’est lent ? Suivez ce chemin :
- 🧠 Le Voyage d'un Prompt (Le chapitre “C’est pas sorcier”)
- 🏎️ La Bande Passante Mémoire & Le Memory Wall (L’explication physique)
- Tokens par seconde (La métrique clé)