Aller au contenu

Decoding

📝 Définition courte

Phase où le modèle génère sa réponse de manière séquentielle, en prédisant un token (mot), puis en l’ajoutant au contexte pour prédire le suivant, et ainsi de suite.

🔬 Ce n’est pas de la magie (Le mécanisme)

Une fois que le prompt initial a été lu (la phase de Prefill), le modèle passe en boucle de génération. Pour deviner le mot suivant, il n’a pas besoin de recalculer tout l’historique : il relit les états passés stockés dans le KV Cache. Cependant, comme il génère un seul mot à la fois, le processeur passe son temps à attendre que la mémoire (VRAM) lui envoie les données du cache et du modèle.

💡 Pourquoi c’est important en IA on-premise

C’est cette phase qui gouverne le débit “tokens/s” observé par vos utilisateurs. C’est ici que l’on heurte le Memory Wall : ce n’est pas la puissance de la puce qui limite la vitesse, mais la largeur des tuyaux mémoires.

📚 Pour comprendre en profondeur

Vous ne saisissez pas bien pourquoi c’est lent ? Suivez ce chemin :

  1. 🧠 Le Voyage d'un Prompt (Le chapitre “C’est pas sorcier”)
  2. 🏎️ La Bande Passante Mémoire & Le Memory Wall (L’explication physique)
  3. Tokens par seconde (La métrique clé)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.