Aller au contenu

KV Cache

📝 Définition courte

Mémoire qui conserve les états d’attention déjà calculés pour éviter des recomputations coûteuses.

📖 Définition détaillée

Dans un Transformer, chaque nouveau token réutilise les clés/valeurs des tokens précédents. Le KV cache accélère cette réutilisation, mais augmente la consommation mémoire avec la longueur de contexte.

💡 Pourquoi c’est important en IA on-premise

Il influence fortement la capacité de contexte pratique et la stabilité des performances sur longues conversations.

🔬 Ce n’est pas de la magie (Le mécanisme)

À chaque token généré, le modèle a besoin de consulter tout le contexte passé. Plutôt que de recalculer l’historique depuis le début (coût quadratique), il sauvegarde les états intermédiaires (clés et valeurs des couches d’attention) calculés pendant le prefill. C’est du stockage de résultats de calcul matriciel — en VRAM.

📚 Pour comprendre en profondeur

Vous voulez comprendre pourquoi ce cache peut saturer votre machine ?

  1. 🧠 Le Voyage d'un Prompt (Étape 4 : comment le KV cache est rempli pendant le prefill)
  2. 💾 KV Cache & Contexte (le chapitre complet : formule, GQA, PagedAttention)
  3. 🏎️ La Bande Passante Mémoire (pourquoi la taille du cache ralentit la génération)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.