Aller au contenu

Fenêtre de contexte

📝 Définition courte

Nombre maximal de tokens (prompt + historique + réponse en cours) qu’un modèle peut “voir” et prendre en compte pendant une inférence. Au-delà de cette limite, les tokens les plus anciens sont ignorés ou tronqués.

📖 Définition détaillée

La fenêtre de contexte détermine deux choses distinctes :

  1. Ce que le modèle peut lire : si votre document fait 50 000 tokens et que le modèle a une fenêtre de 32K, il ne peut pas tout lire en une requête.
  2. La VRAM dynamique consommée : chaque token en contexte occupe de l’espace dans le KV Cache. Plus la fenêtre est longue, plus le KV Cache grossit.

Ordres de grandeur du KV Cache pour un modèle 70B (Llama 3.1 : 80 couches, 8 têtes KV en GQA, dimension 128), pour une seule requête, selon la longueur du contexte :

ContexteKV Cache estimé (BF16)KV Cache (Q8)
4K tokens~1,3 Go~0,7 Go
32K tokens~10,7 Go~5,4 Go
128K tokens~42 Go~21 Go

Un contexte 128K peut donc doubler la VRAM nécessaire par rapport aux poids quantifiés en Q4 (~40 Go de poids + ~42 Go de KV Cache en BF16). En pratique, c’est la fenêtre de contexte qui provoque les OOM inattendus sur les machines locales.

💡 Pourquoi c’est important en IA on-premise

Sur un APU de 128 Go (~120 Go allouables au GPU sur Mac via sysctl), un modèle 70B Q4 (~40 Go) laisse ~80 Go pour le KV Cache : la fenêtre native de 128K tokens (~42 Go en BF16) tient pour une requête, avec ~38 Go de marge. C’est confortable pour la plupart des usages. Sur une machine avec 24 Go de VRAM, le KV Cache est le premier élément à ajuster.

⚠️ Pièges fréquents

  • Acheter un modèle “128K context” en croyant que les performances sont identiques sur 4K et 128K : le débit (TTFT en particulier) se dégrade fortement sur les longs contextes.
  • Augmenter la fenêtre de contexte via des paramètres comme --ctx-size sans vérifier la VRAM disponible : l’OOM arrivera au milieu d’une conversation longue, pas au lancement.
  • Croire que RAG et fenêtre de contexte sont équivalents : le RAG sélectionne les passages pertinents pour rester dans une fenêtre courte ; la fenêtre longue permet de tout lire d’un coup mais coûte plus cher.

📚 Pour comprendre en profondeur

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.