Fenêtre de contexte
📝 Définition courte
Nombre maximal de tokens (prompt + historique + réponse en cours) qu’un modèle peut “voir” et prendre en compte pendant une inférence. Au-delà de cette limite, les tokens les plus anciens sont ignorés ou tronqués.
📖 Définition détaillée
La fenêtre de contexte détermine deux choses distinctes :
- Ce que le modèle peut lire : si votre document fait 50 000 tokens et que le modèle a une fenêtre de 32K, il ne peut pas tout lire en une requête.
- La VRAM dynamique consommée : chaque token en contexte occupe de l’espace dans le KV Cache. Plus la fenêtre est longue, plus le KV Cache grossit.
Ordres de grandeur du KV Cache pour un modèle 70B (Llama 3.1 : 80 couches, 8 têtes KV en GQA, dimension 128), pour une seule requête, selon la longueur du contexte :
| Contexte | KV Cache estimé (BF16) | KV Cache (Q8) |
|---|---|---|
| 4K tokens | ~1,3 Go | ~0,7 Go |
| 32K tokens | ~10,7 Go | ~5,4 Go |
| 128K tokens | ~42 Go | ~21 Go |
Un contexte 128K peut donc doubler la VRAM nécessaire par rapport aux poids quantifiés en Q4 (~40 Go de poids + ~42 Go de KV Cache en BF16). En pratique, c’est la fenêtre de contexte qui provoque les OOM inattendus sur les machines locales.
💡 Pourquoi c’est important en IA on-premise
Sur un APU de 128 Go (~120 Go allouables au GPU sur Mac via sysctl), un modèle 70B Q4 (~40 Go) laisse ~80 Go pour le KV Cache : la fenêtre native de 128K tokens (~42 Go en BF16) tient pour une requête, avec ~38 Go de marge. C’est confortable pour la plupart des usages. Sur une machine avec 24 Go de VRAM, le KV Cache est le premier élément à ajuster.
⚠️ Pièges fréquents
- Acheter un modèle “128K context” en croyant que les performances sont identiques sur 4K et 128K : le débit (TTFT en particulier) se dégrade fortement sur les longs contextes.
- Augmenter la fenêtre de contexte via des paramètres comme
--ctx-sizesans vérifier la VRAM disponible : l’OOM arrivera au milieu d’une conversation longue, pas au lancement. - Croire que RAG et fenêtre de contexte sont équivalents : le RAG sélectionne les passages pertinents pour rester dans une fenêtre courte ; la fenêtre longue permet de tout lire d’un coup mais coûte plus cher.