Attention (mécanisme)
📝 Définition courte
Calcul qui détermine l’importance relative de chaque token du contexte pour produire la représentation d’un token donné — le cœur du Transformer.
📖 Définition détaillée
Pour chaque token, le modèle calcule trois vecteurs à partir de son embedding :
- Query (Q) : « que cherche ce token ? »
- Key (K) : « que contient chaque autre token ? »
- Value (V) : « quelle information extraire de chaque autre token ? »
Le score d’attention entre deux tokens est le produit scalaire Q·K. Ces scores pondèrent les Values pour produire la représentation finale du token. C’est ce calcul qui est répété dans toutes les couches du Transformer.
Lien avec le KV Cache : pendant le Prefill, les vecteurs K et V de chaque token sont calculés et sauvegardés dans le KV Cache. En Decoding, le modèle les relira sans les recalculer.
Le coût du calcul d’attention est quadratique O(n²) en longueur de contexte : doubler le prompt multiplie par 4 le coût de la partie attention du prefill (les couches denses, elles, ne coûtent que 2 fois plus).
💡 Pourquoi c’est important en IA on-premise
Le coût quadratique de l’attention au Prefill explique pourquoi les prompts très longs (100K+ tokens) font exploser le TTFT ; la saturation de la VRAM vient, elle, du KV Cache, qui grandit linéairement avec le contexte — d’où Flash Attention (calcul sans matérialiser la matrice n²) et GQA (KV Cache plus petit).
⚠️ Pièges fréquents
- La complexité O(n²) s’applique au prefill. En decoding, le KV Cache ramène le coût à O(n) par token généré.
- GQA (Grouped-Query Attention, utilisé dans Llama 3+) réduit la taille du KV Cache en partageant les têtes K/V entre plusieurs têtes Q — sans supprimer le mécanisme d’attention.
📚 Pour comprendre en profondeur
- 🧠 Le Voyage d'un Prompt (Étape 3 : le Prefill et l’attention en action)
- 💾 KV Cache & Contexte (ce que l’attention stocke et pourquoi ça pèse sur la VRAM)