Aller au contenu

Attention (mécanisme)

📝 Définition courte

Calcul qui détermine l’importance relative de chaque token du contexte pour produire la représentation d’un token donné — le cœur du Transformer.

📖 Définition détaillée

Pour chaque token, le modèle calcule trois vecteurs à partir de son embedding :

  • Query (Q) : « que cherche ce token ? »
  • Key (K) : « que contient chaque autre token ? »
  • Value (V) : « quelle information extraire de chaque autre token ? »

Le score d’attention entre deux tokens est le produit scalaire Q·K. Ces scores pondèrent les Values pour produire la représentation finale du token. C’est ce calcul qui est répété dans toutes les couches du Transformer.

Lien avec le KV Cache : pendant le Prefill, les vecteurs K et V de chaque token sont calculés et sauvegardés dans le KV Cache. En Decoding, le modèle les relira sans les recalculer.

Le coût du calcul d’attention est quadratique O(n²) en longueur de contexte : doubler le prompt multiplie par 4 le coût de la partie attention du prefill (les couches denses, elles, ne coûtent que 2 fois plus).

💡 Pourquoi c’est important en IA on-premise

Le coût quadratique de l’attention au Prefill explique pourquoi les prompts très longs (100K+ tokens) font exploser le TTFT ; la saturation de la VRAM vient, elle, du KV Cache, qui grandit linéairement avec le contexte — d’où Flash Attention (calcul sans matérialiser la matrice n²) et GQA (KV Cache plus petit).

⚠️ Pièges fréquents

  • La complexité O(n²) s’applique au prefill. En decoding, le KV Cache ramène le coût à O(n) par token généré.
  • GQA (Grouped-Query Attention, utilisé dans Llama 3+) réduit la taille du KV Cache en partageant les têtes K/V entre plusieurs têtes Q — sans supprimer le mécanisme d’attention.

📚 Pour comprendre en profondeur

  1. 🧠 Le Voyage d'un Prompt (Étape 3 : le Prefill et l’attention en action)
  2. 💾 KV Cache & Contexte (ce que l’attention stocke et pourquoi ça pèse sur la VRAM)

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.