Aller au contenu

Attention linéaire

📝 Définition courte

Variante de l’attention qui garde la mémoire du contexte dans un état de taille fixe, mis à jour à chaque token, au lieu d’un KV cache qui grandit avec la conversation.

📖 Définition détaillée

Avec l’attention classique, chaque token ajoute ses clés et ses valeurs au cache : la mémoire grandit en proportion du contexte. L’attention linéaire remplace ce cache par un carnet de taille fixe : à chaque token, le modèle efface un peu, corrige et ajoute l’essentiel. Le carnet ne grossit pas, même sur 1 million de tokens.

Les variantes récentes ajoutent un mécanisme d’oubli (gating) pour effacer vite et une « règle delta » pour corriger une information précise (Gated DeltaNet)1. Comme un carnet fixe retient moins de détails qu’un cache complet, les modèles gardent quelques couches d’attention classique : on parle d’architecture hybride (Gated DeltaNet de Qwen3-Next et Qwen3.8-27B, Kimi Delta Attention de Kimi Linear, Lightning Attention de MiniMax-M1 ; ratios et gains dans 💾 KV Cache & Contexte).

💡 Pourquoi c’est important en IA on-premise

Ces modèles acceptent de très longs contextes avec bien moins de VRAM de cache. Pour dimensionner un serveur, la formule GQA classique les surestime : seule une minorité de couches stocke un vrai KV cache.

⚠️ Pièges fréquents

  • Appliquer la formule du KV cache à toutes les couches du modèle : seules les couches d’attention classique en ont un.
  • Supposer que tous les moteurs les supportent : vérifiez la liste des modèles de votre moteur et sa version minimale.

📚 Pour comprendre en profondeur

🔗 Voir aussi

Footnotes

  1. S. Yang, J. Kautz, A. Hatamizadeh, Gated Delta Networks: Improving Mamba2 with Delta Rule (arXiv:2412.06464), décembre 2024. https://arxiv.org/abs/2412.06464 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.