Aller au contenu

Attention sparse

📝 Définition courte

Variante de l’attention où chaque nouveau token ne regarde qu’une partie des tokens précédents, choisie pour sa pertinence, au lieu de relire tout le contexte.

📖 Définition détaillée

Dans l’attention classique, chaque token compare son contenu à tous les tokens précédents. Le coût grandit avec le carré de la longueur du contexte. L’attention sparse (« clairsemée ») limite ce travail à une sélection.

Une analogie : pour retrouver une information dans un long dossier, vous lisez la table des matières, puis vous n’ouvrez que les pages utiles.

Exemple : la DeepSeek Sparse Attention (DSA) de DeepSeek-V3.21, détaillée dans 💾 KV Cache & Contexte.

💡 Pourquoi c’est important en IA on-premise

L’attention sparse rend les contextes longs (100K tokens et plus) moins coûteux en calcul et plus rapides. Sur un serveur on-premise, cela signifie plus de requêtes longues traitées avec le même matériel.

⚠️ Pièges fréquents

  • Croire que l’attention sparse réduit la VRAM du cache : avec DSA, tous les tokens restent stockés dans le KV cache (sous la forme compressée de MLA)1. Ce qui baisse, c’est la quantité de cache relue et calculée à chaque token.

📚 Pour comprendre en profondeur

🔗 Voir aussi

Footnotes

  1. DeepSeek-AI, DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models (arXiv:2512.02556, section 2.1 : lightning indexer, 2 048 tokens sélectionnés, O(L²) → O(Lk), DSA implémentée sur MLA), décembre 2025. https://arxiv.org/abs/2512.02556 ↩ ↩2

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.