Attention sparse
📝 Définition courte
Variante de l’attention où chaque nouveau token ne regarde qu’une partie des tokens précédents, choisie pour sa pertinence, au lieu de relire tout le contexte.
📖 Définition détaillée
Dans l’attention classique, chaque token compare son contenu à tous les tokens précédents. Le coût grandit avec le carré de la longueur du contexte. L’attention sparse (« clairsemée ») limite ce travail à une sélection.
Une analogie : pour retrouver une information dans un long dossier, vous lisez la table des matières, puis vous n’ouvrez que les pages utiles.
Exemple : la DeepSeek Sparse Attention (DSA) de DeepSeek-V3.21, détaillée dans 💾 KV Cache & Contexte.
💡 Pourquoi c’est important en IA on-premise
L’attention sparse rend les contextes longs (100K tokens et plus) moins coûteux en calcul et plus rapides. Sur un serveur on-premise, cela signifie plus de requêtes longues traitées avec le même matériel.
⚠️ Pièges fréquents
- Croire que l’attention sparse réduit la VRAM du cache : avec DSA, tous les tokens restent stockés dans le KV cache (sous la forme compressée de MLA)1. Ce qui baisse, c’est la quantité de cache relue et calculée à chaque token.
📚 Pour comprendre en profondeur
- 💾 KV Cache & Contexte (section « Quand le modèle lui-même réduit sa mémoire »)
🔗 Voir aussi
Footnotes
-
DeepSeek-AI, DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models (arXiv:2512.02556, section 2.1 : lightning indexer, 2 048 tokens sélectionnés, O(L²) → O(Lk), DSA implémentée sur MLA), décembre 2025. https://arxiv.org/abs/2512.02556 ↩ ↩2