MLA (Multi-head Latent Attention)
📝 Définition courte
Façon de calculer l’attention qui garde en mémoire un résumé compressé de chaque token (un « vecteur latent ») au lieu de ses clés (K) et valeurs (V) complètes. Le KV cache devient beaucoup plus petit.
📖 Définition détaillée
Dans l’attention classique, chaque couche du modèle stocke, pour chaque token, un vecteur K et un vecteur V par tête d’attention. MLA compresse ces informations en un seul petit vecteur par token et par couche. Au moment du calcul, le modèle « redéplie » ce vecteur pour retrouver les K et les V dont il a besoin.
Une analogie : au lieu de garder des notes complètes sur chaque intervenant d’une réunion, vous gardez un résumé de quelques lignes, à partir duquel vous savez retrouver l’essentiel.
MLA a été introduite par DeepSeek-V2 (mai 2024)1 ; gains chiffrés et modèles qui l’utilisent (DeepSeek-V3, Kimi K2) : voir 💾 KV Cache & Contexte.
💡 Pourquoi c’est important en IA on-premise
Sur un serveur on-premise, la VRAM disponible pour le cache limite la longueur des conversations et le nombre d’utilisateurs simultanés. Un modèle à MLA consomme bien moins de cache par token qu’un modèle classique de taille comparable. La formule GQA habituelle ne s’applique pas : elle surestime fortement la mémoire nécessaire.
⚠️ Pièges fréquents
- Dimensionner un modèle à MLA avec la formule GQA (…) : le résultat est très surévalué. Partez de la fiche du modèle ou de la taille de cache affichée par le moteur.
- Confondre MLA et attention sparse : MLA réduit la place prise par chaque token ; l’attention sparse réduit le nombre de tokens relus.
📚 Pour comprendre en profondeur
- 💾 KV Cache & Contexte (section « Quand le modèle lui-même réduit sa mémoire » : MLA, attention sparse, attention linéaire)
🔗 Voir aussi
Footnotes
-
DeepSeek-AI, DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (arXiv:2405.04434 ; KV cache compressé en vecteur latent, −93,3 % vs DeepSeek 67B, équivalent GQA à 2,25 groupes), mai 2024. https://arxiv.org/abs/2405.04434 ↩