Aller au contenu

MLA (Multi-head Latent Attention)

📝 Définition courte

Façon de calculer l’attention qui garde en mémoire un résumé compressé de chaque token (un « vecteur latent ») au lieu de ses clés (K) et valeurs (V) complètes. Le KV cache devient beaucoup plus petit.

📖 Définition détaillée

Dans l’attention classique, chaque couche du modèle stocke, pour chaque token, un vecteur K et un vecteur V par tête d’attention. MLA compresse ces informations en un seul petit vecteur par token et par couche. Au moment du calcul, le modèle « redéplie » ce vecteur pour retrouver les K et les V dont il a besoin.

Une analogie : au lieu de garder des notes complètes sur chaque intervenant d’une réunion, vous gardez un résumé de quelques lignes, à partir duquel vous savez retrouver l’essentiel.

MLA a été introduite par DeepSeek-V2 (mai 2024)1 ; gains chiffrés et modèles qui l’utilisent (DeepSeek-V3, Kimi K2) : voir 💾 KV Cache & Contexte.

💡 Pourquoi c’est important en IA on-premise

Sur un serveur on-premise, la VRAM disponible pour le cache limite la longueur des conversations et le nombre d’utilisateurs simultanés. Un modèle à MLA consomme bien moins de cache par token qu’un modèle classique de taille comparable. La formule GQA habituelle ne s’applique pas : elle surestime fortement la mémoire nécessaire.

⚠️ Pièges fréquents

  • Dimensionner un modèle à MLA avec la formule GQA (2×L×Hkv×D2 \times L \times H_{kv} \times D…) : le résultat est très surévalué. Partez de la fiche du modèle ou de la taille de cache affichée par le moteur.
  • Confondre MLA et attention sparse : MLA réduit la place prise par chaque token ; l’attention sparse réduit le nombre de tokens relus.

📚 Pour comprendre en profondeur

  • 💾 KV Cache & Contexte (section « Quand le modèle lui-même réduit sa mémoire » : MLA, attention sparse, attention linéaire)

🔗 Voir aussi

Footnotes

  1. DeepSeek-AI, DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (arXiv:2405.04434 ; KV cache compressé en vecteur latent, −93,3 % vs DeepSeek 67B, équivalent GQA à 2,25 groupes), mai 2024. https://arxiv.org/abs/2405.04434 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.