Aller au contenu

🌳 RadixAttention

📝 Définition courte

Technique de gestion du KV Cache qui organise les entrées clé/valeur dans un arbre radix (arbre de préfixes) plutôt que dans un tampon plat — les préfixes communs entre requêtes ne sont calculés qu’une fois.

📖 Définition détaillée

Introduite par SGLang1, RadixAttention stocke les entrées du KV Cache dans une structure d’arbre : chaque nœud correspond à un segment de tokens. Lorsque plusieurs requêtes partagent un préfixe identique — long prompt système, contexte RAG récupéré, schéma d’outils répété — les entrées KV correspondantes sont conservées une seule fois et réutilisées par toutes les requêtes qui empruntent ce chemin.

Effet principal : réduction significative du TTFT dans les boucles agentiques (le LLM appelle des outils plusieurs fois avec le même cadre contextuel) et dans les déploiements où de nombreux utilisateurs partagent le même prompt système.

💡 Relation avec PagedAttention

Les deux techniques optimisent la gestion mémoire du KV Cache, mais pour des objectifs différents :

TechniqueObjectif principal
PagedAttentionÉliminer la fragmentation mémoire pour augmenter la concurrence
RadixAttentionMaximiser la réutilisation des préfixes pour réduire la latence

Elles ne s’excluent pas conceptuellement : PagedAttention adresse le débit sous charge ; RadixAttention adresse la latence quand le contexte se répète.

🔗 Voir aussi

Footnotes

  1. LMSys, Fast and Expressive LLM Inference with RadixAttention, janvier 2024. https://lmsys.org/blog/2024-01-17-sglang/ ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.