🌳 RadixAttention
📝 Définition courte
Technique de gestion du KV Cache qui organise les entrées clé/valeur dans un arbre radix (arbre de préfixes) plutôt que dans un tampon plat — les préfixes communs entre requêtes ne sont calculés qu’une fois.
📖 Définition détaillée
Introduite par SGLang1, RadixAttention stocke les entrées du KV Cache dans une structure d’arbre : chaque nœud correspond à un segment de tokens. Lorsque plusieurs requêtes partagent un préfixe identique — long prompt système, contexte RAG récupéré, schéma d’outils répété — les entrées KV correspondantes sont conservées une seule fois et réutilisées par toutes les requêtes qui empruntent ce chemin.
Effet principal : réduction significative du TTFT dans les boucles agentiques (le LLM appelle des outils plusieurs fois avec le même cadre contextuel) et dans les déploiements où de nombreux utilisateurs partagent le même prompt système.
💡 Relation avec PagedAttention
Les deux techniques optimisent la gestion mémoire du KV Cache, mais pour des objectifs différents :
| Technique | Objectif principal |
|---|---|
| PagedAttention | Éliminer la fragmentation mémoire pour augmenter la concurrence |
| RadixAttention | Maximiser la réutilisation des préfixes pour réduire la latence |
Elles ne s’excluent pas conceptuellement : PagedAttention adresse le débit sous charge ; RadixAttention adresse la latence quand le contexte se répète.
🔗 Voir aussi
Footnotes
-
LMSys, Fast and Expressive LLM Inference with RadixAttention, janvier 2024. https://lmsys.org/blog/2024-01-17-sglang/ ↩