Memory Tree
📝 Définition courte
Pattern de mémoire longue où les documents sont découpés, résumés et organisés en arbre hiérarchique afin que l’agent ne charge que les nœuds utiles dans le contexte.
📖 Définition détaillée
Un Memory Tree remplace ou complète une base vectorielle classique. Au lieu de chercher seulement des chunks proches d’une question, l’agent parcourt une hiérarchie : titres, résumés courts, sous-résumés, puis contenu exact si nécessaire.
L’intérêt est de réduire la quantité de tokens injectés et donc la pression sur la fenêtre de contexte et le KV Cache.
💡 Pourquoi c’est important en IA on-premise
Sur une machine locale, la VRAM et la bande passante mémoire sont limitées. Un Memory Tree aide à garder un contexte court, ce qui réduit le TTFT et évite de saturer le serveur avec des documents entiers.
⚠️ Pièges fréquents
- Croire qu’un Memory Tree remplace tous les usages d’une base vectorielle.
- Faire confiance à des résumés obsolètes si l’arbre n’est pas régénéré.
- Oublier de citer le document source exact après navigation dans l’arbre.
📚 Pour comprendre en profondeur
- RAG & Agents : l'approche Memory Tree
- OpenHuman (a popularisé le pattern dans ses premières versions, ne l’implémente plus)
🔗 Voir aussi
Nombre maximal de tokens qu'un LLM peut traiter en entrée active — détermine le coût mémoire dynamique de l'inférence.Mémoire qui conserve les clés et valeurs d'attention déjà calculées pour éviter de les recalculer, mais dont la taille croît avec le contexte.Time To First Token : délai entre l'envoi d'une requête et le premier token de réponse, qui reflète surtout le prefill et complète la métrique tokens/s.Architecture qui combine recherche documentaire et génération LLM pour ancrer les réponses dans des sources internes.