TTFT
📝 Définition courte
Temps entre l’envoi d’une requête et l’arrivée du premier token de réponse.
📖 Définition détaillée
Le TTFT reflète principalement la latence du prefill, l’initialisation du contexte et les surcoûts runtime. Il complète la métrique tokens/s : on peut avoir un bon débit mais un mauvais démarrage.
💡 Pourquoi c’est important en IA on-premise
Pour les usages interactifs, le ressenti dépend fortement du TTFT.
⚠️ Pièges fréquents
- Mesurer uniquement les tokens/s et oublier le temps avant le premier mot.
- Comparer des TTFT sans préciser la longueur du prompt d’entrée.
🔗 Voir aussi
Phase d'inférence qui traite le prompt initial en parallèle avant la génération mot à mot.Nombre de tokens générés par seconde en phase de génération ; indicateur de fluidité, à interpréter avec le TTFT selon le modèle, le moteur et le matériel.Nombre maximal de tokens qu'un LLM peut traiter en entrée active — détermine le coût mémoire dynamique de l'inférence.