Aller au contenu

TTFT

📝 Définition courte

Temps entre l’envoi d’une requête et l’arrivée du premier token de réponse.

📖 Définition détaillée

Le TTFT reflète principalement la latence du prefill, l’initialisation du contexte et les surcoûts runtime. Il complète la métrique tokens/s : on peut avoir un bon débit mais un mauvais démarrage.

💡 Pourquoi c’est important en IA on-premise

Pour les usages interactifs, le ressenti dépend fortement du TTFT.

⚠️ Pièges fréquents

  • Mesurer uniquement les tokens/s et oublier le temps avant le premier mot.
  • Comparer des TTFT sans préciser la longueur du prompt d’entrée.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.