Tokens par seconde
📝 Définition courte
Nombre de tokens générés par seconde par le modèle en phase de génération.
📖 Définition détaillée
Cette métrique dépend du modèle, de la quantification, du moteur d’inférence, du batch et du matériel. C’est un indicateur pratique de “fluidité” utilisateur, mais il faut l’interpréter avec le TTFT.
💡 Pourquoi c’est important en IA on-premise
C’est la métrique la plus parlante pour comparer des configurations matérielles en usage conversationnel.
🔗 Voir aussi
Time To First Token : délai entre l'envoi d'une requête et le premier token de réponse, qui reflète surtout le prefill et complète la métrique tokens/s.Phase de génération où le modèle prédit un token à la fois en relisant le KV Cache ; elle gouverne les tokens par seconde et se heurte au Memory Wall.Quantité de données transférées par seconde entre la mémoire et le processeur ou le GPU, en Go/s ; indicateur clé pour estimer la fluidité de la génération.