Aller au contenu

Tokens par seconde

📝 Définition courte

Nombre de tokens générés par seconde par le modèle en phase de génération.

📖 Définition détaillée

Cette métrique dépend du modèle, de la quantification, du moteur d’inférence, du batch et du matériel. C’est un indicateur pratique de “fluidité” utilisateur, mais il faut l’interpréter avec le TTFT.

💡 Pourquoi c’est important en IA on-premise

C’est la métrique la plus parlante pour comparer des configurations matérielles en usage conversationnel.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.