Aller au contenu

Benchmark LLM

📝 Définition courte

Test standardisé qui mesure une ou plusieurs capacités d’un LLM : raisonnement, code, factualité, instruction following, robustesse ou performance.

📖 Définition détaillée

Un benchmark LLM est utile pour comparer rapidement des modèles, mais il mesure toujours un protocole précis. MMLU ne teste pas la même chose que SWE-bench Pro ; TruthfulQA ne teste pas la même chose que les tokens/s.

Les benchmarks publics sont donc un point de départ, pas une décision finale.

💡 Pourquoi c’est important en IA on-premise

En local, le meilleur modèle n’est pas forcément le mieux classé. Il doit aussi tenir en VRAM, respecter la confidentialité, répondre assez vite et réussir vos tests métier.

⚠️ Pièges fréquents

  • Confondre score leaderboard et qualité sur vos documents.
  • Comparer deux modèles avec des quantifications, prompts ou moteurs différents.
  • Lire un benchmark saturé : quand les meilleurs modèles dépassent 95 % (SWE-bench Verified en 2026, 97 % au sommet), l’écart entre deux candidats est du bruit ; passez à la variante plus dure (SWE-bench Pro, Terminal-Bench)1.
  • Comparer deux scores d’un indice composite sans vérifier la version de l’indice (Artificial Analysis v4.3 a remplacé des sous-benchmarks le 7 septembre 2026)2.
  • Confondre classement général et classement open weights : sur Arena, aucun modèle à poids ouverts ne figure dans le top 15 au T4 2026 — comparez les ouverts entre eux3.
  • Ignorer les mesures locales : TTFT, tokens/s, stabilité, consommation mémoire.

🔗 Voir aussi

Footnotes

  1. Vals AI, SWE-bench Verified (« performance on this benchmark has saturated, we no longer run this benchmark on new model releases », top 97,0 %), mis à jour le 2026-09-01. https://www.vals.ai/benchmarks/swebench ↩

  2. Artificial Analysis, Intelligence Index v4.3 (Terminal-Bench 2.1 → 4.0, AutomationBench-AA, 45 % de tâches privées), 2026-09-07. https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-3 ↩

  3. Arena, Text Leaderboard (snapshot du 2026-10-08 : aucun modèle open weights dans le top 15, kimi-k3-max au rang 16). https://arena.ai/leaderboard/text ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.