Aller au contenu

🧪 Évaluer un modèle local

Choisir un modèle local ne consiste pas à prendre le premier nom en haut d’un leaderboard. Un modèle peut être excellent en mathématiques, médiocre en français métier, rapide mais halluciné, ou très bon en RAG mais dangereux pour modifier un dépôt.


Les trois niveaux d’évaluation

1. Les benchmarks publics

Les benchmarks publics donnent une première orientation, mais leur valeur prédictive pour un usage en entreprise est sévèrement limitée en 2026.

Les benchmarks restent utiles pour trier grossièrement les familles de modèles, ou pour vérifier des capacités très ciblées (raisonnement formel, code syntaxiquement correct). Pour cela, préférez les tests à domaine spécifique et les évaluations sur données réelles (SWE-bench pour le code, par exemple, car il mesure sur de vraies issues GitHub, pas sur des exercices mémorisables).

FamilleExemplesUtilité réelleLimites
Connaissances généralesMMLU, MMLU-Pro, GPQA Diamondtri grossier entre famillesMMLU saturé et contaminé ; MMLU-Pro et GPQA discriminent encore (T4 2026) mais ne prédisent pas le métier
Calcul / raisonnementGSM8K, MATHvérifier la logique formellepeu représentatif des tâches prose
Instruction followingIFEval, MT-Benchqualité conversationnellerésultats variables selon langue
FactualitéTruthfulQA, FActScore, HaluEvalrésistance aux fausses croyancesmesure la factualité générale, pas votre domaine
CodeHumanEval, MBPP, SWE-bench Pro, Terminal-Benchcapacités de génération/éditionSWE-bench Verified est saturé depuis 2026 ; préférer SWE-bench Pro V21
Évaluation holistiqueHELMprofil multi-métriquesutile en complément, pas en remplacement du test métier

HELM rappelle qu’un modèle n’est pas seulement “bon” ou “mauvais” : il a un profil — exactitude, robustesse, calibration, biais, toxicité, efficacité2. Mais même un profil HELM favorable ne garantit rien sur vos données.

Les indices composites changent de méthodologie sans renommer le site : l’Intelligence Index d’Artificial Analysis est passé en v4.3 le 7 septembre 2026 (Terminal-Bench 2.1 → 4.0, τ³-Banking remplacé par AutomationBench-AA, 45 % de tâches privées) ; deux scores pris avant et après ne sont pas comparables. Notez toujours la version de l’indice à côté du score3.

2. Votre banc d’essai métier

La vraie comparaison commence avec un golden dataset : un petit jeu de questions représentatives, validé par un humain compétent.

Un bon jeu de test contient :

  • 20 à 50 questions simples, où la réponse attendue est claire ;
  • 20 à 50 questions difficiles, ambiguës ou pièges ;
  • 10 à 20 cas “ne pas répondre” : absence d’information, demande hors périmètre, conflit entre sources ;
  • quelques questions longues qui testent la fenêtre de contexte et le KV Cache ;
  • des formats de sortie obligatoires : JSON, tableau, résumé court, citation de source.

Pour chaque question, stockez :

ChampExemple
question“Quelle est la procédure de validation d’une PR agent ?”
source_attenduechemin du document ou extrait de référence
réponse_attendueréponse courte ou critères de correction
risquefaible, moyen, critique
typeRAG, raisonnement, synthèse, extraction, refus

3. La validation humaine

Les scores automatiques accélèrent le tri, mais la décision finale doit rester humaine pour les usages critiques.


Quels KPI mesurer ?

Qualité de réponse

KPIQuestion
ExactitudeLa réponse est-elle correcte ?
ComplétudeCouvre-t-elle les éléments essentiels ?
CohérenceSe contredit-elle entre deux paragraphes ou deux tours ?
Respect de consigneSuit-elle le format demandé ?
Refus appropriéSait-elle dire “je ne sais pas” quand la source manque ?

Hallucinations et factualité

TruthfulQA teste la capacité d’un modèle à éviter des réponses fausses mais plausibles, souvent apprises en imitant des textes humains4. FActScore va plus loin sur les textes longs : il découpe la réponse en faits atomiques et vérifie quelle proportion est supportée par une source fiable5.

Pour un guide interne, le KPI le plus utile est souvent :

Taux d’hallucination critique=reˊponses fausses dangereusesreˊponses totales\text{Taux d'hallucination critique} = \frac{\text{réponses fausses dangereuses}}{\text{réponses totales}}

Une hallucination critique n’est pas juste une erreur : c’est une réponse qui pourrait déclencher une mauvaise décision métier.

RAG

Pour une architecture RAG, il faut séparer le problème en deux :

ComposantKPI
Retrievalcontext precision, context recall, taux de source correcte en top-k
Générationfaithfulness, answer relevancy, citation correcte

RAGAS propose justement d’évaluer la fidélité de la réponse au contexte, la pertinence de la réponse et la qualité du contexte récupéré, sans toujours exiger une réponse humaine de référence6.

Code et agents

Pour un agent custodien ou un outil de code en ligne de commande (Aider — sans commit depuis mai 2026 —, OpenHands ou un harnais ACP), les benchmarks de complétion ne suffisent pas. Il faut tester l’édition réelle :

  • le patch compile-t-il ?
  • les tests passent-ils ?
  • le diff est-il minimal ?
  • le modèle respecte-t-il les fichiers autorisés ?
  • casse-t-il le Markdown, les frontmatter YAML ou les wikilinks ?
  • boucle-t-il sur la même correction ?

SWE-bench mesure cette capacité à partir de vraies issues GitHub : le modèle doit produire un patch et les tests du dépôt servent d’arbitre7. Utilisez la variante Pro V2 (Scale, septembre 2026) : la variante Verified est saturée (97 % au sommet), pas seulement contaminée, et n’est plus exécutée par les évaluateurs indépendants1. C’est beaucoup plus proche d’un agent de maintenance qu’un simple benchmark de génération de fonction.

Performance locale

Même si ce chapitre parle surtout de qualité, il faut toujours mesurer :

  • TTFT ;
  • tokens/s ;
  • VRAM utilisée au repos et sous charge ;
  • consommation du KV Cache ;
  • débit avec 1, 5, 20 utilisateurs simultanés ;
  • stabilité après 1 heure de charge.

Utiliser une IA comme juge ?

Oui, mais avec prudence.

Le modèle juge (LLM-as-a-judge) est utile pour pré-trier beaucoup de réponses ouvertes. Les travaux autour de MT-Bench et Chatbot Arena montrent qu’un juge fort peut approcher l’accord humain sur des préférences conversationnelles, mais avec des biais documentés : position de la réponse, verbosité, préférence pour sa propre famille de modèles8.

Bonnes pratiques :

  1. Utiliser une grille explicite : exactitude, source, format, concision, risque.
  2. Demander une justification courte, pas seulement une note.
  3. Comparer en double aveugle : modèle A/B anonymisés.
  4. Inverser l’ordre des réponses pour détecter le biais de position.
  5. Ne pas utiliser le même modèle comme candidat et comme juge.
  6. Faire relire manuellement un échantillon de décisions.

Protocole concret en 7 étapes

Étape 1 — Définir la tâche

Exemples :

  • assistant RAG pour documents RH ;
  • agent custodien qui corrige un vault Markdown ;
  • résumé juridique ;
  • extraction JSON de factures ;
  • support interne niveau 1.

Étape 2 — Définir les seuils d’acceptation

Exemple pour un assistant documentaire :

KPISeuil
Réponse avec source correcte≥ 95 % sur questions simples
Hallucination critique0 tolérée
Refus correct quand source absente≥ 90 %
TTFT< 2 s
Débit≥ 10 tokens/s par utilisateur interactif

Étape 3 — Construire le golden dataset

Commencez petit. Un fichier CSV ou JSONL suffit :

{"id":"rag-001","question":"Quel scénario convient à 10 utilisateurs sur un modèle 70B ?","expected_source":"04-blueprints/scenario-b-sme-appliance.md","risk":"medium","type":"rag"}

Étape 4 — Figier les paramètres

Pour comparer correctement :

  • même prompt système ;
  • même température ;
  • même taille de contexte ;
  • même quantification ;
  • même moteur d’inférence ;
  • même matériel ;
  • même version du modèle.

Étape 5 — Exécuter plusieurs runs

Un seul passage ne suffit pas. Les LLMs sont non déterministes dès que la température dépasse zéro.

Pour les tâches critiques, lancez au moins 3 runs et notez :

  • score moyen ;
  • pire réponse ;
  • variabilité entre runs ;
  • erreurs récurrentes.

Étape 6 — Analyser les erreurs

Classez chaque erreur :

CatégorieExemple
Retrieval ratéLe bon document n’est pas récupéré
HallucinationLe modèle invente une politique inexistante
Mauvais formatJSON invalide, tableau cassé
SurconfianceRépond alors que la source manque
Raisonnement fauxBonne source, mauvaise conclusion
RégressionAncien modèle répondait correctement, nouveau échoue

Étape 7 — Décider

Le meilleur modèle est rarement le plus gros. Le bon modèle est celui qui passe les seuils, tient dans votre VRAM, respecte la confidentialité et reste opérable.


Matrice de décision

BesoinMétrique prioritaireBenchmark public utileTest local indispensable
Chat généralpréférence humaine, instruction followingMT-Bench, Arena (ex-Chatbot Arena), IFEval/IFBenchconversations métier anonymisées
RAG documentairefaithfulness, context recallRAGASquestions sourcées sur vos documents
Agent codepatch correct, tests passésSWE-bench Pro V2, Terminal-BenchPRs simulées sur votre dépôt
Résumé juridique / médicalfactualité, omissions critiquesFActScore, TruthfulQArevue humaine experte
Déploiement PMETTFT, tokens/s, stabilitébenchmarks moteurcharge concurrente sur matériel cible

Voir aussi

Stratégie de déploiement progressif

Au-delà de l’évaluation hors production, une mise en service progressive réduit le risque d’exposer des utilisateurs à un modèle non maîtrisé. Trois phases séquentielles constituent le pattern recommandé.

Phase 1 — Mock-First

Avant de connecter un LLM réel, toute l’infrastructure asynchrone (API, file d’attente, workers, réactions frontend) est validée avec des réponses mock déterministes. Cette phase vérifie que le système gère correctement la latence et que l’interface se dégrade proprement — sans introduire la non-déterminisme d’un vrai modèle.

Phase 2 — Shadow Mode

Le LLM réel est connecté au trafic de production, mais ses sorties sont uniquement journalisées — jamais affichées aux utilisateurs. Cette phase mesure :

  • le taux d’erreurs de formatage JSON (le modèle respecte-t-il fiablement le schéma de sortie ?) ;
  • la latence p95 sous charge réelle ;
  • la pertinence RAG (les documents récupérés sont-ils utiles pour la requête ?).

Durée typique : 1 à 2 semaines sur trafic réel avant de passer à la phase suivante.

Phase 3 — Human-in-the-Loop activation

Les résultats IA deviennent visibles pour les utilisateurs. Toute action d’écriture (auto-classification, pré-remplissage, modification de contenu) exige une confirmation humaine explicite avant exécution. C’est la dernière barrière de sécurité avant l’automatisation complète.

flowchart LR
    A[Mock-First] --> B[Shadow Mode]
    B --> C{Métriques OK ?}
    C -- Non --> B
    C -- Oui --> D[HITL activation]
    D --> E{Confiance ≥ seuil ?}
    E -- Non --> F[Dégradation silencieuse]
    E -- Oui --> G[Action automatique]

Sources

Footnotes

  1. Vals AI, SWE-bench Verified (« performance on this benchmark has saturated, we no longer run this benchmark on new model releases », top 97,0 %), mis à jour le 2026-09-01. https://www.vals.ai/benchmarks/swebench ; Scale AI, SWE-Bench Pro V2 (642 tâches, 11 dépôts), 2026-09-22. https://labs.scale.com/leaderboard/swe_bench_pro_public_v2 ; Aider-AI, dépôt aider (dernier commit le 2026-05-22), consulté le 2026-10-10. https://github.com/Aider-AI/aider ↩ ↩2

  2. Stanford CRFM, Holistic Evaluation of Language Models (HELM). https://crfm.stanford.edu/helm/ ↩

  3. Artificial Analysis, Intelligence Index v4.3 (Terminal-Bench 4.0, AutomationBench-AA, 45 % de tâches privées), 2026-09-07. https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-3 ↩

  4. Lin, Hilton, Evans, TruthfulQA: Measuring How Models Mimic Human Falsehoods, 2021. https://arxiv.org/abs/2109.07958 ↩

  5. Min et al., FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation, EMNLP 2023. https://aclanthology.org/2023.emnlp-main.741/ ↩

  6. Es et al., RAGAS: Automated Evaluation of Retrieval Augmented Generation, EACL 2024. https://aclanthology.org/2024.eacl-demo.16/ ↩

  7. Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, ICLR 2024. https://www.swebench.com/original.html ↩

  8. Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023. https://arxiv.org/abs/2306.05685 ↩

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.