Aller au contenu

LLM-as-a-judge

📝 Définition courte

Méthode qui utilise un LLM pour noter, comparer ou expliquer la qualité de réponses produites par d’autres modèles.

📖 Définition détaillée

Un LLM juge peut être utilisé pour :

  • comparer deux réponses à une même question ;
  • attribuer une note selon une grille ;
  • vérifier si une réponse respecte une consigne ;
  • signaler des incohérences ou hallucinations probables.

Cette approche est pratique pour accélérer les évaluations ouvertes, mais elle reste imparfaite. Les juges LLM peuvent favoriser les réponses longues, être sensibles à l’ordre des réponses ou préférer leur propre style.

💡 Pourquoi c’est important en IA on-premise

Pour choisir un modèle local, un LLM juge peut pré-trier beaucoup de réponses avant revue humaine. Il ne doit pas décider seul sur des usages critiques.

⚠️ Pièges fréquents

  • Utiliser le même modèle comme candidat et comme juge.
  • Oublier d’inverser l’ordre des réponses dans les comparaisons A/B.
  • Donner une note sans grille explicite.
  • Confondre jugement automatique et validation métier.

🔗 Voir aussi

Donner mon avis

Tout est facultatif : une seule réponse suffit. Ce site n'envoie rien : c'est vous qui envoyez, par le moyen de votre choix.

Votre notePas de note
Votre avis porte sur
Sur quoi ? (plusieurs choix possibles)
Ce qui sera envoyé
Envoyer par e-mail

Privé, sans compte : ouvre votre messagerie avec le message prêt, pour ia-on-prem@damien.becherini.fr.

Ouvrir un ticket GitHub ↗

Public, avec un compte GitHub. Vous relisez le ticket avant de le publier.

Pour le coller où vous voulez.

Donnez au moins une note, un sujet ou un message pour pouvoir envoyer.