LLM-as-a-judge
📝 Définition courte
Méthode qui utilise un LLM pour noter, comparer ou expliquer la qualité de réponses produites par d’autres modèles.
📖 Définition détaillée
Un LLM juge peut être utilisé pour :
- comparer deux réponses à une même question ;
- attribuer une note selon une grille ;
- vérifier si une réponse respecte une consigne ;
- signaler des incohérences ou hallucinations probables.
Cette approche est pratique pour accélérer les évaluations ouvertes, mais elle reste imparfaite. Les juges LLM peuvent favoriser les réponses longues, être sensibles à l’ordre des réponses ou préférer leur propre style.
💡 Pourquoi c’est important en IA on-premise
Pour choisir un modèle local, un LLM juge peut pré-trier beaucoup de réponses avant revue humaine. Il ne doit pas décider seul sur des usages critiques.
⚠️ Pièges fréquents
- Utiliser le même modèle comme candidat et comme juge.
- Oublier d’inverser l’ordre des réponses dans les comparaisons A/B.
- Donner une note sans grille explicite.
- Confondre jugement automatique et validation métier.
🔗 Voir aussi
Modèle IA entraîné sur de très grands corpus de texte, souvent de type Transformer ; en local, ses performances dépendent autant de la mémoire que du modèle.Jeu de tests standardisé pour comparer les capacités, limites et risques de modèles de langage.Framework qui évalue un système RAG en séparant la qualité du retrieval et la fidélité de la réponse, pour diagnostiquer où le pipeline échoue.