Évaluations : jeux de questions de test

Les évaluations vérifient la qualité des réponses d'un agent sur des questions de référence, et la suivent dans le temps. On les relance après avoir changé un prompt, un modèle, un document ou un réglage de recherche, pour voir si les réponses s'améliorent ou se dégradent.

Page : Pilotage → Évaluations dans le menu principal, réservée aux administrateurs de l’espace.

Créer un jeu de questions

Un jeu de questions appartient à l'espace et vise un agent. Il contient jusqu'à 100 questions. Pour chacune :

Champ	Rôle
Question	Posée à l'agent telle quelle. Obligatoire.
Réponse attendue	Facultative. Sert à mesurer la couverture et, si elle est activée, la note IA.
Sources attendues	Facultatives, jusqu'à 10, séparées par |. Un titre ou un nom de fichier, même partiel (« CGV », « reglement interieur »), ou l'identifiant d'un document. Majuscules et accents sont ignorés.

On peut aussi importer un fichier CSV : une ligne par question, avec les colonnes question ; réponse attendue ; sources. Le séparateur ; ou , est détecté, une première ligne d'en-tête commençant par « question » est ignorée, et les sources d'une même cellule sont séparées par |.

Question;Réponse attendue;Sources
Quel est le délai de rétractation ?;14 jours calendaires;CGV
Comment demander un devis ?;Par le formulaire de contact;

Lancer une campagne

Le bouton Lancer une campagne pose chaque question à l'agent, l'une après l'autre, exactement comme une vraie conversation : mêmes réglages, mêmes bases de connaissances, mêmes garde-fous. Les conversations de test sont cachées : elles n'apparaissent ni dans l'historique ni dans les statistiques des utilisateurs. Une seule campagne peut tourner à la fois par jeu de questions, et chaque question dispose de 4 minutes au plus.

Chaque réponse reçoit jusqu'à trois mesures :

• Sources : toutes les sources attendues ont-elles été retrouvées ? Mesuré seulement si la question en indique.
• Couverture : part des mots importants de la réponse attendue que l'on retrouve dans la réponse (les mots courts et les mots vides sont ignorés). C'est une mesure simple et gratuite, utile pour suivre une tendance.
• Note IA (1 à 5), désactivée par défaut : le modèle de chat de l'agent compare la réponse obtenue à la réponse attendue et donne une note avec une phrase d'explication. Elle consomme des jetons en plus, sur le modèle déjà configuré : aucun autre modèle n'est appelé.

La campagne affiche ensuite, pour l'ensemble : questions répondues et en échec, taux de sources retrouvées, couverture moyenne, note IA moyenne, temps de réponse moyen et jetons consommés.

Lire et comparer les résultats

Cliquer sur une campagne affiche le détail par question. Cliquer sur une ligne déplie la réponse obtenue, les sources retrouvées et l'avis de la note IA.

Comparer avec met deux campagnes côte à côte, question par question, et indique pour chacune si elle est mieux, moins bien, pareille ou nouvelle. La comparaison retient la note IA si elle existe, sinon la couverture, sinon les sources.

Bon à savoir

• Les résultats sont gardés en base avec leurs campagnes. Supprimer un jeu de questions supprime aussi ses campagnes.
• Si le serveur redémarre pendant une campagne, elle est marquée « Échouée (interrompue) » et une nouvelle peut être lancée.
• Modifier les questions d'un jeu ne change pas les campagnes déjà faites : elles gardent les questions posées à l'époque.

API

Les mêmes opérations sont disponibles par l'API, avec un compte administrateur ou une clé API ayant la capacité run_evaluations :

Méthode	Chemin	Rôle
GET	/api/v1/eval-suites	Liste des jeux, avec leur dernière campagne
POST	/api/v1/eval-suites	Créer un jeu : {name, agent_id, cases: [{question, expected_answer, expected_sources}]}
GET / PUT / DELETE	/api/v1/eval-suites/{id}	Lire, remplacer ou supprimer un jeu
POST	/api/v1/eval-suites/{id}/runs	Lancer une campagne : {use_judge: false} (réponse 202)
GET	/api/v1/eval-suites/{id}/runs	Campagnes d'un jeu
GET	/api/v1/eval-suites/runs/{run_id}	Une campagne et ses résultats

L'ancienne évaluation technique (Precision, Recall, BLEU…) reste décrite dans Évaluation.