Tester et évaluer un agent

Essayer une conversation

Ouvrez Valider → Test et envoyez une demande avec des données de démonstration. Vérifiez le résultat et la manière dont il a été produit : sources retrouvées, outils appelés, validations demandées et éventuelle sortie structurée.

Testez au minimum :

1. une demande normale et complète ;
2. une demande incomplète qui doit provoquer une question ;
3. une information absente des connaissances ;
4. une demande qui nécessite un outil ;
5. une demande qui ne doit pas déclencher cet outil ;
6. une action soumise à validation humaine.

L'historique du terrain d'essai permet de rouvrir une conversation. Après un changement, démarrez aussi une nouvelle conversation pour éviter que l'ancien contexte masque le comportement de la configuration actuelle.

Lire une exécution

Ouvrez le détail d'une exécution pour comprendre les étapes et les outils utilisés. Une réponse convaincante peut venir d'une mauvaise source ou d'un outil inattendu ; la trace sert à vérifier ce chemin.

Dans Exécutions, vous retrouvez les runs auxquels vous avez accès. Dans Analytique, comparez les volumes, coûts, latences et erreurs disponibles pour repérer une dégradation.

Créer un jeu d'évaluation

Dans Valider → Évaluation, cliquez sur Nouveau dataset. Ajoutez des cas de test avec un message utilisateur et, si nécessaire, une sortie attendue.

Choisissez ensuite une ou plusieurs méthodes de jugement :

• une IA vérifie un critère rédigé en langage naturel ;
• la réponse contient un texte ;
• la réponse correspond exactement au résultat attendu ou à un texte donné ;
• la réponse arrive sous une durée maximale ;
• la trace contient l'appel d'outil attendu ;
• la sortie respecte le type demandé, lorsqu'il est pris en charge.

Une réponse réussit seulement si elle satisfait toutes les méthodes activées pour le cas. Les méthodes signalées comme indisponibles ne doivent pas servir de preuve.

Lancer et comparer les runs

Enregistrez le dataset, puis cliquez sur Lancer un run. Le run exécute l'agent réel sur chaque cas : il peut appeler des outils et consommer le budget associé.

Ouvrez les résultats cas par cas, lisez les erreurs et vérifiez les latences. Vous pouvez définir un bon run comme baseline afin de comparer les changements suivants.

Rejouez ce jeu après toute modification importante des instructions, du modèle, des connaissances, des skills, des outils ou de l'orchestration.