Essayer et évaluer une skill

Le Banc d'essai sert à examiner une demande ponctuelle. Les Évaluations servent à rejouer un ensemble de cas, conserver les résultats et mesurer une évolution.

Faire un essai ponctuel

1. Ouvrez la skill, puis Banc d'essai.
2. Choisissez un Agent de contexte. La skill emprunte son modèle, ses outils et ses bases de connaissances ; elle n'est pas ajoutée durablement à l'agent.
3. Choisissez la cible : Brouillon ou une Version publiée.
4. Saisissez une demande représentative dans le champ prévu.
5. Cliquez sur Lancer l'essai.
6. Relisez la réponse et les informations d'exécution.

Les versions proposées viennent de l'onglet Versions. Si une ancienne version n'apparaît pas, chargez d'abord la suite de l'historique dans cet onglet.

Un essai du brouillon utilise son contenu enregistré. Si le texte substitué signale une correction nécessaire, revenez dans Brouillon, corrigez et enregistrez avant de relancer.

Réutiliser un bon essai comme cas

L'historique du banc conserve les essais de la skill. Lorsqu'une demande et son résultat représentent un cas utile, proposez-les pour une évaluation. La proposition attend ensuite dans l'onglet Évaluations, où vous choisissez le dataset cible et pouvez corriger l'attendu avant intégration.

Créer un dataset

1. Ouvrez Évaluations.
2. Cliquez sur Nouveau dataset.
3. Donnez un nom au jeu de tests.
4. Saisissez le premier cas : demande et résultat attendu facultatif.
5. Ouvrez le dataset, puis utilisez l'onglet Cas pour ajouter les cas suivants.

Un dataset ne peut pas rester sans cas. Chaque modification réelle des cas crée une nouvelle révision. Les anciens runs restent liés à la révision qu'ils ont mesurée.

Préparez notamment :

• un cas nominal ;
• un cas incomplet où la skill doit signaler une information absente ;
• un cas qui vérifie le format final ;
• un cas limite lié à votre règle métier.

Utilisez des données fictives et des attendus observables. Par exemple : La réponse contient trois rubriques et n'invente aucune échéance est plus facile à juger que La réponse est bonne.

Lancer une évaluation

Dans un dataset, cliquez sur Lancer une évaluation, puis réglez :

• Cible : une version publiée ou le brouillon ;
• Juge LLM : ajoute un appel par cas pour produire un verdict et un commentaire ;
• Jouer aussi sans la skill : rejoue chaque cas avec le modèle seul afin de mesurer l'apport de la skill ;
• Répétitions par cas : plusieurs tirs révèlent la stabilité du résultat ;
• Température : règle la variabilité utilisée pendant ce run.

Le témoin sans skill double le nombre d'appels, juge compris lorsqu'il est activé. Un run démarre en attente, puis l'écran suit sa progression cas par cas. Vous pouvez quitter le dataset et revenir consulter le run enregistré.

Lire les runs

L'onglet Runs présente le taux, la cible mesurée et le détail des cas. Dépliez un run pour examiner les sorties et les verdicts.

Une évaluation du brouillon conserve l'empreinte du brouillon au moment du lancement, mais elle ne peut jamais devenir la référence du dataset : le brouillon peut changer. Désignez plutôt un run d'une version publiée comme référence.

La référence sert à afficher les écarts des runs suivants et peut être utilisée par la garde de montée automatique. Si vous modifiez les cas, leur révision change et l'ancienne référence ne peut plus être comparée aux nouveaux runs ; désignez alors une nouvelle référence sur la nouvelle révision.

Comparer deux runs

1. Ouvrez le dataset puis l'onglet Comparer.
2. Choisissez un premier run.
3. Choisissez un second run parmi les partenaires autorisés.
4. Lisez l'axe qui varie, le taux de chaque côté et le détail cas par cas.

L'application accepte la comparaison seulement si elle peut attribuer l'écart à un seul axe : le contenu de la skill, sa version, ou les conditions de mesure. Les options incompatibles sont désactivées avec leur motif. Les runs doivent notamment porter sur des cas et un nombre de répétitions compatibles.

Le tableau marque chaque cas ou tir comme réussi, échoué ou non mesuré. Un run contre le brouillon reste informatif, mais il n'est pas forcément rejouable à l'identique si le brouillon a changé depuis.

Pour voir quels fichiers ont changé entre deux versions, utilisez plutôt Versions.