Améliorer l'outil de création de skills : tester, mesurer et affiner les skills d’agents

Skill-creator vous aide désormais à concevoir des évaluations, à réaliser des tests de performance et à maintenir le bon fonctionnement de vos skills à mesure que les modèles évoluent. Ces mises à jour sont disponibles dès maintenant dans Claude.ai et Cowork, sous forme de plug-in pour Claude Code et dans notre référentiel.

Depuis le lancement des Skills d’agent en octobre dernier, nous avons remarqué que la plupart des personnes qui créent des skills sont des experts dans leur domaine, et non des ingénieurs. Ils connaissent leurs flux de travail, mais ils n'ont pas les outils pour dire si une skill fonctionne toujours avec un nouveau modèle, si elle se déclenche quand elle le devrait ou si elle s'est réellement améliorée après une modification.

Aujourd'hui, nous annonçons des améliorations de l'outil de création de skills qui aident les auteurs à concevoir avec plus de confiance. Nous appliquons à la création de skills certaines des méthodes rigoureuses du développement logiciel (tests, évaluations comparatives et amélioration continue), sans qu’il soit nécessaire d’écrire la moindre ligne de code.

Deux types de skills

Les skills se répartissent généralement en deux catégories :

Les skills de renforcement des capacités permettent à Claude de faire ce que le modèle de base ne peut pas faire ou ne peut pas faire de manière constante. Nos skills de création de documents en sont de bons exemples. Elles intègrent des techniques et des schémas qui produisent de meilleurs résultats que le prompting seul.

Les skills basées sur les préférences encodées documentent des flux de travail dans lesquels Claude peut déjà effectuer chaque partie, mais la skill les séquence en fonction du processus de votre équipe. Exemples : une skill qui accompagne une révision de NDA en fonction de critères définis, ou une skill qui rédige des mises à jour hebdomadaires avec les données de divers MCP.

Cette distinction est importante, car ces deux types de skills peuvent nécessiter des tests pour différentes raisons :

• Les skills de renforcement des capacités deviendront de moins en moins nécessaires à mesure que les modèles s'améliorent. Les évaluations vous indiquent quand cela s'est produit. 
• Les skills qui intègrent vos préférences de manière structurée sont plus pérennes, mais leur valeur dépend avant tout de leur fidélité à vos méthodes de travail réelles. Les évaluations vérifient cette adéquation. 

Dans les deux cas, les tests transforment une skill qui semble fonctionner en une skill dont vous avez la garantie qu’elle fonctionne.

Utiliser les évaluations pour tester et améliorer les skills

Skill-creator vous aide désormais à rédiger des évaluations, qui sont des tests qui vérifient que Claude fait ce que vous attendez pour une requête donnée. Si vous avez déjà écrit des tests logiciels, le principe vous sera familier : définissez quelques requêtes de test (accompagnées de fichiers si nécessaire), précisez les résultats attendus et skill-creator vous indique si la skill répond à vos exigences.

Notre skill dédiée PDF, par exemple, rencontrait auparavant des difficultés avec les formulaires non remplissables. Claude devait placer le texte à des coordonnées exactes, sans aucun champ défini pour le guider. Les évaluations ont isolé l'échec, et nous avons déployé un correctif qui ancre le positionnement aux coordonnées du texte extrait.

Les évaluations sont utiles à bien des égards, mais elles servent notamment à détecter les baisses de qualité et à suivre l'évolution du modèle.

Tout d'abord, détecter les baisses de qualité. À mesure que les modèles et l'infrastructure qui les entoure évoluent, une skill qui fonctionnait bien le mois dernier peut se comporter différemment aujourd'hui. L’exécution de tests d’évaluation sur un nouveau modèle permet de détecter rapidement les changements de comportement, avant qu’ils n’affectent le travail de votre équipe.

Ensuite, savoir quand les capacités générales du modèle ont suffisamment progressé pour rendre votre skill superflue. Cela s'applique principalement aux skills de renforcement des capacités. Si le modèle de base commence à réussir vos évaluations sans que la skill soit chargée, cela indique que les techniques de la skill ont peut-être été intégrées à son comportement par défaut. La skill n'est pas déficiente ; elle n'est tout simplement plus nécessaire.

Nous avons également ajouté un mode de référence qui effectue une évaluation standardisée sur la base de vos évaluations. Vous pouvez exécuter cette opération après les mises à jour du modèle ou à mesure que vous itérez sur la skill elle-même. Cela permet de suivre le taux de réussite aux évaluations, le temps écoulé et l'utilisation des jetons.

Vos évaluations et vos résultats vous appartiennent. Stockez-les localement, intégrez-les à un tableau de bord ou connectez-les à un système de CI.

Évaluations plus rapides et plus cohérentes avec la prise en charge multi-agents

L'exécution séquentielle des évaluations peut être lente et l'accumulation de contexte peut se propager entre les exécutions de tests. Skill-creator lance désormais des agents indépendants pour exécuter les tests d’évaluation en parallèle, grâce à la prise en charge de plusieurs agents. Chacun fonctionne dans un contexte vierge et dispose de ses propres indicateurs de consommation de tokens et de temps d’exécution. Résultats plus rapides, pas de contamination croisée.

Nous avons également ajouté des agents de comparaison pour réaliser des tests A/B : ils permettent de comparer deux versions d’une même skill ou d’évaluer les résultats obtenus avec et sans cette skill. Ils jugent les résultats sans savoir lesquels sont lesquels, afin que vous puissiez déterminer si un changement a vraiment aidé.

Faire en sorte que les skills se déclenchent au bon moment

Les évaluations mesurent la qualité des résultats, mais cela n'est important que si votre skill se déclenche au moment opportun. À mesure que votre nombre de skills augmente, la précision de leur description devient essentielle : tsi elle est trop générale, la skill risque de se déclencher à tort ; si elle est trop restrictive, elle risque de ne jamais être activée Skill-creator vous aide désormais à affiner les descriptions pour un déclenchement plus fiable, il analyse votre description actuelle par rapport à des exemples de requêtes et suggère des modifications qui réduisent les faux positifs et les faux négatifs.

Nous l'avons testé sur nos skills de création de documents et avons constaté une amélioration du déclenchement dans 5 skills publiques sur 6.

Perspectives

À mesure que les modèles s'améliorent, la frontière entre « skill » et « spécification » peut s'estomper. Aujourd'hui, un fichier SKILL.md est essentiellement un plan de mise en œuvre, qui fournit des instructions détaillées indiquant à Claude comment effectuer une tâche. Au fil du temps, une description en langage naturel de ce que la skill devrait faire pourrait suffire, le modèle déduisant le reste.

Le cadre d'évaluation que nous publions aujourd'hui est un pas dans cette direction. Les évaluations décrivent déjà le « quoi ». En fin de compte, cette description pourrait être la skill elle-même.

Prise en main

Toutes les mises à jour de skill-creator sont désormais disponibles sur Claude.ai et Cowork. Demander à Claude d'utiliser le skill-creator pour démarrer.

Les utilisateurs de Claude Code peuvent installer le plug-in ou le télécharger depuis notre référentiel.