Migliorare lo Skills-creator: testa, misura e perfeziona le Skills degli agenti

Skill Creator ora ti aiuta a scrivere valutazioni, eseguire test standardizzati e mantenere attive le tue Skills man mano che i modelli si evolvono. Questi aggiornamenti sono ora disponibili su Claude.ai e Cowork, come plugin per Claude Code e all'interno del nostro repository.

Dal lancio delle Skills agentiche lo scorso ottobre, abbiamo notato che la maggior parte degli autori sono esperti in materia, non ingegneri. Conoscono i flussi di lavoro, ma non hanno gli strumenti per capire se una Skill funziona ancora con un nuovo modello, se si attiva quando dovrebbe o se effettivamente è migliorata dopo una modifica.

Oggi annunciamo miglioramenti per i creatori di Skill che aiutano gli autori a creare con maggiore sicurezza. Stiamo trasferendo parte del rigore dello sviluppo del software (test, benchmarking, miglioramento iterativo) alla creazione delle Skills senza che nessuno debba scrivere codice.

Due tipi di Skills

Le Skills generalmente si suddividono in due categorie:

Le Skills per migliorare le funzionalità aiutano Claude a fare qualcosa che il modello di base non può fare o non può fare in modo costante. Le nostre Skills di creazione di documenti ne sono un buon esempio. Codificano tecniche e pattern che producono risultati migliori rispetto al solo prompting.

Le Skills di preferenza codificate documentano i flussi di lavoro in cui Claude è già in grado di eseguire ogni singola parte, mentre la Skill le sequenzia in base al processo del vostro team. Esempi: una Skill che guida attraverso la revisione NDA sulla base di criteri prestabiliti, o una che redige aggiornamenti settimanali con dati provenienti da vari MCP.

Questa distinzione è importante perché questi due tipi di Skills potrebbero dover essere testati per motivi diversi:

• Le Skills di capability uplift potrebbero diventare meno necessarie con il miglioramento dei modelli. Le valutazioni ti mostrano quando è successo.
• Le Skills di preferenze codificate sono più durevoli, ma hanno valore solo pari alla loro fedeltà al tuo flusso di lavoro effettivo. Le valutazioni verificano tale fedeltà.

In entrambi i casi, i test trasformano una skill che sembra funzionare in una skill che sai per certo che funziona.

Utilizzo delle valutazioni per testare e migliorare le Skills

Il creatore di Skills ora ti aiuta a scrivere valutazioni, ovvero test che controllano che Claude faccia ciò che ti aspetti per un determinato prompt. Se hai scritto test software, ti sembrerà familiare: definisci alcuni prompt di test (oltre a file, se necessari), descrivi come si presenta un buon risultato e skill-creator ti dice se la skill regge.

La nostra skill PDF, ad esempio, in precedenza aveva difficoltà con i moduli non compilabili. Claude doveva posizionare il testo a coordinate esatte senza campi definiti a fare da guida. Le valutazioni hanno isolato il problema e abbiamo rilasciato una correzione che ancora il posizionamento alle coordinate di testo estratte.

Le valutazioni sono utili in molti modi, ma due usi importanti sono rilevare le regressioni qualitative e comprendere i progressi del modello.

Innanzitutto, individuare le regressioni nella qualità. Con l'evolversi dei modelli e dell'infrastruttura che li circonda, una skill che ha funzionato bene il mese scorso potrebbe comportarsi in modo diverso oggi. L'esecuzione di valutazioni su un nuovo modello vi dà un segnale tempestivo quando qualcosa cambia, prima che abbia impatto sul lavoro del vostro team.

In secondo luogo, sapere quando le funzionalità generali del modello hanno superato la propria skill. Ciò vale principalmente per le Skills di miglioramento delle capacità. Se il modello di base inizia a superare le tue valutazioni senza che la skill sia caricata, è un segnale che le tecniche della skill potrebbero essere state incorporate nel comportamento predefinito del modello. La skill non è difettosa, semplicemente non è più necessaria.

Abbiamo inoltre aggiunto una modalità di benchmark che esegue una valutazione standardizzata utilizzando le tue valutazioni. Puoi eseguirlo dopo gli aggiornamenti del modello o mentre iteri sulla skill stessa. Tiene traccia della percentuale di approvazione della valutazione, del tempo trascorso e dell'utilizzo dei token.

Le tue valutazioni e i tuoi risultati restano con te. Archiviali localmente, integrali con una dashboard o collegali a un sistema di CI.

Valutazione più rapida e coerente con il supporto multi-agente

L'esecuzione sequenziale delle valutazioni può essere lenta e l'accumulo del contesto può trasferirsi tra le esecuzioni di test. Skill-creator ora crea agenti indipendenti per eseguire valutazioni in parallelo con il supporto multiagente, ciascuno in un contesto pulito con le proprie metriche di token e di tempistica. Risultati più rapidi, nessuna contaminazione incrociata.

Abbiamo inoltre aggiunto agenti di confronto per i confronti A/B: due versioni di skill o skill contro nessuna skill. Giudicano i risultati senza sapere quale sia quale, così puoi capire se una modifica ha effettivamente aiutato.

Ottenere l'attivazione delle Skills al momento giusto

Le valutazioni misurano la qualità dei risultati, ma ciò conta solo se la tua Skill si attiva quando dovrebbe. Con l'aumentare del numero delle Skill, la precisione della descrizione diventa fondamentale: troppo ampia e si ottengono falsi trigger, troppo ristretta e non si attiva mai. Il creatore delle Skill ora ti aiuta a perfezionare le descrizioni per un'attivazione più affidabile, analizzando la descrizione corrente rispetto ai prompt di esempio e suggerendo modifiche per eliminare sia falsi positivi che falsi negativi.

L'abbiamo testato sulle nostre Skills di creazione di documenti e abbiamo riscontrato miglioramenti nell'attivazione di 5 Skills pubbliche su 6.

Prospettive future

Con il miglioramento dei modelli, la linea di demarcazione tra "skill" e "specifica" potrebbe sfumare. Oggi, un file SKILL.md è essenzialmente un piano di implementazione che fornisce istruzioni dettagliate che indicano a Claude come fare qualcosa. Con il tempo, una descrizione in linguaggio naturale di ciò che la skill dovrebbe fare potrebbe essere sufficiente, mentre il modello si occuperà del resto.

Il framework di valutazione che stiamo rilasciando oggi rappresenta un passo in questa direzione. Le valutazioni descrivono già il "cosa". Alla fine, questa descrizione potrebbe essere la competenza stessa.

Per iniziare

Tutti gli aggiornamenti dello skill-creator sono disponibili ora su Claude.ai e Cowork. Chiedi a Claude di utilizzare lo skill-creator per cominciare.

Gli utenti di Claude Code possono installare il plugin o scaricarlo dal nostro repository.