「スキル作成」の改善：エージェントスキルのテスト、測定、改善
スキル作成者は、スキルが正しく機能しているかを確認し、リグレッション（品質の低下）を検知し、説明文を改善することができるようになります。
Skill-creatorは、Eval（評価テスト）の作成、ベンチマークの実行、そしてモデルの進化に合わせたスキルの動作維持を支援するツールです。これらのアップデートは、Claude.ai と Cowork、Claude Code のプラグイン、および当社のリポジトリで、現在ご利用いただけます。
昨年10月に エージェントスキルをリリースして以来、スキル作成者の多くがエンジニアではなく、それぞれの分野の専門家であることが分かりました。自身の業務のワークフローは熟知しているものの、新しいモデルでもスキルが引き続き機能するか、適切なタイミングで実行されるか、あるいは編集を加えたことで実際に改善されたかを判断するツールがない状態でした。
本日、より自信を持って構築を進められるよう、スキル作成の機能が発表されます。コードを書くことなく、ソフトウェア開発における厳密な手法（テスト、ベンチマーク、反復的な改善）をスキルの作成に導入するものです。
2種類のスキル
スキルは一般的に、以下の2つのカテゴリーに分類されます。
機能拡張スキルはベースモデル単体ではできないこと、あるいは安定して実行できないことを Claude が行えるよう支援します。ドキュメント作成スキルがその良い例です。単にプロンプトで指示するよりも、質の高い仕上がりを実現するための手法やパターンが組み込まれています。
定型プロセススキルは、Claude が個々のタスクをすでに実行できる場合に、それらをチームのプロセスに沿った順序で進められるようにするものです。例えば、定められた基準に沿って NDA のレビューを進めるスキルや、様々な MCP からデータを集めて週次レポートを作成するスキルなどが該当します。
この区別が重要なのは、2 種類のスキルではテストが必要になる理由が異なるためです。
- 能力補強スキルは、モデルの改善に伴って必要性が薄れる可能性があります。Eval を行えば、そのタイミングを把握できます。
- 定型プロセススキルはより長く使えますが、その価値は実際のワークフローをどれだけ忠実に再現できているかに左右されます。Eval は、その忠実性を確かめるための手段です。
いずれにせよ、テストを行うことで、機能しているように見えるスキルを、確実に機能すると分かっているスキルに変えることができます。
Eval を活用したスキルのテストと改善
Skill-creatorを使って、与えられたプロンプトに対して Claude が期待通りに動作するかを確認する評価テストを作成できるようになりました。ソフトウェアテストを書いたことがあれば、すぐにイメージしやすいはずです。テスト用のプロンプトをいくつか用意し、必要に応じてファイルを添えたうえで、望ましい結果を記述します。するとskill-creatorが、そのスキルがきちんと機能するかどうかを判定します。
例えば PDF スキルは、以前は入力フィールドのないフォームの処理に苦戦していました。ガイドとなるフィールドが定義されていないため、Claude は正確な座標にテキストを配置する必要があったためです。Eval によってこの問題の特定が進み、抽出したテキストの座標を基準に位置を固定する修正をリリースしました。
Eval は様々な場面で役立ちますが、特に重要な用途は、リグレッションを検知することと、モデルの進化を把握することの2点です。
まず、品質のリグレッションの検知です。モデルや周辺インフラが進化するにつれ、先月はうまく機能していたスキルが、今日は違う振る舞いを見せることがあります。新しいモデルに対して評価テストを実行すれば、そうした変化をチームの業務に影響が及ぶ前に、早い段階で捉えられます。
第二に、モデルの一般的な能力がスキルを上回ったタイミングの把握です。これは主に、能力補強スキルに当てはまります。スキルを読み込ませていない状態でもベースモデルが評価テストに合格し始めた場合、それはスキルで使っていた手法が、モデルの標準的な振る舞いに取り込まれた可能性を示すサインです。スキルが壊れたわけではなく、単に必要なくなったということです。
さらに、評価テストを使用して標準化された評価を実行するベンチマークモードを追加しました。モデルのアップデート後や、スキル自体を反復的に改善していく際に実行できます。追跡できるのは、評価テストの合格率、経過時間、トークン使用量です。
評価と結果は、あなたの手元に残ります。ローカルに保存することも、ダッシュボードと連携することも、CI システムに組み込むことも可能です。
マルチエージェント対応による、より速く安定した評価
評価テストを順番に実行すると時間がかかるうえ、前のテストの文脈が次のテストに影響することもあります。Skill-creator は、マルチエージェント対応によって独立したエージェントを立ち上げ、評価テストを並列に実行できるようになりました。それぞれ独立したコンテキストで動作し、トークン使用量と実行時間も個別に計測します。より迅速に結果が得られ、テスト同士が影響し合うこともありません。
また、A/B 比較のための比較エージェントも追加しました。比較できるのは、2つのバージョンのスキル、あるいは「スキルあり」と「スキルなし」です。どちらがどちらかを知らない状態で結果を判定するため、変更が実際に役立ったかどうかを客観的に見極められます。
適切なタイミングでスキルを呼び出す
評価テストが測るのは結果の品質ですが、それもスキルが適切なタイミングで呼び出されてこそ意味を持ちます。スキルの数が増えるほど、説明文の精度が重要になります。広すぎると誤って呼び出され、狭すぎるとまったく呼び出されません。Skill-creator は、 より確実にスキルがトリガーされるよう、説明文の調整も支援します。現在の説明文をサンプルプロンプトと照らし合わせて分析し、誤検知と見逃しの両方を減らすための修正案を提示します。
ドキュメント作成スキルで検証したところ、公開されている 6 つのスキルのうち 5 つで、トリガー精度の改善が見られました。
今後の展望
モデルが改善されるにつれて、「スキル」と「仕様」の境界線があいまいになっていくことも考えられます。現在、SKILL.md ファイルはファイルは実質的に実装計画書の役割を果たしており、Claude に何かするのにどのように行うかを詳しく指示するものになっています。いずれは、スキルが何をすべきかを自然言語で記述するだけで十分になり、残りはモデル自身が補えるようになる可能性があります。
本日公開する Eval フレームワークは、その方向に向けた一歩です。Eval には、すでに「何を」が記述されています。将来的には、その記述自体がスキルになるかもしれません。
利用を始めるには
スキル作成のアップデートは、現在 Claude.ai と Cowork で利用できます。始めるには、Claude に「スキル作成」を使うよう指示してください。