CircleCI が Claude を活用してコード検証エージェントを構築した方法

CircleCI は、同社の CI/CD プラットフォームで Okta、Hinge、Hugging Face などのチーム向けに年間数十億件のジョブを処理しており、エンジニアリングチームの業務を遅らせる要因となっている、増大するメンテナンス負担の解消に取り組むことにしました。その結果生まれたのが、Claude を基盤として構築された CircleCI の自律型 AI エージェント Chunk です。これは、人間の介入を最小限に抑えながら、CI/CD に関連するメンテナンス上の問題を特定し、解決するものです。

Claude の導入により、CircleCI は以下を達成しました。

• 顧客が CircleCI の Smarter Testing 機能を使用すると、平均テスト実行時間が 75% 短縮
• エンジニアリングチームの 90% が Claude Code を使用しており、組織的な導入開始以来、1 日あたりの使用量は 9 倍に急増
• 本番環境でのプロンプトキャッシュ効率は 90% 以上。つまり、ワークフロー間でコンテキストが再処理されるのではなく、再利用される
• AI を活用した PR レビューシステムなど、数四半期かかる社内プロジェクトが数週間で完了
• 現在、エージェントタスクの 5 分の 4 以上が障害発生時に自動的にトリガーされるようになり、リリース以来、タスクが完了したプルリクエストに変換される割合は、2 倍以上に増加

課題：チームの足を引っ張るメンテナンスのバックログ

CircleCI の顧客は、デリバリー速度が競争上の勝敗を直接左右するエンジニアリングチームです。これらのチームは常にジレンマに直面しています。チーム全員が新機能のリリースに集中する一方で、テストの最適化、ビルドの修正、パイプラインの改善がすべてバックログに山積みします。技術的負債が蓄積し、チームが維持しようとしている開発速度は徐々に低下していきます。

CircleCI は、業界全体で AI ツールがコード出力を加速し、チームがメンテナンスできる速度を上回るペースでコードが生成されるにつれ、この問題が深刻化していると見ています。同社は、顧客がこの問題を解決できるよう確かな支援を行う前に、まず社内でこの問題を解決する必要がありました。目標は、日常的なメンテナンスを実施し、人間が確認する前に自らの修正内容を検証できる自律型エージェントを構築することでした。

開発者体験を重視した意思決定

CircleCI における Claude を活用した取り組みは幅広い領域で始まりました。同社は、エンジニアリング、運用、市場投入の各チームに対し、プロトタイピング、反復、分析のための実験を奨励しました。エンジニアリング担当 SVPの Leblanc 氏は次のように述べています。「各チームに対し、AI を活用して『可能性の追求』を再考するよう奨励しました。AI の探求に向けた単一で堅牢なプラットフォームを提供したことで、導入数が急増しました」

チームが Chunk の基盤として Claude を選定した際、決定的な要因となったのは、Claude Agent SDK が提供する開発者体験でした。つまり、明確でドキュメントが充実したインターフェイスにより、迅速に構築できた点です。MCP統合により、調整の手間をかけずに既存の開発ツールと連携することができました。チームは、Claude のセキュリティ体制が自社のエンタープライズ要件を満たしていると判断し、利用可能な汎用モデルの中で最も強力であると評価しました。

タスクから検証済みのプルリクエストまでのクローズドループ

CircleCI のエージェント Chunk はクローズドループで動作します。自然言語によるタスクが入力されると、検証済みのプルリクエストが出力されます。顧客はすでに CI 設定でビルド環境を定義しているため、Claude が適切な依存関係やツールにアクセスできることから、Chunk はそれらの環境をサンドボックスとして確実に起動することができます。ビルドが失敗した場合、Claude はログをコンテキストとして受け取ります。テストでは、過去の実行結果を取得します。Claude が修正案を生成し、CircleCI のパイプラインがそれを検証します。パイプラインが失敗した場合、Claude は再試行します。顧客は、すでに「グリーン」状態のプルリクエストを受け取り、CI パイプラインが、その変更がテスト、リンティング、および静的解析の基準を満たしていることを保証する役割を果たします。

CircleCI のプリンシパルエンジニアである Michael Webster 氏は次のように説明します。「Claude Agent SDK がなかったら Chunk を構築できなかったでしょう。もし 3 年前にこれを試みていたとしたら、あらゆる言語のバリエーション、フレームワークの統合、ツールチェーンの接続をサポートするための作業量は、到底手が回らないほど膨大なものになっていたはずです。今では、従来の調整のオーバーヘッドやカスタム統合作業なしに、非常に強力なツールを極めて迅速に構築できるようになりました」

8 名のエンジニアからなるチームが Chunk を開発しましたが、これは数日で動作するプロトタイプから、数週間で本番環境向けの機能へと進化させたものです。タスクは、自動的にトリガーされる（不安定なテストを修正するために定期的に実行される）場合、ユーザーが手動で開始する（失敗したビルドを修正する）場合、または Chunk のチャットインターフェイスを介してアドホックなプロンプトとして送信される場合があります。CircleCIが「Smarter Testing」と呼ぶ予測的なテスト選択機能により、新規または影響を受けたテストのみが実行されます。これにより、フィードバックまでの時間が平均で 75%、最大で 97% 短縮されました。 

Chunk 以外にも、Claude Code は CircleCI のエンジニアリングチームにとって日常的なツールとなり、エンジニアの 90% が活用しています。導入以来、毎日の使用量は 9 倍に増加しました。あるチームは、コードの問題をスキャンし、ダウンストリームの SQL の依存関係を分析し、クエリの最適化箇所にフラグを付け、影響の要約を生成する、AI　を活用した　PR　レビューシステムを構築しました。従来であれば数四半期を要していたものが、数週間で導入できました。

結果

現在、Chunk のタスクの 5 分の 4 以上が、人間の介入を必要とせずに、障害発生時に自動的にトリガーされるようになりました。Chunk がタスクを完了したプルリクエストに変換する割合はリリース以来 2 倍以上に増加しました。これは、Chunk が修正案を提案するのに十分な確信が持てるタイミングを見極める能力が向上していることを意味します。ある大規模な企業顧客では、分析時間が 14 時間から 18 分に短縮されました。以前は変更が安全かどうかを翌朝まで待っていたチームが、今では数分でその回答を得ることができます。

CircleCI のロードマップは、Claude の進化する推論能力を基盤としています。具体的には、自動テスト管理、ビルドの最適化、ワークフローに影響を与える前に問題を予測する予知保全といった機能です。コード出力が加速するにつれて、自律的な検証こそがシステムの遅れを防ぐ鍵となります。

「Claude のおかげで、当初の予定よりも早く Chunk を市場に投入することができました」と Webster は述べています。「これらのタスクを自動的に引き受けるエージェントを提供することで、自律的なメンテナンス、テストの最適化、継続的な改善をすべての開発者が利用できるようにしました。これまで数か月間バックログに残されていた問題が自動的に解決されるようになったことで、お客様は業務の負担に追われることなく、業務の流れを維持し、イノベーションに集中できるようになりました」

‍