詳細を読む
Graphite が Claude でコードレビューを 40 倍高速化
業種：
ソフトウェア
会社規模：
小規模
製品：
Claude Platform
地域：
北アメリカ
800 倍高速
分析時間が 3 週間から 35 分に
人間レベル
生物医学ベンチマークでのパフォーマンス
動画のキャプション
動画のキャプション
Graphite は最新のエンドツーエンド開発者プラットフォームであり、Claude を活用してバグを検出し修正を提案する AI コードレビュアーを提供しています。Snowflake、Asana、Ramp などの企業のエンジニアリングチームのソフトウェア開発のあり方を変革しています。
Claude の活用により、Graphite は以下を達成しています：
- プルリクエストのフィードバックループを 40 倍高速化し、1 時間から 90 秒に
- AI が生成したコメントに対する 96% のポジティブフィードバック率
- 提案された変更の 67% の実装率
- カスタマーベース全体で数十万件のプルリクエストをサポート
現代のコードレビューのスケーリングにおける課題
コードレビューは現代のソフトウェア開発における重大なボトルネックです。Google や Facebook のような大手テック企業はこのプロセスを管理する洗練された社内ツールを持っていますが、ほとんどのエンジニアリングチームは基本的な GitHub のワークフローに苦労しています。「開発ツールにおける公然の秘密は、ほぼすべての企業がチーム向けに改善するために GitHub の上にツールを構築していることです」と Graphite の共同創設者 Tomas Reimers 氏は述べています。
適切なツールがなければ、開発者は増大する遅延に直面します。フィードバックを数時間から数日待ち、その後、修正と再レビューの時間のかかるサイクルが始まります。2023 年初頭、Graphite は先進的な開発チームからの繰り返しの要望を受けて、AI によるコードレビューを検討しました。しかし、初期の実験は期待外れでした。「モデルはハルシネーションを起こし、存在しないプルリクエストの問題を自信満々に主張しました」と Reimers 氏は述べています。「ボットが不正確だが具体的な声明を生成すると、人々は苛立ちました」チームには、高い精度を維持しながら人間レベルのコード理解に匹敵するものが必要でした。
優れたコード理解力で Claude を選択
主要な AI モデルをテストした結果、Graphite はコードレビューの基準を満たすのは Claude だけであることを発見しました。チームの厳格な評価フレームワークでは、経験豊富なエンジニアでも発見に苦労する既知のバグを含む、合成および実際のプルリクエスト 500 件に対してモデルをテストしました。「Claude はコード理解に特に優れており、これはコードレビューにとって極めて重要です」と Graphite のリード AI エンジニアである Alyssa Baum 氏は述べています。
Claude 3.5 Sonnet のリリースは決定的なブレークスルーとなりました。Baum は「評価パフォーマンスが急上昇しただけでなく、テストデータセット内のバグとして認識していなかったバグまで特定しました」と述べています。A/B テストを通じて、チームは Claude の優れたパフォーマンスを確認しました。「Claude 3.5 が登場した時、システムに組み込んだところ、ユーザーに対するパフォーマンスは驚異的でした」
Anthropic とのパートナーシップはこれらの技術的優位性を増幅しました。Anthropic のチームは専用の Slack チャンネルを通じて、評価フレームワークと実装戦略に関する重要なガイダンスを提供しました。2024 年 10 月の Graphite のローンチが予想外の需要に直面した際、Anthropic はカスタマーのニーズを満たすためにレート制限の拡大を迅速に支援しました。「Anthropic チームから素晴らしいサポートを受けています」と Reimers 氏は述べています。「評価やコード全般の構造化方法についてアドバイスを得ることが非常に役立っています」
高度な AI アーキテクチャによるコードレビューの変革
Graphite の実装は、Claude の洗練された推論機能と効果的なコードレビューに関する深い専門知識を組み合わせています。そのアーキテクチャは複雑なコード分析を個別のステップに分割し、Claude が各特定のタスクで優れた能力を発揮できるようにしています。システムは投票、推論の連鎖、自己批判を含む複数の検証レイヤーを使用して、高品質なコメントのみが開発者に届くようにしています。
プラットフォームは主観的な提案ではなく、客観的なバグに焦点を当てています。以下のような問題に対処します：
- 関数パラメータの順序エラー
- コピー＆ペーストのミス
- セキュリティの脆弱性
- ロジックの不整合
- ベストプラクティスの違反
問題が特定されると、システムは開発者がワンクリックで実装できる修正提案を自動的に生成し、従来の修正とレビューのサイクル時間を短縮します。
開発チームへの測定可能な影響の提供
Graphite の AI 搭載アプローチは、カスタマーの開発ワークフローを変革しました。The Browser Company の Brian Michel 氏は次のように述べています。「Graphite Reviewer は、問題の表示と煩わしくないことの良いバランスを取っています。実際に機能するという点で他の AI ツールとは異なります。より速く反復し、より速く実用的なものを生み出すことができます。単独の開発者としても、もう一人ではなくなるので助かります」
影響は個々の開発者を超えてエンジニアリング組織全体に及びます。「Graphite は Ramp のチームにとってゲームチェンジャーでした」と Ramp のエンジニアリングヘッドである Nik Koblov 氏は述べています。「AI レビュアーの自動コメントは、バグになる前に微妙なエラーを検出し、速度を落とさずに品質を維持するのに役立ちます。全体として、Graphite はワークフローをよりスムーズで生産的にしました」
この品質とスピードの優位性は、Graphite のカスタマーベース全体で共感を得ています。「Graphite Reviewer は非常にシグナルが高く、カスタマーに届く前にすでにいくつかの本物のバグを検出しており、開発者ワークフローへの価値ある追加です」と Notion の Ben Kraft 氏は述べています。
このシステムは現在、5 件に 1 件のプルリクエストに実用的なフィードバックを提供しており、3 件に 1 件が人間のコメントを受ける業界標準に近づいています。AI の提案の 67% がコード変更につながり、96% のポジティブフィードバック率を達成しており、Graphite は AI がマシンの速度で動作しながら人間レベルのコードレビュー品質に匹敵できることを示しています。
AI 拡張開発の未来を見据えて
Graphite は今後 10 年間でソフトウェア開発の根本的な変革を構想しています。Reimers 氏は次のように述べています。「Graphite の信念は、10 年後には個人がソフトウェアを書くことはなくなるということです。LLM がコードの大部分を書き、プロダクトを外の世界と結びつける人間がガイドまたは協力するでしょう」
Anthropic とのパートナーシップを通じて、Graphite はこの変革をリードしています。時間のかかるレビューを自動化し、微妙なバグを検出し、ワンクリック修正を可能にすることで、開発者が人間の最も得意なこと、つまりソフトウェアの未来を形作る高レベルのアーキテクチャ上の意思決定に集中できるようにしています。Graphite と Claude は共に、コードレビューをボトルネックから人間の創造性とエンジニアリングの卓越性のアクセラレーターへと変革しています。
動画のキャプション