詳細を読む
Graphite は Claude を活用してコードレビューを 40 倍高速化
業種：
ソフトウェア
会社の規模：
小規模
製品：
Claude Platform
所在地：
北アメリカ
800 倍高速化
分析にかかっていた時間を 3 週間から 35 分に
人間レベル
生物医学分野のベンチマークでのパフォーマンス
動画のキャプション
動画のキャプション
最新のエンドツーエンドの開発者プラットフォームである Graphite は、バグを検出して修正案を提案する AI コードレビュー機能に Claude を採用しており、Snowflake、Asana、Ramp などの企業のエンジニアリングチームによるソフトウェア開発のアプローチを変革しています。
Claude を活用して、Graphite は以下を実現しています。
- プルリクエストのフィードバックループを 40 倍高速化し、1 時間から 90 秒に短縮
- AI が生成したコメントに対する肯定的なフィードバック率が 96%
- 提案された変更の実装率が 67%
- 顧客ベース全体で数十万件のプルリクエストをサポート
現代のコードレビューの規模拡大に伴う課題
コードレビューは、現代のソフトウェア開発において重大なボトルネックです。Google や Facebook などの大手テクノロジー企業には、このプロセスを管理するための洗練された社内ツールがありますが、ほとんどのエンジニアリングチームは基本的な GitHub ワークフローにさえも苦労しています。Graphite の共同創業者である Tomas Reimers 氏は「開発ツールの公然たる秘密は、ほぼすべての企業が、チームでの利用を向上させるために GitHub を基盤としてツールを開発しています」と述べています。
適切なツールがないと、開発者は増大する遅延に直面することになります。フィードバックを数時間から数日待ち、その後修正と再レビューという時間のかかるサイクルをまた繰り返すことになります。2023 年初頭、Graphite は先進的な開発チームから繰り返しリクエストを受け取ったため、AI を活用したコードレビューの検討を開始しました。しかし、初期の実験結果は期待外れでした。「モデルはハルシネーションを起こし、実際には存在しないプルリクエストの問題を自信満々に指摘してしまうことがありました」と Reimers 氏は述べました。「ボットが不正確だが具体的な記述を生成すると、人々は不満を抱きました」チームは高い精度を維持しながら、人間レベルのコード理解力に匹敵する何かを必要としていたのです。
優れたコード理解力を得るために Claude を選択
主要な AI モデルをテストした結果、Graphite はコードレビューの基準を満たすのは Claude だけであることを発見しました。チームの厳密な評価フレームワークは、経験豊富なエンジニアでさえ発見するのに苦労する既知のバグなど、合成データと実世界の事例を含む 500 のプルリクエストに対してモデルをテストしました。「Claude は特にコードの理解に優れており、これはコードレビューにおいて非常に重要です」と Graphite のリード AI エンジニアである Alyssa Baum 氏は述べました。
Claude 3.5 Sonnet のリリースは、決定的なブレークスルーとなりました。Baum 氏は次のように述べています。「評価パフォーマンスが急上昇しただけでなく、テストデータセット内の、バグだとさえ気づかなかったバグを特定しました」A/B テストを通じて、チームは Claude の優れたパフォーマンスを確認しました。「Claude 3.5 がリリースされた際、それを自社のシステムに組み込みましたが、ユーザーにとってそのパフォーマンスは驚異的なものでした」
Anthropic との提携により、これらの技術的な優位性がさらに高まりました。Anthropic のチームは、専用の Slack チャンネルを通じて、評価フレームワークと実装戦略に関する重要なガイダンスを提供しました。2024年10月の Graphite のリリースで予想外の需要に直面した際、Anthropicは顧客のニーズに応えるため、レート制限を迅速に拡大しました。「Anthropic チームからは多大なサポートを受けました」と Reimers 氏は語っています。「評価やコード全般をどのように設定すべきかについてアドバイスを得られただけでも、非常に助かりました」
高度な AI アーキテクチャによるコードレビューの変革
Graphite の実装は、Claude の高度な推論機能と、効果的なコードレビューにおける深い専門知識を組み合わせています。同社のアーキテクチャにより、複雑なコード分析を個別のステップに分解し、Claude が各タスクで優れた性能を発揮できます。このシステムは、投票、推論の連鎖、自己批判など複数の検証レイヤーを採用し、高品質なコメントのみが開発者に届くことを保証しています。
このプラットフォームは、主観的な提案ではなく、客観的なバグに焦点を当てています。次のような問題に対処します。
- 関数パラメータの順序間違い
- コピー＆ペーストのミス
- セキュリティの脆弱性
- ロジックの不整合
- ベストプラクティスの違反
問題が特定されると、システムは開発者がワンクリックで実装できる修正提案を自動的に生成し、従来の修正とレビューのサイクル時間を短縮します。
開発チームに測定可能な効果をもたらす
Graphite の AI を活用したアプローチは、顧客の開発ワークフローに変革を起こしました。The Browser Company の Brian Michel は次のように述べています。「Graphite Reviewer は、問題点を指摘しつつも煩わしさを感じさせない、絶妙なバランスを保っています。実際に動作する点で、他の AI ツールとは異なります。より迅速に反復処理を行い、実用的なものをより迅速に生み出すことができます。もはや一人で開発しているわけではないため、個人開発者にとっても大きな助けとなります」
その影響は個々の開発者だけでなくエンジニアリング組織全体に及びます。「Graphite は、Ramp のチームにとって大きな変化をもたらしました」と Ramp のエンジニアリング責任者である Nik Koblov 氏は述べました。「AI レビュアーの自動コメントは、細かなエラーがバグになる前に発見してくれるため、速度を低下させることなく品質を維持できます。全体的に見て、Graphite のおかげでワークフローはよりスムーズになり生産性が向上しました」
この品質とスピードを両立するメリットは、Graphite の顧客ベース全体に共通して見られます。「Graphite Reviewer は非常にシグナルの質が高く、顧客に届く前に実際のバグをすでにいくつも発見してくれています。これは開発者のワークフローにとって価値ある追加要素です」と Notion の Ben Kraft 氏は述べています。
現在、このシステムは 5 件のプルリクエストのうち 1 件に実用的なフィードバックを提供しており、3 件に 1 件が人間のコメントを受けるという業界標準に近づいています。AI による提案の 67% がコード変更につながり、96% の肯定的なフィードバック率を誇る Graphite は、AI が機械並みのスピードで動作しながらも、人間レベルのコードレビュー品質を実現できることを示しています。
AI で強化された開発の今後の展望
Graphite は、今後 10 年間でソフトウェア開発の根本的な変革が訪れることを思い描いています。Reimers 氏は次のように述べています。「Graphite では、今から 10 年後には個人がソフトウェアを書くことはなくなるだろうと考えています。LLM がコードの大半を記述し、製品を外界と結びつける人間が、LLMを指導したり、協力したりすることになるでしょう」
Anthropic とのパートナーシップを通じて、Graphite はこうした変革をリードしています。時間のかかるレビューを自動化し、見落としがちなバグを検出し、ワンクリックで修正できるようにすることで、開発者は人間が最も得意とすること、つまりソフトウェアの未来を形作るアーキテクチャに関する高レベルな意思決定に集中できるようになっています。Graphite と Claude は提携し、コードレビューをボトルネックから、人間の創造性と卓越したエンジニアリングを加速させるものへと変えています。
動画のキャプション