Uber の CISO が語る、AI 向け内部脅威対策プログラムの構築
Uber の CISO、Philip Martin 氏が、AI エージェントの監視と可観測性の重要性、そして Uber のオープンソースツールと Enterprise Frontier Safeguards がどのように連携するかを語ります。
Uber は、1 日に 4,000 万件を超える乗車や配達注文に対応する、世界最大級のリアルタイムマーケットプレイスを運営しています。同社の最高情報セキュリティ責任者（CISO）である Philip Martin 氏は、Uber のデータに加え、プラットフォームを利用する乗客、ドライバー、配達員の現実世界での安全を守るチームを率いています。同チームは、Claude Code が登場する以前から、必要な背景情報を手作業で集めながら、脅威モデリングに Claude を活用していました。現在は Claude Fable により、Claude がコード、設計文書、チケットの履歴から、必要な背景情報を自ら収集します。
Martin 氏は、企業が従業員を対象に運用している内部脅威対策プログラムと同様の仕組みが、AI エージェントにも必要だと考えています。その考え方や、意図せず起きる不適切な利用を重視する理由、Uber のオープンソース監視ツールと Enterprise Frontier Safeguards の連携について、同氏に伺いました。
フロンティアモデルによって、セキュリティチームの仕事はどのように変わっていますか。
以前のモデルと現在のフロンティアモデルの大きな違いは、長期にわたって情報を追加で取り込み、その文脈を踏まえて、非常に具体的な出力を生成できることです。あるサービスのアプリケーションについてセキュリティレビューや脅威モデリングを行う際には、そのサービスに関する、より多くの情報をモデルに与えられます。コードそのものや設計文書、Jira の課題に加え、そのサービスに想定されている役割や連携先についての過去の経緯なども含まれます。
エージェントがチームで動く場合にも、同じような可能性が見え始めています。そう遠くない将来、各サービスに、その内容を深く理解するエージェントがひも付くようになると考えています。そして、本番環境でサービス同士が通信するように、エージェント同士も「こちらの脅威モデルはこうなっています」「データの取得元はここです」と、脅威モデルに関する情報を交換するのです。エージェントがチームとして連携することで、セキュリティ対策の効果をさらに高められるはずです。
Uber は Enterprise Frontier Safeguards に関して当社チームと協力してきました。Uber にとって、なぜ重要だったのでしょうか。
Anthropic と Uber に共通しているのは、対象となる分野は大きく異なるものの、安全を重視する姿勢が深く根付いていることです。Uber にとっての安全とは、乗客の安全を守ることや、個人データを保護することです。Anthropic はフロンティアモデルの不適切な利用を防ぎたいと考えています。一方、Uber はカスタマーデータ、営業秘密、その他の独自の機密情報を守る必要があります。Enterprise Frontier Safeguards によって、この両立が可能になります。安全対策が機能していても、私たちの許可がなければ、Anthropic は私たちのデータにアクセスできません。
データを管理する権限に加え、リスクの軽減方法や、安全対策が作動した後に取る対応も、私たち自身で決められます。これらのモデルが社会で安全かつ効果的に使われるようにする責任は、両社が共有していると考えています。
設計の説明を受けたとき、私たちの意見がきちんと反映されていることがわかりました。主導権を私たちに委ねてくれたのです。これにより、自社のデータを守りながら、モデルの能力も責任を持って扱えます。
Uber ですでに行っている AI の安全性監視と、Enterprise Frontier Safeguards はどのように連携しますか。
Uber では、社内に AI を安全に導入する方法について、当初から多くの取り組みを進めてきました。最近、AI Detection and Response（ADR） (opens in new tab)という製品をオープンソースとして公開しました。社内に導入しているエージェントの実行基盤で、テレメトリの収集と対応をリアルタイムに行えるよう設計されています。
これまでより充実したデータを使って、エージェントが定められた範囲を逸脱して行動していないかを検知し、リアルタイムで対応できるため、Anthropic の安全対策を補完するものになります。私たち独自の監視で得られる情報に、Anthropic の分類器の出力を組み合わせ、その両方を、従来のサイバーセキュリティと同じように、検知の仕組み全体に組み込めます。目指しているのは、判断に必要な情報を効果的に組み合わせ、速さと確かさをできる限り高めることです。
今後は、Enterprise Frontier Safeguards が ADR にデータを提供する情報源の一つになると考えています。社内の AI 利用にセキュリティ上の境界を設け、使い方を制御する LLM ゲートウェイと併せて、これらが Uber の AI セキュリティアーキテクチャ全体を構成します。
AI システムを守る立場として、今後は何を優先すべきだと考えていますか。
一つ目は、リアルタイムでの検知と介入です。検知と介入のタイミングを、人が実行基盤にプロンプトを入力する時点にできるだけ近づけ、「その操作は避けたほうがよいかもしれません」「このモデルが今から呼び出すツールや接続先は、望んでいるものではないかもしれません」と伝えられるようにすることです。
二つ目は、新たに現れるパターンへの理解を深めることです。モデルの振る舞いの傾向を調べ、これまで可能だとは知らなかった新しい振る舞いを検知します。これは、繰り返し続くプロセスになります。多くの場合、LLM の支援も受けながらデータを調べ、新たな振る舞いが現れたら把握し、それに対応する安全対策をリアルタイムの基盤に反映します。制約を設けると、また新たな振る舞いが生じるため、それも見つけていくのです。
フロンティアモデルの利用に必要な監視をためらうリーダーには、どのような助言をしますか。
AI の導入は、事業を進めるうえで不可欠です。望むと望まざるとにかかわらず、AI の導入は進み、世界中の企業や人々に実際の恩恵をもたらすでしょう。一方で、実害をもたらす可能性もあります。モデルの能力が高まり、より複雑で自律的な仕事を担うほど、問題が起きた際の影響も大きくなります。
どの企業も、従業員を対象とした内部脅威対策プログラムをすでに運用しています。その必要性に異論はありません。私たちは、時に大きな負担を伴うデータ保持を受け入れ、本来なら監視したくないことまで監視しています。人はさまざまな理由で、時として自分の役割の範囲を逸脱して行動することがあるとわかっているからです。
フロンティアモデルにも、同じリスクがあります。モデルは、想定された制約を越えて行動するよう指示される可能性があります。そのため、AI に対しても同等の監視・対処能力が必要です。こうしたシステムを、安全性とセキュリティを確保しながら導入していくうえで、モデル向けの内部脅威対策プログラムは欠かせないものになります。