Uber CISO가 말하는 AI 내부자 위협 대응 프로그램 구축

Uber는 세계 최대 규모의 실시간 마켓플레이스 중 하나를 운영하며, 하루 4,000만 건 이상의 차량 운행과 배달 주문을 처리합니다. Uber의 최고정보보안책임자(CISO) Philip Martin은 Uber의 데이터는 물론, 실제 환경에서 플랫폼을 이용하는 승객과 운전자, 배달원을 보호하는 팀을 이끌고 있습니다. 그의 팀은 Claude Code가 등장하기 전부터 Claude를 활용해 위협 모델링 작업을 시작했으며, 당시에는 필요한 컨텍스트를 수작업으로 수집하고 구성했습니다. 하지만 이제는 Claude Fable을 통해 Claude가 코드와 설계 문서, 티켓 기록에서 필요한 컨텍스트를 직접 수집합니다.

Martin은 AI 에이전트에도 기업이 이미 직원을 대상으로 운영하고 있는 것과 같은 유형의 내부자 위협 대응 프로그램이 필요하다고 생각합니다. 우리는 Martin과 함께 이러한 생각과 그가 의도치 않은 오용 문제에 특히 주목하는 이유, 그리고 Uber의 오픈 소스 모니터링 도구가 Enterprise Frontier Safeguards와 어떻게 함께 작동하는지에 대해 이야기를 나눴습니다.

최첨단 모델은 보안 팀의 업무를 어떻게 변화시키고 있나요?

기존 모델과 오늘날의 최첨단 모델을 구분하는 가장 큰 차이는 장기간에 걸쳐 추가적인 컨텍스트를 수용하고, 이를 바탕으로 매우 구체적인 결과물을 생성하는 능력입니다. 특정 서비스 애플리케이션에 대한 보안 검토나 위협 모델링을 수행할 때, 모델이 해당 서비스에 관한 훨씬 더 많은 컨텍스트를 처리하도록 할 수 있습니다. 여기에는 코드 자체, 설계 문서, Jira의 이슈, 해당 서비스가 수행해야 하는 작업과 상호 작용하는 대상에 관한 과거 정보 등이 포함됩니다.

여러 에이전트로 구성된 팀에서도 비슷한 변화가 나타나고 있습니다. 머지않아 각 서비스마다 해당 서비스를 깊이 이해하는 에이전트가 연결되고, 이러한 에이전트들이 실제 운영 환경에서 서비스끼리 통신하는 것처럼 위협 모델에 대해 서로 소통하는 세상이 올 것이라고 생각합니다. '이것이 내 위협 모델이고, 내 데이터는 여기에서 가져옵니다'라고 서로 정보를 공유하는 것이죠. 여러 에이전트가 팀으로 협력하면 한층 더 뛰어난 효과를 거둘 수 있을 것입니다.

Uber는 Enterprise Frontier Safeguards와 관련해 Anthropic 팀과 협력했습니다. 이러한 협력이 Uber에 중요한 이유는 무엇인가요?

Anthropic과 Uber는 활동하는 환경은 크게 다르지만, 안전을 매우 중시한다는 공통점이 있습니다. Uber에게 안전은 승객 안전과 개인정보 보호를 의미합니다. Anthropic은 자사의 최첨단 모델이 오용되지 않도록 하는 데 중점을 두지만, Uber는 고객 데이터와 영업 비밀, 그 밖의 모든 독점 정보를 보호해야 합니다. Enterprise Frontier Safeguards 덕분에 이러한 요구 사이에서 균형을 유지할 수 있습니다. 보호 조치는 마련되어 있지만, Uber의 허가 없이는 Anthropic이 Uber의 데이터에 접근할 수 없습니다.

이를 통해 우리는 데이터에 대한 통제권을 갖고, 보호 조치가 작동한 후 위험을 어떻게 완화하고 어떤 조치를 취할지도 직접 결정할 수 있습니다. 저는 이러한 모델이 실제 환경에서 안전하고 효과적으로 사용되도록 할 책임을 우리가 함께 지고 있다고 생각합니다.

Anthropic 팀이 설계를 설명해 주었을 때, 우리의 피드백이 충분히 반영되었다는 것을 알 수 있었습니다. 우리에게 결정권을 맡긴 것이죠. 덕분에 데이터를 보호하면서도 이러한 모델의 역량을 책임감 있게 관리할 수 있습니다.

Enterprise Frontier Safeguards는 Uber가 AI를 배포할 때 기존에 운영하던 안전 모니터링 시스템과 어떻게 연계되나요?

Uber는 처음부터 사내에 AI를 안전하게 배포하기 위해 많은 노력을 기울여 왔습니다. 최근에는 Uber가 배포한 에이전트 하네스에서 실시간으로 텔레메트리 데이터를 수집하고, 실시간으로 조치를 취할 수 있도록 설계된 ADR(AI Detection and Response) (opens in new tab)이라는 제품을 오픈 소스로 공개했습니다.

이 도구는 Anthropic의 보호 조치를 보완합니다. 이제 더 풍부한 데이터를 활용하여 에이전트가 허용 범위를 벗어나 행동하는 시점을 탐지하고 실시간으로 대응할 수 있기 때문입니다. 우리는 상황을 자체적으로 파악할 수 있을 뿐 아니라 Anthropic의 분류 모델이 생성한 결과도 활용할 수 있으며, 기존 사이버 보안 환경에서와 마찬가지로 이 두 가지를 전체 탐지 환경에 통합할 수 있는 거죠. 결국 중요한 것은 컨텍스트를 효과적으로 수집하고 종합하여 가능한 한 빠르고 확실하게 결정을 내리는 것입니다.

앞으로 Enterprise Frontier Safeguards가 ADR의 데이터 소스 역할을 할 것으로 예상합니다. 여기에 Uber 내부에 보안 경계를 설정하고 AI 사용 방식을 제어하는 LLM 게이트웨이가 더해져, Uber의 전체 AI 보안 아키텍처를 구성하는 것이죠.

AI 시스템의 보안을 강화하기 위해 보안 담당자들이 앞으로 어떤 부분에 우선순위를 두어야 한다고 생각하시나요?

첫 번째는 실시간 탐지와 개입입니다. 사용자가 에이전트 하네스에 프롬프트를 입력하는 그 시점에 최대한 가깝게 개입하여 "이 작업은 하지 않는 것이 좋을 것 같습니다" 또는 "이 모델이 곧 호출하려는 도구나 연결하려는 대상은 사용자가 의도한 것이 아닐 수 있습니다"라고 알려줄 수 있어야 합니다.

두 번째는 새롭게 나타나는 패턴을 더 잘 이해하는 것입니다. 우리는 모델의 행동 추세를 살펴보고, 이전에는 가능할 것이라고 예상하지 못했던 새로운 행동을 탐지합니다. 이러한 과정이 순환 구조를 이루는 것이죠. 우리는 많은 경우 LLM의 도움을 받아 데이터를 분석합니다. 새로운 행동이 나타나면 이를 발견하고, 이러한 행동에 대응하는 보호 조치를 구축하여 실시간 플랫폼에 다시 적용합니다. 그러면 제약 조건으로 인해 또 새로운 행동이 나타나고, 우리는 그 행동도 찾아냅니다.

최첨단 모델에 필요한 모니터링을 도입하는 데 주저하는 다른 리더들에게 어떤 조언을 해주시겠습니까?

AI 도입은 기업이 반드시 추진해야 할 과제입니다. 우리가 원하든 원하지 않든 AI는 확산될 것이고, 전 세계 기업과 사람들에게 실질적인 혜택을 제공할 것입니다. 그러나 실제로 피해가 발생할 가능성도 있습니다. 모델의 역량이 강화되고 더 복잡한 작업을 자율적으로 수행하면서 그에 따른 위험도 커지고 있죠.

모든 기업은 이미 자사 직원을 대상으로 내부자 위협 대응 프로그램을 운영하고 있습니다. 그 필요성에 대해 누구도 이의를 제기하지 않습니다. 때로는 번거로운 데이터 보존 요구 사항도 감수하고, 가급적 모니터링하고 싶지 않은 활동까지 모니터링합니다. 사람들이 때때로 다양한 이유로 인해 자신의 역할에 허용된 범위를 벗어나 행동한다는 사실을 알고 있기 때문이죠.

최첨단 모델에도 동일한 위험 요소가 존재합니다. 이러한 모델은 우리가 예상하는 제약 조건에서 벗어나 작동하도록 지시받을 수 있습니다. 따라서 AI에도 이에 상응하는 대응 체계가 필요합니다. 이러한 시스템을 안전하고 보안이 유지되는 방식으로 도입하려면 모델을 위한 내부자 위협 대응 프로그램이 필수적입니다.

Enterprise Frontier Safeguards (opens in new tab)에 대해 자세히 알아보세요.