Sentry가 Claude Managed Agents로 엔드투엔드 버그 수정 시스템을 구축한 방법

Sentry는 매일 수십억 건의 이벤트를 수집하는 소프트웨어 모니터링 플랫폼으로, 개발팀이 프로덕션 문제를 디버깅하는 데 필요한 컨텍스트를 제공합니다. 이들의 AI 디버깅 에이전트인 Seer는 이미 Claude를 활용해 근본 원인을 정확하게 식별하고 있습니다. 그러나 개발자에게 무엇이 잘못되었는지 알려주는 것만으로는 충분하지 않았습니다. 그들은 Seer가 문제도 해결해 주기를 바랐습니다.

Claude Managed Agents를 통해 Sentry는 맞춤형 에이전트 런타임을 처음부터 구축할 필요 없이 버그 탐지부터 병합 가능한 풀 리퀘스트까지 인프라를 구축했습니다.

Claude를 도입한 Sentry의 주요 성과:

• Claude Managed Agents 기반의 버그 탐지부터 풀 리퀘스트까지 엔드투엔드 자동화
• 연간 100만 건 이상의 RCA(근본 원인 분석)를 효율적으로 처리하는 능력
• 매월 60만 개 이상의 풀 리퀘스트에 대해 거의 즉각적인 검토 제공
• 단 한 명의 엔지니어로 초기 Managed Agents 통합을 몇 달이 아닌 단 몇 주 만에 출시
• 맞춤형 에이전트 인프라 유지 관리에 따른 지속적인 운영 오버헤드 제거

과제: 무엇이 잘못되었는지 아는 것과 그것을 해결하는 것 사이의 격차

Sentry는 스택 추적, 프로파일링 데이터, 추적 연결, 로그, 스팬, 지표 등 모든 오류에 대한 심층적인 컨텍스트를 제공합니다. Seer는 출시되었을 때, Claude를 활용해 이러한 모든 원격 분석을 진행하고, 근본 원인을 식별하며, 코드 수정을 제안했습니다. 따라서 모든 수준의 개발자들이 더 빠르게 작업할 수 있게 되었습니다.

Sentry의 AI/ML 엔지니어링 수석 디렉터인 Indragie Karunaratne는 "개발자들은 문제를 디버깅하기 위해 추론해야 하는 엄청난 양의 컨텍스트에 압도되는 경우가 많습니다."라고 말합니다. Seer는 주니어 개발자가 이러한 복잡성을 헤쳐나갈 수 있도록 지원하고, 시니어 엔지니어에게는 조사가 아닌 검증에 전문성을 적용할 수 있도록 빠른 요약을 제공했습니다.

그러나 진단과 제안된 수정 사항이 있어도 개발자는 여전히 코드베이스로 컨텍스트를 전환하고, 구현을 계획하며, 코드를 작성한 뒤, 풀 리퀘스트를 생성해야 했습니다. 진단에서 해결로 전환하는 과정에서 시간과 추진력이 소진된 것입니다. Sentry는 루프를 완결하려 했습니다. 즉, Seer의 근본 원인 분석을 받아 자동으로 완성된 PR로 전환하는 것입니다.

이러한 기능을 구축하려면 코딩 에이전트를 실행해야 했습니다. 코딩 에이전트를 실행하는 것은 샌드박스, 수명주기 관리, 에이전트 런타임을 구축하는 것을 의미합니다. 디버깅에 집중하는 팀에게 이것은 크게 돌아가는 작업이었습니다.

솔루션: Sentry가 Claude와 Managed Agents를 선택한 이유

Sentry는 여러 AI 모델을 평가한 뒤 이미 Seer를 위해 Claude를 선택한 상태였습니다. 무엇보다 보안이 중요했습니다. Vertex AI를 통해 Claude를 실행하면, Sentry가 Google Cloud 외부에서 공유되는 데이터를 최소화할 수 있었습니다. "Vertex AI를 통해 Claude를 사용함으로써 고객을 위해 데이터 상주 기능을 유지할 수 있었고, 새로운 서브프로세서를 추가할 필요가 없었습니다."라고 Karunaratne는 말합니다.

Seer의 역할을 진단에서 자동화된 수정 방식으로 확장해야 하는 시점이 되었을 때, Claude Managed Agents는 자연스러운 선택이었습니다. 이를 통해, 그렇지 않았다면 Sentry가 몇 달에 걸쳐 구축해야 했을 안전한 에이전트 런타임, 샌드박스, 수명주기 관리 기능을 얻을 수 있었습니다. 그리고 Sentry의 고객 기반의 수요도 있었습니다. 많은 고객이 이미 로컬 및 클라우드 환경에서 Claude Code를 개발에 사용하고 있었고, Sentry의 디버깅 기능과 Claude의 코딩 강점을 연결하는 경험을 원했습니다.

Managed Agents를 통해 Sentry는 일반적인 에이전트 인프라를 구축하는 대신, 제품의 차별화 요소인 Seer의 진단과 코딩 에이전트 간의 핸드오프에 집중할 수 있었습니다.

Managed Agents에서 Seer-to-PR 워크플로우가 실행되는 방법

Seer는 백그라운드에서 근본 원인을 파악하고 가장 대응 가능성이 높은 버그를 수정하며, 실시간으로 개발자를 지원합니다. 그리고 이 두 가지 모두 동일한 Managed Agents 인프라에서 이루어집니다.

문제가 탐지될 때의 과정은 다음과 같습니다. Seer가 소스 코드와 원격 분석을 쿼리하여 문제의 종합적인 근본 원인 분석을 수행하고, Sentry의 풍부한 오류, 로그, 스팬, 지표 컨텍스트를 활용합니다. 진단이 이루어지면, Seer는 Managed Agents에서 실행되는 Claude 에이전트에게 이것을 넘겨줍니다. 해당 에이전트는 솔루션을 계획하고, 코드 변경을 구현한 뒤, 풀 리퀘스트를 생성합니다. 개발자의 업무는 수정안을 작성하는 것에서 검토하는 것으로 바뀌었습니다.

Karunaratne는 말합니다. "개발자에게 코드의 문제점을 알려주는 것만으로는 부족했습니다. 이들은 실제로 문제를 수정해 주기까지 원합니다. 이제 고객은 Seer의 근본 원인 분석에서 바로 수정 사항을 작성하고 PR을 여는 Claude 에이전트로 이동할 수 있습니다."

Managed Agents가 없었다면, Sentry는 자체 샌드박스 기능과 에이전트 런타임을 처음부터 직접 구축해야 했을 것입니다. 그 대신, 초기 통합은 한 명의 엔지니어가 작업하여 출시했습니다. 팀은 코딩 에이전트나 이를 지원하기 위한 인프라를 구축할 필요가 없었습니다. 대신 그 에너지를 최상의 디버깅 경험을 구축하고, Seer의 분석과 Claude 에이전트 간의 핸드오프를 설계하는 데 쏟았습니다.

Karunaratne는 말합니다. "안전하고 완벽하게 관리되는 에이전트 런타임을 제공해 주기 때문에 Claude Managed Agents를 선택했습니다. 이를 통해 핸드오프 과정에서 원활한 개발자 경험을 만드는 데 집중할 수 있게 되었습니다. Managed Agents 덕분에 몇 달이 걸리던 초기 통합을 몇 주 만에 구축할 뿐만 아니라, 맞춤형 에이전트 인프라를 유지 관리하는 데 드는 운영 오버헤드도 완전히 없앨 수 있었습니다."

개발자를 위한 변경 사항

기존 Seer로 이미 전반적인 디버깅 작업 속도가 빨라졌습니다. 주니어 개발자는 일반적으로 광범위한 시스템 지식이 필요한 복잡한 문제를 해결하는 데 도움을 받았습니다. 그리고 시니어 엔지니어들은 몇 시간에 걸친 컨텍스트 검토를 건너뛰고, 바로 Seer의 분석을 검증하는 작업을 진행할 수 있게 되었습니다.

Karunaratne는 설명합니다. "Seer는 다중모달 원격 분석 데이터에서 관련 패턴을 빠르고 정확하게 추출하는 Claude의 기능을 활용합니다. 따라서 개발자는 수동으로 이벤트를 뒤져 살펴보는 대신, 도메인 컨텍스트를 활용해 분석을 검증하는 데 집중할 수 있습니다."

Managed Agents 통합을 통해 그 이점은 더욱 극대화됩니다. 개발자는 더 이상 진단과 수정 제안만 받는 것이 아닙니다. 검토, 테스트, 병합할 수 있는 풀 리퀘스트를 받게 됩니다. 워크플로우가 "Seer가 무엇이 잘못되었는지 알려주는 것"에서 "무엇이 잘못되었는지 알려줄 뿐만 아니라, 이를 바로잡는 코드를 제안해 주는 것"으로 이동했다고 Karunaratne은 덧붙였습니다. 

미래 전망

Sentry는 가장 대응 가능성이 높은 버그를 자동으로 탐지, 진단, 수정하고, 개발자가 변경 사항을 직접 작성하는 대신 제안된 변경 사항을 검토하는 워크플로우를 향해 나가고 있습니다. Managed Agents가 에이전트 인프라를 처리하므로, 팀은 맞춤형 런타임 유지에 따른 운영 오버헤드 없이도, Seer가 다루는 범위를 확장하고 자동 디버깅이 처리할 수 있는 한계를 확장하는 데 집중할 수 있습니다.