CircleCI가 Claude를 활용해 코드 검증 에이전트를 구축한 방법

Claude 사용해 보기
도입 문의
업종:
소프트웨어
회사 규모:
중견기업
제품
Claude Platform
위치:
북아메리카
엔지니어링팀의 90%가 Claude Code 사용
체계적인 도입이 시작된 이후, 일일 사용량이 9배 증가했습니다
평균 테스트 실행 시간 75% 단축
고객이 CircleCI의 Smarter Testing 기능을 사용하는 경우
클로드 에이전트 SDK로 에이전트 빌드하기

클로드 에이전트 SDK는 개발자가 클로드 코드를 기반으로 강력한 에이전트를 구축할 수 있도록 도와주는 도구 모음입니다.

자세히 보기
클로드 에이전트 SDK로 에이전트 빌드하기
다음

클로드 에이전트 SDK는 개발자가 클로드 코드를 기반으로 강력한 에이전트를 구축할 수 있도록 도와주는 도구 모음입니다.

비디오 캡션
다음
클로드 에이전트 SDK로 에이전트 빌드하기

클로드 에이전트 SDK는 개발자가 클로드 코드를 기반으로 강력한 에이전트를 구축할 수 있도록 도와주는 도구 모음입니다.

Claude Code 소개

아이디어 구상에서 커밋까지 이어지는 단일 워크플로우에서 Claude Code의 실제 작동 모습을 확인하세요.

자세히 보기
Claude Code 소개
다음

아이디어 구상에서 커밋까지 이어지는 단일 워크플로우에서 Claude Code의 실제 작동 모습을 확인하세요.

비디오 캡션
다음
Claude Code 소개

아이디어 구상에서 커밋까지 이어지는 단일 워크플로우에서 Claude Code의 실제 작동 모습을 확인하세요.

이전
다음

Okta, Hinge, Hugging Face 등의 팀을 위해 연간 수십억 건의 작업을 처리하는 CI/CD 플랫폼 CircleCI는 증가하는 유지보수 부담으로 인해 엔지니어링팀의 속도가 저하되는 문제를 해결하고자 했습니다. 그 결과 탄생한 것이 바로 Claude를 기반으로 구축된 CircleCI의 자율형 AI 에이전트 Chunk입니다. Chunk는 최소한의 사람 개입으로 CI/CD 관련 유지보수 문제를 식별하고 해결합니다.

Claude를 통해 CircleCI가 달성한 성과:

  • 고객이 CircleCI의 Smarter Testing 기능을 사용하는 경우, 평균 테스트 실행 시간 75% 단축
  • 엔지니어링팀의 90%가 Claude Code를 사용하며, 체계적인 도입 이후 일일 사용량이 9배 증가
  • 프로덕션에서 90% 이상의 프롬프트 캐시 효율 달성. 즉, 워크플로우 전반에서 컨텍스트를 재처리하지 않고 재사용
  • AI 기반 PR 리뷰 시스템을 포함해, 수 분기가 소요되던 내부 프로젝트를 단 몇 주 만에 완료
  • 현재 에이전트 작업 5건 중 4건 이상이 장애 발생 시점에 자동으로 트리거되는 것이며, 완료된 풀 리퀘스트로 전환되는 작업 비율은 출시 이후 두 배 이상 증가

과제: 팀의 속도를 저하시키는 유지보수 잔무

CircleCI의 고객은 배포 속도가 곧 경쟁력으로 직결되는 엔지니어링팀들입니다. 이러한 팀들은 지속적인 긴장 상태에 놓여 있습니다. 모두가 신기능 출시에 집중하는 사이에도 테스트 최적화, 빌드 수정, 파이프라인 개선 작업은 계속 쌓여가기 때문입니다. 기술 부채는 복리처럼 누적되고, 팀이 지키고자 하는 개발 속도는 점차 저하됩니다.

CircleCI는 AI 도구들이 업계 전반에서 코드 출력을 가속화함에 따라, 팀의 유지보수 속도보다 더 빠르게 코드가 생성되면서 이 문제가 더욱 심화되고 있다고 판단했습니다. 고객의 이러한 문제를 안정적으로 해결할 수 있으려면, 회사가 먼저 내부적으로 이 문제를 풀어내야 했습니다. 목표는 일상적인 유지관리 업무를 맡아 처리하고, 사람이 확인하기도 전에 스스로 수정 사항을 검증할 수 있는 자율 에이전트를 구축하는 것이었습니다.

개발자 경험 중심의 의사결정

CircleCI와 Claude의 협업은 광범위하게 시작되었습니다. 회사는 엔지니어링, 운영, GTM(Go-To-Market) 부서 전체가 프로토타이핑, 반복 개선, 분석 작업을 위해 AI를 적극 실험하도록 장려했습니다. "우리는 팀들이 AI를 활용해 가능성의 경계를 새롭게 정의해 보도록 독려했습니다."라고 엔지니어링 부문 SVP인 JP Leblanc은 말했습니다. "AI 탐색을 위한 단일하고 강력한 플랫폼을 제공하자, 도입률이 급격히 상승하는 것을 확인할 수 있었습니다."

팀이 Chunk의 엔진으로 Claude를 선택했을 때 결정적인 요인은 Claude Agent SDK가 제공하는 개발자 경험이었습니다. 깔끔하고 문서화가 잘 되어 있는 인터페이스 덕분에 구축 속도를 높일 수 있었기 때문입니다. 또한 MCP 통합을 통해 별도의 조율 부담 없이 기존 개발 도구와 연결할 수 있었습니다. 팀은 Claude의 보안 태세가 엔터프라이즈 요구 사항을 충족하며, 현재 사용 가능한 범용 모델 중 가장 강력하다고 평가했습니다. 

작업부터 검증된 풀 리퀘스트까지 이어지는 폐루프

CircleCI의 에이전트 Chunk는 폐루프로 작동합니다. 자연어로 작업이 입력되면, 검증된 풀 리퀘스트가 결과로 생성됩니다. 고객이 이미 CI 구성에 빌드 환경을 정의해 두었고 Claude는 필요한 의존성과 도구에 액세스할 수 있기 때문에, Chunk는 이를 바탕으로 자신 있게 해당 환경을 샌드박스로 생성할 수 있습니다. 빌드 실패의 경우, Claude는 로그를 컨텍스트로 전달받으며, 테스트의 경우에는 이전 실행 결과를 전달받습니다. Claude가 수정안을 생성하면 CircleCI 파이프라인이 이를 검증합니다. 파이프라인이 실패하면 Claude는 재시도를 수행합니다. 결과적으로 고객은 'green' 상태인 PR을 전달받으며, CI 파이프라인은 해당 변경 사항이 테스트, 린팅, 정적 분석 기준을 충족했음을 보증하는 역할을 합니다.

"Claude Agent SDK가 없었다면 Chunk를 구축할 수 없었을 것입니다."라고 CircleCI의 수석 엔지니어 Michael Webster는 설명했습니다. "만약 3년 전에 이 작업을 시도했다면, 다양한 언어 변이, 프레임워크 통합, 툴체인 연결을 지원하기 위한 작업량이 감당할 수 없는 수준이었을 것입니다. 이제는 기존의 복잡한 조율 부담이나 맞춤형 통합 작업 없이도 강력한 도구를 매우 빠르게 구축할 수 있습니다."

8명의 엔지니어로 구성된 팀은 수일 만에 워킹 프로토타입을 만들고 수주 만에 이를 프로덕션 수준의 기능으로 발전시켜 Chunk를 구축했습니다. 작업은 자동으로 트리거될 수도 있고(불안정한 테스트 개선을 위한 주기적 실행), 사용자에 의해 시작될 수도 있으며(실패한 빌드 수정), Chunk의 채팅 인터페이스를 통해 애드혹 프롬프트로 요청될 수도 있습니다. CircleCI가 Smarter Testing이라 부르는 예측 기반 테스트 선택 기능은 새로 추가되었거나 영향을 받은 부분만을 실행합니다. 이는 피드백까지 걸리는 시간을 평균 75%, 최대 97%까지 단축했습니다.

Chunk에 국한되지 않고, Claude Code는 CircleCI 엔지니어링팀의 일상 동력으로 자리 잡았습니다. 현재 엔지니어의 90%가 이를 활용하고 있으며, 도입 이후 일일 사용량은 9배로 증가했습니다. 한 팀은 코드 문제를 스캔하고 다운스트림 SQL 의존성을 분석하며 쿼리 최적화 대상을 식별하고 영향 요약을 생성하는 AI 기반 PR 리뷰 시스템을 구축했습니다. 과거라면 여러 분기가 걸렸을 작업이었지만, 이 시스템은 단 몇 주 만에 배포되었습니다.

결과

현재 Chunk 작업 중 사람의 개입 없이 장애 발생 시점에 자동으로 트리거되는 작업의 비중은 80%(5건 중 4건) 이상에 달합니다. Chunk가 작업을 완료된 풀 리퀘스트로 전환하는 비율은 출시 이후 두 배 이상 증가했습니다. 이는 Chunk가 스스로 확신을 가지고 수정안을 제안할 수 있는 시점을 판단하는 능력이 점차 정교해지고 있음을 의미합니다. 한 대형 엔터프라이즈 고객의 경우에는 분석 시간이 14시간에서 18분으로 단축되었습니다. 이전에는 변경 사항의 안전성을 확인하기 위해 다음 날 아침까지 기다려야 했던 팀이 이제는 몇 분 만에 답을 얻습니다.

CircleCI의 로드맵은 Claude의 진화하는 추론 능력을 기반으로 합니다. 여기에는 테스트 관리 자동화, 빌드 최적화, 그리고 워크플로우에 영향을 미치기 전에 문제를 예상하는 예측 유지보수 등이 포함됩니다. 코드 출력이 가속화될수록, 자율 검증은 시스템의 낙오를 방지하는 데 중요한 역할을 하게 될 것입니다.

Webster는 "Claude 덕분에 Chunk를 더 빠르게 시장에 선보일 수 있었습니다."라고 말했습니다. "자율 유지보수, 테스트 최적화, 지속적인 개선 작업을 자동으로 수행하는 에이전트를 통해, 이제 모든 개발자가 이러한 기능을 손쉽게 활용할 수 있게 되었습니다. 과거에는 몇 달씩 방치되던 문제들이 이제는 자동으로 해결됩니다. 고객들은 고된 반복 작업에 매달리는 대신 흐름을 유지하며 혁신에 집중할 수 있습니다."

"Claude Agent SDK가 없었다면 Chunk를 구축할 수 없었을 것입니다."
Michael Webster
CircleCI 수석 엔지니어

다음

비디오 캡션
다음

이전
다음