Claude Platform의 에이전트 관측 가능성
Claude Platform에서 Claude Managed Agents, Messages API, Claude SDK의 OpenTelemetry 트레이스 기능을 새롭게 선보입니다.
이제 Claude Managed Agents, Messages API, Claude SDK에서 OpenTelemetry(OTel) 트레이스를 원하는 OTel 도구로 전송하고, 에이전트가 수행하는 각 단계를 추적할 수 있습니다. 이미 Claude Code 또는 Cowork 트레이스를 관측 가능성 도구로 전송하고 있다면, Claude Platform에서 구축한 에이전트도 동일한 도구에서 확인할 수 있습니다.
OpenTelemetry를 사용한 에이전트 추적
에이전트에 더 많은 액세스 권한을 부여하려면 먼저 모델 호출, 도구 사용, MCP 서버 호출을 추적해야 합니다. 에이전트의 트레이스를 검토하고, 신뢰성이 입증되는 만큼 액세스 권한을 확대하세요.
Claude Console에 전송 대상을 추가하면, 에이전트의 모든 턴, 모델 호출, 도구 사용 내역이 지연 시간, 토큰, ID를 포함한 표준 OpenTelemetry 트레이스 형식으로 관측 가능성 도구에 전송됩니다.
기존 관측 가능성 도구와 연동
Claude 트레이스는 OpenTelemetry GenAI 시맨틱 규칙을 따르므로, Claude와 다른 공급업체의 데이터를 동일한 도구와 대시보드에서 사용할 수 있습니다.
- 기술 스택의 다른 구성 요소와 함께 에이전트를 디버깅하세요. Grafana Cloud, Honeycomb, Sentry, Splunk에서는 에이전트 트레이스가 로그 및 메트릭과 함께 표시되므로, 속도가 느려지거나 실패한 단계가 어느 서비스에서 발생했는지 확인할 수 있습니다.
- 프로덕션 데이터를 활용해 에이전트를 개선하세요. Arize AI, Braintrust, Datadog, Langfuse, LangSmith by LangChain, New Relic, PostHog를 활용하면 실제 트레이스를 활용해 평가를 구축하고, 품질 문제를 발견하며, 변경 사항이 개선 효과를 가져왔는지 측정할 수 있습니다.
- 조직 전체의 사용량을 추적하세요. Databricks Unity Gateway로 트레이스를 전송하면 플랫폼 및 보안 팀이 팀별 토큰 사용량을 확인하고 비정상적인 활동을 식별할 수 있습니다.
Claude 트레이스는 표준 OTLP 엔드포인트를 허용하는 다른 모든 OpenTelemetry 도구와도 연동됩니다.
시작하기
이제 Claude Platform의 OpenTelemetry 트레이스 기능을 공개 베타로 이용할 수 있습니다. Managed Agents와 Messages API는 Claude Console에서 전송 대상을 설정해야 하지만, Claude SDK는 트레이스를 자동으로 내보냅니다.
시작하려면 문서를 참조하세요.
“회사의 회계 장부를 다루는 에이전트는 회계사와 마찬가지로 업무를 투명하게 보여줄 수 있어야 합니다. 저희 에이전트는 Claude Platform에서 실행되고 원격 분석 데이터는 Grafana Cloud에 저장되며, Claude의 네이티브 OpenTelemetry 내보내기 기능은 각 모델 호출을 해당 호출이 실행된 계정 대사 또는 분개 워크플로와 동일한 트레이스에 포함합니다. 나머지 스택과 함께 프롬프트 버전, 도구 호출, 지연 시간, 토큰 사용량을 확인할 수 있으므로, 감사인이 에이전트가 어떤 작업을 수행했는지, 그리고 그 이유를 물었을 때 하나의 타임라인으로 답변할 수 있습니다.”
“Foxglove는 로봇 공학 팀이 로봇을 디버깅할 수 있도록 지원하는 에이전트를 개발하고 있습니다. Claude Platform의 네이티브 OpenTelemetry 내보내기 기능을 통해 PostHog에서 에이전트 상호 작용을 제품 사용 데이터와 함께 분석할 수 있습니다. 이를 통해 에이전트가 실제로 어떤 성능을 발휘하는지 평가하고, 부족한 부분을 식별하며, 로봇 공학 팀을 위한 개선 우선순위를 정할 수 있습니다.”
“Claude는 Ramp의 가장 뛰어난 내부용 및 고객 대상 에이전트 중 일부를 구동합니다. 저희는 에이전트의 Langfuse 트레이스를 채점하고, 반복되는 실패를 찾아내며, 수정 사항을 제안하는 에이전트 시스템인 Reflect를 구축했습니다. 일부 에이전트에서는 이미 토큰 사용량을 10~20% 줄이고, 세션 속도를 30% 향상시켰습니다. 그러나 Reflect는 관찰한 내용만 개선할 수 있습니다. Claude API의 네이티브 OpenTelemetry 내보내기 기능을 사용하면 추가 단계 없이 고충실도 계측 데이터를 이 개선 루프에 직접 제공할 수 있습니다.”
“Sterling Labs는 레이스 팀이 엔진을 튜닝하듯 시스템을 튜닝합니다. 연중무휴 24시간 실시간 시장을 분석하는 에이전트에게 Langfuse는 저희에게 있어 피트 월과도 같습니다. Claude Platform의 네이티브 OpenTelemetry 내보내기 기능은 맞춤형 계측 없이 모든 트레이스를 바로 스트리밍하므로, 저희 팀은 배선 작업이 아닌 경쟁 우위 확보에 집중할 수 있습니다.”