Descript, Claude로 에이전틱 비디오 편집에 창의적인 감각을 더하다
업종:
소프트웨어
회사 규모:
소기업
제품
Claude Platform
위치:
북아메리카
주요 경쟁업체보다 13~23% 높은 사용자 의도 반영률
Claude Opus 4.6, Descript의 창의적 의도 구현 평가 기준에서 다른 프론티어 모델을 앞섰습니다
사용자의 3분의 2가 Descript의 에이전트에서 Claude 모델을 선택합니다
또한 Descript는 에이전트의 기본 모델로 Claude Sonnet을 제공합니다
Descript는 동영상 편집이 문서 편집처럼 작동하도록 만듭니다. 사용자가 텍스트를 변경하면 동영상이 그에 맞게 업데이트됩니다. 작년에 팀은 Claude 기반의 AI 에이전트인 Underlord를 출시했습니다. 이 에이전트는 사용자가 수동으로 작업해야 하는 복잡한 편집을 자동화합니다. 2026년 1월, Descript는 Underlord에 주요 업데이트를 제공했으며, 셀프 서비스용 기본 모델로 Claude Sonnet 4.5를, 엔터프라이즈 고객용 기본 모델로 Opus 4.6을 적용했습니다.
Claude를 통해 Descript는 다음과 같은 성과를 달성했습니다:
- 100개 이상의 실제 사용 사례를 기반으로 한 내부 평가 결과, Claude Opus 4.6은 주요 프론티어 모델 대비 사용자 의도 반영률이 13~23% 높았습니다
- 모델 선택기에서 사용자가 직접 선택한 모델의 3분의 2가 Claude 모델입니다.
- 에이전트 사용자의 내보내기 횟수는 에이전트를 사용하지 않는 사용자보다 9% 높으며, 내보내기당 약 50% 더 많은 편집이 이루어져 더 심층적인 창작 과정을 보여주었습니다
- Underlord를 사용한 사용자는 Underlord를 사용하지 않은 활성 무료 사용자에 비해 무료에서 유료로의 전환율이 46% 더 높았습니다
- 이제 전체 Descript 프로젝트의 30% 이상이 프로젝트 진행 과정에서 에이전트 Underlord를 한 번 이상 사용하고 있습니다
- 최소 반나절 만에 새로운 Claude 모델 통합
- Opus 4.6은 Descript의 "내가 요청한 대로 하기" 평가 기준에서 다른 프론티어 모델을 능가했습니다. 이 기준은 모델이 사용자의 창의적 의도를 구체적인 편집 작업으로 얼마나 잘 구현하는지 측정합니다.
과제
워크플로우에서 오픈 월드 에이전트까지
Descript의 AI 여정은 에이전트에서 시작되지 않았습니다. 팀은 처음에 구조화된 AI 워크플로우를 구축했습니다. "명확성을 위한 편집" 또는 "클립 생성" 같은 기능은 고정된 파이프라인 내에서 LLM을 API 호출로 사용해 미리 결정된 오케스트레이션 단계를 거쳐 실행되었습니다. Descript는 이러한 워크플로우를 위해 2024년 중반에 Claude를 처음 통합했으며, 콘텐츠의 흐름을 이해하고 긴 비디오에서 매력적인 클립을 만들어 내는 데 탁월한 성능을 발휘했습니다.
이러한 워크플로우는 특정 사용 사례에서는 잘 작동했지만, 엣지 케이스에서는 한계를 드러냈습니다. 이전 시스템은 특정 작업을 위해 하드 코딩된 파이프라인을 갖추고 있었습니다. "명확성을 위해 편집"은 스크립트를 청크로 나누고 LLM에 전송한 다음 일괄적으로 잘라내기를 적용했습니다. 하지만 사용자가 몇 개의 단락만 편집하거나, 원본을 변경하지 않고 편집 내용을 새 컴포지션에 적용하는 것처럼 약간 다른 것을 원한다면, 경직된 오케스트레이션으로는 이를 수용하지 못했습니다. "사용자가 약간 다른 것을 원할 때도 있었는데, 프롬프트 창을 열어도 제대로 작동하지 않았습니다"라고 AI 엔지니어링 책임자인 Rachel Bloch Mellon은 말했습니다.
해결 방법
Introducing Claude Opus 4.6
.jpg)
We’re upgrading our smartest model. The new Claude Opus 4.6 improves on its predecessor’s coding skills. It plans more carefully, sustains agentic tasks for longer, and features a 1M token context window.
Introducing Claude Opus 4.6
We’re upgrading our smartest model. The new Claude Opus 4.6 improves on its predecessor’s coding skills. It plans more carefully, sustains agentic tasks for longer, and features a 1M token context window.
Introducing Claude Opus 4.6
We’re upgrading our smartest model. The new Claude Opus 4.6 improves on its predecessor’s coding skills. It plans more carefully, sustains agentic tasks for longer, and features a 1M token context window.
창의적 의도를 구현하기 위해 Claude를 선택하다
Underlord를 완전한 에이전틱 시스템으로 구축한다는 것은 기반 모델이 창의적 의도를 추론하고, 수십 개의 도구를 조율하며, 내러티브 흐름에 대한 판단을 내릴 수 있어야 한다는 것을 의미했습니다.
Descript는 "문제를 일으키지 마라", "내가 요청한 대로 하라", "잘 하라"이라는 3가지 차원을 중심으로 구축된 내부 프레임워크를 사용하여 프론티어 모델들을 평가했습니다. 팀은 실제 사용자 요청을 기반으로 100개 이상의 테스트 케이스를 실행했으며, 까다로운 편집 사례에 비중을 두었습니다. 각 테스트는 팀이 인간 검토자를 기준으로 보정한 LLM-as-judge로 채점됩니다. Opus 4.6은 사용자 의도 반영률에서 주요 프론티어 모델 대비 13~23% 높은 성능을 보였으며, 품질 면에서도 우위를 보였습니다.
그 첫 번째 차원, 즉 사용자 프로젝트의 원본을 보존하는지 여부가 가장 중요했습니다. 팀은 사용자가 Underlord가 지나치게 개입하는 것보다 창의적 선호도를 완벽히 반영하지 못하는 것에 훨씬 더 관대하다고 말했습니다. AI 프로덕트 책임자인 Aleks Mistratov는 "'지나쳤다'고 말할 때 느끼는 분노는 취향을 제대로 맞추지 못했을 때보다 훨씬 크다"고 말했습니다.
비디오 편집 대부분은 결국 취향의 문제입니다. Mistratov는 "Claude 모델은 매우 모호하고 추상적인 취향 설명을 사용자의 의도에 전반적으로 부합하는 구체적인 편집으로 변환하는 데 더 뛰어나다는 것을 확인했습니다"라고 말했습니다. "이를 통해 사용자의 개입을 최소화하면서도 더 세련된 최종 영상을 제작할 수 있습니다."
결과
Claude를 활용한 Underlord가 편집 과정을 어떻게 변화시키는가
Descript는 Underlord의 모델 선택기를 통해 Claude 모델의 세 가지 등급을 모두 제공합니다. 대부분의 사용자를 위한 기본 모델인 Sonnet, 품질을 우선시하는 엔터프라이즈 고객을 위한 Opus, 빠르고 반복적인 세션을 위한 Haiku입니다. Underlord 사용자의 3분의 2 이상이 Claude 모델을 기본값으로 설정하거나 선택하고 있습니다.
이러한 장점은 창의적인 추론이 요구되는 작업에서 가장 명확하게 드러납니다. 사용자가 최면요법 녹음을 업로드하고, Underlord에게 치료 효과가 있기 때문에 일시정지를 길이거나 짧아야 할 위치를 추천해 달라고 요청합니다. 팟캐스트 호스트는 음악 전환 조정, 발화자 간 레벨 균형, 챕터 마커 추가와 같은 오디오 개선 사항의 상세한 목록을 제공합니다. Mistratov는 "이러한 작업에서 Opus는 다른 주요 모델들을 능가합니다"라고 말했습니다.
Underlord의 진가는 협업 워크플로우에서 발휘됩니다. 사용자가 '스크립트에서 인포그래픽이 요점을 전달하는 데 도움이 될 수 있는 부분을 강조 표시해 줄 수 있어?'라고 물을 수 있습니다. 그런 다음 제안을 검토하고, 동의하지 않는 부분은 반박합니다. Mistratov는 "단일 요청 방식과 워크플로우로는 이런 유형의 협업 워크플로우가 불가능했지만, 이제 에이전트를 통해 훨씬 더 가능해졌습니다"라고 말했습니다.
Descript의 철학은 Underlord가 "즉각적으로 최종 결과물을 완성하는 도구가 아니라, 창작을 지원하는 공동 편집자"가 되어야 한다는 것입니다. 이를 통해 사용자는 주도적인 역할을 유지하고, Underlord는 반복적이고 지루한 작업을 처리합니다. "번거로운 일을 줄이면서도 사용자와 크리에이터가 통제권을 유지한다는 것에 대해 훨씬 더 긍정적인 반응이 있습니다"라고 Mistratov는 말했습니다.
수치도 이와 비슷한 양상을 보여줍니다. 에이전트 사용자는 에이전트 미사용자보다 내보내기 비율이 8.6% 높고, 내보내기당 편집 횟수도 50% 가까이 많습니다. 이는 Underlord가 창작 과정을 대체하는 것이 아니라, 이를 더욱 심화시키고 있음을 시사합니다. 이제 Descript 프로젝트의 30% 이상이 프로젝트 수명 주기 중 어느 시점에서든 에이전틱 편집을 활용하고 있습니다.
미래를 향하여
Descript의 생은 폭넓은 컨텍스트와 저수준 도구를 갖춘 범용 에이전트를 구축하면 프론티어 모델 지능의 발전을 그대로 활용할 수 있다는 것이었습니다. 그 생각은 옳았습니다. Descript가 Opus 4.5에서 4.6으로 업그레이드했을 때, 에이전트 하네스에는 아무런 변경 없이도 오프라인 평가 전반에 걸쳐 품질 지표가 향상되었습니다. Opus 4.6은 지금까지 가장 빠른 모델 통합 사례이기도 했습니다. 출시부터 모델의 강점과 약점을 파악하기까지 반나절밖에 걸리지 않았습니다. 팀은 이제 멀티턴 성공 지표에 집중하고 있습니다. 단일 쿼리 평가를 넘어, 전체 협업 편집 세션에 걸친 에이전트의 성능을 종합적으로 평가하는 방향으로 나아가고 있습니다.
Descript 팀의 입장에서 가장 의미 있는 영향은 파워 유저의 효율성 향상이 아닙니다. 애초에 영상을 제작할 수 있는 사람의 범위를 넓히는 것입니다.
Mellon은 "Underlord는 일주일에 영상 5개를 제작하는 전문 사용자의 효율성을 훨씬 더 높여줄 수 있습니다"라고 말했습니다. "하지만 학생들을 위해 매력적인 콘텐츠를 만들고 싶지만 복잡한 NLE 소프트웨어를 배울 시간이 없는 교사나, 브랜드 메시지를 한층 강화하고 싶은 시간이 부족한 소규모 자영업자에게는 훨씬 더 큰 가능성을 열어줍니다."
"학생들을 위해 매력적인 콘텐츠를 만들고 싶지만 시간이 부족한 교사나, 브랜드 메시지를 한층 강화하고자 하는 시간이 부족한 소규모 자영업자에게 새로운 가능성을 열어줍니다."
Descript AI 엔지니어링 책임자