Mintlify는 Claude로 개발자 문서를 자동화하고 3배 더 빠르게 배포합니다

Matillion은 데이터 팀이 AI 및 분석을 진행하기 위한데이터 파이프라인을 구축하고 관리할 수 있도록 하기 위하여 도움을 드리는 데이터 통합 플랫폼입니다.‍

Cisco, London Stock Exchange Group, Slack을 포함한 수천 개의 기업에서는 인사이트, 운영 분석 작업, 머신러닝 애플리케이션을 하기 위하여 Matillion을 사용합니다.

Matillion에서는 Claude를 사용하여 다음과 같은 작업이 가능합니다.

• 레거시 코드베이스 자동적으로 변환: 기존의 ETL 프로세스를 수동으로 재구현 작업을 하지 않고도 마이그레이션합니다
• 자율적으로 데이터 작업 실시: 샘플링 작업부터 변환 작업을 위한 최적화까지 모든 작업을 기계적인 속도로 처리합니다
• 현업 작업 담당자 대상 셀프 서비스 지원: 전문적인 지식 없이 비즈니스 분석가가 데이터 인프라 구현이 가능합니다
• 기존의 파이프라인 유지 및 최적화: 지속적으로 성능을 향상시키고 변화되는 요구 사항에 적응합니다

최적의 기반 모델 선택하기

Matillion은 18개월의 기간을 거쳐 여러 개의 모델 공급 업체 테스트를 마친 후에 Claude를 선택했던 것입니다.

해당 평가 프레임 워크는 독점적인 도메인 특정 언어 이해, 복잡한 데이터 작업을 하기 위한 다단계 추론, 신뢰할 수 있는 도구 호출 결정이라는 세 가지 핵심 역량을 가지고 측정했던 것입니다.모든 Claude는 모든 지표에서 타사 모델을 지속적으로 능가하는 수준을 보였습니다. 구체적으로 뛰어난 수준을 보인 역량은 아래와 같습니다.

• 강력한 호출 기능 및 도구 호출 기능: Claude는 자율적인 데이터 파이프 라인을 관리하는 작업에 요구되는 적합한 도구 선택 및 복잡하게 이루어진 작업 순서를 지정하는 능력을 정교한 수준으로 보여주었습니다
• 안전성: 모델 버전 사이에서 안정적으로 성능을 유지하는 기능을 갖춘 Matillion은 프롬프트 아키텍처에 대한 전체 부분을 다시 설계하는 작업을 거치지 않고도 최신 Claude 버전으로 업그레이드할 수 있습니다
• 별도 숙련 과정 불필요: 공개적으로 알려진 교육 데이터가 없음에도 불구하고 Claude에서는 Matillion의 독자적인 YAML 기반 데이터 파이프라인(DPL)을 즉시 이해합니다
• 일관된 응답성: 원하는 결과물을 얻기 위해서 모델과 기술적으로 고군분투하는 상황을 겪지 않아도 됩니다

"Claude를 선택하기로 한 것은 데이터를 기반으로 전적으로 결정된 거였습니다."라고 Matillion의 AI 및 데이터 사이언스 책임자 Julian Wiffen은 설명했습니다.

"여러 개의 모델을 병렬로 놓고 테스트한 결과, Claude는 정확성과 신뢰성의 모든 부분에서 최고 수준의 결과물을 지속적으로 제공해 주었습니다."

당면한 난제: 처리되지 않은 업무로 한계치에 도달한 데이터 팀

데이터 엔지니어링 팀에서는 수요 상황에 따라 기민한 작업으로 대응하기 위해 고군분투하는 상황입니다. 대시보드를 요구하는 경영진이나 새로운 데이터 소스를요구하는분석가들은 이런 간단한 요청으로도 몇 주나 또는 몇 개월을 기다려야하는 상태입니다. 이런 난제는 더욱 심각해질 전망입니다.

데이터 생성형 AI 데이터를 도입하는 일은 이미 업무 과부하 상태에 다다른 데이터 팀의 업무적인 부담을 더욱 가중시키는 상황이기 때문입니다. 데이터 팀원들은 AI 프로세스에 공급하게 될 파이프라인을 구현해 내야 합니다. 뿐만 아니라, 이러한 시스템에서 생성하게 되는 홍수같은 방대한 데이터 양을 처리해야 하는 것입니다.

데이터 엔지니어링 작업은 핵심적인 병목 현상으로 부각되었습니다. 간단한 요청 작업조차도 수 개월의 기간에 걸친 처리되지 않은 병목 업무 현상을 해소해야 했습니다. 이는 조직 전체에 마찰을 빚는 상황을 일으키기도 했습니다.데이터 Matillion은 데이터 파이프라인 구현 및 유지보수 작업을 위한 폭발적인 수요 상황에 기민하게 대응하기 위해 기존의 접근 방식으로는 확장성이 부족한 상황이라는 점을 인색하게 된 것입니다.

구상 단계부터 상용화 단계 Maia가 탄생하다

Matillion이 자체적으로 개발한 데이터 파이프라인 언어(Data Pipeline Language)가 사람이 읽기 쉬운 수준인 동시에 기계도 해당 언어를 읽을 수 있는 수준이라는 사실을 발견하게 되면서 혁신적인 변화가 시작되었던 것입니다.

초기에는 공개적인 교육 데이터를 갖고 있지 않은 언어를 대규모 언어 모델(LLM)이 이해할 수 없는 수준이라고 생각했습니다.

그러나 Claude는 이러한 선입견을 불식시킨 것입니다.

이 모델에서는 YAML 기반 형식을 위한 정교한 이해력을 보여줍니다. 또한 지시 사항을 준수하며 일관된 수준으로 유효한 파이프라인 정의를 생성해 냈습니다.

Matillion은 세 개의 대규모 언어 모델을 협업으로 작업을 진행하며 정교한 테스트 프레임 워크를 구현해 냈습니다. 한 개의 모델에서는 Maia 작업을 실행하고, 다른 한 개의 모델에서는 테스터 역할을 실시했습니다. 세번째 모델에서는 결과물의 내용을 검증하는 심사관의 역할을 맡았습니다.

이와 같은 프레임 워크를 사용하여 실행 시간을 추적해 보고, 도구 선택 정확도를 알아보며, 시나리오 세트별로 토큰 소비량을 측정해 보는 등의 기능에 대한 성능을 가시적으로 평가하는 것이 가능했습니다.

단순 자동 문서화 작업에서 완전한 수준을 가진 에이전트 기능으로 단계가 발전하는 것에는 2년이라는 기간이 걸렸지만, 해당 결과물은 투자 가치를 입증해 낸 것입니다.
‍
Maia는 이제 도구 호출을 사용하여 데이터 생산성 클라우드에서 실시되는 거의 모든 기능에 접근할 수 있는 것입니다. 이런 기능은 전문가 데이터 엔지니어조차도 다루기 까다로운 작업인데 이러한 난이도 높은 작업을 실시하는 것입니다.

Precision Medicine Group의 엔터프라이즈 데이터 및 AI 서비스 디렉터인 Ammad Baig는 다음과 같이 밝혔습니다.

"Maia는 레거시 ETL 마이그레이션 작업부터 신뢰할 수 있는 수준의 논리적인 품질을 사용하여 머신 속도로 프로덕션 작업 준비를 마친 파이프라인 구현 작업까지 모든 작업을 처리해 드리는 것입니다"

"근본적으로 "이로써 우리가 다루는 워크플로우 속도를 가속화하면서 작업 담당자가 직접 처리해야 하는 부수적인 프로세스를 대폭 경감시키는것입니다."

데이터 팀의 생산성, 결과물로 재정의 하다

6월에 Maia의 공식적인 상용화가 진행된 이후, 고객님들은 작업 운영 방식에 상당한 변화된 상황을 경험하고 있는 중입니다. 팀에서는 기존의 리소스를 가지고도 더욱 풍부한 성과물을 거두고 있습니다. 이제는 분석가들이 이제는 전문 엔지니어링 기술을 요구됐던 데이터 인프라를 자체적으로 구현해 낼 수 있게 된 것입니다. 이러한 영향력은 시장 내 잠재적인 고객님을 넘어 확장되고 있습니다. Matillion 개발자의 80%가 Claude Code를 도입한 상태이며, 내부 설문 조사에 따르면 풀 리퀘스트 작업 소요 시간은 41% 단축됐다는 사실을 입증했습니다.

이것은 시너지 효과를 창출해 내는 것입니다. 실무 개발자가 이전에는 수석 개발자에게 맡겼던 업무를 처리하는 모습을 보이는 반면에 수석 개발자는 과거 전문 기술 리더만이 관리가 가능했던 작업을 실시합니다.

앞으로 Matillion에서는 Maia의 기능을 확장해 볼 계획입니다. 이로써 데이터 카탈로그, 기존 카탈로그, 기존 파이프라인 및 해당 문서에서 의미있는 정보를 추출하게 될 것입니다.

저희의 목표는 Maia가 각 고객님에 대한 고유한 데이터 환경 및 비즈니스 용어를 위한 도메인 전문성을 갖추실 수 있도록 만들어 드리는 것입니다.

즉, 데이터 베이스에 재무적인 가치를 정의 내리는 항목이 있다는 사실과 이것 뿐만이 아니라, 신뢰할 수 있는 최신 데이터 항목에는 어떤 것이 있는지까지 이해하실 수있도록 만들어 드리는 것입니다.

"이러한 유형으로 구성된 자세한 사항을 파악하면서 Maia에서는 이를 효율적으로 사용하도록 만들어 내는 것이 우리의 다음 과제인 것입니다." Julian은 이와 같이 설명했습니다.

"Anthropic의 모델이 핵심으로 우뚝 서게 될 것입니다."