더 읽어보세요
Hebbia는 지식 노동을 위한 AI 플랫폼으로, 상위 50대 자산운용사 중 1/3 이상을 비롯해 1티어 투자은행 및 법률 회사에 서비스를 제공하고 있습니다. Hebbia는 방대한 양의 복잡한 문서를 분석하고 실행 가능한 인사이트를 도출하는 자사 플랫폼을 Claude로 구동합니다.
산업 전반의 지식 노동자는 방대한 양의 복잡한 정보를 효율적이고 정확하게 처리, 분석, 추출해야 하는 중대한 과제에 직면해 있습니다. 데이터 양이 기하급수적으로 증가함에 따라, RAG 같은 기존 검색 방법은 의미 있는 인사이트에 필요한 뉘앙스, 컨텍스트, 규모를 처리하지 못하며 한계를 드러내고 있습니다.
이러한 과제는 금융과 법률 분야에서 특히 심각합니다. 이 분야의 전문가는 수천 건의 밀도 높은 문서를 분석해 여러 단계의 추론이 필요한 중요한 의사결정을 내려야 하기 때문입니다. 기존 도구는 오히려 문제를 악화시킵니다. 프로덕트 매니저인 Divya Mehta에 따르면, 기본적인 AI 채팅 애플리케이션은 실제 쿼리의 84%를 처리하지 못합니다. "이러한 질문은 여러 문서에 걸친 방대한 양의 데이터를 분석해야 했습니다. 단순히 관련 텍스트를 검색하는 것만으로는 부족했으며, 유의미한 인사이트를 도출하기 위해서는 포괄적인 분석이 필요했습니다"라고 Divya Mehta는 설명했습니다. 사용자는 의미 있는 인사이트를 생성하려면 기존 도구로는 감당할 수 없던, 여러 문서에 걸쳐 방대한 양의 정보를 분석해야 했습니다.
Hebbia와 Claude의 관계에는 두 가지 측면이 있습니다. 고객에게 모델 선택지로 제공하는 동시에, 핵심 플랫폼 기능을 구동하는 데도 Claude 를 사용합니다. 고객 입장에서 Claude는 복잡한 분석 작업에 뛰어납니다. "사용자는 기술 문서, 신용 계약서, 법률 문서를 분석할 때, 특히 상세하고 서술적인 답변이 필요한 세부적인 질문을 할 때 Claude를 선택합니다"라고 Mehta는 말했습니다.
내부적으로 Hebbia는 메타 프롬프팅을 접근 방식의 초석으로 삼아 핵심 플랫폼 기능을 구축하는 데 Claude를 활용합니다. "Hebbia의 모든 메타 프롬프팅은 Sonnet을 사용하여 이루어집니다"라고 Mehta는 설명했습니다. 메타 프롬프팅을 통해 Hebbia는 다양한 유형의 분석 작업에 최적화된 프롬프트를 자동 생성하며, 본질적으로 다른 프롬프트를 생성하는 프롬프트를 만듭니다. 예를 들어, Hebbia 프롬프트 생성기는 "Anthropic 프롬프트 생성기에서 크게 영감을 받았습니다." 이러한 정교한 접근 방식 덕분에 사용자는 프롬프트 엔지니어링을 직접 마스터할 필요가 없어졌습니다다.
"Hebbia를 활용하는 투자 분석가는 자연어를 가장 뛰어난 성능의 프롬프트로 변환해 주는 Hebbia 덕분에 더 이상 프롬프트 엔지니어가 될 필요가 없다는 점을 높이 평가합니다"라고 Hebbia의 전략 리드인 Raymond Verbeke는 말합니다. 이러한 철학 덕분에 Hebbia는 핵심 혁신 분야인 복잡한 문서 분석 오케스트레이션에 집중하면서 핵심 플랫폼 기능에 Claude의 검증된 역량을 활용할 수 있습니다.
Hebbia의 Matrix를 통해 사용자는 수백 건의 문서를 동시에 분석할 수 있습니다. 사용자가 쿼리를 입력하면 Claude는 여러 방면으로 도움을 줍니다.
Hebbia는 Claude를 플랫폼에 통합하여 문서 분석을 가속화하고 정확도를 개선합니다. 대규모 문서 세트를 병렬로 처리하는 플랫폼의 능력 덕분에 "700행을 실행하는 것이 10행을 실행하는 것과 실제로 크게 다르지 않습니다"라고 Mehta는 말했습니다. 속도는 Hebbia 고객에게 가장 중요한 요소이며, 회사는 더 빠른 결과를 제공하기 위해 끊임없이 혁신하고 있습니다.
회사는 특히 Claude의 프롬프트 캐싱 기능을 활용한 분석 속도 향상에 큰 기대를 걸고 있습니다. 문서 처리에서 "프롬프트는 몇 개의 토큰에 불과하지만, 문서는 매번 정확히 동일합니다"라고 Mehta는 말했습니다. 문서 분석 시 95%의 토큰이 반복되므로, 프롬프트 캐싱으로 응답 시간을 최대 85%까지 단축할 수 있습니다. 이는 사용자가 분석에 대해 빠르게 후속 질문을 던져야 하는 상황에 핵심 역할을 합니다. "고객은 가장 빠른 시간 내에 최상의 답변을 원합니다. 프롬프트 캐싱을 통해 사용자가 후속 질문을 하는 즉시 답변을 로드할 수 있습니다"라고 Mehta는 말했습니다. 이러한 속도 덕분에 사용자는 실시간으로 다양한 관점과 인사이트를 탐색하며 분석을 더 심층적으로 수행할 수 있습니다.
Hebbia는 AI가 지식 노동자의 역량을 강화하여 일상적인 업무를 넘어 전략적이고 가치가 높은 업무에 집중할 수 있는 미래를 꿈꿉니다. "오늘날 가장 똑똑한 인재는 대학을 졸업하고 금융, 컨설팅 또는 법률 회사에서 일하며 대부분의 시간을 문서 검토, 스프레드시트 작성등 단순 작업에 보내고 있습니다"라고 Mehta는 지적했습니다. Hebbia는 이러한 시간 소모적인 활동을 자동화하여 인재의 잠재력을 온전히 끌어내는 것을 목표로 합니다. "모든 지식 노동자에게 이 기술을 제공한다면, 업계는 훨씬 더 많은 것을 달성할 수 있을 것입니다."
Hebbia는 완전 자율적인 AI 지식 노동자라는 비전을 향해 나아가고 있습니다. "3개월 후에는 사용자가 Hebbia에 폴더를 드롭하기만 하면 분석을 조율하고, 문서를 카테고리별로 분류하며, 모든 매트릭스를 실행하여 최종 보고서까지 작성하게 될 것입니다"라고 Mehta는 밝혔습니다. Hebbia는 5년 뒤에는 AI가 진정한 자율성을 갖게 되어 지식 업무에서 인간과 함께 귀중한 파트너로 일하는 미래를 전망합니다.
Claude를 핵심 동력으로 삼아 Hebbia는 단순히 문서 분석을 변화시키는 것이 아니라 지식 업무의 미래를 재정의하고 있으며, 인간이 더 크게 생각하고, 더 깊이 탐구하며, 그 어느 때보다 더 많은 것을 달성할 수 있는 세상을 만들어 가고 있습니다.