Prosper Global, Claude로 지역사회 피드백에 대한 글로벌 인도주의 대응 속도 향상

심각한 신고가 대기열에서 쌓여 있을 때

지역사회 피드백 체계는 인도주의 활동 전반에서 기본적으로 요구되는 사항이며, 인도주의 부문이 지원 대상자에게 지는 책무의 일부입니다. CARM은 Prosper Global의 해답입니다. CARM은 Prosper Global 프로그램 참가자와 그 주변 지역 주민들이 효과가 있는 부분과 그렇지 않은 부분, 그리고 문제가 발생한 경우를 조직에 알릴 수 있는 방법을 제공합니다. 여기에는 지원에 관한 문의부터 보호(세이프가딩) 관련 우려, 직원 행동에 대한 불만 사항까지 포함됩니다. 신고는 핫라인, 양식, 헬프 데스크, 대면 상담을 통해 접수되며, 미얀마어와 우크라이나어부터 스페인어, 프랑스어에 이르기까지 수십 가지 현지 언어로 작성되는 경우가 많습니다. Claude 도입 이전에는 누군가가 각 신고를 전사하고, 번역하며, 검토한 뒤 어떤 주제에 해당하는지 결정하고, 조직의 지침에 따라 심각도를 평가한 다음, 조치가 이루어지도록 전달해야 했습니다.

대부분의 신고는 일반적인 프로그램 피드백입니다. 하지만 그렇지 않은 경우도 있습니다. Prosper Global의 AI 솔루션 및 구축·운영 매니저인 Nayid Orozco는 이렇게 말합니다. "책무성의 핵심은 우려를 제기한 사람이 우리가 그 의견을 듣고, 조치를 취하며, 적시에 결과를 알려줄 것이라고 신뢰하는 데 있습니다. 심각한 신고가 대기열에서 읽히지 않은 채 방치되거나, 상위 단계로 보고해야 할 때 일반적인 사항으로 기록된다면, 우리는 단순히 데이터 포인트 하나를 놓친 것이 아닙니다. 위험을 무릅쓰고 목소리를 낸 누군가를 실망시켰고, 보호 문제를 해결하지 못한 채 방치했을 수도 있습니다."

이러한 부담은 처리량 언어, 일관성의 세 가지 영역에서 드러났습니다. 팀은 신속하게 처리할 수 있는 수준보다 많은 피드백을 받았고, 현지 방언은 번역과 응답이 어려웠으며, 두 사람이 동일한 케이스를 서로 다르게 평가할 수도 있었습니다. 그 대가는 직원들의 시간 소모와 처리 지연이었습니다. "속도와 정확한 심각도 평가가 사람들을 보호하는 체계와 단순히 양식만 수집하는 체계를 구분하는 차이입니다."라고 Orozco는 말합니다.

모델의 자격을 박탈할 수 있는 기준

보호(세이프가딩) 사안과 관련될 수 있는 분류 작업에서 첫 번째 질문은 "속도에 관한 것이 아니었습니다. 데이터, 책임, 통제에 관한 것이었습니다.""라고 Orozco는 회상했습니다. Prosper Global은 자사 데이터로 모델을 학습하지 않고, 가능한 한 짧은 기간 동안만 입력 정보를 보관하며, 약속이 아닌 실제 인증을 제시할 수 있는 공급업체가 필요했습니다. Orozco는 Anthropic의 상업용 약관이 두 가지 요구 사항을 모두 충족했으며, ISO 27001, ISO 42001, SOC 2 인증과 함께 "애초에 대화를 시작할 수 있게 해 준 요소"였다고 설명했습니다.

"모델의 자격을 박탈할 수 있는 요인은 데이터 사용에 대한 모호함, 또는 민감한 콘텐츠에 대해 사실이 아닌 내용을 자신 있게 생성할 징후"였다고 Orozco는 설명했습니다. "그냥 믿고 맡기는 것이 아니라, 실제 사례를 모델로 처리해 보고 결과물을 검증하는 방식으로 테스트했습니다."

한 CARM 동료가 실제 피드백 사례 20건을 Claude로 처리해 팀의 표준 지침에 따라 평가하게 한 다음, 그 결과를 사람이 직접 부여한 원래 평가와 비교했습니다. Claude의 평가는 약 75%의 경우에서 사람의 평가와 일치했습니다. Orozco는 "가장 유용했던 부분은 의견이 일치하지 않은 사례들"이었다고 말했습니다. 일부는 평가 기준표 자체의 실제 모호함에서 비롯되었고, 몇몇은 팀이 기존에 사람이 부여한 등급이 적절했는지 다시 검토하는 계기가 되었습니다. "이를 통해 자동 평가의 기준선을 마련할 수 있었고, 우리 자체의 일관성을 점검하는 감사 역할도 했습니다."라고 그는 말했습니다. "계속 진행할 수 있다는 확신을 얻은 이유는 차이가 무작위적이지 않고, 설명 가능하며 시사점을 주었기 때문입니다." 팀은 처음에 동일한 사례를 다시 실행하면 Claude가 때때로 다른 등급을 부여한다는 사실을 발견했습니다. 그러나 Claude에 제공된 등급 정의와 지침을 개선한 후, 시스템은 더 일관되고 정확한 분류 결과를 생성했습니다.

또한 모델의 답변뿐만 아니라 조달 측면에서도 신뢰를 확보해야 했습니다. Prosper Global은 단일 상업용 약관과 단일 데이터 처리 계약하에 Anthropic과 협력하며, 일상 업무에는 Claude Enterprise 인터페이스를, 자동 등급 평가 등의 프로덕션 업무에는 Claude API를 활용합니다. 팀은 Anthropic이 게시한 문서를 바탕으로 공급업체 양식과 공식적인 개인정보 보호 영향 평가를 작성했습니다. "대규모 조달 팀이나 보안 팀이 없는 비영리 조직에서는 이러한 통합으로 검토 기간이 실제로 단축되었습니다."라고 그는 덧붙였습니다.

작동 방식: 결정권은 여전히 사람에게 있습니다.

현재 테스트 프로세스에서는 신고가 접수되며, 대개 현지 언어로 작성되어 있습니다. 직접 식별자와 가장 민감한 내용을 검토해 삭제 처리한 다음, Claude는 내용을 명확한 영어로 번역하고 주제별로 태그를 지정하며, 팀의 6단계 등급표를 기준으로 간단한 근거와 함께 심각도 등급을 제안합니다. CARM 직원은 해당 결과물을 원본과 대조하여 검토하고, 등급을 확정하거나 조정합니다. 이 작업은 Claude Enterprise 인터페이스를 통해 진행되며, 공유 프로젝트 지식으로 평가 지침이 등록됩니다.

Orozco는 말합니다 "Claude는 절대 최종 결정을 내리지 않습니다. 번역, 태깅, 1차 등급 판정 속도를 높여 주기는 하지만, 항상 교육받은 직원이 결과물을 검토하고 결정권을 갖습니다. 책임은 여전히 모델이 아닌 사람에게 있기 때문에 지역사회는 이 프로세스를 신뢰할 수 있습니다."

"우리는 아직 테스트 단계에 있으며, 완전히 통합된 프로덕션 시스템은 아닙니다."라고 Orozco는 강조합니다. "CARM은 의도적으로 Claude를 시범 운영하며, 실제 운영 업무를 맡기기 전에 사례별로 결과를 확인하고 있습니다." 팀이 목표로 하는 방식은 CARM 평가 지침과 표준 프롬프트를 포함한 공유 Claude 프로젝트로, 이를 통해 어느 국가에서든 피드백을 처리하는 직원(Prosper Global에서는 '포컬 포인트'라고 부름)이 직접 설정을 구축하지 않고도 일관된 번역, 주제 태그 지정, 제안 등급을 받을 수 있습니다. Prosper Global은 앞으로 몇 달 안에 이를 자사의 CARM 피드백 관리 시스템인 Zendesk에 연결할 계획입니다.

"이번 도입은 기술보다는 사람에 관한 문제입니다."라고 그는 말합니다. "이는 담당자들에게 프롬프트 작성 방법과 더불어, 그에 못지않게 중요한 출력 결과의 타당성을 점검하는 방법을 교육한다는 의미입니다." 팀은 테스트를 통해 확신을 얻는 만큼만 범위를 확장하고 있습니다.