Mithilfe von Claude beschleunigt Prosper Global die globale humanitäre Reaktion auf Feedback der Community

Wenn eine wichtigte Meldung in der Warteschlange steht

Mechanismen für das Feedback von Community-Mitgliedern sind in der humanitären Arbeit eine Grundvoraussetzung und gehören zur Rechenschaftspflicht des Sektors gegenüber den Menschen, denen er hilft. CARM ist die Antwort von Prosper Global. Es gibt den Teilnehmenden an Prosper-Global-Programmen und den Menschen in ihrem Umfeld die Möglichkeit, der Organisation mitzuteilen, was funktioniert, was nicht und wann etwas schiefgelaufen ist. Das reicht von Fragen zur Unterstützung über Schutzbedenken bis hin zu Beschwerden über das Verhalten der Mitarbeitenden. Meldungen gehen über Hotlines, Formulare, Helpdesks und persönliche Gespräche ein – sehr oft in einer von Dutzenden lokalen Sprachen, von Birmanisch und Ukrainisch bis hin zu Spanisch und Französisch. Vor Claude musste jemand jeden Bericht transkribieren, übersetzen, lesen, entscheiden, einem Thema zuordnen, den Schweregrad anhand der Leitlinien der Organisation einstufen und ihn zur Bearbeitung weiterleiten.

Die meisten Berichte sind gewöhnliches Programmfeedback. Manche sind es nicht. „Der entscheidende Punkt bei der Rechenschaftspflicht ist, dass die Person, die das Anliegen geäußert hat, darauf vertraut, dass wir es hören, danach handeln und zeitnah darüber Bericht erstatten“, sagt Nayid Orozco, AI Solutions and Delivery Manager at Prosper Global. „Wenn eine schwerwiegende Meldung ungelesen in der Warteschlange liegt oder als Routinefall erfasst wird, obwohl sie hätte eskaliert werden müssen, haben wir nicht nur einen Datenpunkt verpasst. Wir haben jemanden enttäuscht, der das Risiko eingegangen ist, sich zu äußern, und wir haben möglicherweise ein Schutzproblem unbearbeitet gelassen.“

Die Belastung zeigte sich an drei Stellen: Volumen, Sprache und Konsistenz. Die Teams hatten mehr Feedback, als sie schnell verarbeiten konnten, lokale Dialekte ließen sich nur schwer übersetzen und beantworten, und zwei Personen konnten denselben Fall unterschiedlich bewerten. Das kostete den Mitarbeitenden Zeit und führte zu Verzögerungen. „Schnelligkeit und eine korrekte Einstufung des Schweregrads machen den Unterschied zwischen einem Mechanismus, der Menschen schützt, und einem, der lediglich Formulare sammelt“, so Orozco.

Kriterien, die ein Modell disqualifizieren könnten

Bei der Triage, die Fragen des Schutzbedarfs betreffen könnte, ging es bei den ersten Fragen „nicht um Geschwindigkeit“, erinnert sich Orozco. „Es ging um Daten, Verantwortung und Kontrolle.“ Prosper Global benötigte einen Anbieter, der nicht mit den eigenen Daten trainieren würde, der Eingaben nur so kurz wie möglich speichern würde und der echte Zertifizierungen statt bloßer Versprechen vorweisen konnte. Die Geschäftsbedingungen von Anthropic erfüllten beide Anforderungen, und zusammen mit den Zertifizierungen nach ISO 27001, ISO 42001 und SOC 2 „haben sie es uns überhaupt erst ermöglicht, das Gespräch aufzunehmen“, so Orozco.

„Was ein Modell disqualifiziert hätte, war jede Unklarheit bei der Datennutzung oder jedes Anzeichen dafür, dass es bei sensiblen Inhalten mit großer Überzeugung Dinge erfinden würde“, erklärt Orozco. „Wir haben es getestet, indem wir echte Fälle damit bearbeitet und das Ergebnis überprüft haben, anstatt uns einfach darauf zu verlassen.“

Ein Kollege bei CARM ließ 20 echte Feedback-Fälle von Claude anhand der Standardleitlinien des Teams bewerten und verglich die Ergebnisse dann mit den ursprünglichen Bewertungen durch Menschen. Claude hat in etwa 75 % der Fälle zugestimmt. „Der nützlichste Teil waren die Meinungsverschiedenheiten“, bemerkt Orozco. Einige ließen sich auf echte Mehrdeutigkeiten im Bewertungsraster zurückführen, und einige wenige veranlassten das Team, erneut zu prüfen, ob die ursprüngliche menschliche Bewertung richtig war. „Es gab uns eine Grundlage für die automatisierte Bewertung und diente als Überprüfung unserer eigenen Konsistenz“, sagt er. „Der Grund, warum es uns das Vertrauen gab, weiterzumachen, war, dass die Abweichungen erklärbar und lehrreich waren und nicht zufällig.“ Das Team stellte zunächst fest, dass Claude die Bewertung manchmal änderte, wenn derselbe Fall erneut ausgeführt wurde. Nachdem die Bewertungsdefinitionen und die Leitlinien für Claude verfeinert worden waren, lieferte das System jedoch konsistentere und genauere Klassifizierungen.

Vertrauen musste auch bei der Beschaffung erarbeitet werden – nicht nur bei den Antworten des Modells. Prosper Global arbeitet mit Anthropic über die Oberfläche von Claude Enterprise für die tägliche Arbeit und über die Claude API für Produktionsaufgaben wie die automatisierte Bewertung zusammen – auf Grundlage einheitlicher Geschäftsbedingungen und einer einzigen Vereinbarung über die Datenverarbeitung. Das Team hat seine Dienstleisterformulare ausgefüllt und eine formelle Folgenabschätzung zum Datenschutz auf Grundlage der veröffentlichten Dokumentation von Anthropic ausgearbeitet. „Für eine gemeinnützige Organisation, die kein großes Beschaffungs- oder Sicherheitsteam hat, hat diese Konsolidierung die Überprüfung wirklich verkürzt“, fügt er hinzu.

So funktioniert es: Die Entscheidung bleibt bei einer Person

Im aktuellen Testablauf geht ein Bericht ein – oft in der Landessprache. Direkte Identifikationsmerkmale und die sensibelsten Inhalte werden überprüft und geschwärzt, dann übersetzt Claude sie in klares Englisch, kategorisiert sie nach Themen und schlägt anhand der sechsstufigen Bewertungsmatrix des Teams eine Einstufung des Schweregrads mit einer kurzen Begründung vor. Ein CARM-Mitarbeiter prüft diese Ergebnisse anhand des Originals und bestätigt die Bewertung oder passt sie an. Die Arbeit wird über die Schnittstelle von Claude Enterprise abgewickelt, wobei Leitlinien zur Bewertung als gemeinsames Projektwissen geladen werden.

„Claude trifft nie die endgültige Entscheidung“, sagt Orozco. „Es beschleunigt Übersetzung, Tagging und eine Erstbewertung – aber ein geschulter Mitarbeiter überprüft immer das Ergebnis und trifft die Entscheidung. Communitys können dem Prozess vertrauen, da die Rechenschaftspflicht immer noch bei einer Person und nicht bei einem Modell liegt.“

„Wir befinden uns hier noch in der Testphase und nicht in einem vollständig integrierten Produktionssystem“, betont Orozco. „CARM testet Claude bewusst in einer Pilotphase und überprüft dessen Ergebnisse Fall für Fall, bevor wir es für irgendetwas im Live-Betrieb einsetzen.“ Das Modell, auf das das Team hinarbeitet, ist ein gemeinsames Claude-Projekt mit den CARM-Bewertungsleitlinien und Standardprompts, sodass die für Feedback zuständige Person in jedem Land – bei Prosper Global „Focal Point“ genannt – konsistente Übersetzungen, Themen-Tags und einen Bewertungsvorschlag erhalten kann, ohne die Einrichtung selbst vornehmen zu müssen. In den kommenden Monaten plant Prosper Global, dies mit Zendesk, dem eigenen Feedback-Management-System für CARM, zu verbinden.

„Bei der Einführung geht es weniger um die Technologie als um die Menschen“, bemerkt er. „Es bedeutet, die Focal Points darin zu schulen, wie Prompts formuliert und – genauso wichtig – wie die Ergebnisse auf Plausibilität geprüft werden.“ Das Team expandiert nur in dem Maße, in dem die Tests ihm Sicherheit geben.