Prosper Global accelera la risposta umanitaria globale al feedback della comunità con Claude

Quando una segnalazione grave resta in coda

I meccanismi di feedback da parte delle comunità rappresentano un requisito fondamentale nell’ambito dell’operato umanitario e fanno parte della responsabilità del settore nei confronti delle persone che assiste. CARM è la risposta di Prosper Global. Offre ai partecipanti ai programmi di Prosper Global e alle persone che vivono intorno a loro un modo per dire all'organizzazione cosa funziona, cosa no e quando qualcosa è andato storto. Si va dalle domande sull'assistenza alle segnalazioni relative alla tutela, fino ai reclami sulla condotta del personale. Le segnalazioni arrivano tramite hotline, moduli, help desk e conversazioni di persona, molto spesso in una delle decine di lingue locali, dal birmano all'ucraino, dallo spagnolo al francese. Prima di Claude, qualcuno doveva trascrivere ogni segnalazione, tradurla, leggerla, decidere in quale ambito assegnarla, valutarne la gravità rispetto alle linee guida dell'organizzazione e inoltrarla a chi di dovere per intervenire.

La maggior parte dei report riguarda normali feedback sui programmi. Alcuni no. “Il senso stesso del principio di responsabilità è che la persona che ha sollevato il problema ha fiducia nel fatto che la ascoltiamo, interveniamo e forniamo un riscontro in tempi rapidi”, ha dichiarato Nayid Orozco, AI Solutions and Delivery Manager presso Prosper Global. “Se una segnalazione grave resta in coda senza essere letta o viene registrata come routinaria quando avrebbe dovuto essere sottoposta ai livelli superiori, non abbiamo solo perso un dato. Abbiamo deluso qualcuno che si è esposto per far sentire la propria voce e potremmo aver lasciato irrisolto un problema di protezione.”

Le criticità sono emerse in tre ambiti: volume, lingua e coerenza. I team ricevevano più feedback di quanto potessero elaborare rapidamente, i dialetti locali erano difficili da tradurre e da gestire e due persone potevano valutare lo stesso caso in modo diverso. L'onere maggiore era dovuto al tempo impiegato dal personale e ai ritardi. “La velocità e la corretta classificazione della gravità contraddistinguono un meccanismo che protegge le persone da un sistema che si limita a raccogliere moduli”, ha affermato Orozco.

Criteri che potrebbero squalificare un modello

Per il triage di casi che potevano riguardare questioni di tutela, le prime domande “non riguardavano la velocità”, ha ricordato Orozco. “Riguardavano dati, responsabilità e controllo.“ Prosper Global aveva bisogno di un provider che non utilizzasse i dati dell'organizzazione per l'addestramento, che conservasse gli input per il minor tempo possibile e che fosse in grado di mostrare certificazioni reali anziché promesse. I termini commerciali di Anthropic soddisfacevano entrambi i requisiti e, insieme alle certificazioni ISO 27001, ISO 42001 e SOC 2, “Sono stati ciò che ci ha permesso anche di avviare la conversazione”, ha dichiarato Orozco.

“Ciò che avrebbe squalificato un modello sarebbe stata qualsiasi ambiguità sull'utilizzo dei dati o qualsiasi segnale che potesse inventare con sicurezza informazioni su contenuti sensibili”, ha spiegato Orozco. “Abbiamo testato il modello con casi reali, verificando l'output, invece di fidarci sulla parola”.

Un collega del team CARM ha fatto analizzare a Claude 20 casi reali di feedback, valutati secondo le linee guida standard del team e ha quindi confrontato i risultati con le valutazioni umane originali. Le valutazioni di Claude sono risultate in linea in circa il 75% dei casi. “La parte più utile sono state le divergenze”, ha osservato Orozco. Alcune erano riconducibili a una reale ambiguità nella griglia di valutazione, mentre altre hanno spinto il team a verificare se la valutazione umana originale fosse davvero corretta. “Ci ha fornito una base di riferimento per la valutazione automatizzata e ha funzionato come audit della nostra coerenza”, ha affermato. “Il motivo per cui ci ha dato la fiducia necessaria per continuare è che le divergenze erano spiegabili e informative, non casuali”. Inizialmente, il team ha scoperto che Claude a volte cambiava valutazione quando lo stesso caso veniva ripetuto. Tuttavia, dopo aver perfezionato le definizioni dei criteri di valutazione e le indicazioni fornite a Claude, il sistema ha prodotto classificazioni più coerenti e accurate.

La fiducia doveva essere conquistata anche sul fronte degli approvvigionamenti, non solo nell'ambito delle risposte del modello. Prosper Global collabora con Anthropic tramite l'interfaccia Claude Enterprise per il lavoro quotidiano e la Claude API per le attività di produzione, come la valutazione automatizzata, in base a un unico insieme di condizioni commerciali e a un unico accordo sul trattamento dei dati. Il team ha completato i moduli per i fornitori e una valutazione formale d'impatto sulla privacy basata sulla documentazione pubblicata da Anthropic. “Per un'organizzazione non profit che non dispone di un grande team di approvvigionamento o di sicurezza, quel consolidamento ha davvero accorciato la fase di revisione”, ha aggiunto.

Come funziona: le persona hanno ancora la responsabilità delle decisioni

Nel flusso di test attuale, le segnalazioni che arrivano spesso sono nella lingua locale. Gli identificatori diretti e i contenuti più sensibili vengono individuati e oscurati, quindi Claude traduce la segnalazione in un inglese chiaro, la tagga per tema e propone un grado di gravità in base alla matrice di classificazione a sei livelli del team, con una breve motivazione. Un membro del personale CARM esamina il risultato rispetto all'originale e conferma o modifica la valutazione. Il lavoro viene eseguito tramite l'interfaccia di Claude Enterprise con indicazioni per la valutazione caricate come conoscenza condivisa del progetto.

“Claude non prende mai la decisione finale”, ha dichiarato Orozco. “Accelera la traduzione, l'operazione di tagging e una prima valutazione, ma un membro dello staff formato esamina sempre il risultato e si assume la responsabilità della decisione. Le comunità possono fidarsi del processo perché la responsabilità spetta ancora a una persona in carne e ossa, non a un modello”.

“Si tratta ancora di una fase di test, non di un sistema di produzione completamente integrato”, ha sottolineato Orozco. “CARM sta volutamente testando Claude e verificandone i risultati caso per caso prima di affidare al modello qualsiasi attività reale.” Il modello su cui il team sta lavorando è un progetto Claude condiviso che contiene le linee guida CARM sulla valutazione e i prompt standard, così la persona dello staff che gestisce il feedback in qualsiasi Paese, che Prosper Global definisce punto focale, può ottenere una traduzione coerente, un tagging dei temi e una valutazione suggerita senza dover creare autonomamente la configurazione. Nei prossimi mesi, Prosper Global prevede di collegare questa soluzione a Zendesk, il sistema di gestione del feedback che CARM usa.

“L'implementazione non riguarda tanto la tecnologia, quanto le persone”, ha osservato. “Significa formare i referenti su come scrivere i prompt e, cosa altrettanto importante, su come verificare la plausibilità di ciò che viene restituito.” Il team si sta ampliando solo man mano che i test mostrano risultati promettenti.