Prosper Global acelera la respuesta humanitaria global a los comentarios de la comunidad con Claude

Cuando un informe importante aguarda en cola

Los mecanismos de retroalimentación de la comunidad son un requisito básico en el trabajo humanitario y forman parte de la rendición de cuentas del sector hacia las personas a las que atiende. CARM es la respuesta de Prosper Global. Brinda a los participantes en los programas de Prosper Global y a las personas que viven en su entorno una manera de informar a la organización de lo que funciona y lo que no y de cuándo algo ha salido mal. Esto abarca desde preguntas sobre la asistencia hasta problemas de protección y quejas sobre la conducta del personal. Los informes llegan a través de líneas de atención telefónica, formularios, servicios de asistencia y conversaciones en persona, muy a menudo en una de las decenas de idiomas locales, desde el birmano y el ucraniano hasta el español y el francés. Antes de Claude, alguien tenía que transcribir cada informe, traducirlo, leerlo, decidir en qué tema encajaba, evaluar su gravedad en función de las directrices de la organización y derivarlo para que se tomaran medidas.

La mayoría de los informes son comentarios habituales sobre los programas. Otros no lo son. “El objetivo de la rendición de cuentas es que la persona que nos ha planteado la preocupación confíe en que la escuchamos, actuamos en consecuencia y le informamos de forma oportuna”, afirmó Nayid Orozco, responsable de soluciones de IA e implementación en Prosper Global. “Si un informe importante se queda en una cola sin leer o se registra como rutinario cuando debería haberse escalado, no solo hemos perdido un dato. Hemos decepcionado a alguien que se arriesgó a hablar y es posible que hayamos dejado sin resolver un problema de protección”.

La presión se manifestaba en tres ámbitos: volumen, idioma y coherencia. Los equipos recibían más comentarios de los que podían procesar rápidamente, los dialectos locales eran difíciles de traducir y de responder, y dos personas podían calificar el mismo caso de forma diferente. El coste era el tiempo del personal y los retrasos. “La velocidad y la clasificación correcta de la gravedad marcan la diferencia entre un mecanismo que protege a las personas y otro que solo recopila formularios”, dijo Orozco.

Criterios que podrían descalificar un modelo

En cuanto a la clasificación de casos que pudieran afectar a la protección, las primeras preguntas “no tenían que ver con la velocidad”, recordó Orozco. “Trataban de datos, responsabilidad y control”. Prosper Global necesitaba un proveedor que no usara sus datos para entrenar modelos, que conservara las entradas durante el menor tiempo posible y que pudiera mostrar certificaciones reales en lugar de promesas. Los términos comerciales de Anthropic cumplían ambos requisitos y, junto con las certificaciones ISO 27001, ISO 42001 y SOC 2, “son lo que nos permite siquiera iniciar la conversación”, dijo Orozco.

“Lo que habría descalificado un modelo era cualquier ambigüedad en el uso de los datos o cualquier señal de que inventaría cosas con total seguridad sobre contenido sensible”, explicó Orozco. “Hicimos las pruebas procesando casos reales con el modelo y verificando el resultado, no fiándonos sin más”.

Un colega de CARM procesó 20 casos reales de comentarios con Claude, que los evaluó según las directrices estándar del equipo, y después comparó los resultados con las calificaciones originales asignadas por personas. Claude coincidió en aproximadamente el 75 % de las veces. “La parte más útil fueron los desacuerdos”, señaló Orozco. Algunos se debían a una ambigüedad real en la rúbrica y unos pocos llevaron al equipo a volver a examinar si la evaluación humana original era la correcta. “Nos proporcionó un punto de referencia para la evaluación automatizada y funcionó como una auditoría de nuestra propia coherencia”, dijo. “La razón por la que nos dio confianza para continuar fue que las divergencias eran explicables e instructivas, no aleatorias”. Al principio, el equipo descubrió que Claude a veces cambiaba la calificación cuando se volvía a procesar el mismo caso. Sin embargo, después de refinar las definiciones de calificación y la orientación que se proporcionó a Claude, el sistema generó clasificaciones más coherentes y precisas.

La confianza también tenía que ganarse en el ámbito de las adquisiciones, no solo en las respuestas del modelo. Prosper Global trabaja con Anthropic a través de la interfaz de Claude Enterprise para el trabajo diario y de la Claude API para el trabajo de producción, como la clasificación automatizada, bajo un único conjunto de condiciones comerciales y un único acuerdo de procesamiento de datos. El equipo completó sus formularios de proveedor y una evaluación formal de impacto en la privacidad a partir de la documentación publicada de Anthropic. “Para una organización sin ánimo de lucro que no tiene un gran equipo de adquisiciones o seguridad, esa consolidación acortó realmente la revisión”, añadió.

Cómo funciona: una persona sigue siendo responsable de la decisión

En el flujo de prueba actual, llega un informe, a menudo en un idioma local. Los identificadores directos y el contenido más sensible se filtran y se suprimen; a continuación, Claude traduce el informe a un inglés claro, lo etiqueta por tema y propone un grado de importancia según la matriz de clasificación de seis niveles del equipo, con una breve justificación. Un miembro del personal de CARM revisa ese resultado en comparación con el original y confirma o ajusta la calificación. El trabajo se ejecuta a través de la interfaz de Claude Enterprise con las directrices de clasificación cargadas como conocimiento compartido del proyecto.

“Claude nunca toma la decisión final”, dijo Orozco. “Agiliza la traducción, el etiquetado y una calificación preliminar, pero un miembro del personal con formación siempre revisa el resultado y asume la responsabilidad de la decisión. Las comunidades pueden confiar en el proceso, porque la responsabilidad sigue recayendo en una persona, no en un modelo”.

“Todavía estamos en fase de pruebas, no es un sistema de producción totalmente integrado”, enfatizó Orozco. “CARM está realizando un piloto con Claude de forma deliberada y verifica los resultados de Claude caso por caso antes de confiar a la herramienta cualquier proceso en producción”. El modelo hacia el que avanza el equipo es un proyecto de Claude compartido que contiene las directrices de clasificación de CARM y los prompts estándar, de modo que el miembro del personal que gestiona los comentarios en cualquier país (lo que Prosper Global denomina un punto focal) pueda obtener una traducción coherente, el etiquetado de temas y una calificación sugerida sin necesidad de crear la configuración por su cuenta. En los próximos meses, Prosper Global tiene previsto conectarlo a Zendesk, su sistema de gestión de comentarios de CARM.

“La implantación tiene menos que ver con la tecnología que con las personas”, señaló. “Significa formar a los puntos focales sobre cómo crear un prompt y, lo que es igual de importante, cómo verificar que lo que se recibe tiene sentido”. El equipo crece solo a medida que las pruebas le dan confianza.