El CISO de Uber habla sobre la creación de un programa contra amenazas internas para la IA

Uber gestiona uno de los mercados en tiempo real más grandes del mundo, con más de 40 millones de viajes y pedidos a domicilio al día. Philip Martin, director de seguridad de la información (CISO) de Uber, dirige el equipo que protege los datos de Uber, así como a los pasajeros, conductores y repartidores que usan la plataforma en el mundo real. Su equipo comenzó a trabajar con Claude en el modelado de amenazas antes de que existiera Claude Code, recopilando el contexto manualmente. Ahora, con Claude Fable, Claude recopila por sí solo ese contexto a partir del código, los documentos de diseño y el historial de tickets.

Martin cree que los agentes de IA necesitan el mismo tipo de programa contra amenazas internas que las empresas ya aplican a sus empleados. Hablamos con él sobre esa idea, sobre por qué presta tanta atención al uso indebido accidental y sobre cómo las herramientas de supervisión de código abierto de Uber funcionan junto con Enterprise Frontier Safeguards.

¿Cómo están cambiando los modelos de vanguardia el trabajo de tu equipo de seguridad?

La gran diferencia entre los modelos anteriores y los modelos de vanguardia de hoy es su capacidad para incorporar contexto adicional en horizontes temporales largos y, como resultado, generar resultados realmente específicos. Cuando hacemos revisiones de seguridad o modelamos amenazas para una aplicación de servicio determinada, podemos permitir que los modelos consuman mucho más contexto sobre el servicio, ya sea el código en sí, los documentos de diseño, las incidencias de Jira o el contexto histórico sobre lo que se supone que debe hacer el servicio y con qué interactúa.

Veo que empieza a ocurrir lo mismo con los equipos de agentes. Puedo imaginar un mundo en un futuro no muy lejano en el que cada servicio tenga un agente asociado que lo entienda muy bien, que esos agentes puedan hablar entre sí, de la misma forma que podrían hacerlo los servicios en producción, sobre el modelo de amenazas: este es mi modelo de amenazas, de aquí provienen mis datos. Ese efecto de equipo de agentes nos llevará al siguiente nivel de eficacia.

Uber trabajó con nuestro equipo de Enterprise Frontier Safeguards. ¿Por qué fue importante para Uber?

Algo que Anthropic y Uber tienen en común es un compromiso absoluto con la seguridad, aunque en contextos muy diferentes. Cuando en Uber pensamos en la seguridad, pensamos en la seguridad de los pasajeros y en la protección de los datos personales. Anthropic quiere evitar el uso indebido de sus modelos de vanguardia, pero Uber necesita proteger los datos de nuestros clientes, nuestros secretos comerciales y cualquier otra información de nuestra propiedad. Enterprise Frontier Safeguards nos permite alcanzar este equilibrio: las salvaguardas están implementadas, pero Anthropic no puede acceder a nuestros datos sin nuestro permiso.

Nos da el control de nuestros datos, de la mitigación de riesgos y de las acciones que decidamos tomar una vez que se active una salvaguarda. Creo que compartimos la responsabilidad de asegurarnos de que estos modelos se usen de forma segura y eficaz en el mundo.

Cuando tu equipo nos presentó el diseño, quedó claro que habíais escuchado nuestros comentarios. Nos pusisteis al volante. Esto nos permite proteger nuestros datos y, a la vez, seguir siendo administradores responsables de las capacidades de estos modelos.

¿Cómo encaja Enterprise Frontier Safeguards con la supervisión de seguridad que ya se ejecuta en las implementaciones de IA de Uber?

Hemos trabajado mucho desde el principio sobre cómo implementar la IA de forma segura en Uber. Recientemente lanzamos un producto de código abierto llamado AI Detection and Response (ADR) (opens in new tab), diseñado para recopilar telemetría en tiempo real y realizar acciones en tiempo real en los entornos de ejecución de agentes que implementamos.

Complementa las salvaguardas de Anthropic, porque ahora tenemos acceso a datos mejorados para detectar cuando un agente actúa fuera de sus límites y responder en tiempo real. Tenemos nuestra propia visión de lo que está sucediendo, además de los resultados del clasificador de Anthropic y podemos integrarlos ambos en nuestro entorno de detección general, de forma muy parecida a un entorno de ciberseguridad tradicional. Se trata de reunir el contexto de forma eficaz para tomar una decisión lo más rápido y con la mayor certeza posible.

Creo que veremos que Enterprise Frontier Safeguards se incorpora a ADR como fuente de datos. Junto con nuestra pasarela de LLM, que crea un perímetro y controla cómo se usa la IA en Uber, conforman nuestra arquitectura general de seguridad de IA.

¿A qué crees que deberían dar prioridad ahora los defensores a la hora de proteger los sistemas de IA?

Lo primero es la detección y la intervención en tiempo real: acercarse lo más posible a la persona que introduce un prompt en un entorno de ejecución, para poder decirle: “Probablemente no quieras hacer eso” o “La herramienta que va a invocar este modelo, el lugar al que va a conectarse, probablemente no sea algo que quieras que ocurra”.

Lo segundo es comprender mejor los patrones emergentes. Observamos las tendencias en el comportamiento del modelo y detectamos nuevos comportamientos que no sabíamos que fueran posibles. Eso se convierte en un ciclo. Analizamos los datos, en muchos casos con la ayuda de LLM, descubrimos estos comportamientos a medida que aparecen e incorporamos salvaguardas contra ellos en la plataforma en tiempo real. Luego surgen nuevos comportamientos, porque las restricciones crean nuevos comportamientos, y nosotros también los encontramos.

¿Qué les dirías a otros líderes que dudan sobre la supervisión que requieren los modelos de vanguardia?

La adopción de la IA es un imperativo empresarial. Llegará, lo queramos o no, y aportará beneficios reales a las empresas y a las personas de todo el mundo. Pero también existe un potencial real de perjuicio y los riesgos aumentan a medida que los modelos adquieren más capacidad y asumen un trabajo más complejo y autónomo.

Todas las empresas tienen ya un programa contra amenazas internas para su personal. Nadie discute eso. Aceptamos la retención de datos, a veces onerosa, y supervisamos cosas que preferiríamos no supervisar, porque sabemos que los humanos actúan de vez en cuando fuera de los límites de su función, por diversos motivos.

Los modelos de vanguardia presentan el mismo riesgo. Es posible que alguien indique a estos modelos que actúen fuera de las restricciones dentro de las cuales esperamos que operen. Por lo tanto, necesitamos la capacidad equivalente para la IA. Ese programa contra amenazas internas para modelos va a ser esencial para implementar estos sistemas de forma segura.

Más información sobre Enterprise Frontier Safeguards (opens in new tab).