Il CISO di Uber parla della creazione di un programma contro le minacce interne per l'IA

Uber gestisce uno dei più grandi marketplace in tempo reale al mondo, con oltre 40 milioni di corse e ordini di consegne al giorno. Philip Martin, Chief Information Security Officer (CISO) di Uber, guida il team che protegge i dati di Uber nonché dei passeggeri, dei conducenti e dei corrieri che utilizzano la piattaforma. Il suo team ha iniziato a collaborare con Claude sulla modellazione delle minacce prima ancora che Claude Code esistesse, assemblando il contesto manualmente. Ora, con Claude Fable, Claude raccoglie autonomamente questo contesto da codice, documenti di progettazione e cronologia dei ticket.

Martin ritiene che gli agenti IA abbiano bisogno dello stesso tipo di programma contro le minacce interne che le aziende già gestiscono per i propri dipendenti. Abbiamo parlato con lui di quest'idea, del perché si concentri così tanto sull'uso improprio accidentale e di come gli strumenti di monitoraggio open source di Uber funzionino insieme a Enterprise Frontier Safeguards.

In che modo i modelli di frontiera stanno cambiando il lavoro del team di sicurezza di cui sei a capo?

La differenza più significativa tra i modelli precedenti e quelli di frontiera di oggi è la loro capacità di incorporare contesto aggiuntivo su orizzonti temporali lunghi e, di conseguenza, generare output davvero specifici. Quando eseguiamo revisioni della sicurezza o modellazioni delle minacce per una determinata applicazione di servizio, possiamo lasciare che i modelli utilizzino molto più contesto sul servizio, che si tratti del codice stesso, dei documenti di progettazione, dei ticket in Jira o del contesto storico su ciò che il servizio dovrebbe fare e con cosa interagisce.

Vedo che lo stesso trend sta emergendo con i team di agenti. Posso immaginare un mondo, in un futuro non troppo lontano, in cui a ogni servizio è associato un agente che lo conosce molto bene, e questi agenti possono comunicare tra loro sul modello di minacce, così come potrebbero fare i servizi in produzione: “Questo è il mio modello di minacce ed ecco da dove provengono i miei dati.” Questo ci porterà a un livello di efficacia superiore.

Uber ha collaborato con il nostro team Enterprise Frontier Safeguards. Perché era importante per Uber?

Un aspetto che Anthropic e Uber hanno in comune è la profonda attenzione alla sicurezza, sebbene in contesti molto diversi. Quando in Uber pensiamo alla sicurezza, pensiamo alla sicurezza dei passeggeri e alla protezione dei dati personali. Anthropic vuole prevenire l'uso improprio dei propri modelli di frontiera, ma Uber deve proteggere i dati dei clienti, i segreti commerciali e qualsiasi altra informazione proprietaria. Enterprise Frontier Safeguards ci consente di raggiungere questo equilibrio: le misure di sicurezza vengono messe in atto, ma i nostri dati non sono accessibili ad Anthropic senza una nostra specifica autorizzazione.

Questo ci dà il controllo dei nostri dati, della mitigazione del rischio e delle azioni che decidiamo di intraprendere dopo l'attivazione di una misura di sicurezza. Condividiamo la responsabilità di assicurarci che questi modelli siano utilizzati in modo sicuro ed efficace nel mondo.

Quando il team ci ha illustrato il design, era chiaro che avesse ascoltato il nostro feedback. Le redini erano nostre. Questo ci consente di proteggere i nostri dati continuando a gestire in modo responsabile le capacità di questi modelli.

Come si integra Enterprise Frontier Safeguards con il monitoraggio della sicurezza che già viene eseguito sulle distribuzioni IA di Uber?

Fin dall'inizio abbiamo svolto moltissimo lavoro per capire come distribuire l'IA in modo sicuro all'interno di Uber. Di recente abbiamo reso open source un prodotto chiamato AI Detection and Response (ADR) (opens in new tab), progettato per raccogliere la telemetria e intraprendere azioni in tempo reale negli harness degli agenti che distribuiamo.

Integra le misure di sicurezza di Anthropic, perché ora abbiamo accesso a dati avanzati per rilevare quando un agente sta agendo al di là dei propri limiti e rispondere in tempo reale. Abbiamo la nostra visione di ciò che sta succedendo, oltre all'output del classificatore di Anthropic, e possiamo integrare entrambi nel nostro ambiente di rilevamento generale, proprio come un ambiente di sicurezza informatica tradizionale. La chiave è mettere insieme il contesto in modo efficace per prendere una decisione il più rapidamente possibile e con la massima certezza.

Penso che vedremo Enterprise Frontier Safeguards alimentare l'ADR come una fonte di dati. Insieme al nostro gateway LLM, che crea un perimetro e controlla come l'IA viene utilizzata all'interno di Uber, questi elementi costituiscono la nostra architettura di sicurezza complessiva per l'IA.

Su quale aspetto pensi che i difensori dovrebbero concentrarsi ora in via prioritaria quando si tratta di proteggere i sistemi IA?

In primis, il rilevamento e l'intervento in tempo reale: avvicinarsi il più possibile al momento in cui una persona inserisce un prompt in un harness, per poterle dire: “Probabilmente non vuoi farlo” oppure “Attenzione allo strumento che questo modello sta per richiamare o al luogo a cui sta per connettersi, probabilmente non vuoi che accada davvero”.

In secondo luogo è fondamentale comprendere meglio i pattern emergenti. Esaminiamo le tendenze nel comportamento dei modelli e rileviamo nuovi comportamenti che non pensavamo fossero possibili. Questo diventa un ciclo. Esaminiamo i dati, in molti casi con l'assistenza degli LLM, scopriamo i comportamenti man mano che compaiono e reintegriamo nella piattaforma in tempo reale misure di sicurezza per contrastarli. Poi emergono nuovi comportamenti, perché i vincoli creano nuovi comportamenti, e noi troviamo anche quelli.

Cosa diresti ad altri leader titubanti riguardo al monitoraggio richiesto dai modelli di frontiera?

L'adozione dell'IA è un imperativo aziendale. È una realtà, che lo vogliamo o no, e porterà vantaggi reali alle aziende e alle persone in tutto il mondo. Tuttavia, non dobbiamo trascurare il potenziale reale di danno e la posta in gioco aumenta man mano che i modelli diventano più capaci e assumono attività più complesse e autonome.

Ogni azienda gestisce già un programma contro le minacce interne per il proprio personale. Nessuno lo mette in discussione. Accettiamo la conservazione dei dati, che, a volte, è onerosa, e monitoriamo cose che preferiremmo non monitorare, perché sappiamo che gli esseri umani occasionalmente agiscono al di fuori del proprio ruolo, per una serie di motivi.

I modelli di frontiera introducono lo stesso rischio. Possono essere indotti ad agire al di fuori dei vincoli entro cui ci aspettiamo che operino. Pertanto, abbiamo bisogno di una capacità equivalente per l'IA. Il programma contro le minacce interne per i modelli sarà essenziale per distribuire questi sistemi in modo sicuro e protetto.

Scopri di più su Enterprise Frontier Safeguards (opens in new tab).