Der CISO von Uber über die Entwicklung eines Programms gegen Insider-Bedrohungen für KI

Uber betreibt einen der größten Echtzeit-Marktplätze der Welt – mit über 40 Millionen Fahrten und Lieferaufträgen täglich. Philip Martin, Chief Information Security Officer (CISO) von Uber, leitet das Team, das die Daten von Uber sowie die Fahrgäste, Fahrer und Kuriere schützt, die die Plattform im Alltag nutzen. Sein Team begann, mit Claude an der Bedrohungsmodellierung zu arbeiten, bevor es Claude Code gab, und trug den Kontext von Hand zusammen. Jetzt erfasst Claude mit Claude Fable diesen Kontext selbst aus Code, Designdokumenten und dem Ticketverlauf.

Martin ist der Ansicht, dass für KI-Agenten dieselbe Art von Programm gegen Insider-Bedrohungen benötigt wird, wie Unternehmen es bereits für ihre eigenen Mitarbeitenden betreiben. Wir haben mit ihm über diese Idee gesprochen, darüber, warum er sich so sehr mit versehentlichem Missbrauch befasst, und darüber, wie die Open-Source-Monitoring-Tools von Uber mit den Enterprise Frontier Safeguards zusammenarbeiten.

Wie verändern Frontier-Modelle die Arbeit Ihres Sicherheitsteams?

Der wirklich große Unterschied zwischen früheren Modellen und den heutigen Frontier-Modellen ist deren Fähigkeit, zusätzlichen Kontext über einen langen Zeithorizont zu integrieren und dadurch wirklich spezifische Ergebnisse zu erzielen. Wenn wir Sicherheitsüberprüfungen oder Bedrohungsmodellierung für eine bestimmte Serviceanwendung durchführen, können wir die Modelle viel mehr Kontext über den Service nutzen lassen – sei es der Code selbst, Designdokumente, Tickets in Jira oder der historische Kontext dazu, was der Service tun soll und womit er interagiert.

Ich sehe, dass sich bei Agententeams dasselbe abzeichnet. Ich kann mir vorstellen, dass es in nicht allzu ferner Zukunft eine Welt geben wird, in der jedem Dienst ein Agent zugeordnet ist, der diesen Dienst sehr gut versteht, und die eingesetzten Agenten – so wie es die Dienste in der Produktion tun könnten – über das Bedrohungsmodell miteinander sprechen können: Das ist mein Bedrohungsmodell, hier kommen meine Daten her. Dieser von Agententeams ausgehende Effekt wird uns noch effizienter machen.

Uber hat mit unserem Enterprise Frontier Safeguards-Team zusammengearbeitet. Warum war das für Uber wichtig?

Anthropic und Uber haben eines gemeinsam: einen tief verwurzelten Fokus auf Sicherheit, wenn auch in sehr unterschiedlichen Kontexten. Wenn wir bei Uber über Sicherheit nachdenken, denken wir an die Sicherheit der Fahrgäste und an den Schutz personenbezogener Daten. Anthropic möchte den Missbrauch seiner Frontier-Modelle verhindern, aber Uber muss seine Kundendaten, Geschäftsgeheimnisse und alle anderen proprietären Informationen schützen. Mit Enterprise Frontier Safeguards können wir dieses Gleichgewicht halten: Die Schutzmaßnahmen sind vorhanden, aber ohne unsere Zustimmung hat Anthropic keinen Zugriff auf unsere Daten.

Dadurch haben wir die Kontrolle über unsere Daten sowie über die Risikominderung und die Maßnahmen, für die wir uns nach dem Auslösen eines Sicherheitsmechanismus entscheiden. Ich denke, dass wir gemeinsam die Verantwortung dafür tragen, dass diese Modelle weltweit sicher und effektiv eingesetzt werden.

Als Ihr Team uns das Design vorgestellt hat, war klar, dass Sie unser Feedback berücksichtigt haben. Sie haben uns das Steuer überlassen. So können wir unsere Daten schützen und gleichzeitig auf verantwortungsvolle Weise die Fähigkeiten dieser Modelle verwalten.

Wie passt Enterprise Frontier Safeguards in die Sicherheitsüberwachung, die Sie bereits bei KI-Bereitstellungen bei Uber durchführen?

Wir haben von Anfang an intensiv daran gearbeitet, wie wir KI bei Uber sicher einsetzen können. Vor Kurzem haben wir ein Produkt namens AI Detection and Response (ADR) (opens in new tab) als Open Source veröffentlicht, das Telemetriedaten in Echtzeit erfasst und in den von uns eingesetzten Agenten-Harnesses in Echtzeit Maßnahmen ergreift.

Es ergänzt die Sicherheitsmaßnahmen von Anthropic, denn wir haben jetzt Zugriff auf erweiterte Daten, um zu erkennen, wenn ein Agent über seine Grenzen hinaus handelt, und können in Echtzeit reagieren. Wir haben unsere eigene Sicht auf das, was vor sich geht, sowie die Ergebnisse des Klassifikators von Anthropic. Wir können beides in unsere gesamte Erkennungsumgebung integrieren – ähnlich wie in einer herkömmlichen Cybersicherheitsumgebung. Es geht darum, den Kontext effektiv zusammenzustellen, um so schnell und so sicher wie möglich zu einer Entscheidung zu kommen.

Ich denke, Enterprise Frontier Safeguards werden künftig als Datenquelle in ADR einfließen. Zusammen mit unserem LLM-Gateway, das einen Perimeter erstellt und kontrolliert, wie KI innerhalb von Uber genutzt wird, bilden sie unsere gesamte KI-Sicherheitsarchitektur.

Worauf sollten sich Verteidiger Ihrer Meinung nach als Nächstes konzentrieren, wenn es um die Absicherung von KI-Systemen geht?

Nummer eins ist die Erkennung und Intervention in Echtzeit: so nah wie möglich an den Menschen heranzukommen, der einen Prompt in ein Harness eingibt, um ihm sagen zu können: „Das möchten Sie wahrscheinlich nicht tun“ oder „Das Tool, das dieses Modell gleich aufrufen wird, bzw. der Ort, mit dem es sich gleich verbinden wird, ist wahrscheinlich nichts, was Sie wollen.“

Der zweite Punkt ist, aufkommende Muster besser zu verstehen. Wir beobachten Trends im Modellverhalten und entdecken neue Verhaltensweisen, von denen wir nicht wussten, dass sie möglich sind. Daraus wird ein Zyklus. Wir schauen uns die Daten an, in vielen Fällen mithilfe von LLMs, decken diese Verhaltensweisen auf, sobald sie auftreten, und bauen Schutzmaßnahmen dagegen wieder in die Echtzeitplattform ein. Dann entstehen neue Verhaltensweisen, weil Einschränkungen neue Verhaltensweisen verursachen – und wir finden auch diese.

Was würden Sie anderen Führungskräften sagen, die der für Frontier-Modelle erforderlichen Überwachung zögerlich gegenüberstehen?

Die Einführung von KI in Unternehmen ist unerlässlich. Sie kommt, ob wir wollen oder nicht, und sie wird Unternehmen und Menschen auf der ganzen Welt echte Vorteile bringen. Es gibt aber auch echtes Schadenspotenzial, und die Risiken steigen, wenn die Modelle leistungsfähiger werden und komplexe, autonome Aufgaben übernehmen.

Jedes Unternehmen hat bereits für seine Mitarbeitenden ein Programm gegen Insider-Bedrohungen. Darüber wird nicht diskutiert. Wir akzeptieren die manchmal lästige Datenaufbewahrung und überwachen Dinge, die wir lieber nicht überwachen würden, weil wir wissen, dass Menschen bei der Arbeit aus verschiedensten Gründen manchmal außerhalb der ihnen gesetzten Grenzen handeln.

Frontier-Modelle bergen das gleiche Risiko. Diese Modelle können so angewiesen werden, dass sie außerhalb der Grenzen agieren, innerhalb derer wir erwarten, dass sie arbeiten. Deshalb brauchen wir eine äquivalente Fähigkeit für KI. Dieses Programm gegen Insider-Bedrohungen bei Modellen wird entscheidend sein, um diese Systeme sicher und geschützt einzuführen.

Erfahren Sie mehr über Enterprise Frontier Safeguards (opens in new tab).