Wie Notion Agenten mit Claude Managed Agents bereitstellt und skaliert

Drei Wochen nach dem Start von External Agents zählte der kollaborative KI-Workspace Notion bereits 18.000 Kundenagenten und 90 % der Agentenaktivitäten liefen über automatisierte Trigger statt per Chat. Notion hat die Funktion mit Claude Managed Agents entwickelt. Dies ist eine Suite aus kombinierbaren APIs von Anthropic, mit der man Agenten in großem Maßstab entwickeln und bereitstellen kann. Produktmanager Eric Liu sprach mit Anthropic darüber, was Managed Agents getan haben und was ihn seit der Einführung am meisten überrascht hat.

Anthropic: Sie haben kürzlich External Agents auf Managed Agents veröffentlicht. Wie nutzen die Menschen sie tatsächlich?

Eric Liu, Notion: Wir möchten, dass Notion zur besten Kollaborationsplattform für Agenten und Teams wird. Ein wichtiger Teil dieser Mission ist es, die besten Agenten nativ in Notion bereitzustellen, und Claude steht ganz oben auf dieser Liste: Es ist der externe Agent, den die Leute in Notion am häufigsten verwenden möchten. Bisher wurden etwa 18.000 Claude-Agenten erstellt und diese Agenten haben etwa 140.000 Schritte ausgeführt. Wir waren angenehm überrascht, wie schnell der Rollout ablief und wie wenig Werbung wir dafür machen mussten. Ein großer Prozentsatz der Menschen, die Agenten in Notion entwickeln, erstellen jetzt Claude-Agenten. Die Nutzung hat enorm an Tiefe gewonnen: 90 % der Aufgaben, die Menschen mit Claude erledigen, sind Automatisierungen in Notion, die durch eine Notionseite, eine Slack-Nachricht oder einen Zeitplan ausgelöst werden. Es geht nicht um den direkten Chat mit Claude; es ist vielmehr die von uns entwickelte Automatisierungsschicht, die bei unseren Kunden gut ankommt. Unsere Top-Workspaces nutzen es vor allem für Multiplayer-Workflows: Ein Workspace beinhaltet drei oder vier Agenten, die täglich Dutzende von Threads ausführen, hauptsächlich durch Automatisierungen.

Anthropic: Wie würden Sie beschreiben, was Sie mit Managed Agents entwickelt haben?

Liu: Sie erstellen diese Softwarebausteine in Notion und können sie in jeden beliebigen Workflow einbauen. Wir haben beispielsweise ein Taskboard geschaffen, das als Orchestrator fungiert. Sie erstellen eine Aufgabe, stellen sie auf den Status „startklar“ und schon wird eine Claude-Sitzung aufgerufen. Claude sucht sich dann den Kontext aus den verknüpften Seiten, unserem Designsystem, API-Dokumenten und Dokumenten zu Produktanforderungen. Mit anderen Worten, Sie arbeiten mit Claude wie mit einem Kollegen zusammen.

Das Schöne daran ist, dass Sie nicht auf eine Aufgabe beschränkt sind. Kunden können gleichzeitig 30 oder 40 Aufträge anstoßen und unsere Plattform leitet sie dann zur Genehmigung an die richtige Person weiter. Die Leute automatisieren die Routinearbeit: die Bereinigung von Experiment-Flags und viele verschiedene Miniaufgaben in der Triage.

Anthropic: Warum haben Sie sich dafür entschieden, Managed Agents in Notion einzuführen?

Liu: Unsere Nutzer fragten nach Claude. Unsere Kunden möchten keinen Agenten verwenden, der mit einem anderen Agenten kommuniziert und erst noch eine Schleife drehen muss, um alles miteinander zu vereinen. Sie möchten einfach nur in Notion arbeiten und sagen: „Claude, hilf mir beim Erstellen dieser Webseite.“ Managed Agents war eine großartige Lösung, weil wir gerade die API eingeführt haben und es innerhalb des Produkts funktionierte.

Unser Fokus liegt dabei auf Notions Kernkompetenz: Ihrem Unternehmenswissen. Unser Agent kann Notion gut verwenden, aber er ist nicht der Beste im Programmieren. Die Claude-Modelle sind jedoch sehr gut darin. Und es gibt noch eine ganze Bandbreite anderer Dinge, die Claude wirklich gut generieren kann. Dies liegt daran, dass alle Agenten im Wesentlichen Programmieragenten sind. Und das eröffnet viele Anwendungsfälle außerhalb des Programmierens. Wenn Sie beispielsweise eine Präsentation für das Marketing oder den Vertrieb erstellen möchten, rufen Sie den jeweiligen Kontext dazu ab und erstellen daraus ein Artefakt, ob als PDF, Folien oder in einem anderen Format. Dieses Zusammentragen von Informationen zu einem Artefakt ist in etwa der gleiche Workflow, der beim Programmieren sehr gut funktioniert. Wir haben festgestellt, dass sich dies auch in den anderen Bereichen der Wissensarbeit durchsetzt.

Anthropic: Teams können Managed Agents auf drei Arten implementieren: als Claude-Markenagenten im Produkt, als markenunabhängige Engine hinter ihrem eigenen Agenten oder als interne Agenten. Warum nutzt Notion das Claude-Branding?

Liu: Unsere Vision mit Notion ist es, es zur Steuerungszentrale für Agenten zu machen: Die Nutzer können ihren Lieblingsagenten verwenden und ihn nativ in Notion einsetzen. Wenn Sie ein Kollaborationsprodukt anbieten, bildet die Möglichkeit, einen Agenten im Produkt verwenden zu können, den Kern der Nutzererfahrung. Der Vorteil bei der Nutzung von Claude ist, dass die Menschen der Intelligenz des Modells und der Erfahrung vertrauen.

Die Sitzung wird von Managed Agents in den Client von Notion gestreamt. Aber die Nutzer wissen nicht, dass dies passiert. Alles, was sie sehen, ist, dass Claude Dateien und Notion-Seiten schreibt, Dinge aktualisiert, kommentiert und alles tut, was Teamkollegen und andere Agenten tun können.

Anthropic: Was haben Managed Agents für Sie erledigt, das Sie nicht selbst entwickeln mussten?

Liu: Eine Infrastrukturebene, die komplexe Aufgaben erledigen kann, war sehr wichtig. Diese Fähigkeit, Aufgaben weiterhin auszuführen, den Speicher zu verwalten und im Laufe der Zeit hochwertige Ergebnisse zu erzielen, ist eine äußerst wichtige Ebene, die auf dem Modell selbst aufbaut.

Die größte Überraschung war, dass wir nichts davon einrichten mussten. All die Skills, all die verschiedenen Pakete, die wir benötigen – es war sehr einfach, alles einzurichten und zum Laufen zu bringen.

Auch die Sandbox ist wirklich wichtig, wenn Sie Anwendungsfälle für das Programmieren unterstützen möchten. Ein Teil unseres Workflows für Nutzer besteht darin, ihr GitHub-Konto zu verbinden, wodurch sie ihre Repositories importieren und den Code ausführen können. Der GitHub-Endpunkt in den Managed Agents war wirklich hilfreich.

Anthropic: Sie haben gesagt, dass die meisten Agententools für Einzelpersonen entwickelt wurden, die mit einem einzelnen Agenten arbeiten. Was funktioniert nicht mehr, wenn Unternehmen versuchen, dies zu skalieren?

Liu: Die Herausforderung bei der Bereitstellung von Agenten in großem Maßstab besteht in der Zusammenarbeit. Im Moment fühlen sich Agenten sehr nach einer Zusammenarbeit zwischen zwei Parteien an: Sie und ein Agent in einer Benutzeroberfläche. Aber wie sieht das für Ihr gesamtes Team aus, mit sämtlichen Genehmigungsprozessen und allem, was erforderlich ist, um Agenten tatsächlich im großen Maßstab einzusetzen? Das ist im Wesentlichen dasselbe Problem, das wir bereits bei Notion gelöst haben, nämlich die menschliche Zusammenarbeit. Mittlerweile arbeiten Agenten und Menschen zusammen und es hat sich herausgestellt, dass viele der bewährten Prinzipien bei Dingen wie Änderungsvorschlägen, Versionsverläufen und gemeinsam genutzten Wissensdatenbanken nach wie vor eine entscheidende Rolle spielen.

Anthropic: Sie haben dies auch verwendet. Wie fanden Sie es?

Liu: Das Produkt Managed Agents ist wie ein riesiger Spielplatz für mich. Selbst mit dem ersten Prototyp konnten wir 12 Stunden Prototypenarbeit auf etwa 20 Minuten reduzieren. Dann kann Ihr gesamtes Team einsteigen und ihn gemeinsam weiterentwickeln.

Als ich mit dem Taskboard-Workflow neue Funktionen für Notion prototypisierte, hatte ich etwa 30 Aufgaben. Ich habe sie alle genommen und einfach auf „Start“ gezogen. Dann habe ich mir etwas zu essen geholt und als ich zurückkam, waren alle Prototypen fertig. Daraufhin haben ich jemanden aus meinem Team getaggt und wir haben gemeinsam an derselben Ausgabe direkt in Notion gearbeitet. Wir haben die Einzelarbeit mit KI zu einem gemeinsamen Moment gemacht. Das war der Punkt, an dem ich dachte, dass jeder die Möglichkeit dazu haben sollte.

Jetzt sehen die Leute, wie Claude in ihrer Notion-Aufgabe auftaucht und arbeitet, und sie geben einen Daumen hoch oder Daumen runter. Das ist eine Schnittstelle, die sie bereits verstehen.

Anthropic: Sie haben beschrieben, wie Teams eine ganze Armee von Agenten einsetzen: ein separates Claude für jede Arbeitsphase, wobei die meisten durch Trigger ausgelöst werden. Wie stellen Sie sicher, dass sie sicher agieren?

Liu: Wir haben für jede Phase einen Claude-Agenten entwickelt: einen für die Analyse, einen für die Planung und einen für die Entwicklung. Das Hilfreiche daran ist, dass jeder Agent seine eigenen Berechtigungen, seine eigenen Kontexte und seine eigenen Automatisierungen hat. Der Überprüfungsagent wird von wenigen Personen verwaltet, aber viele können den Analyseagenten verwalten.

Jeder von Ihnen erstellte Agent wird standardmäßig eingeschränkt, was bedeutet, dass er zunächst privat ist. Sie müssen ihn explizit freigeben. Dann haben wir eine Reihe verschiedener Zugriffsberechtigungen: Einige Leute können nur mit ihm chatten, andere können ihn triggern und wieder andere können ihn bearbeiten. Wie stellen Sie dann sicher, dass die richtigen Personen zur richtigen Zeit ins Spiel kommen, wenn Sie mit 20 oder 30 Personen an einem gemeinsamen Aufgabenboard arbeiten? Unsere Sicht auf die Lösung des automatisierten Workflows umfasst auch die Lösung der Probleme mit Berechtigungen und Zusammenarbeit. Diese beiden Dinge gehen Hand in Hand.

Anthropic: Sie laden die öffentlichen Skills von Claude vor, betreiben einen Skills-Marketplace und lassen Agenten ihre eigene Skills-Datenbank pflegen. Warum sind Skills so wichtig?

Liu: Claude verfügt über viele großartige Skills, daher haben wir die öffentlich verfügbaren Skills für die Erstellung von PowerPoints, PDFs und Dokumenten vorgeladen. Wir haben einen ganzen Marketplace mit Skills in Notion und geben den Leuten die Möglichkeit, ihre eigenen Skills für ihren eigenen Claude-Agenten hinzuzufügen.

Bei Skills geht es mehr darum, wie man etwas macht, und nicht, ob es etwas tun kann. Es geht nicht darum, zu wissen, wie man ein PowerPoint erstellt, sondern vielmehr darum: „Hey, das ist unsere Art von PowerPoint. So soll es geschrieben werden.“

Viele dieser Skills werden im Wesentlichen automatisch gepflegt. Sobald es einen zusammengeführten Pull-Request oder eine abgeschlossene Aufgabe gibt, identifiziert Claude die Lessons Learned, die der Agent nutzen kann, und speist sie als Updates in die Skills zurück. Jedes Mal, wenn Sie sagen, dass dies ein großartiger Prototyp ist oder dass dies ein großartiges PDF ist, fließt das in die Skills ein. Die Qualität verbessert sich ständig, ohne dass jemand die Wissensbasis manuell aktualisieren muss.

Anthropic: Wie wird sich Notion Ihrer Meinung nach in den nächsten sechs Monaten infolgedessen verändern?

Liu: Das System entwickelt sich immer mehr dahin, dass Menschen die Arbeit der Agenten überprüfen. Wir bilden dabei die Übersetzungsebene für die Agenten. Wir behalten die bewährten Grundbausteine rund um die Seite und die Datenbasis, werden uns aber noch mehr mit der Versionskontrolle und Human-in-the-Loop befassen und neue Dinge entwickeln.

Die Frage lautet: Wie können Menschen zu Prüfern agentenbasierter Arbeit werden, anstatt selbst die Ausführenden zu sein? Ich denke, dieses Paradigma lässt sich auf viele Bereiche der KI anwenden.