Comment Notion déploie et met à l'échelle les agents avec Claude Managed Agents

Trois semaines après le lancement des agents externes, l'espace de travail collaboratif IA Notion comptait 18 000 agents créés par des clients, et 90 % de l'activité des agents s'effectuait via des déclencheurs automatisés plutôt que via le chat. Notion a construit cette fonctionnalité sur Claude Managed Agents, la suite d'API composables d'Anthropic permettant de créer et de déployer des agents à grande échelle. Eric Liu, chef de produit, s'est entretenu avec Anthropic de ce que Managed Agents a pris en charge, et de ce qui l'a surpris depuis le lancement.

Anthropic : Vous avez récemment livré des agents externes sur Managed Agents. Comment les gens les utilisent-ils réellement ?

Eric Liu, Notion : Nous voulons que Notion soit la meilleure plateforme de collaboration pour les agents et les équipes. Un élément clé de cette mission consiste à faire en sorte que les meilleurs agents travaillent nativement dans Notion, et Claude figure en tête de cette liste : l'agent externe numéro un que les utilisateurs souhaitaient utiliser dans Notion. Jusqu'à présent, environ 18 000 agents Claude ont été créés, et ces agents ont effectué environ 140 000 étapes. Nous avons été agréablement surpris par la rapidité avec laquelle cela a pris de l'ampleur, avec très peu de marketing. Un pourcentage important de personnes créant des agents dans Notion créent désormais des agents Claude. Nous constatons également une forte intensité d'utilisation. 90 % des interactions que les utilisateurs effectuent avec Claude sont des automatisations dans Notion, déclenchées sur une page Notion, par un message Slack ou lors d'exécutions programmées. Il ne s'agit pas de discuter directement avec Claude ; c'est l'interface que nous avons développée autour de cet outil pour les automatisations qui séduit nos clients. Nos meilleurs espaces de travail l'utilisent réellement pour des flux de travail collaboratifs : un espace de travail compte trois ou quatre agents qui exécutent des dizaines de threads par jour, principalement via des automatisations.

Anthropic : Comment expliqueriez-vous ce que vous avez créé avec les agents gérés ?

Liu : Vous créez ces composants logiciels dans Notion et vous pouvez les intégrer dans le flux de travail de votre choix. Par exemple, nous avons créé un tableau de tâches qui agit comme un orchestrateur. Vous créez une tâche, la déplacez vers « Prête à commencer » et elle invoque une session de Claude. Claude extrait le contexte des pages associées, de notre système de conception, de la documentation relative aux API et des cahiers des charges des produits. En d'autres termes, vous travaillez avec Claude comme avec un collègue.

L'avantage est que vous n'êtes pas limité à une seule tâche. Les clients peuvent lancer 30 ou 40 tâches en même temps, et notre plateforme les achemine vers la bonne personne pour approbation. On automatise les tâches répétitives : nettoyage des indicateurs d'expérimentation, ainsi que de nombreuses petites tâches liées au triage.

Anthropic : Pourquoi avez-vous décidé d'ajouter des agents gérés dans Notion ?

Liu : Les utilisateurs nous demandaient Claude. Nos clients ne veulent pas avoir à passer par un agent pour parler à un autre agent et se démener pour que tout soit connecté. Ils veulent simplement être dans Notion et dire : « Claude, aide-moi à créer ce site Web ». Managed Agents a été une excellente solution, car il nous a suffi d'intégrer l'API pour qu'elle fonctionne directement au sein du produit.

Nous nous concentrons sur ce qui est natif de Notion : les connaissances de votre entreprise. Notre agent maîtrise bien Notion, mais il n'est pas le meilleur pour le codage, et les modèles Claude sont très bons dans ce domaine. Il existe tout un éventail d'autres fichiers que Claude sait très bien générer. Au fond, tous les agents sont essentiellement des agents de programmation. Et cela ouvre la voie à de nombreux cas d'utilisation sans programmation. Si vous créez une présentation pour le marketing ou les ventes, vous exploitez des connaissances et générez un artefact, qu'il s'agisse d'un PDF, de diapositives ou d'autre chose. Cette synthèse d'informations en un artefact correspond à peu près au même flux de travail qui fonctionne très bien en programmation. Nous constatons cette transition vers le reste du travail intellectuel.

Anthropic : Les équipes peuvent implémenter des agents gérés de trois façons : en tant qu'agents de la marque Claude dans le produit, en tant que moteur sans marque derrière leur propre agent ou en tant qu'agents internes. Pourquoi Notion a-t-il adopté la marque Claude ?

Liu : Notre vision avec Notion est d'en faire le centre de commande pour les agents : permettre aux équipes d'utiliser leur agent préféré nativement dans Notion. Si votre produit est un outil de collaboration, la possibilité d'utiliser un agent au sein de ce produit constitue le cœur du parcours utilisateur. L'avantage d'avoir fait appel à Claude, c'est que les gens font confiance à l'intelligence du modèle et à l'expérience.

La session est transmise depuis Managed Agents vers le client de Notion. Mais les utilisateurs n'ont aucune idée de ce qui se passe. Tout ce qu'ils voient, c'est que Claude écrit des fichiers, rédige des pages Notion, met des éléments à jour, commente et fait tout ce que les coéquipiers et d'autres agents peuvent faire.

Anthropic : Qu'est-ce que Managed Agents a pris en charge et que vous n'avez pas eu à développer vous-mêmes ?

Liu : Il était vraiment essentiel de disposer d'une couche d'infrastructure capable d'effectuer des tâches de longue durée. Cette capacité à continuer d'exécuter des tâches, à gérer la mémoire et à obtenir des résultats de haute qualité au fil du temps constitue une couche extrêmement critique qui vient s'ajouter au modèle lui-même.

La meilleure surprise a été que nous n'avons rien eu à configurer. Toutes les skills, tous les différents modules dont nous avions besoin, tout était très facile à mettre en place.

La sandbox est vraiment importante si vous souhaitez obtenir des cas d'usage en programmation. Une partie de notre flux de travail pour les utilisateurs consiste à leur permettre de connecter leur compte GitHub, ce qui leur permet ensuite d'importer leurs dépôts et d'exécuter le code. Le point de terminaison GitHub dans les agents gérés était vraiment utile.

Anthropic : Vous dites que la plupart des outils pour agents sont conçus pour une seule personne travaillant avec un seul agent. Qu'est-ce qui ne fonctionne plus lorsque les organisations essaient de faire évoluer cela ?

Liu : Le déploiement d'agents à grande échelle constitue vraiment un défi de collaboration. À l'heure actuelle, les agents donnent l'impression d'être très individualisés. C'est vous et un agent dans une interface. Mais, à quoi cela ressemble-t-il pour l'ensemble de votre équipe, avec tous les processus d'approbation et tout ce qui est nécessaire pour utiliser réellement les agents à grande échelle ? C'est fondamentalement le même problème que celui que nous avons déjà résolu chez Notion, à savoir la collaboration humaine. Il s'agit désormais d'une collaboration entre agents et humains, et il s'avère que bon nombre des mêmes schémas liés aux modifications suggérées, à l'historique des versions et aux bases de connaissances partagées sont vraiment essentiels.

Anthropic : Vous l'utilisez vous-même depuis un certain temps. Comment cela s'est-il passé ?

Liu : Le produit Managed Agents est comme un terrain de jeu pour moi. Même avec le prototype initial, nous avons vu 12 heures de travail de prototypage se réduire à environ 20 minutes. Ensuite, toute votre équipe peut intervenir et l'affiner ensemble.

Lorsque je prototypais de nouvelles fonctionnalités pour Notion en utilisant le flux de travail du tableau de tâches, j'avais environ 30 tâches. Je les ai toutes sélectionnées et je les ai simplement fait glisser pour commencer. Je suis allé chercher une collation, je suis revenu et tous les prototypes avaient été fabriqués. Ensuite, j'ai mentionné quelqu'un de mon équipe et nous avons planché ensemble sur le même résultat directement dans Notion. Nous avons transformé le travail en solo avec l'IA en un moment collaboratif. C'est à ce moment que je me suis dit : tout le monde devrait le faire.

Les gens voient désormais Claude apparaître dans leur tâche Notion en train de travailler, et ils mettent un pouce levé ou baissé. C'est une interface qu'ils comprennent déjà.

Anthropic : Vous avez décrit des équipes déployant une armée d'agents : un Claude distinct pour chaque étape du travail, fonctionnant principalement selon des déclencheurs. Comment vous assurez-vous qu'ils agissent en toute sécurité ?

Liu : Nous avons créé un agent Claude pour chaque étape : un agent qui enquête, un autre qui planifie et un autre qui développe. L'avantage, c'est que chaque agent peut disposer de ses propres autorisations, de ses propres contextes et de ses propres automatisations. L'agent de révision est géré par quelques personnes, mais de nombreuses personnes peuvent gérer l'agent enquêteur.

Chaque agent que vous créez est verrouillé par défaut en termes d'autorisations, ce qui signifie qu'il commence en mode privé. Vous devez le partager explicitement. Ensuite, nous disposons d'un certain nombre d'autorisations d'accès différentes : certaines personnes ne pourront que discuter avec lui, d'autres pourront le déclencher, d'autres pourront le modifier. Lorsque vous avez 20 ou 30 personnes travaillant sur le même tableau de tâches partagé, comment vous assurez-vous qu'au bon moment, la bonne personne est sollicitée ? Notre approche pour résoudre les problèmes liés aux flux de travail automatisés permet également de résoudre les problèmes d'autorisations et de collaboration. Les deux vont de pair.

Anthropic : Vous préchargez les skills publiques de Claude, gérez une place de marché des skills et laissez les agents gérer leur propre base de données de skills. Pourquoi les skills occupent-elles une si grande place dans tout cela ?

Liu : Claude dispose de nombreuses skills remarquables, nous avons donc préchargé celles qui sont disponibles publiquement pour la création de présentations PowerPoint, de fichiers PDF et de documents. Au sein de Notion, nous disposons d'un véritable marché de skills, et nous permettons aux utilisateurs d'ajouter leurs propres skills à leur agent Claude.

Avec les skills, il s'agit davantage de la façondont on fait quelque chose, et moins de savoir si on peut le faire. Il ne s'agit pas de savoir comment créer un PowerPoint, mais plutôt de dire « Hé, voici notre version de PowerPoint. C'est ainsi que nous aimons que le texte soit écrit ».

Un grand nombre de ces skills sont essentiellement maintenues automatiquement. Une fois qu'une pull request est fusionnée ou qu'une tâche est terminée, Claude identifie les enseignements que l'agent peut tirer et les réinjecte dans les compétences sous forme de mises à jour. Chaque fois que vous dites « c'est un excellent prototype » ou « c'est un excellent PDF », cela alimente les skills. La qualité continue de s'améliorer sans que quelqu'un ne mette à jour manuellement la base de connaissances.

Anthropic : Selon vous, comment Notion va évoluer au cours des six prochains mois en conséquence ?

Liu : L'interface tend de plus en plus à faire appel à des êtres humains pour contrôler le travail des agents. Nous sommes la couche de traduction pour les agents. Nous conserverons les mêmes éléments de base pour la page et la base de données, mais nous allons développer davantage les aspects liés au contrôle de version et à l'intervention humaine.

La question devient la suivante : comment les humains peuvent-ils devenir les réviseurs du travail des agents plutôt que directement les acteurs ? Je pense que ce paradigme s'applique à beaucoup d'IA.