Wie Sentry eine End-to-End-Fehlerbehebung mit Claude Managed Agents entwickelt hat

Sentry ist eine Plattform zur Software-Überwachung, die täglich Milliarden von Ereignissen erfasst und Entwicklungsteams den Kontext gibt, den sie zum Debugging von Produktionsproblemen benötigen. Ihr KI-Debugging-Agent Seer hat Claude bereits verwendet, um Grundursachen präzise zu identifizieren. Aber es war nicht genug, den Entwicklern zu sagen, was falsch läuft. Sie wollten, dass Seer das Problem auch behebt.

Mit Claude Managed Agents entwickelte Sentry die Infrastruktur, um von der Fehlererkennung zum Merge-fähigen Pull Request zu gelangen, ohne eine benutzerdefinierte Agenten-Runtime von Grund auf neu entwickeln zu müssen.

Mit Claude erzielte Sentry:

• End-to-End-Automatisierung von der Fehlererkennung bis zum Pull-Request, unterstützt von Claude Managed Agents
• Fähigkeit zur effizienten Verarbeitung von über 1 Million RCAs (Root Cause Analysis) pro Jahr
• Nahezu sofortige Überprüfungen von über 600.000 Pull-Requests pro Monat
• Die erste Integration von Managed Agents wurde von einem einzelnen Entwickler in Wochen statt Monaten bereitgestellt
• Eliminierung des laufenden operativen Aufwands für die Wartung der benutzerdefinierten Agenten-Infrastruktur

Die Herausforderung: Eine Lücke zwischen dem Wissen, was defekt ist, und dessen Behebung

Sentry stellt tiefgehenden Kontext für jeden Fehler bereit: Stack-Traces, Profiling-Daten, Trace-Verbindungen, Logs, Spans und Metriken. Bei der Einführung von Seer wurde Claude verwendet, um die gesamte Telemetrie zu analysieren, Grundursachen zu identifizieren und Codekorrekturen vorzuschlagen. Entwickler aller Stufen wurden schneller.

„Entwickler sind oft von der Menge an Kontextinformationen überfordert, die sie durchdenken müssen, um ein Problem zu debuggen", sagte Indragie Karunaratne, Senior Director of Engineering, KI/ML bei Sentry. Seer half jungen Entwicklern bei der Bewältigung dieser Komplexität und gab erfahrenen Ingenieuren schnelle Zusammenfassungen, damit sie ihr Know-how auf die Validierung anstatt auf die Untersuchung anwenden konnten.

Aber selbst mit einer Diagnose und einem Korrekturvorschlag mussten die Entwickler immer noch in ihre Codebasis wechseln, die Implementierung planen, den Code schreiben und einen Pull-Request öffnen. Bei dieser Übergabe von der Diagnose zur Lösung gingen Zeit und Dynamik verloren. Sentry wollte den Kreis schließen: die Ursachenanalyse von Seer nehmen und sie automatisch in eine fertige PR umwandeln.

Um diese Funktion zu entwickeln, musste ein Programmieragent eingesetzt werden. Und die Verwendung eines Programmieragenten bedeutete die Entwicklung von Sandboxing, Lifecycle-Management und einer Agenten-Runtime. Für ein Team, das sich auf das Debugging konzentrierte, war das ein erheblicher Umweg.

Die Lösung: Warum Sentry sich für Claude und Managed Agents entschieden hat

Sentry hatte sich nach der Bewertung mehrerer KI-Modelle bereits für Claude für Seer entschieden. Sicherheit wurde stark berücksichtigt: Durch die Verwendung von Claude über Vertex AI konnte Sentry die Datenübertragung außerhalb von Google Cloud minimieren. „Durch die Verwendung von Claude über Vertex AI konnten wir die Datenresidenz für unsere Kunden wahren und vermeiden, dass ein neuer Subprozessor hinzugefügt werden muss", sagte Karunaratne.

Als es an der Zeit war, Seer von der Diagnose auf die automatisierte Korrektur zu erweitern, war Claude Managed Agents die naheliegende Lösung. Das Tool bot die sichere Agenten-Runtime, Sandboxing und das Lifecycle-Management, für deren Entwicklung Sentry andernfalls Monate aufgewendet hätte. Und es gab eine Nachfrage vom Kundenstamm von Sentry: Viele nutzten Claude Code bereits für die lokale und cloudbasierte Entwicklung und wollten eine Erfahrung, die die Debugging-Funktionen von Sentry mit den Programmierstärken von Claude verbindet.

Dank der verwalteten Agenten kann sich Sentry auf das konzentrieren, was sein Produkt von anderen unterscheidet, nämlich die Übergabe zwischen der Diagnose von Seer und dem Programmieragenten, anstatt eine generische Agenteninfrastruktur zu entwickeln.

Wie der Seer-zu-PR-Workflow auf verwalteten Agenten läuft

Seer ermittelt die Ursachen der am besten umsetzbaren Fehler und behebt sie im Hintergrund und unterstützt auch Entwickler in Echtzeit – beides auf derselben Managed Agents-Infrastruktur.

Folgendes passiert, wenn ein Problem erkannt wird: Seer fragt Quellcode und Telemetrie ab, um eine umfassende Ursachenanalyse für das Problem zu erstellen, wobei der umfangreiche Kontext von Sentry mit Fehlern, Protokollen, Spans und Metriken verwendet wird. Sobald Seer eine Diagnose hat, gibt es diese an einen Claude-Agenten weiter, der auf Managed Agents läuft. Dieser Agent plant eine Lösung, implementiert die Codeänderung und erstellt einen Pull-Request. Die Aufgabe des Entwicklers verlagert sich vom Schreiben der Korrektur zur Überprüfung.

„Entwicklern zu sagen, was mit ihrem Code nicht stimmt, reicht nicht aus: Sie möchten, dass Sie ihn auch beheben“, sagt Karunaratne. „Kunden können jetzt von der Ursachenanalyse von Seer direkt zu einem Claude-Agenten wechseln, der den Fix schreibt und einen PR öffnet.“

Ohne Managed Agents hätte Sentry eigene Sandboxing-Funktionen und eine Agenten-Runtime von Grund auf neu entwickeln müssen. Stattdessen lieferte ein einzelner Entwickler die erste Integration. Das Team musste keinen Programmieragenten oder die Infrastruktur zur Unterstützung eines solchen entwickeln. Diese Energie konnten sie in die Entwicklung der besten Debugging-Erfahrung und die Gestaltung der Übergabe zwischen der Analyse von Seer und dem Claude-Agenten stecken.

„Wir haben uns für Claude Managed Agents entschieden, da wir damit eine sichere, vollständig verwaltete Agenten-Runtime erhalten, sodass wir uns auf die Entwicklung einer nahtlosen Entwicklererfahrung rund um die Übergabe konzentrieren können", sagte Karunaratne. „Mit Managed Agents konnten wir nicht nur die Erstintegration in Wochen statt Monaten erstellen, sondern auch den laufenden betrieblichen Aufwand für die Wartung einer maßgeschneiderten Agenteninfrastruktur eliminieren.“

Was sich für Entwickler ändert

Das ursprüngliche Seer-Erlebnis machte das Debugging bereits auf ganzer Linie schneller. Junior-Entwickler erhielten Unterstützung beim Navigieren komplexer Probleme, die normalerweise umfangreiche Systemkenntnisse erfordern. Senior-Ingenieure übersprangen stundenlange Kontextüberprüfung und gingen direkt zur Validierung der Analyse von Seer.

„Seer nutzt die Fähigkeit von Claude, relevante Muster aus multimodalen Telemetriedaten schnell und genau zu extrahieren", erklärte Karunaratne. „Entwickler können sich darauf konzentrieren, ihren Fachkontext zur Validierung der Analyse zu verwenden, anstatt manuell Ereignisse zu durchsuchen.“

Mit der Integration von Managed Agents potenziert sich dieser Vorteil. Ein Entwickler erhält nicht mehr nur eine Diagnose und einen Korrekturvorschlag. Sie erhalten einen Pull Request, den sie überprüfen, testen und mergen können. Der Workflow wechselt von „Seer sagt Ihnen, was falsch ist“ zu „Seer sagt Ihnen, was falsch ist, und schlägt den Code vor, um es zu beheben“, fügte Karunaratne hinzu. 

Blick in die Zukunft

Sentry entwickelt einen Workflow, bei dem die am besten umsetzbaren Fehler automatisch erkannt, diagnostiziert und behoben werden, wobei die Entwickler die vorgeschlagenen Änderungen überprüfen, anstatt sie zu schreiben. Da Managed Agents die Agenteninfrastruktur übernehmen, kann sich das Team darauf konzentrieren, die Abdeckung von Seer zu erweitern und die Grenzen dessen zu verschieben, was automatisiertes Debugging bewältigen kann – ohne den betrieblichen Aufwand für die Pflege einer benutzerdefinierten Runtime.