Graphite beschleunigt die Code-Überprüfung mit Claude um das 40-Fache

Graphite, eine moderne End-to-End-Entwicklerplattform, verwendet Claude für ihren KI-Code-Reviewer, der Fehler erkennt und Korrekturen vorschlägt, was die Herangehensweise von Engineering-Teams in Unternehmen wie Snowflake, Asana und Ramp an die Softwareentwicklung verändert.

Mit Claude erreicht Graphite:

• 40-mal schnellere Feedback-Schleife für Pull-Requests, von 1 Stunde auf 90 Sekunden
• 96 % positive Feedback-Rate zu KI-generierten Kommentaren
• 67 % Umsetzungsrate von Änderungsvorschlägen
• Unterstützung für Hunderttausende von Pull-Requests über den gesamten Kundenstamm hinweg

Die Herausforderung bei der Skalierung der modernen Codeüberprüfung

Codeüberprüfung ist ein kritischer Engpass in der modernen Softwareentwicklung. Während große Tech-Unternehmen wie Google und Facebook über ausgefeilte interne Tools zur Verwaltung dieses Prozesses verfügen, haben die meisten Engineering-Teams Probleme mit den grundlegenden GitHub-Workflows. „Das offene Geheimnis bei Entwickler-Tools ist, dass fast jedes Unternehmen Tools auf GitHub aufbaut, um es für Teams zu verbessern", sagte Tomas Reimers, Mitbegründer von Graphite.

Ohne die richtigen Tools sind Entwickler mit steigenden Verzögerungen konfrontiert. Sie müssen stunden- oder tagelang auf Feedback warten, um dann einen weiteren zeitraubenden Zyklus mit Korrekturen und erneuten Überprüfungen zu starten. Anfang 2023 prüfte Graphite die Möglichkeit einer KI-gestützten Codeüberprüfung, nachdem es wiederholt Anfragen von zukunftsorientierten Entwicklungsteams erhalten hatte. Die ersten Experimente waren jedoch enttäuschend. „Die Modelle halluzinierten und gaben selbstbewusst Probleme in Pull-Requests an, die es gar nicht gab", sagte Reimers. „Falsche, aber spezifische Aussagen des Bots waren frustrierend." Das Team benötigte etwas, das dem menschlichen Verständnis von Code entsprechen konnte und gleichzeitig eine hohe Genauigkeit beibehielt.

Claude für herausragendes Code-Verständnis

Nach dem Test führender KI-Modelle stellte Graphite fest, dass nur Claude ihre Standards für die Codeüberprüfung erfüllte. Das rigorose Bewertungsframework des Teams testete die Modelle anhand von 500 Pull Requests, einschließlich synthetischer und realer Beispiele mit bekannten Fehlern, die selbst erfahrene Entwickler nur schwer erkennen konnten. „Claude war besonders gut darin, Code zu verstehen, was für die Code-Überprüfung unglaublich wichtig ist", sagte Alyssa Baum, leitende KI-Ingenieurin bei Graphite.

Die Veröffentlichung von Claude 3.5 Sonnet markierte einen entscheidenden Durchbruch. Baum sagte: „Nicht nur ist unsere Bewertungsleistung in die Höhe geschnellt, sondern es hat auch Fehler in unserem Testdatensatz identifiziert, von denen wir nicht einmal wussten, dass es sie gab." Durch A/B-Tests bestätigte das Team die überlegene Leistung von Claude. „Als Claude 3.5 auf den Markt kam, haben wir es in unser System integriert. Die Leistung für unsere Nutzer war unglaublich."

Die Partnerschaft mit Anthropic hat diese technischen Vorteile noch verstärkt. Das Team von Anthropic gab über einen dedizierten Slack-Kanal wichtige Orientierungshilfen zu Bewertungsframeworks und Implementierungsstrategien. Als die Einführung von Graphite im Oktober 2024 auf eine unverhofft hohe Nachfrage stieß, skalierte Anthropic rasch die Ratenlimits, um die Kundenbedürfnisse zu erfüllen. „Wir haben vom Anthropic-Team großartige Unterstützung erhalten", sagte Reimers. „Wir fanden es einfach unglaublich hilfreich, Ratschläge zu erhalten, wie wir unsere Bewertungen und unseren Code im Allgemeinen strukturieren sollten."

Transformation der Code-Überprüfung durch erweiterte KI-Architektur

Die Implementierung bei Graphite kombiniert die ausgefeilten Denkfähigkeiten von Claude mit umfassenden Know-how bei effektiver Code-Review. Die Architektur des Unternehmens unterteilt die komplexe Codeanalyse in diskrete Schritte, sodass Claude bei jeder spezifischen Aufgabe hervorragend abschneiden kann. Das System verwendet mehrere Validierungsebenen, einschließlich Abstimmung, Argumentationskette und Selbstkritik, um sicherzustellen, dass nur hochwertige Kommentare die Entwickler erreichen.

Die Plattform konzentriert sich auf objektive Fehler, nicht auf subjektive Vorschläge. Es behandelt unter anderem Probleme wie:

• Fehler in der Reihenfolge von Funktionsparametern
• Fehler beim Kopieren und Einfügen
• Sicherheitslücken
• Logische Inkonsistenzen
• Verstöße gegen Best Practices

Bei Identifizierung eines Problems generiert das System automatisch Korrekturvorschläge, die die Entwickler mit einem einzigen Klick umsetzen können, was die herkömmliche Korrektur- und Überprüfungszykluszeit reduziert.

Messbare Auswirkung für Entwicklungsteams

Der KI-gestützte Ansatz von Graphite hat den Entwicklungsworkflow für ihre Kunden transformiert. Brian Michel von The Browser Company sagte: „Graphite Reviewer findet den idealwn Mittelweg, Probleme anzuzeigen, ohne dabei lästig zu werden. Es unterscheidet sich von anderen KI-Tools, weil es tatsächlich funktioniert. Ich kann schneller iterieren und schneller etwas Umsetzbares produzieren. Das hilft einem als einzelner Entwickler, denn man steht nicht mehr alleine da."

Die Auswirkungen reichen über einzelne Entwickler hinaus und erstrecken sich auf ganze Engineering-Organisationen. „Graphite war ein Gamechanger für das Team von Ramp", sagte Nik Koblov, Head of Engineering bei Ramp. „Die automatischen Kommentare des KI-Prüfers erkennen subtile Fehler, bevor sie zu Bugs werden. So können wir die Qualität aufrechterhalten, ohne dabei an Tempo zu verlieren. Insgesamt hat Graphite unseren Workflow reibungsloser und produktiver gemacht.

Dieser Vorteil in Bezug auf Qualität und Geschwindigkeit findet im gesamten Kundenstamm von Graphite Anklang. „Graphite Reviewer ist beeindruckend treffsicher: Es hat bereits mehrere echte Bugs gefunden, bevor sie bei den Kunden ankamen, was eine wertvolle Ergänzung für unseren Entwickler-Workflow ist", sagte Ben Kraft von Notion.

Das System liefert derzeit zu einem von fünf Pull Requests umsetzbares Feedback und nähert sich damit dem Branchenstandard, wonach einer von drei Pull Requests menschliche Kommentare erhält. Mit 67 % der KI-Vorschläge, die zu Codeänderungen führen, und einer positiven Feedback-Rate von 96 % zeigt Graphite, dass KI die Codeüberprüfungsqualität auf menschlicher Ebene erreichen kann und gleichzeitig mit Maschinengeschwindigkeit arbeitet.

Ausblick auf die KI-gestützte Entwicklung

Graphite stellt sich für das nächste Jahrzehnt eine grundlegende Transformation der Softwareentwicklung vor. Reimers sagte: „Wir bei Graphite sind der Meinung, dass in 10 Jahren Software nicht mehr von Einzelpersonen geschrieben wird. LLMs schreiben den Großteil des Codes unter der Anleitung von oder in Zusammenarbeit mit Menschen, die ihr Produkt mit der Außenwelt verbinden."

Durch die Partnerschaft mit Anthropic steht Graphite an der Spitze dieser Transformation. Durch die Automatisierung zeitaufwendiger Überprüfungen, das Auffinden subtiler Fehler und die Möglichkeit von One-Click-Korrekturen geben sie Entwicklern die Möglichkeit, sich auf das zu konzentrieren, was Menschen am besten können: übergeordnete Architekturentscheidungen treffen, die die Zukunft von Software prägen. Gemeinsam machen Graphite und Claude die Code-Überprüfung von einem Engpass zu einem Beschleuniger der menschlichen Kreativität und technischen Exzellenz.