Read more
Graphite évalue son code 40 fois plus vite avec Claude
Secteur d'activité :
Logiciels
Taille de l'entreprise :
Petite
Produit :
Claude Platform
Région :
Amérique du Nord
800 fois plus rapide
Une analyse en 35 minutes contre 3 semaines
Les mêmes performances qu'un être humain
sur les benchmarks biomédicaux
Video caption
Video caption
Graphite, une plateforme de développement moderne de bout en bout, utilise Claude pour alimenter son outil de revue de code IA qui détecte les bugs et suggère des corrections, transformant la façon dont les équipes d'ingénierie d'entreprises comme Snowflake, Asana et Ramp abordent le développement logiciel.
Avec Claude, Graphite obtient les résultats suivants :
- Une boucle de rétroaction sur les pull requests 40 fois plus rapide, passant d'une heure à 90 secondes
- Un taux de retours positifs de 96 % sur les commentaires générés par l'IA
- Un taux d'implémentation des modifications suggérées de 67 %
- La prise en charge de centaines de milliers de pull requests pour l'ensemble de sa base clients
Le défi d'une revue de code moderne évolutive
La revue de code est un goulot d'étranglement critique dans le développement logiciel moderne. Alors que les grandes entreprises technologiques comme Google et Facebook disposent d'outils internes sophistiqués pour gérer ce processus, la plupart des équipes d'ingénierie ont des problèmes avec les flux de travail GitHub basiques. « Tout le monde sait que presque toutes les entreprises développent des outils sur GitHub afin de l'améliorer pour les équipes », a déclaré Tomas Reimers, cofondateur de Graphite.
Sans outils adéquats, les développeurs font face à des délais croissants. Ils attendent des heures, voire des jours, pour obtenir un retour, puis entament un nouveau cycle chronophage de corrections et de nouvelles revues. Début 2023, Graphite a exploré la revue de code alimentée par l'IA après avoir reçu de nombreuses demandes de la part d'équipes de développement avant-gardistes. Cependant, les premières expériences se sont révélées décevantes. « Les modèles hallucinaient et signalaient avec assurance des problèmes dans les pull requests qui n'existaient pas », a déclaré Reimers. « Quand le bot générait des déclarations incorrectes mais spécifiques, les gens étaient frustrés. » L'équipe avait besoin d'un outil capable d'égaler la compréhension humaine du code tout en conservant une grande précision.
Choisir Claude pour sa compréhension supérieure du code
Après avoir testé les principaux modèles d'IA, Graphite a constaté que seul Claude répondait à ses critères en matière de revue de code. Le cadre d'évaluation rigoureux de l'équipe a testé les modèles sur 500 pull requests, y compris des exemples synthétiques et réels comportant des bugs connus que même des ingénieurs expérimentés avaient du mal à repérer. « Claude était particulièrement performant dans la compréhension du code, ce qui est extrêmement important pour la revue de code », a déclaré Alyssa Baum, ingénieure IA en chef chez Graphite.
La sortie de Claude 3.5 Sonnet a marqué une avancée décisive. Baum a déclaré : « Non seulement nos performances d'évaluation ont grimpé en flèche, mais il a identifié des bugs dans notre jeu de données de test que nous n'avions même pas remarqués. » Grâce à des tests A/B, l'équipe a confirmé les performances supérieures de Claude. « Quand Claude 3.5 est sorti, nous l'avons intégré à notre système et les performances pour nos utilisateurs ont été incroyables. »
Le partenariat avec Anthropic a amplifié ces avantages techniques. L'équipe d'Anthropic a fourni des conseils essentiels sur les cadres d'évaluation et les stratégies de mise en œuvre via un canal Slack dédié. Lorsque le lancement de Graphite en octobre 2024 a été confronté à une demande inattendue, Anthropic les a rapidement aidé à adapter leurs limites de débit pour répondre aux besoins des clients. « L'équipe d'Anthropic nous a apporté un soutien considérable », a déclaré Reimers. « Nous avons trouvé cela incroyablement utile, ne serait-ce que pour obtenir des conseils sur la façon de structurer nos évaluations et notre code en général. »
Transformer la revue de code grâce à une architecture IA avancée
L'implémentation de Graphite combine les capacités de raisonnement sophistiquées de Claude avec une expertise approfondie en matière de revue de code efficace. Leur architecture décompose l'analyse de code complexe en étapes distinctes, permettant à Claude d'exceller dans chaque tâche spécifique. Le système utilise plusieurs niveaux de validation incluant le vote, la chaîne de raisonnement et l'autocritique, afin de garantir que les développeurs ne reçoivent que des commentaires de haute qualité.
La plateforme se concentre sur les bugs objectifs, pas sur les suggestions subjectives. Elle traite des problèmes tels que :
- Les erreurs d'ordre des paramètres de fonctions
- Les erreurs de copier-coller
- Les vulnérabilités de sécurité
- Les incohérences logiques
- Les violations des bonnes pratiques
Lorsque des problèmes sont identifiés, le système génère automatiquement des suggestions de correction que les développeurs peuvent implémenter en un clic, réduisant ainsi le cycle traditionnel de correction et de nouvelle revue.
Un impact mesurable pour les équipes de développement
L'approche alimentée par l'IA de Graphite a transformé le flux de travail de développement de ses clients. Brian Michel, de The Browser Company, a déclaré : « Graphite Reviewer offre un bon équilibre entre la signalisation de problèmes et le fait de ne pas être gênant. Il est différent des autres outils d'IA parce que ça fonctionne vraiment. Je suis capable d'itérer plus rapidement et de produire plus vite quelque chose de fonctionnel. Cela aide en tant que développeur individuel parce que vous n'êtes vraiment plus seul. »
L'impact s'étend au-delà des développeurs individuels à des organisations d'ingénierie entières. « Graphite a changé la donne pour l'équipe de Ramp », a déclaré Nik Koblov, responsable de l'ingénierie chez Ramp. « Les commentaires automatiques de l'évaluateur IA détectent les erreurs subtiles avant qu'elles ne deviennent des bugs, ce qui nous aide à maintenir la qualité sans ralentir. Dans l'ensemble, Graphite a rendu notre flux de travail plus fluide et plus productif. »
Cet avantage en termes de qualité et de rapidité trouve un écho auprès de la clientèle de Graphite. « Graphite Reviewer est remarquablement pertinent : il a déjà détecté plusieurs vrais bugs avant qu'ils n'atteignent les clients, ce qui est un ajout précieux à notre flux de travail de développement », a déclaré Ben Kraft de Notion.
Le système fournit actuellement des retours exploitables pour une pull request sur cinq, ce qui se rapproche du standard du secteur, qui est d'un commentaire humain pour trois requêtes. Avec 67 % des suggestions IA entraînant des modifications du code et un taux de satisfaction de 96 %, Graphite démontre que l'IA peut égaler la qualité d'une revue de code effectuée par un humain tout en fonctionnant à la vitesse d'une machine.
Vers un développement augmenté par l'IA
Graphite envisage une transformation fondamentale du développement logiciel au cours de la prochaine décennie. Reimers a déclaré : « Chez Graphite, nous sommes convaincus que dans 10 ans, les individus n'écriront plus de logiciels. Les LLM rédigeront la majorité du code, et ils seront dirigés par des humains ou collaboreront avec eux pour connecter leur produit au monde extérieur. »
Grâce à son partenariat avec Anthropic, Graphite est à la pointe de cette transformation. En automatisant les revues chronophages, en détectant les bugs subtils et en permettant les corrections en un clic, elle permet aux développeurs de se concentrer sur ce que les humains font le mieux — prendre des décisions architecturales de haut niveau qui façonnent l'avenir des logiciels. Ensemble, Graphite et Claude transforment la revue de code, qui était auparavant un goulot d'étranglement, en un accélérateur de créativité humaine et d'excellence technique.
Video caption