En savoir plus
Graphite multiplie par 40 la vitesse de revue de code avec Claude
Secteur d'activité :
Logiciels
Taille de l'entreprise :
Petite
Produit :
Claude Platform
Lieu :
Amérique du Nord
800 fois plus rapide
35 minutes contre 3 semaines pour l'analyse
Niveau humain
performance sur les bancs d'essai biomédicaux
Légende de la vidéo
Légende de la vidéo
Graphite, une plateforme de développement moderne de bout en bout, utilise Claude pour alimenter son réviseur de code IA qui détecte les bugs et suggère des correctifs, transformant la manière dont les équipes d'ingénierie d'entreprises comme Snowflake, Asana et Ramp abordent le développement logiciel.
Avec Claude, Graphite obtient :
- Boucle de retour sur les pull requests 40 fois plus rapide, de 1 heure à 90 secondes
- Taux de retours positifs de 96 % sur les commentaires générés par l'IA
- Taux de mise en œuvre des modifications suggérées de 67 %
- Prise en charge de centaines de milliers de pull requests sur l'ensemble de leur base de clients
Le défi de la mise à l'échelle de la revue de code moderne
La revue de code est un goulot d'étranglement critique dans le développement de logiciels modernes. Alors que les grandes entreprises technologiques comme Google et Facebook disposent d'outils internes sophistiqués pour gérer ce processus, la plupart des équipes d'ingénierie ont du mal à gérer les flux de travail GitHub de base. « Tout le monde sait que, dans le domaine des outils de développement, presque toutes les entreprises développent des outils s'appuyant sur GitHub afin d'en améliorer l'utilisation pour leurs équipes », a déclaré Tomas Reimers, cofondateur de Graphite.
Sans outils appropriés, les développeurs sont confrontés à des retards croissants. Ils attendent des heures, voire des jours, pour obtenir des retours, puis entament un autre cycle chronophage de correctifs et de nouvelles revues. Début 2023, Graphite s'est penché sur la revue de code assistée par l'IA après avoir reçu des demandes répétées de la part d'équipes de développement avant-gardistes. Cependant, les premières expériences se sont révélées décevantes. « Les modèles avaient des délires et revendiquaient avec assurance des problèmes inexistants dans les pull requests », a déclaré Reimers. « Lorsque le bot générait des déclarations incorrectes mais spécifiques, les gens étaient frustrés. » L'équipe avait besoin d'un outil capable de comprendre le code au niveau humain tout en maintenant une grande précision.
Choisir Claude pour une compréhension supérieure du code
Après avoir testé des modèles d'IA de pointe, Graphite a constaté que seul Claude répondait à ses critères en matière de revue de code. Le cadre d'évaluation rigoureux de l'équipe a testé les modèles par rapport à 500 pull requests, notamment des exemples synthétiques et réels avec des bugs connus que même les ingénieurs expérimentés avaient du mal à repérer. « Claude était particulièrement bon pour la compréhension de code, ce qui est extrêmement important pour la revue de code », a expliqué Alyssa Baum, ingénieure IA principale chez Graphite.
La sortie de Claude 3.5 Sonnet a marqué une avancée décisive. Alyssa Baum a déclaré : « Non seulement nos performances d'évaluation ont grimpé en flèche, mais cela a permis d'identifier des bugs dans notre ensemble de données de test dont nous n'avions même pas conscience. » Au terme de tests A/B, l'équipe a confirmé les performances supérieures de Claude. « Lorsque Claude 3.5 est sorti, nous l'avons branché à notre système, et les performances pour nos utilisateurs étaient incroyables. »
Le partenariat avec Anthropic a amplifié ces avantages techniques. L'équipe d'Anthropic a fourni des conseils cruciaux sur les cadres d'évaluation et les stratégies de mise en œuvre via un canal Slack dédié. Lorsque le lancement de Graphite en octobre 2024 a été confronté à une demande inattendue, Anthropic a rapidement aidé l'entreprise à adapter ses limites de débit pour répondre aux besoins des clients. « Nous avons reçu un excellent soutien de la part de l'équipe Anthropic », a déclaré Reimers. « Nous avons trouvé cela extrêmement utile, rien que pour obtenir des conseils sur la manière de structurer nos évaluations et notre code en général. »
Transformer la revue de code grâce à une architecture IA avancée
La mise en œuvre de Graphite associe les capacités de raisonnement sophistiquées de Claude à une expertise approfondie en matière de revue de code efficace. Leur architecture décompose l'analyse de code complexe en étapes distinctes, ce qui permet à Claude d'exceller dans chaque tâche spécifique. Le système utilise plusieurs couches de validation, notamment le vote, la chaîne de raisonnement et l'autocritique, pour garantir que seuls les commentaires de haute qualité parviennent aux développeurs.
La plateforme se concentre sur les bugs objectifs, pas sur les suggestions subjectives. Elle résout des problèmes tels que :
- Erreurs d'ordre des paramètres de fonction
- Erreurs de copier-coller
- Vulnérabilités de sécurité
- Incohérences logiques
- Violations des bonnes pratiques
Lorsque les problèmes sont détectés, le système génère automatiquement des suggestions de corrections que les développeurs peuvent implémenter d'un seul clic, ce qui réduit le temps de cycle classique de correction et de revue.
Générer un impact mesurable pour les équipes de développement
L'approche alimentée par l'IA de Graphite a transformé le flux de travail de développement pour ses clients. Brian Michel, de The Browser Company, a déclaré : « Graphite Reviewer trouve le juste équilibre entre signaler les problèmes et ne pas devenir agaçant. Il est différent des autres outils d'IA, car il fonctionne vraiment. Je peux itérer plus rapidement et produire plus vite un résultat exploitable. C'est très utile pour un développeur indépendant, car on ne se sent plus vraiment seul. »
L'impact s'étend au-delà des développeurs individuels jusqu'aux organisations d'ingénierie tout entières. « Graphite a changé la donne pour l'équipe de Ramp », a expliqué Nik Koblov, responsable de l'ingénierie chez Ramp. « Les commentaires automatiques du réviseur IA détectent les erreurs subtiles avant qu'elles ne deviennent des bugs, ce qui nous aide à maintenir la qualité sans ralentir. Dans l'ensemble, Graphite a rendu notre flux de travail plus fluide et plus productif. »
Cet avantage alliant qualité et rapidité trouve un écho auprès de la base de clients de Graphite. « Graphite Reviewer est d'une pertinence impressionnante : il a déjà détecté plusieurs bugs réels avant qu'ils n'atteignent les clients, ce qui constitue un ajout précieux à notre flux de travail de développeurs », a déclaré Ben Kraft de Notion.
Le système fournit actuellement des retours exploitables sur une pull request sur cinq, ce qui se rapproche de la norme du secteur selon laquelle une pull request sur trois reçoit des commentaires humains. Avec 67 % de suggestions d'IA conduisant à des modifications de code et un taux de commentaires positifs de 96 %, Graphite montre que l'IA peut atteindre la qualité de la revue de code au niveau humain tout en fonctionnant à la vitesse de la machine.
Perspectives sur le développement augmenté par l'IA
Graphite envisage une transformation fondamentale du développement logiciel durant la prochaine décennie. Reimers a déclaré : « Chez Graphite, nous pensons que dans 10 ans, les individus n'écriront pas de logiciels. » Les LLM écriront la majorité du code et seront guidés par ou collaboreront avec des humains qui connectent leur produit au monde extérieur. »
Grâce à leur partenariat avec Anthropic, Graphite mène cette transformation. En automatisant les revues chronophages, en détectant les bugs subtils et en permettant des corrections en un clic, ils permettent aux développeurs de se concentrer sur ce que les humains font le mieux : prendre des décisions architecturales de haut niveau qui façonnent l'avenir des logiciels. Ensemble, Graphite et Claude transforment la revue de code d'un goulot d'étranglement en un accélérateur de créativité humaine et d'excellence en ingénierie.
Légende de la vidéo