Comment Semgrep assure la sécurité du code par l'IA avec Claude in Amazon Bedrock

Semgrep, une entreprise leader en cybersécurité, exploite Claude in Amazon Bedrock pour alimenter bon nombre de ses fonctionnalités assistées par l'IA destinées aux clients, aidant les développeurs à détecter, filtrer et corriger les vulnérabilités du code plus efficacement, tout en minimisant les faux positifs qui font perdre du temps aux ingénieurs.

Avec Claude, Semgrep :

• Étiquette en toute confiance 20 % des résultats de sécurité comme pouvant être ignorés, avec un taux d'accord de 92 % des utilisateurs et de 96 % des chercheurs en sécurité
• A obtenu une précision supérieure de 16 % dans l'identification des faux positifs par rapport à une version antérieure alimentée par GPT-4o
• A obtenu des performances supérieures de 17 % dans le balisage des composants (par rapport à leur modèle précédent, GPT-4o)
• Traite et analyse des milliers de résultats de sécurité pour les clients chaque jour

Comment Semgrep résout le problème des faux positifs en sécurité

Les équipes de développement logiciel font face à un volume écrasant d'alertes de sécurité, dont beaucoup sont des faux positifs qui consomment un temps et des ressources précieux. « Les outils de sécurité sont réputés pour générer de gros volumes d'alertes. C'est un problème répandu dans tout le secteur », a déclaré Bence Nagy, Staff Engineer chez Semgrep.

Semgrep a identifié ce problème et a vu une opportunité d'appliquer l'IA pour réduire considérablement le bruit des alertes.

Le moteur d'analyse de code rapide et déterministe de Semgrep et sa syntaxe de règles compatible avec les LLM en ont fait la fondation parfaite pour la sécurité applicative alimentée par l'IA, conservant les avantages de la correspondance de motifs précise tout en tirant parti de la capacité de l'IA à comprendre le contexte du code.

Nagy a expliqué leur première percée avec un exemple pratique : « Nous avons testé si un modèle d'IA pouvait distinguer les mots de passe réellement divulgués dans le code des espaces réservés inoffensifs comme 'password=REPLACE_PASSWORD_HERE'. »

Les outils de sécurité traditionnels signalent aveuglément les deux comme des vulnérabilités, mais nous avons découvert que l'IA pouvait déterminer avec précision quelles alertes représentaient de véritables risques de sécurité et lesquelles étaient de fausses alarmes. Ce succès initial a prouvé que l'IA pouvait résoudre un problème fondamental de l'analyse de sécurité : distinguer les vraies menaces du bruit. Cela a incité Semgrep à explorer comment l'IA pourrait transformer l'ensemble de sa plateforme de sécurité pour aider les équipes à se concentrer exclusivement sur les problèmes de sécurité légitimes.

Choisir le meilleur modèle pour chaque tâche

Les fonctionnalités d'IA de Semgrep reposent sur une variété de chaînes de requêtes et de boucles d'évaluation qui référencent à la fois des entrées spécifiques au projet (dépendances, correctifs antérieurs, traces de flux de données) et des entrées issues des analyses non-IA de Semgrep.

Pour comparer les performances des différents modèles sur ces chaînes de requêtes, Semgrep s'appuie sur un processus d'évaluation rigoureux qui garantit qu'ils utilisent toujours le meilleur LLM pour une multitude de tâches de sécurité, de la filtration des faux positifs à la génération de recommandations de remédiation précises.

« Notre objectif est de nous assurer que les développeurs ne voient que les problèmes de sécurité qui comptent. Nous évaluons les modèles par rapport à des données réelles, surveillons en permanence les performances auprès de plus de 1 000 clients et laissons les résultats nous guider », a déclaré Bence Nagy, Staff Engineer chez Semgrep.

Claude s'est distingué en étant un modèle de premier plan (top 3) dans chacune des évaluations uniques et spécifiques de Semgrep.

« Claude 3.7 Sonnet a démontré des capacités remarquables d'analyse de code avec une compréhension contextuelle plus profonde », a déclaré Nagy. « C'était le seul modèle qui a reconnu une vulnérabilité dans un fichier auto-généré, conseillant aux développeurs de corriger la source génératrice plutôt que de modifier directement le fichier de sortie. »

Dans deux des évaluations les plus importantes, la détection des faux positifs et le balisage des composants, Claude a surpassé GPT-4o, le modèle précédemment le plus performant, de 16 % et 17 % respectivement.

« Opérant au niveau de la couche applicative, nous considérons que l'évaluation comparative et la sélection des modèles relèvent de notre responsabilité, pas de celle du client. Bien que quiconque puisse demander l'utilisation d'un modèle spécifique, les clients nous font généralement confiance pour optimiser et choisir pour eux en fonction de chaque tâche », a déclaré Chushi Li, responsable du marketing produit chez Semgrep.

Claude renforce les capacités de sécurité de Semgrep

Semgrep utilise une variété de grands modèles de langage, dont Claude, pour alimenter des fonctionnalités qui aident les équipes de sécurité à réduire le bruit, automatiser les tâches routinières et générer des correctifs :

• Filtrage du bruit : Analyse les alertes de sécurité pour distinguer les vrais problèmes des faux positifs, réduisant le volume d'alertes de 20 % dès le départ, et jusqu'à 40 % au fil du temps.
• Memories : Apprend et stocke le contexte critique et pertinent en matière de sécurité d'un environnement au fur et à mesure que les utilisateurs trient les résultats et corrigent les problèmes, éliminant les futurs faux positifs.
• Autofix + conseils de remédiation : Suggère des correctifs de code en un clic pour remédier aux vulnérabilités, et donne aux développeurs le contexte nécessaire pour comprendre et fusionner les modifications en toute confiance.
• Analyse des changements avec rupture : Analyse les mises à jour de dépendances pour détecter les changements avec rupture, et crée automatiquement des PR de mise à jour indiquant aux développeurs si le changement de version est sûr ou s'ils doivent refactoriser.
• Classification de la sensibilité des fichiers : Évalue la criticité des fichiers, en priorisant les problèmes dans les composants à haut risque comme l'authentification ou les paiements par rapport aux composants à faible risque.
• Écriture de règles : Rédige des règles Semgrep déterministes à partir d'instructions en langage naturel

Un des outils de sécurité que les développeurs acceptent

Les fonctionnalités alimentées par l'IA de Semgrep ont amélioré la productivité des équipes de sécurité et de développement, et vont au-delà de la simple réduction du bruit. La compréhension contextuelle de Claude aide également les développeurs à mettre en œuvre des correctifs plus complets. « Claude fournit des détails supplémentaires sur ce que les développeurs doivent vérifier après avoir implémenté un correctif et comment adapter d'autres parties de leur projet », a déclaré Nagy. Cette approche prévient le problème courant où la correction d'une vulnérabilité compromet des fonctionnalités existantes.

L'approche d'évaluation comparative de Semgrep garantit des performances d'IA optimales pour chaque tâche de sécurité. Nagy a expliqué : « Pour notre fonctionnalité de filtrage du bruit, nous avons construit des suites d'évaluation contenant des milliers de résultats de sécurité pré-classifiés pour mesurer la précision avec exactitude. »

Ces tests ont révélé des informations importantes sur la configuration des modèles, notamment une découverte contre-intuitive : « Nous avons constaté que donner plus de jetons à Claude pour la « réflexion » le rendait en fait trop prudent concernant les problèmes de sécurité, devenant trop réservé dans ses évaluations. » Ces informations permettent à Semgrep d'affiner les paramètres de Claude pour les tâches de sécurité, maximisant son efficacité pour les opérations en conditions réelles.

Claude in Amazon Bedrock : sécurité d'entreprise, confidentialité et performance

Semgrep travaille fréquemment avec des clients dans des secteurs soumis à des exigences strictes de gouvernance des données. Amazon Bedrock fournit un moyen sécurisé d'accéder à des modèles de fondation puissants comme Claude dans des environnements privés, tels que le cloud privé virtuel (VPC) d'une organisation sur Amazon.

« La sécurité et la confidentialité sont non négociables pour nous et nos clients », a déclaré Drew Dennison, cofondateur de Semgrep. « La possibilité d'accéder à Claude via Amazon Bedrock, dans un environnement sécurisé et conforme, nous offre la flexibilité dont nous avons besoin sans compromettre les performances. »

Cette disponibilité fait de Claude un choix convaincant, non seulement pour son excellence technique, mais aussi pour la façon dont il s'intègre parfaitement dans les environnements d'entreprise réels.

MCP et l'avenir du développement alimenté par l'IA

Semgrep envisage un avenir où l'IA crée et sécurise le logiciel simultanément. « À mesure que le développement logiciel devient plus accessible, des ingénieurs moins expérimentés généreront davantage de code écrit par l'IA. Comment sécuriser ce code ? » a demandé Dennison. « Nous avons besoin d'outils de sécurité intégrés directement dans le processus de génération de l'IA, plus des systèmes de vérification pour auditer le code dans la chaîne de raisonnement. »

Cette vision a conduit Semgrep à développer un outil Model Context Protocol (MCP) open source qui permet aux assistants IA comme Claude d'analyser leur code généré pour détecter les vulnérabilités avant de le livrer. Le moteur SAST de Semgrep étant rapide, transparent et basé sur le code source, un serveur MCP permet aux LLM d'appeler dynamiquement Semgrep comme outil. Nagy a déclaré : « Nous voulons créer un monde où vous pouvez construire un projet entier avec l'IA et être confiant qu'il est sécurisé et fonctionnel. »

L'entreprise développe également des fonctionnalités de mémoire organisationnelle pour améliorer la sécurité contextuelle. « Nous construisons des systèmes qui apprennent des commentaires et des décisions des développeurs pour comprendre des faits non évidents sur une base de code », a expliqué Nagy. En capturant ces connaissances institutionnelles, les évaluations de sécurité deviennent plus intelligentes au fil du temps.

Grâce à ces innovations, Semgrep vise à garantir que l'IA accélère le développement tout en maintenant la sécurité, bénéficiant à l'ensemble de l'industrie logicielle en alliant rapidité et sûreté.