Wie Semgrep mit Claude in Amazon Bedrock KI-gestützte Codes sicher macht

Semgrep, ein führendes Unternehmen für Cybersicherheit, nutzt Claude in Amazon Bedrock für viele seiner KI-gestützten Funktionen und hilft Entwicklern bei der effektiven Erkennung, Filterung und Behebung von Schwachstellen in Codes, wobei falsch-positive Meldungen auf ein Minimum reduziert werden und damit wertvolle Entwicklungszeit gespart wird.

Mit Claude konnte Semgrep:

• 20 % der Sicherheitsbefunde zuverlässig als unbedenklich einstufen, wobei 92 % der Nutzer und 96 % der Sicherheitsforscher dieser Einstufung zustimmten
• eine um 16 % höhere Genauigkeit bei der Erkennung falsch-positiver Meldungen als die vorherige Version mit GPT-4o erzielen
• eine um 17 % bessere Leistung beim Komponenten-Tagging (im Vergleich zum vorherigen Modell GPT-4o) erreichen
• Täglich Tausende von Sicherheitsbefunden für Kunden verarbeiten und analysieren

Semgreps Ansatz zur Lösung des Problems mit falsch-positiven Sicherheitsmeldungen

Softwareentwicklungsteams sehen sich einer überwältigenden Menge an Sicherheitswarnungen gegenüber, von denen sich viele als falsch-positiv herausstellen, was wertvolle Zeit und Ressourcen kostet. „Sicherheitstools sind dafür bekannt, hohe Mengen an Warnungen zu generieren. Das ist ein weit verbreitetes Phänomen in der gesamten Branche“, sagt Bence Nagy, Staff Engineer bei Semgrep.

Semgrep erkannte dieses Problem und sah in KI die Lösung, um das Rauschen bei Warnungen drastisch zu reduzieren.

Semgreps schnelle, deterministische Code-Analyse-Engine und die LLM-freundliche Regelsyntax bildeten die perfekte Grundlage für KI-gestützte Anwendungssicherheit – dank präziser Mustererkennung konnte man sich die Fähigkeit von KI, den Code-Kontext zu verstehen, zunutze machen.

Nagy erklärt ihren ersten Durchbruch anhand eines praktischen Beispiels: „Wir haben getestet, ob ein KI-Modell zwischen tatsächlich geleakten Passwörtern im Code und harmlosen Platzhaltern wie ‚password=REPLACE_PASSWORD_HERE‘ unterscheiden kann.“

Herkömmliche Sicherheitstools melden beides blind als Schwachstellen, aber wir konnten feststellen, dass KI genau bestimmen kann, welche Warnungen echte Sicherheitsrisiken darstellen und welche Fehlalarme sind. Dieser erste Erfolg bewies, dass KI ein grundlegendes Problem beim Sicherheitsscannen lösen kann – die Unterscheidung zwischen echten Bedrohungen und Rauschen –, was Semgrep dazu veranlasste zu untersuchen, wie KI die gesamte Sicherheitsplattform transformieren kann, damit sich Teams ausschließlich auf legitime Sicherheitsprobleme konzentrieren können.

Auswahl des besten Modells für jede Aufgabe

Semgreps KI-Funktionen basieren auf einer Vielzahl von Prompt-Ketten und Evaluierungsschleifen, die sowohl projektspezifische Eingaben (Abhängigkeiten, frühere Korrekturen, Datenfluss-Traces) als auch Eingaben aus Semgreps nicht auf KI basierenden Analysen referenzieren.

Zum Vergleich der Leistung verschiedener Modelle in diesen Prompt-Ketten setzt Semgrep auf einen rigorosen Evaluierungsprozess, der sicherstellt, dass stets das beste LLM für die jeweilige Sicherheitsaufgabe eingesetzt wird – von der Filterung falsch-positiver Meldungen bis zur Erstellung präziser Behebungsanweisungen.

„Unser Ziel ist es sicherzustellen, dass Entwickler nur die Sicherheitsprobleme sehen, die wirklich relevant sind. Wir vergleichen Modelle anhand realer Daten, überwachen die Leistung kontinuierlich bei über 1.000 Kunden und nehmen die Ergebnisse als Basis für unsere Entscheidungen“, sagt Bence Nagy, Staff Engineer bei Semgrep.

Claude war insofern einzigartig, als es bei jeder einzelnen aufgabenspezifischen Evaluierung von Semgrep zu den drei besten Modellen gehörte.

„Claude 3.7 Sonnet zeigte bemerkenswerte Fähigkeiten in der Code-Analyse mit tieferem kontextuellem Verständnis“, erklärt Nagy. „Es war das einzige Modell, das eine Schwachstelle in einer automatisch generierten Datei erkannte und Entwicklern riet, die generierende Quelle zu korrigieren, anstatt die Ausgabedatei direkt zu bearbeiten.“

In zwei der wichtigsten Evaluierungen – Erkennung falsch-positiver Meldungen und Komponenten-Tagging – übertraf Claude GPT-4o, das zuvor beste Modell, um 16 % bzw. 17 %.

„Als Akteure auf der Anwendungsebene sehen wir das Benchmarking und die Auswahl von Modellen als unsere Aufgabe an – es ist nicht die des Kunden. Obwohl jeder die Verwendung eines bestimmten Modells verlangen kann, vertrauen Kunden im Allgemeinen darauf, dass wir aufgabenbasiert das jeweils passende für sie optimieren und auswählen“, sagt Chushi Li, Product Marketing Manager bei Semgrep.

Claude erweitert die Sicherheitsfunktionen von Semgrep

Semgrep verwendet eine Vielzahl großer Sprachmodelle – einschließlich Claude –, um Funktionen bereitzustellen, mit deren Hilfe Sicherheitsteams Rauschen reduzieren, Routineaufgaben automatisieren und Fixes generieren können:

• Rauschfilterung: Analyse von Sicherheitswarnungen zur Trennung echter Probleme von falsch-positiven Meldungen, wodurch das Warnungsvolumen sofort um 20 % und im Laufe der Zeit um bis zu 40 % reduziert wird.
• Memorys: Lernen und speichern kritischer, sicherheitsrelevanter Kontexte zu einer Umgebung auf Basis der von Nutzern erhaltenen Befunde und behobenen Probleme zur Vermeidung falsch-positiver Meldungen in der Zukunft.
• Autofix und Behebungsanweisungen: Empfehlungen von Ein-Klick-Code-Korrekturen zur Behebung von Schwachstellen und Bereitstellung des von Entwicklern benötigten Kontexts, damit sie die Änderungen verstehen und sicher zusammenführen können.
• Analyse von Breaking Changes: Analyse von Abhängigkeits-Upgrades auf Breaking Changes und automatische Erstellung von Upgrade-PRs, die Entwicklern mitteilen, ob das Versionsupgrade sicher ist oder ob ein Refactoring erforderlich ist.
• Dateisensitivitätsklassifizierung: Bewertung der Kritikalität von Dateien und Priorisierung von Problemen in Hochrisikokomponenten wie Authentifizierung oder Zahlungen gegenüber risikoarmen Komponenten.
• Regelerstellung: Schreiben deterministischer Semgrep-Regeln basierend auf Anweisungen in natürlicher Sprache.

Eines der Sicherheitstools, die Entwickler nicht stören

Semgreps KI-gestützte Funktionen haben die Produktivität von Sicherheits- und Entwicklungsteams verbessert, wobei sie mehr als nur Rauschreduzierung anbieten. Claudes kontextuelles Verständnis hilft Entwicklern auch bei der Implementierung umfassenderer Korrekturen. „Claude liefert zusätzliche Details dazu, was Entwickler nach der Implementierung einer Korrektur überprüfen müssen und wie sie andere Teile ihres Projekts anpassen können“, sagt Nagy. Mit diesem Ansatz wird verhindert, dass die Behebung einer Schwachstelle bestehende Funktionalitäten beeinträchtigt.

Semgreps Benchmarking-Ansatz stellt sicher, dass für jede Sicherheitsaufgabe KI eine optimale Leistung erbringt. Nagy erklärt: „Für unsere Rauschfilterungsfunktion haben wir zur präzisen Messung der Genauigkeit Evaluierungssuiten mit Tausenden vorklassifizierter Sicherheitsbefunde erstellt.“

Diese Tests lieferten wichtige Erkenntnisse über die Modellkonfiguration, darunter eine kontraintuitive Entdeckung: „Wir haben festgestellt, dass je mehr Tokens Claude zum ‚Nachdenken‘ hatte, je übervorsichtiger wurde es bei Sicherheitsproblemen, was es zur Abgabe von zu konservativen Bewertungen veranlasste.“ Dank dieser Erkenntnisse konnte Semgrep Claudes Parameter für Sicherheitsaufgaben fein abstimmen und seine Effektivität für den Praxiseinsatz maximieren.

Claude in Amazon Bedrock: Unternehmenssicherheit, Datenschutz und Leistung

Semgrep arbeitet häufig mit Kunden in Branchen mit strengen Anforderungen an die Daten-Governance zusammen. Amazon Bedrock bietet einen sicheren Weg, leistungsstarke Foundation Models wie Claude in privaten Umgebungen zu nutzen, beispielsweise in der Amazon Virtual Private Cloud (VPC) eines Unternehmens.

„Sicherheit und Datenschutz sind für uns und unsere Kunden nicht verhandelbar“, erläutert Drew Dennison, Mitgründer von Semgrep. „Die Möglichkeit, über Amazon Bedrock auf Claude zuzugreifen – innerhalb einer sicheren, konformen Umgebung – gibt uns die Flexibilität, die wir brauchen, ohne Kompromisse bei der Leistung machen zu müssen.“

Dadurch wird Claude zu einer überzeugenden Wahl – nicht nur wegen seiner technischen Exzellenz, sondern auch wegen der nahtlosen Integration in reale Unternehmensumgebungen.

MCP und die Zukunft der KI-gestützten Entwicklung

Semgrep sieht eine Zukunft, in der KI Software sowohl erstellt als auch absichert. „Wenn Softwareentwicklung zugänglicher wird, werden weniger erfahrene Entwickler mehr KI-geschriebene Codes erzeugen. Wie können wir sichergehen, dass diese Codes auch sicher sind?“, fragt Dennison. „Wir brauchen Sicherheitstools, die direkt in den Generierungsprozess der KI eingebettet sind, sowie Verifizierungssysteme, die den Code in der Denkkette prüfen.“

Diese Vision veranlasste Semgrep zur Entwicklung eines Open-Source-Tools für das Model Context Protocol (MCP), mit dessen Hilfe KI-Assistenten wie Claude den von ihnen generierten Code vor der Bereitstellung auf Schwachstellen scannen können. Da Semgreps SAST-Engine schnell, transparent und quellenbasiert ist, können LLMs mithilfe eines MCP-Servers Semgrep dynamisch als Tool aufrufen. Nagy sagt dazu: „Wir wollen eine Welt schaffen, in der sich ein ganzes Projekt mit KI in dem Wissen erstellen lässt, dass es sicher und funktional ist.“

Das Unternehmen entwickelt außerdem unternehmenseigene Memory-Funktionen zur Verbesserung der kontextbezogenen Sicherheit. „Wir bauen Systeme, die aus den Kommentaren und Entscheidungen von Entwicklern lernen, um nicht offensichtliche Fakten hinsichtlich einer Codebasis zu verstehen“, erklärt Nagy. Durch die Erfassung dieses institutionellen Wissens erfolgen Sicherheitsbewertungen im Laufe der Zeit auf intelligentere Weise.

Durch diese Innovationen will Semgrep sicherstellen, dass KI die Entwicklung beschleunigt und gleichzeitig die Sicherheit gewährleistet – damit wird die gesamte Softwarebranche schneller und sicherer.