Verbesserte KI-Sicherheit durch Partnerschaft mit der Security-Forschung

Als Senior Director of Application Security bei GitLab ist meine Aufgabe klar: Kund(inn)en vor Schäden durch Software-Schwachstellen zu schützen. KI verändert Softwareentwicklung grundlegend und diese Entwicklung erfordert neue Ansätze für Sicherheit. Dieser Beitrag beschreibt, wie GitLab mit der Community der Security-Forscher(innen) zusammenarbeitet, um die GitLab Duo Agent Platform gegen neu auftretende Bedrohungen abzusichern.

Die Herausforderung: KI-Sicherheit

KI-gestützte Plattformen ermöglichen deutliche Produktivitätssteigerungen für Engineering-Teams. Die Fähigkeit, Code zu generieren, erfordert jedoch robuste Sicherheitsmaßnahmen. Prompt Injection stellt eine besonders kritische Bedrohung für KI-gestützte Entwicklungsplattformen dar. Bei dieser Angriffsmethode werden versteckte Anweisungen in Kommentaren, Quellcode oder Merge-Request-Beschreibungen eingebettet. Diese können das KI-System dazu veranlassen, vom Angreifer kontrollierte Empfehlungen zu generieren oder in manchen Fällen autonom unerwünschte Aktionen auszuführen. Beispielsweise könnte ein präparierter Code-Kommentar das KI-System anweisen, in Code-Reviews bestimmte Schwachstellen zu ignorieren oder gezielt unsichere Code-Patterns vorzuschlagen.

Die Security- und Engineering-Teams bei GitLab arbeiten daran, Kund(inn)en eine sichere Plattform bereitzustellen. Partnerschaften mit externen Sicherheitsforschern wie Persistent Security sind ein wichtiger Bestandteil dieses Ansatzes.

Transparente Zusammenarbeit

Das AI Transparency Center von GitLab dokumentiert, wie wir Ethik und Transparenz in der Entwicklung und Nutzung KI-gestützter Funktionen umsetzen. Diese Verpflichtung erstreckt sich auf die Zusammenarbeit mit Sicherheitsforscher(inne)n.

Der Ablauf folgt etablierten Responsible-Disclosure-Prinzipien: Forscher(innen) melden potenzielle Schwachstellen vertraulich über das GitLab Product Security Response Team. Dieses analysiert die gemeldeten Befunde, entwickelt Mitigationen und koordiniert die öffentliche Bekanntgabe mit den Forscher(inne)n nach erfolgter Behebung.

Als Persistent Security GitLab kontaktierte, um ein komplexes Prompt-Injection-Problem mit branchenweiter Relevanz zu besprechen, wurde das Team direkt mit dem GitLab Product Security Response Team verbunden. Durch diesen Dialog konnten wir Mitigationen identifizieren und implementieren, die vor der öffentlichen Beta der GitLab Duo Agent Platform im Juli 2025 bereitgestellt wurden. Diese Vorgehensweise zeigt unseren Ansatz für die Zusammenarbeit mit Sicherheitsforscher(inne)n: transparente Kommunikation während des gesamten Prozesses zur Koordination von Behebung und Veröffentlichung zum Schutz der Kund(inn)en.

Warum externe Forschung für KI-Sicherheit wichtig ist

KI-Systeme stellen besondere Sicherheitsanforderungen, die unterschiedliche Perspektiven und spezialisierte Expertise erfordern.

Externe Forschung ist wichtig für:

• Schnelle Bedrohungsentwicklung: KI-Sicherheitsbedrohungen entwickeln sich rasch. Die Forschungs-Community hilft uns, neu auftretenden Angriffsmustern voraus zu sein – von Prompt-Injection-Techniken bis zu neuen Methoden zur Manipulation von KI-Antworten.
• Praxisnahe Tests: Externe Forscher(innen) testen unsere Systeme auf Arten, die tatsächliches Angreiferverhalten widerspiegeln. Dies liefert wertvolle Einblicke, wie unsere Abwehrmaßnahmen unter realen Bedingungen funktionieren.
• Diverse Expertise: Externe Sicherheitsforscher(innen) zeigen oft außergewöhnliche Kreativität. Ihre Berichte zeichnen sich durch innovative Ansätze zur Identifikation komplexer Schwachstellen aus. Diese Vielfalt im Denken stärkt unsere gesamte Sicherheitsposition.

Unser Commitment

Die Community der Security-Forscher(innen) bleibt ein wichtiger Partner für unsere Aufgabe, Kund(inn)en zu schützen. Unsere Verpflichtungen umfassen:

• Klare Anleitungen für Forscher(innen) zu unseren KI-Systemen und Sicherheitsgrenzen bereitzustellen
• Schnelle Reaktionszeiten für Security-Meldungen aufrechtzuerhalten
• Unsere Erkenntnisse mit der Community durch öffentliche Veröffentlichung und Forschung zu teilen

Transparenz in der KI-Entwicklung gewinnt beispielsweise durch regulatorische Anforderungen wie den EU AI Act zusätzlich an Bedeutung. Die Zusammenarbeit mit der Community der Security-Forscher(innen) ist besonders im deutschsprachigen Raum ausgeprägt, wo akademische Einrichtungen und unabhängige Forscher(innen) wichtige Beiträge zur KI-Sicherheitsforschung leisten.

Die Zukunft der KI-Sicherheit hängt von der Zusammenarbeit zwischen Organisationen wie GitLab und der Sicherheitsforschungs-Community ab. Gemeinsam können wir sicherstellen, dass KI Produktivität und Innovation ermöglicht und gleichzeitig Kund(inn)en und Nutzer(innen) vor Schäden schützt.

An unsere Partner(innen) in der Forschung: Diese Zusammenarbeit macht uns stärker, sicherer und besser auf kommende Herausforderungen vorbereitet.

Zur Sicherheit von GitLab beitragen? Das HackerOne-Programm bietet den Einstieg, weitere Informationen zu KI-Sicherheitspraktiken im AI Transparency Center.