Eine der weltweit groessten Bug-Bounty-Plattformen, HackerOne, steht im Zentrum einer Debatte darueber, wie kuenstliche Intelligenz (KI) und vertrauliche Schwachstellenberichte in der Cybersicherheit genutzt werden duerfen. Teile der Research-Community befuerchten, dass ihre Bug-Reports als Trainingsdaten fuer KI-Modelle dienen koennten – ohne ausdrueckliche Zustimmung der Autorinnen und Autoren.
Agentic PTaaS von HackerOne: KI-gestuetztes Pentesting wirft Fragen zur Datennutzung auf
Ausgeloest wurde die Diskussion durch den Start von Agentic PTaaS, einem von HackerOne beworbenen Angebot fuer «kontinuierliches Sicherheitstesten mit autonomen KI-Agenten und menschlicher Expertise». Laut Produktbeschreibung greifen diese Agenten auf eine proprietäre Wissensbasis ueber Exploits zu, die HackerOne im Laufe vieler Jahre aus realen Unternehmens-Pentests aufgebaut haben will.
Genau diese Formulierung fuehrte zu einer entscheidenden Frage: Welche Daten speisen diese Wissensbasis, und enthalten sie Inhalte aus Bug-Bounty-Reports? Mehrere Security-Forscher aeusserten oeffentlich die Sorge, dass ihre detaillierten Schwachstellenmeldungen in Trainings- oder Fine-Tuning-Datensaetzen fuer KI gelandet sein koennten – ohne Opt-in-Mechanismus oder transparente Wahlmoeglichkeit zum Opt-out.
In der Community gilt Vertrauen als zentrales Kapital. Wird der Eindruck erweckt, dass rechtliche Rahmenbedingungen und Nutzungsbedingungen nicht klar zugunsten der Researcher ausgelegt sind, kann dies die Bereitschaft zur Teilnahme an Bug-Bounty-Programmen massiv senken. Einige Experten warnen, dass wertvolles Know-how dann eher in intransparente, moeglicherweise kriminelle Kanaele abwandert, statt verantwortungsvoll offengelegt zu werden.
Offizielle Position von HackerOne: Keine Nutzung von Reports zum Training generativer KI
Als Reaktion auf die wachsende Kritik erklaerte Kara Sprague, CEO von HackerOne, in einem ausfuehrlichen Beitrag auf LinkedIn, dass weder eigene noch externe generative KI-Modelle mit Bug-Reports von Forschenden oder mit vertraulichen Kundendaten trainiert werden. Dies schliesse auch Fine-Tuning bestehender Modelle mit solchen Daten aus.
Sprague betonte zudem, dass die KI-Anbieter vertraglich verpflichtet seien, Daten von Researchern und Kunden weder zu speichern noch fuer das Training ihrer Modelle wiederzuverwenden. Solche «no-training»-Klauseln entsprechen aktuellen Best Practices vieler grosser Cloud-LLM-Anbieter im Enterprise-Umfeld, die ihren Unternehmenskunden garantieren, dass Eingabedaten nicht ins allgemeine Trainingscorpus einfliessen.
Parallel baut HackerOne seine agentenbasierte Plattform HackerOne Hai aus. Die KI soll Prozesse wie Verifikation von Reports, Erstellung von Remediation-Empfehlungen und Verarbeitung von Auszahlungen beschleunigen, ohne die Integritaet und Vertraulichkeit der Beitraege der Bug-Bounty-Community zu gefaehrden.
Reaktionen von Intigriti und Bugcrowd: KI-Transparenz als Wettbewerbsfaktor im Bug-Bounty-Markt
Intigriti betont geistiges Eigentum der Forscher
Der Vorfall rund um HackerOne hat Wettbewerber dazu veranlasst, ihre eigene KI- und Datenpolitik fuer Bug-Bounty-Plattformen oeffentlich zu schaerfen. Der Gruender und CEO von Intigriti, Stijn Jans, stellte klar, dass das Unternehmen die Ergebnisse der Researcher als deren geistiges Eigentum betrachtet: «Eure Arbeit gehoert euch», so seine Kernaussage.
Intigriti setze KI-Tools primär ein, um den Workflow zwischen Forscherinnen, Forschern und Unternehmen effizienter zu gestalten – etwa bei Priorisierung, Triaging und Kommunikation – nicht jedoch, um auf Basis fremder Funde proprietaere, geschlossene Modelle zu trainieren.
Bugcrowd: Klare Verbote fuer KI-Training auf Kundendaten
Bugcrowd hat entsprechende Leitlinien bereits verbindlich in seinen Nutzungsbedingungen verankert. Dritten ist es ausdruecklich untersagt, KI- oder LLM-Modelle auf Daten von Researchern oder Kunden zu trainieren. Gleichzeitig verpflichtet die Plattform ihre Bug-Hunter zu einem verantwortungsvollen Einsatz von generativer KI: Vollautomatisch erstellte und nicht manuell verifizierte Reports werden nicht akzeptiert.
Dieser Ansatz spiegelt einen zentralen Trend im Markt wider: Bug-Bounty-Plattformen versuchen, den betriebswirtschaftlichen Nutzen von KI mit der Wahrung der Vertrauensbasis der Community in Einklang zu bringen. Transparenz ueber Datennutzung und KI-Strategie entwickelt sich dabei zu einem entscheidenden Differenzierungsmerkmal.
Warum KI-Training auf Schwachstellenberichten ein hohes Risiko fuer die Cybersicherheit darstellt
Bug-Bounty-Reports enthalten haeufig kritische Schwachstellen, detaillierte Informationen ueber Unternehmensinfrastrukturen, sensible Log-Dateien und Code-Auszuege. Werden solche Daten unkontrolliert in Trainingsdatensaetze fuer grosse Sprachmodelle (LLMs) aufgenommen, entstehen mehrere Risikoebenen.
Erstens drohen Inhaltslecks ueber das Modell. Studien wie jene von Nicholas Carlini et al. («Extracting Training Data from Large Language Models», 2021) zeigen, dass LLMs einzelne, sensible Trainingsdaten wortwoertlich oder in nahezu identischer Form reproduzieren koennen. Bei Zero-Day-Schwachstellen oder noch nicht gepatchten Fehlern koennte dies Angreifern unerwartete Einblicke verschaffen.
Zweitens steht das unnoetige Sammeln und Weiterverarbeiten solcher Daten im Spannungsfeld zu regulatorischen Vorgaben wie der Datensparsamkeit nach Art. 5(1)(c) GDPR oder den Transparenz- und Governance-Pflichten, die im EU AI Act vorgesehen sind. Unternehmen, die KI im Umfeld der Cybersicherheit einsetzen, muessen nachweisbar begruenden, warum und auf welcher Rechtsgrundlage besonders schuetzenswerte Sicherheitsdaten verarbeitet werden.
Drittens kann der Eindruck, dass hochspezialisierte Arbeit von Security-Forschern ohne zusaetzliche Verguetung oder klare Bedingungen in kommerzielle KI-Produkte einfliesst, die Motivation der Community nachhaltig schaedigen. Laut Verizon Data Breach Investigations Report und ENISA Threat Landscape werden in vielen Angriffskampagnen weiterhin bekannte, aber ungepatchte Schwachstellen ausgenutzt. Ein Rueckgang der Bug-Bounty-Aktivitaet wuerde diese Luecke weiter vergroessern – mit unmittelbaren Folgen fuer die Cyber-Resilienz von Unternehmen.
HackerOne hat angekuendigt, seine Terms and Conditions zu aktualisieren, um die bisher muendlich kommunizierten Zusicherungen zur KI-Nutzung formell zu verankern und damit zumindest einen Teil der Bedenken zu adressieren. Ohne solche klaren, rechtlich belastbaren Regeln werden KI-Initiativen schnell zu Reputationsrisiken – gerade in einem Umfeld, das auf Vertrauen und verantwortungsvolle Offenlegung angewiesen ist.
Die aktuelle Diskussion zeigt, dass Transparenz im Umgang mit Daten und KI zu einem Schluesselfaktor fuer Bug-Bounty-Plattformen wird. Unternehmen und Security-Teams sollten KI- und Datenschutzklauseln in den Programmbedingungen sorgfaeltig pruefen, gezielt nachfragen, ob und wie Schwachstellenberichte in KI-Systeme einfliessen, und gegebenenfalls ausdrueckliche Zustimmungen fuer jegliche Form von Modelltraining einfordern. Forschende wiederum koennen durch die Wahl von Plattformen mit klaren, strengen KI-Policies aktiv dazu beitragen, den Standard im Markt anzuheben. Wer heute transparente, nachvollziehbare Regeln fuer KI in der Cybersicherheit etabliert, positioniert sich als vertrauenswuerdiger Partner fuer die zunehmend kritische Aufgabe der Verteidigung digitaler Infrastrukturen.
