Französische Ermittler haben die Pariser Niederlassung der Plattform X durchsucht. Im Zentrum des Verfahrens steht der generative KI-Dienst Grok, dem vorgeworfen wird, illegalen Inhalt wie sexuelle Deepfakes und Holocaust-Leugnung erzeugen und verbreiten zu können. Der Fall verdeutlicht, wie konsequent Staaten inzwischen gegen KI-gestützte Cyberkriminalität auf großen Online-Plattformen vorgehen.
Hintergrund der Ermittlungen: Beschwerden gegen X und den KI-Chatbot Grok
Nach Angaben der Pariser Staatsanwaltschaft begann das Verfahren bereits im Januar 2025. Auslöser waren Beschwerden von Nutzern und zivilgesellschaftlichen Organisationen, die darauf hinwiesen, dass Grok ohne wirksame Schutzmechanismen strafbare Inhalte generieren könne. Genannt wurden insbesondere sexualisierte Darstellungen ohne Einwilligung der Betroffenen und Äußerungen, die in Frankreich als Holocaust-Leugnung strafbar sind.
Die Durchsuchungen führte die Cybercrime-Einheit der französischen Nationalgendarmerie gemeinsam mit Europol durch. Diese internationale Beteiligung macht deutlich, dass es um grenzüberschreitende Online-Sachverhalte geht: Inhalte werden global erzeugt und geteilt, doch die Verantwortung für Moderation und Rechtskonformität trifft jeweils die Plattform, die im Hoheitsgebiet eines Staates operiert.
Im Raum stehende Straftatbestaende: Von CSAM bis illegale Plattform
Die französischen Cyberermittler prüfen insgesamt sieben mögliche Straftatbestände, die über oder mit Hilfe der Plattform X verwirklicht worden sein könnten:
- Beihilfe zur Speicherung und Verbreitung von Darstellungen sexueller Gewalt gegen Kinder (CSAM) – eines der am schärfsten verfolgten Delikte im Bereich Cybercrime.
- Erstellung und Verbreitung sexueller Deepfakes – KI-generierte intime Bilder realer Personen ohne deren Zustimmung.
- Holocaust-Leugnung – in Frankreich ein eigener Straftatbestand, dessen Relevanz in sozialen Netzwerken wegen der großen Reichweite besonders hoch ist.
- „Betrügerische Datenbeschaffung“ (Data Scraping) – massenhaftes automatisiertes Abschöpfen von Nutzerdaten entgegen Plattformregeln oder Datenschutzrecht.
- Eingriffe in Informationssysteme – unbefugter Zugriff, Manipulation oder Störung von IT-Systemen.
- Betrieb einer illegalen Online-Plattform im Rahmen organisierter Kriminalität – etwa durch systematische Duldung oder Förderung rechtswidriger Aktivitäten.
Aus Sicht der Cybersicherheit deutet dieser Katalog auf eine umfassende technische und organisatorische Prüfung hin: von der Content-Moderation über die Sicherheitsarchitektur bis hin zur Transparenz der KI-Modelle und der Datenverarbeitung.
Generative KI als Beschleuniger fuer Deepfakes und Missbrauch
Berichte von Europol und der EU-Agentur ENISA warnen seit 2023, dass generative KI die Erstellung von Deepfakes, Betrugsmaschen und Missbrauchsmaterial drastisch vereinfacht. Wo früher spezialisierte Kenntnisse nötig waren, reicht heute ein Prompt. Ohne technische und organisatorische „Guardrails“ werden KI-Systeme so zum Multiplikator für strafbare Inhalte.
Besonders kritisch ist dies bei CSAM (Child Sexual Abuse Material). Die US-Meldestelle NCMEC registriert seit Jahren zweistellige Millionenwerte an Verdachtsmeldungen jährlich – ein Indikator dafür, wie stark digitale Kanäle bereits genutzt werden. Generative KI droht diese Lage weiter zu verschärfen, wenn Plattformen keine strikten Filter und Erkennungsmechanismen implementieren.
Vernehmungen des Managements und die Position von X
Die Pariser Staatsanwaltschaft hat Elon Musk sowie die CEO von X, Linda Yaccarino, für den 20. April zu Vernehmungen geladen. Weitere Mitarbeitende sollen zwischen dem 20. und 24. April als Zeugen befragt werden. Offiziell handelt es sich um „freiwillige Gespräche“, bei denen das Management seine Sicht darlegen und erläutern soll, welche Maßnahmen zur Einhaltung des französischen Rechts ergriffen wurden oder geplant sind.
Der offizielle Account „Global Government Affairs“ von X bezeichnete Teile der Ermittlungen – insbesondere zu möglichen Algorithmus-Manipulationen und „betrügerischem Daten-Scraping“ – als politisch motiviertes Strafverfahren. Solche Spannungen sind typisch im Verhältnis zwischen globalen Plattformen und nationalen Aufsichtsbehörden, wo sich Meinungsfreiheit, Geschäftsinteressen und Pflichten zur Bekämpfung von Cybercrime überschneiden.
DSA, Datenschutz und internationale Aufsicht: Regulierung fuer KI-Plattformen
Parallel zum französischen Strafverfahren hat die Europäische Kommission im Januar 2026 ein eigenes Prüfverfahren gegen X eröffnet. Im Fokus steht, ob X vor der Einführung von Grok eine ordnungsgemäße Risikobewertung nach dem Digital Services Act (DSA) durchgeführt hat – insbesondere im Hinblick auf die massenhafte Generierung sexueller Inhalte durch KI.
Zugleich untersuchen der britische Regulator Ofcom und der Generalstaatsanwalt des US-Bundesstaates Kalifornien, Rob Bonta, Fälle, in denen Grok angeblich ohne Einwilligung der Betroffenen obszöne Inhalte erzeugt hat. Die britische Datenschutzaufsicht ICO verlangt von X und den KI-Entwicklern Nachweise, wie Vorgaben der EU-Datenschutzgesetze – etwa Datenminimierung, Rechtmäßigkeit der Verarbeitung und Betroffenenrechte – praktisch umgesetzt werden.
Konkrete Pflichten aus DSA und Datenschutzrecht fuer generative KI
Der Digital Services Act verpflichtet sehr große Online-Plattformen zu einer systematischen Risikobewertung: Sie müssen Gefahren durch illegalen Inhalt, Desinformation, Manipulation und Grundrechtsverletzungen identifizieren, mindern und regelmäßig auditieren lassen. Hinzu kommen Transparenzanforderungen für Empfehlungs- und Ranking-Algorithmen sowie wirksame Beschwerde- und Notice-and-Action-Verfahren.
In Kombination mit der DSGVO und nationalen Datenschutzgesetzen entsteht für KI-Dienste wie Grok ein enger regulatorischer Rahmen: „Security & Privacy by Design“ sind keine Option mehr, sondern Pflicht. Verstöße können – wie die Europäische Kommission mehrfach betont hat – zu empfindlichen Bußgeldern und erheblichen Einschränkungen des Dienstbetriebs führen.
Lehren fuer Cybersicherheit, KI-Entwicklung und Unternehmen
Der Fall X/Grok zeigt, dass generative KI ohne robuste Schutzmechanismen schnell vom Innovationswerkzeug zum erheblichen Cyber- und Rechtsrisiko wird. Für Plattformbetreiber bedeutet dies, Sicherheitsarchitekturen zu überdenken: mehrstufige Inhaltsfilter, spezialisierte CSAM-Erkennung, dedizierte Moderations-Teams, regelmäßige unabhängige Audits der Modelle sowie Protokollierung und Analyse auffälliger Anfragen gehören heute zum Mindeststandard.
Unternehmen, die externe KI-Services integrieren, sollten nicht nur auf Funktionsumfang achten, sondern auch auf Compliance-Fähigkeit: Gibt es Konfigurationsoptionen für Sicherheits- und Inhaltsfilter? Werden Daten sparsam und zweckgebunden verarbeitet? Existieren vertraglich fixierte Reaktions- und Löschprozesse bei Rechtsverstößen? Eine Datenschutz-Folgenabschätzung (DPIA), klare Governance-Regeln und Sensibilisierung der Mitarbeitenden sind zentrale Bausteine.
Auch Privatnutzer sollten den Umgang mit KI-generierten Inhalten kritisch hinterfragen: Deepfakes und schockierende Bilder sollten stets auf Herkunft und Plausibilität geprüft werden. Die Weiterverbreitung offensichtlich illegaler Inhalte kann selbst dann strafbar sein, wenn sie von einer KI erzeugt wurden – Unwissenheit über die Herkunft schützt nicht vor Verantwortung.
Die Ermittlungen in Frankreich und die parallelen Prüfungen in der EU, Großbritannien und den USA markieren einen Wendepunkt: KI-Plattformen werden zunehmend wie andere kritische Online-Infrastrukturen behandelt – mit klaren Pflichten, Audits und Sanktionen. Für Betreiber, Unternehmen und Nutzende ist jetzt der richtige Zeitpunkt, KI-Sicherheit und Compliance systematisch zu verankern: durch Guardrails in der Modellentwicklung, robuste Content-Moderation, transparente Prozesse und eine Sicherheitskultur, die Missbrauch nicht als Randphänomen, sondern als zentrales Risiko versteht.
