Die Google Threat Intelligence Group (GTIG) hat einen detaillierten Bericht veröffentlicht, der zeigt, wie Angreifer die große Sprachmodell-Plattform Google Gemini systematisch in realen Cyberoperationen missbrauchen. Die Spannweite reicht von Aufklärung und Social Engineering über den Aufbau von Angriffsinfrastrukturen bis hin zur Entwicklungsunterstützung für Malware. Besonders brisant ist ein neuer Angriffsvektor: die massenhafte Distillation des Modells, um kostengünstige, unregulierte Klone zu erzeugen.
LLM-Distillation in großem Maßstab: Bedrohung für KI-IP und Sicherheitskontrollen
GTIG dokumentiert Fälle, in denen Angreifer versuchen, das Know-how von Gemini systematisch abzusaugen. In einem Szenario wurden der Plattform über 100.000 automatisierte Prompts in mehreren Sprachen zugespielt. Die Antworten dienten anschließend als Trainingsdaten für ein eigenes Modell, das sich im Verhalten an Gemini anlehnen soll.
Diese Technik, bekannt als LLM-Distillation, basiert darauf, dass ein kleineres Modell aus den Ausgaben eines größeren, leistungsfähigen Modells „lernt“. Statt Milliarden in Datenbeschaffung, Training und Infrastruktur zu investieren, nutzen Angreifer das bestehende Modell als Teacher und sparen den teuersten Teil der Forschung und Entwicklung.
Die Folgen sind erheblich: Ein so entstandener Klon kann Teile der Entscheidungslogik des Originals reproduzieren, wird aber ohne die Sicherheitsmechanismen und Richtlinien des Anbieters betrieben. Solche Modelle lassen sich für die Generierung von Exploit-Code, für realistische Phishing-Kampagnen oder für das systematische Testen von Schutzsystemen einsetzen – ohne dass der ursprüngliche Provider eingreifen kann.
Branchenberichte, etwa von ENISA und in Microsofts „Digital Defense Report“, weisen seit 2023 wiederholt darauf hin, dass Modell-Exfiltration und Wissensabfluss aus KI-Systemen zu den aufkommenden Kernrisiken im KI-Sicherheitsumfeld gehören. Der Fall Gemini zeigt, dass diese Risiken inzwischen praktische Relevanz gewonnen haben.
Staatliche APT-Gruppen: Generative KI als Multiplikator für Cyberangriffe
Laut GTIG nutzen staatlich gesteuerte oder -unterstützte APT-Gruppen aus China, Iran, Nordkorea und Russland Gemini, um ihre Operationen effizienter und skalierbarer zu machen. Namentlich erwähnt werden unter anderem die chinesische APT31 (Temp.HEX), die iranische APT42 und die nordkoreanische UNC2970.
Chinesische Akteure: automatisierte Schwachstellenanalyse und Hexstrike MCP
Angreifer aus dem chinesischen Umfeld traten gegenüber Gemini als angebliche Sicherheitsexperten auf und rahmten ihre Anfragen als „Trainingsszenarien“. Tatsächlich zielten die Prompts darauf ab, die Analyse von Schwachstellen zu automatisieren und zielgerichtete Testpläne für konkrete Systeme zu generieren.
Eine Gruppe experimentierte mit dem Tooling Hexstrike MCP und bat die KI unter anderem um Unterstützung bei:
– der Analyse von Szenarien für Remote Code Execution (RCE);
– der Entwicklung von Techniken zum Bypass von Web Application Firewalls (WAF);
– der Auswertung von SQL-Injection-Ergebnissen gegen bestimmte US-Ziele.
Damit wird generative KI gezielt als „Assistent“ eingesetzt, um bekannte Angriffstechniken schneller, systematischer und mit geringerer Fachhürde anzuwenden.
Iranische APT42: Social Engineering und maßgeschneiderte Malware
Die iranisch verbundene Gruppe APT42 nutzt Gemini laut GTIG als Entwicklungsplattform für Schadsoftware und Social-Engineering-Kampagnen. Dokumentiert ist der Einsatz für:
– das Verfassen überzeugender Phishing-E-Mails und narrative Szenarien für Social Engineering;
– die Generierung und Fehlersuche von Code für eigene Tools;
– das Studium von Exploitation-Techniken und deren Integration in bestehende Toolchains.
Nordkoreanische und russische Strukturen setzen die KI zudem für die Aufklärung von Zielen, den Aufbau von Command-and-Control-Infrastrukturen sowie zur Optimierung von Datendiebstahl-Prozessen ein – ein Muster, das mit anderen öffentlich gewordenen Fällen generativer KI im APT-Kontext übereinstimmt.
KI-gestützte Malware-Entwicklung: CoinBait und HonestCue
CoinBait: Phishing-Kit als React-Single-Page-Application
GTIG beschreibt CoinBait als Phishing-Kit, implementiert als Single-Page Application auf Basis von React. Die Anwendung tarnt sich als legitimer Krypto-Exchange und dient dem Diebstahl von Zugangsdaten.
Im Code fanden die Analysten eindeutige Hinweise auf den Einsatz generativer KI. Auffällig sind unter anderem Logmeldungen mit dem Präfix „Analytics:“, wie sie häufig in automatisch generiertem Code vorkommen. Weitere Artefakte deuten darauf hin, dass die Plattform Lovable AI genutzt wurde, etwa durch Referenzen auf Lovable Supabase und das Frontend lovable.app. Dies illustriert, wie Low-Code- und KI-gestützte Entwicklungsplattformen die Erstellung professionell wirkender Phishing-Infrastruktur erleichtern.
HonestCue: dynamischer Loader mit Gemini-API für Second-Stage-Payloads
Als weiteres Beispiel analysiert GTIG den Loader HonestCue, der als Proof-of-Concept-Framework beschrieben wird. Er ist direkt mit der Gemini API integriert und lässt die zweite Stufe einer Infektion dynamisch generieren.
Das Vorgehen umfasst:
– einen Aufruf der Gemini-API zur Generierung eines C#-Moduls für die zweite Stufe;
– die Just-in-Time-Kompilierung des erzeugten Codes;
– die Ausführung der Payload ausschließlich im Speicher, was die Erkennung durch klassische Antiviren- und viele EDR-Lösungen erschwert.
Solche AI-gestützten Loader eröffnen den Angreifern die Möglichkeit, Payloads bei jedem Aufruf leicht zu variieren und damit signaturbasierte Erkennung weiter zu unterlaufen.
Googles Gegenmaßnahmen und Konsequenzen für die Cybersicherheitsstrategie
Google betont, dass sämtliche identifizierten Konten und Infrastrukturkomponenten der beobachteten Angreifer bereits deaktiviert wurden. Parallel wurden die Erkennungs- und Schutzmechanismen von Gemini verschärft: aktualisierte Klassifikatoren, strengere Prompt- und Response-Filterrichtlinien sowie erweiterte Systeme zur Detektion anomaler Nutzungsmuster, etwa massenhafter Distillation-Versuche.
Aus Sicht der Unternehmenssicherheit zeigt der Fall Gemini einen grundlegenden Trend: Generative KI fungiert gleichzeitig als Verteidigungsinstrument und als Kräftemultiplikator für Angreifer. Organisationen sollten daher:
– ihre Bedrohungsmodelle explizit um Missbrauchsszenarien von LLMs ergänzen;
– klare Richtlinien für die sichere Nutzung von KI-Diensten im Unternehmen definieren;
– LLM- und KI-APIs aktiv überwachen, intern wie extern, um auffällige oder massenhafte Abfragen zu erkennen;
– Mitarbeitende regelmäßig zu Phishing und Social Engineering mit KI-Unterstützung schulen.
Mit der weiteren Verbreitung großer Sprachmodelle in Geschäftsprozessen müssen KI-Sicherheit, Schutz vor Distillation, Wissensabfluss und Missbrauch denselben Stellenwert erhalten wie klassische IT-Sicherheitskontrollen. Unternehmen, die heute in robuste Governance-Strukturen, Monitoring und technische Schutzmaßnahmen für ihre KI-Infrastruktur investieren, erhöhen nachweislich ihre Resilienz gegenüber der nächsten Generation KI-gestützter Cyberangriffe.
