Cybersecurity-Experten haben eine besorgniserregende Schwachstelle in Google Gemini für Workspace identifiziert, die es Angreifern ermöglicht, raffinierte Phishing-Kampagnen durch die Manipulation der E-Mail-Zusammenfassungsfunktion zu starten. Diese neuartige Bedrohung nutzt versteckte Prompt-Injection-Techniken, die direkt in E-Mail-Nachrichten eingebettet werden und einen bisher unbekannten Vektor für Social Engineering in Unternehmensumgebungen schaffen.
Entdeckung der Prompt-Injection-Schwachstelle
Die Sicherheitslücke wurde von Marco Figueroa entdeckt, einem Informationssicherheitsspezialisten und Manager des Bug-Bounty-Programms 0Din (0Day Investigative Network). Dieses von Mozilla im Jahr 2024 gestartete Programm konzentriert sich speziell auf die Identifizierung von Schwachstellen in großen Sprachmodellen und Deep-Learning-Technologien.
Der Angriffsmechanismus basiert auf der Einbettung unsichtbarer Anweisungen für KI-Systeme direkt in E-Mail-Inhalte. Cyberkriminelle verwenden HTML- und CSS-Techniken, um bösartige Befehle zu verbergen, indem sie die Schriftgröße auf null setzen oder Text in weißer Farbe darstellen. Diese Manipulationen machen die Prompt-Injections für das menschliche Auge beim Betrachten der E-Mail in Gmail vollständig unsichtbar.
Umgehung traditioneller E-Mail-Sicherheitssysteme
Ein entscheidendes Merkmal dieser Angriffsmethode ist das Fehlen herkömmlicher Kompromittierungsindikatoren. Die E-Mails enthalten keine verdächtigen Anhänge oder schädlichen Links, wodurch sie erfolgreich durch Sicherheitsfilter gelangen und ungehindert in die Postfächer der Empfänger gelangen können.
Wenn Benutzer die E-Mail-Zusammenfassungsfunktion von Gemini aktivieren, verarbeitet die KI den gesamten Nachrichtentext, einschließlich der versteckten Anweisungen. Infolgedessen befolgt die KI die schädlichen Direktiven und generiert gefälschte Sicherheitswarnungen, die wie legitime Benachrichtigungen von Google aussehen.
Praktische Demonstration der Angriffsmethode
In Figueroas Demonstrationsfall erstellte das Gemini-System eine falsche Warnung über die Kompromittierung des Gmail-Passworts eines Benutzers. Die Nachricht enthielt eine gefälschte Support-Telefonnummer, über die das Opfer Kontakt aufnehmen sollte, um die „Kontosicherheit wiederherzustellen“. Da Benutzer dazu neigen, den Ergebnissen integrierter Google Workspace-Tools zu vertrauen, steigt die Wahrscheinlichkeit eines erfolgreichen Betrugs erheblich.
Schutzmaßnahmen und Erkennungsstrategien
Sicherheitsexperten empfehlen mehrere Ansätze zur Bekämpfung solcher Angriffe. Der erste Ansatz umfasst die Vorab-Inhaltsfilterung mit der Entfernung oder Neutralisierung versteckter Texte vor der Verarbeitung durch KI-Systeme. Ein zweiter Ansatz beinhaltet die Verwendung von Nachbearbeitungsfiltern, die Gemini-Ausgaben auf verdächtige Elemente wie Sicherheitswarnungen, URLs oder Telefonnummern analysieren.
Benutzern wird empfohlen, alle von KI-Systemen generierten Sicherheitswarnungen kritisch zu bewerten und diese über offizielle Kommunikationskanäle zu verifizieren. Besondere Vorsicht ist bei unerwarteten Benachrichtigungen über Kontokompromittierungen oder die Notwendigkeit dringender Sicherheitsmaßnahmen geboten.
Googles Reaktion auf die Schwachstelle
Google-Vertreter haben den Erhalt des Schwachstellenberichts bestätigt und ihre Arbeit an der Stärkung der Schutzmechanismen angekündigt. Das Unternehmen führt Red-Team-Tests durch, um Modelle im Widerstand gegen Prompt-Injections und andere Manipulationsformen zu trainieren. Google betonte jedoch, dass ihnen keine Fälle der praktischen Ausnutzung dieser Schwachstelle in realen Angriffen bekannt sind.
Diese Sicherheitslücke verdeutlicht die wachsende Komplexität von Bedrohungen im Zeitalter der KI-Integration in Unternehmenssysteme. Organisationen müssen ihre Sicherheitsansätze überdenken, neue Angriffsvektoren über KI-Systeme berücksichtigen und zusätzliche Schutzebenen implementieren, um Manipulationen großer Sprachmodelle zu verhindern. Die regelmäßige Schulung von Mitarbeitern zur Erkennung solcher Bedrohungen wird zu einem kritischen Element der Unternehmenscybersicherheit.
