ChatGPhish und neue Schwachstellen in AI-Assistenten und Coding-Agents

Forscher von Permiso Security haben eine Angriffstechnik auf ChatGPT mit dem Namen ChatGPhish offengelegt, die die routinemäßige Zusammenfassung von Webseiten in einen Phishing-Vektor verwandelt. Nach Angaben der Forscher vertraut der Renderer der Antworten auf chatgpt.com Markdown-Links und Bild-URLs, die von externen Seiten stammen, lädt solche Bilder automatisch und stellt Links als anklickbare Elemente innerhalb der vertrauenswürdigen Oberfläche des Assistenten dar. Die Veröffentlichung fiel zusammen mit einer Reihe ähnlicher Funde anderer Teams, die AI-Coding-Agents, Browsererweiterungen und Frameworks für AI-Anwendungen betreffen – einschließlich der von Microsoft bestätigten Schwachstellen CVE-2026-25592 und CVE-2026-26030 in Semantic Kernel. Für keine der beschriebenen Probleme ist bislang eine Ausnutzung in realen Angriffen bekannt, allerdings stehen öffentliche PoC-Demonstrationen zur Verfügung.

Wie ChatGPhish funktioniert

Der Kern der Technik, die der Forscher Andi Ahmeti von Permiso beschreibt, besteht im Missbrauch des Markdown-Renderings in den Antworten von ChatGPT. Ein Angreifer platziert auf einer beliebigen Webseite eine kleine Nutzlast – versteckte Anweisungen im Markdown-Format. Wenn das Opfer ChatGPT bittet, diese Seite zusammenzufassen, geschieht Folgendes:

• Metadaten-Leak: Bilder vom Server des Angreifers werden beim Rendern der Antwort automatisch geladen, was nach Angaben der Forscher die IP-Adresse, den User-Agent und den Referer-Header des Opfers offenlegt.
• Phishing-Links: schädliche Markdown-Links werden als aktive, anklickbare Elemente innerhalb der Oberfläche des Assistenten angezeigt.
• Gefälschte Systemwarnungen: in der Antwort können gefälschte Sicherheitsbenachrichtigungen und QR-Codes erscheinen, die etwa in einem S3-Bucket des Angreifers abgelegt sind.

Das entscheidende Merkmal von ChatGPhish ist nicht die Prompt Injection selbst, sondern dass Anweisungen, die in eine gewöhnliche Webseite eingebettet sind, ausgeführt und dem Nutzer visuell als Teil einer legitimen Antwort der vertrauenswürdigen AI-Oberfläche präsentiert werden. Wie Permiso anmerkt, vergrößert die Verlagerung des Angriffsvektors von E-Mail in den Browser die Angriffsfläche erheblich: Der Nutzer muss kein Attachment öffnen oder mit einer verdächtigen Nachricht interagieren – es reicht, ChatGPT zu bitten, die Seite zusammenzufassen.

Wichtig: Zum Zeitpunkt der Veröffentlichung hat OpenAI zu diesem Problem noch keinen offiziellen Sicherheitsbericht herausgegeben. Die technischen Details stützen sich ausschließlich auf die Forschung von Permiso.

Angriffe auf AI-Coding-Agents: SymJack und TrustFall

Parallel dazu hat das Team von Adversa AI zwei Techniken dokumentiert – SymJack und TrustFall –, die auf AI-Coding-Assistenten und agentenbasierte CLI-Tools abzielen.

SymJack nutzt symbolische Links (Symlinks) aus: Ein bösartiges Repository bringt den Agenten dazu, eine harmlos wirkende Datei zu kopieren, doch der Zielpfad verweist über einen Symlink auf die Konfiguration des Agents selbst. Nach einem Neustart, so die Forscher, startet ein bösartiger MCP-Server mit den vollen Benutzerprivilegien.

TrustFall wiederum, wie Adversa AI berichtet, setzt Remote Code Execution (RCE) mit einem Klick um: Das Repository enthält eine Konfiguration, die einen MCP-Server automatisch genehmigt und startet, ohne ausdrückliche Zustimmung des Nutzers. Es genügt, das Repository zu klonen und im Vertrauensdialog auf „Yes, I trust this folder“ zu klicken – und der Code des Angreifers wird mit den vollen Systemprivilegien des Entwicklers ausgeführt.

Größerer Kontext: Schwachstellen im AI-Ökosystem

Die beschriebenen Techniken sind Teil einer groß angelegten Welle von Sicherheitsuntersuchungen zu AI-Systemen. Zu den bedeutendsten bestätigten Funden gehören:

• CVE-2026-25592 und CVE-2026-26030 in Microsoft Semantic Kernel – Schwachstellen, die laut Microsoft-Advisory es ermöglichen, Prompt Injection in Remote Code Execution auf Host-Ebene zu verwandeln.
• Typografische Prompt-Injection-Angriffe – eine Studie von Cisco hat gezeigt, dass als Bild gerenderter Text Sicherheitsfilter in multimodalen Sprachmodellen umgehen kann. Dabei sehen die Bilder für OCR-Filter wie Rauschen aus, tragen aber vollständig lesbare Anweisungen für das Zielmodell.
• Mehrstufige Angriffe auf LLM – Cisco betont, dass sich Schutzmechanismen von LLM über mehrstufige Dialoge umgehen lassen, während Standard-Benchmarks nur Einzelanfragen testen.
• ClaudeBleed – nach Angaben von LayerX ermöglichte eine Schwachstelle in der Claude-Browsererweiterung jeder beliebigen Erweiterung ohne spezielle Berechtigungen, die Kontrolle über den AI-Assistenten zu übernehmen, da eine Prüfung der Herkunft des Aufrufs fehlte.
• Ökosystem agentenbasierter Skills – ein Audit von Snyk zeigte, dass 13,4 % der 3.984 analysierten Skills auf den Plattformen ClawHub und skills.sh mindestens ein kritisches Sicherheitsproblem enthalten, darunter Verbreitung von Malware, Prompt Injection und Leckage von Secrets.

Zusätzlich hat Unit 42 (Palo Alto Networks) einen PoC-Agenten demonstriert, Zealot, der in der Lage ist, nahezu autonome Angriffe auf Cloud-Infrastrukturen durchzuführen – mit minimaler menschlicher Beteiligung – und dabei Ketten aus Reconnaissance, Exploitation, Privilege Escalation und Datenexfiltration aufzubauen.

Bewertung der Auswirkungen

Am stärksten gefährdet sind Organisationen, die ChatGPT und ähnliche AI-Assistenten intensiv für Rechercheaufgaben und Inhaltszusammenfassungen nutzen. Im Fall von ChatGPhish kann jede Webseite, die ein Mitarbeiter den AI-Service verarbeiten lässt, potenziell eine Nutzlast enthalten, die die Oberfläche des Assistenten in eine Phishing-Plattform verwandelt. Für Entwickler, die AI-Coding-Agents einsetzen, bedeutet das Risiko durch SymJack und TrustFall, dass das Klonen eines nicht geprüften Repositories zur vollständigen Kompromittierung der Workstation führen kann.

Besonders gefährlich ist der Vertrauensfaktor: Nutzer nehmen die Antworten von AI-Assistenten als verlässlich wahr, was die wahrgenommene Kritikalität von Phishing-Elementen verringert, die innerhalb der gewohnten Oberfläche angezeigt werden.

Praxisempfehlungen

1. Für Nutzer von ChatGPT: Folgen Sie keinen Links und scannen Sie keine QR-Codes aus zusammengefassten Antworten, ohne die URL zu prüfen. Behandeln Sie alle „Systemwarnungen“ in AI-Antworten mit derselben Skepsis wie verdächtige E-Mails.
2. Für Entwickler: Klonen oder öffnen Sie keine Repositories aus nicht geprüften Quellen in AI-Coding-Tools. Prüfen Sie den Inhalt der Konfigurationsdateien von MCP-Servern, bevor Sie Vertrauensdialoge genehmigen.
3. Für Administratoren von Microsoft Semantic Kernel: Spielen Sie die Patches für CVE-2026-25592 und CVE-2026-26030 mit hoher Priorität ein.
4. Für SOC-Teams: Aktivieren Sie das Monitoring ausgehender Requests von AI-Tools zu externen Ressourcen. Ziehen Sie Einschränkungen für das automatische Laden von Bildern und das Rendern externer Links in Unternehmens-AI-Umgebungen in Betracht.
5. Für Nutzer der Browsererweiterungen von Claude: Aktualisieren Sie die Erweiterung und führen Sie ein Audit der installierten Browsererweiterungen durch – jede davon konnte potenziell ClaudeBleed ausgenutzt haben.

Die Gesamtheit der beschriebenen Untersuchungen legt ein systemisches Problem offen: Vertrauensgrenzen in AI-Systemen bleiben unscharf, und Modelle verarbeiten Inhalte aus externen Quellen ohne ausreichende Isolation von der Benutzeroberfläche. Vorrangige Maßnahmen für Organisationen sind: eine Inventarisierung der von Mitarbeitern verwendeten AI-Tools, das Einspielen verfügbarer Patches (allen voran für Semantic Kernel) sowie die Einführung von Richtlinien, die die automatische Ausführung von Konfigurationen aus externen Repositories in Entwicklungsumgebungen einschränken.