Ein Vorfall rund um den KI-Chatbot des Bahnunternehmens Eurostar zeigt exemplarisch, wie riskant die Einfuehrung generativer KI im Kundenservice ist, wenn Sicherheitsarchitektur, Prozesse und Reaktion auf Schwachstellenmeldungen nicht ausgereift sind. Sicherheitsforscher von Pen Test Partners fanden gleich mehrere gravierende Schwachstellen, die von Prompt-Injection bis zu HTML-Injektion und fehlerhafter Session-Pruefung reichen.
Eurostar und die Rolle digitaler Services im Hochgeschwindigkeitsverkehr
Die Eurostar Group betreibt Hochgeschwindigkeitszuege zwischen Grossbritannien und Kontinentaleuropa und transportiert jaehrlich rund 19,5 Millionen Passagiere zwischen London, Paris, Bruessel, Amsterdam und weiteren Metropolen. In diesem Umfeld sind Web-Portale, Mobile Apps und Chatbots zu einem zentralen Bestandteil des Kundenerlebnisses geworden – und gleichzeitig zu attraktiven Angriffszielen fuer Cyberkriminelle, da sie direkt an Buchungs- und Bezahlsysteme gekoppelt sind.
Wie die Schwachstellen im Eurostar-Chatbot entdeckt wurden
Laut Pen Test Partners wurden die Probleme zufaellig entdeckt, als ein Forscher über die Eurostar-Webseite Tickets kaufen wollte und dabei auf auffaellig schwache Sicherheitsmechanismen im KI-Chat stiess. Statt strikter Guardrails, die Dialoge kontrollieren und interne Informationen abschirmen sollen, pruefte das System offenbar nur die letzte Chat-Nachricht auf Sicherheit. Vorherige Nachrichten im Verlauf wurden nicht erneut gefiltert.
Indem die Forschenden die lokale Dialoghistorie manipulierten und ausnutzten, wie der Prompt fuer das zugrundeliegende Sprachmodell zusammengesetzt wird, konnten sie diese Schutzmassnahme umgehen. Das Modell wertete dadurch einen vom Angreifer kontrollierten Kontext aus und ignorierte die urspruenglich konfigurierten Restriktionen.
Prompt-Injection: Offenlegung interner Anweisungen und Modellinformationen
Nach erfolgreicher Umgehung der Filter setzten die Spezialisten eine Prompt-Injection ein – also gezielte Instruktionen im Kontext, die Systemregeln ueberschreiben oder aushebeln. Der Chatbot legte daraufhin seine internen Betriebsanweisungen offen und bestaetigte, dass im Hintergrund GPT‑4 eingesetzt wird. Prompt-Injection wird von ENISA und im NIST AI Risk Management Framework bereits als typischer Angriffspfad auf LLM-Systeme gefuehrt, da Angreifer so geschuetzte Konfigurationen, Policies oder vertrauliche Daten aus dem Kontext herausloesen koennen.
Technische Analyse der entdeckten KI-Sicherheitsluecken
HTML-Injektion im Chat-Interface: Phishing und Missbrauch der Markenvertraulichkeit
Weitere Tests zeigten, dass der Eurostar-Chatbot fuer HTML-Injektionen anfaellig war. Angreifer haetten also Eingaben so gestalten koennen, dass im Chatfenster beliebiger HTML-Code dargestellt wird – inklusive gefaelschter Buttons, Formulare und Phishing-Links, die optisch nicht vom offiziellen Interface zu unterscheiden sind. Technisch aehnelt dies klassischen XSS-Schwachstellen, wie sie in den OWASP Top 10 regelmaessig aufgefuehrt werden.
Fuer Kunden bedeutet dies ein erhoehtes Risiko, Zugangsdaten, Zahlungsinformationen oder personenbezogene Daten auf manipulierten Oberflaechen preiszugeben. Fuer das Unternehmen besteht neben moeglichen Datenschutzvorfaellen ein erheblicher Reputations- und Compliance-Risiko, etwa im Hinblick auf DSGVO-Bussgelder und Vertrauensverlust.
Fehlerhafte Pruefung von Chat-IDs: IDOR-aehnliche Risiken
Zusaetzlich stellten die Forschenden fest, dass die Plattform Chat- und Nachrichten-IDs nicht konsequent mit der Identitaet des angemeldeten Nutzers verknuepfte. Unter bestimmten Bedingungen waere es damit denkbar gewesen, fremde Chats zu manipulieren oder Einsicht in Inhalte zu erhalten, die fuer andere Kunden bestimmt waren. Solche Schwachstellen sind eng mit Insecure Direct Object References (IDOR) verwandt und gelten laut OWASP seit Jahren als besonders kritisch, da sie direkt auf geschaeftskritische Daten- und Prozessobjekte zielen.
Vulnerability Disclosure: Kommunikationsprobleme und Vorwuerfe des „Erpressungsversuchs“
Pen Test Partners meldete die Sicherheitsluecken erstmals am 11. Juni 2025 an Eurostar. Zunaechst blieb die Meldung ohne Reaktion. Nach mehreren erfolglosen Kontaktversuchen suchten die Forschenden über LinkedIn den direkten Draht zur Sicherheitsleitung. Zu diesem Zeitpunkt war das Management von Schwachstellenmeldungen offenbar bereits an einen externen Dienstleister ausgelagert, und die urspruengliche Meldung liess sich laut Eurostar zunaechst nicht mehr nachvollziehen.
Zwischenzeitlich wurden die Nachfragen der Forschenden von Unternehmensvertretern angeblich als moeglicher „Erpressungsversuch“ interpretiert. Pen Test Partners verwies hingegen darauf, dass man sich strikt an die Grundsaetze einer Coordinated Vulnerability Disclosure nach ISO/IEC 29147 und ISO/IEC 30111 gehalten habe, also an ein geregeltes, verantwortungsvolles Verfahren zur Meldung von Sicherheitsluecken.
Schliesslich fand Eurostar das urspruengliche Schreiben wieder, erkannte die Probleme an und beseitigte nach eigener Darstellung „einen Teil“ der Schwachstellen. Daraufhin erhielten die Forschenden Freigabe, ihre Analyse zu veroeffentlichen – ein Vorgehen, das in der Sicherheitscommunity als Best Practice gilt, um Transparenz und Lernkurven zu foerdern.
Der Eurostar-Fall unterstreicht, dass die Sicherheitsrisiken generativer KI nicht allein im Sprachmodell selbst liegen, sondern vor allem in der umgebenden Applikationslogik: Input-Validierung, Dialogarchitektur, Handling von HTML-Ausgaben, Session-Bindung und belastbare Logging- sowie Disclosure-Prozesse. Unternehmen, insbesondere in regulierten und risikoreichen Branchen wie Transport, Finanzwesen oder oeffentliche Verwaltung, sollten KI-Chatbots vor dem Produktivbetrieb systematisch penetrieren lassen, Schutzmechanismen gegen Prompt- und HTML-Injektion mehrschichtig umsetzen, Chat-IDs strikt an Authentifizierung koppeln und klare SLA-gestuetzte Verfahren fuer Vulnerability Disclosure etablieren. Wer diese Elemente fruehzeitig integriert, reduziert das Risiko, dass Testvorfaelle spaeter als reale Angriffe auf Kunden und Geschaeftsprozesse enden.
