Das Deep Web ist der Teil des World Wide Web, den Suchmaschinen nicht indexieren – etwa Inhalte hinter Logins, Bezahlschranken, Formularen und in privaten Datenbanken.
Was zum Deep Web gehört
Bekannt wurde der Begriff durch einen Aufsatz von Michael K. Bergman aus dem Jahr 2001, der beschrieb, wie viele Online-Inhalte für Suchmaschinen unsichtbar sind. Der Großteil ist alltäglich und legitim:
- Webmail-Postfächer, Onlinebanking und Cloud-Speicher-Konten;
- Firmen-Intranets, Admin-Panels und interne Wikis;
- Patientenakten, wissenschaftliche Datenbanken und Nachrichten hinter Paywalls;
- dynamische Seiten, die erst als Antwort auf ein Suchformular entstehen.
Seiten können auch gezielt per robots.txt oder „noindex“-Tag ausgeschlossen werden. Das Deep Web ist weit größer als das indexierte „Surface Web“.
Deep Web vs. Darknet
Die beiden Begriffe werden oft verwechselt. Das Darknet (Dark Web) ist ein kleiner Teil des Deep Web, der absichtlich verborgen und nur mit spezieller Software wie Tor erreichbar ist. Das Deep Web nutzt nahezu jeder Internetnutzer täglich – schon das Abrufen von E-Mails genügt –, während das Darknet mit Anonymität und häufig mit kriminellen Marktplätzen verbunden wird.
Warum das Deep Web für die Sicherheit relevant ist
Weil Ressourcen im Deep Web sensible Daten enthalten, sind sie ein Hauptziel. Geleakte oder mehrfach verwendete Zugangsdaten verschaffen Angreifern Zugriff auf E-Mail- und Bankkonten und legen personenbezogene Daten offen. Ein häufiger Irrtum ist die Annahme, nicht indexiert bedeute privat: Falsch konfigurierte Cloud-Speicher-Buckets, Elasticsearch-Datenbanken und Admin-Panels werden regelmäßig von Scannern und Diensten wie Shodan gefunden, auch ohne Links von öffentlichen Seiten. Forscher wie Angreifer nutzen Techniken der Open Source Intelligence, um solche offenen Ressourcen aufzuspüren.
Best Practices
- Jede nicht öffentliche Ressource mit starker Authentifizierung und MFA schützen, nicht nur durch Verschleierung.
- Sich nicht auf robots.txt oder schwer zu erratende URLs verlassen, um sensible Daten zu verbergen.
- Die eigene externe Angriffsfläche regelmäßig nach offenen Datenbanken und Panels scannen.
