Web Scraping ist das automatisierte Auslesen von Daten aus Websites oder Apps durch Bots, die Seiten herunterladen oder Schnittstellen aufrufen und die Inhalte strukturiert speichern.
Wie Web Scraping funktioniert
Ein Scraper ruft Seiten wie ein Browser ab, parst das HTML und extrahiert die gewünschten Felder – Preise, Produktbeschreibungen, Profile, Kontaktdaten oder Kommentare. Moderne Scraper nutzen Headless-Browser, um JavaScript auszuführen, wechseln IP-Adressen über Residential-Proxy-Netzwerke und ahmen menschliches Verhalten nach, um Sperren zu umgehen. Viele rufen auch direkt die API einer Website auf, einschließlich undokumentierter Endpunkte mobiler Apps.
Legitime und missbräuchliche Nutzung
Scraping treibt Suchmaschinen, Preisvergleichsportale, wissenschaftliche Forschung, Archivierung und OSINT an. Probleme entstehen, wenn Bots Nutzungsbedingungen ignorieren, Server überlasten oder personenbezogene Daten sammeln:
- 2021 wurden Daten von rund 533 Millionen Facebook-Nutzern im Netz veröffentlicht; laut Meta waren sie 2019 durch Missbrauch einer Kontaktimport-Funktion abgegriffen worden.
- Clearview AI baute eine Gesichtserkennungsdatenbank aus Milliarden im Web gesammelter Bilder auf und wurde von mehreren europäischen Datenschutzbehörden mit Bußgeldern belegt.
- Konkurrenten kopieren Preise und Inhalte, und Betrüger sammeln E-Mail-Adressen und Telefonnummern für Spam, Phishing und gezielte Angriffe.
Die Rechtslage ist uneinheitlich: In den USA ging es im Fall hiQ Labs gegen LinkedIn darum, ob das Scraping öffentlicher Daten gegen Anti-Hacking-Gesetze verstößt, während in der EU gescrapte personenbezogene Daten weiterhin der DSGVO unterliegen.
So schützen Sie sich vor missbräuchlichem Scraping
- Anfragen pro IP-Adresse, Konto und API-Schlüssel begrenzen und für sensible Daten eine Anmeldung verlangen.
- Bot-Management einsetzen, das Browser-Fingerprints und Verhalten analysiert, mit einem CAPTCHA als Rückfallebene.
- Fortlaufende IDs und Massenabfragefunktionen vermeiden, die eine Enumeration erleichtern.
- Klare Regeln in robots.txt (RFC 9309) und den Nutzungsbedingungen veröffentlichen und ungewöhnlichen Traffic überwachen.
