El web scraping es la extracción automatizada de datos de sitios web o aplicaciones mediante bots que descargan páginas o llaman a interfaces y guardan el contenido de forma estructurada.
Cómo funciona el web scraping
Un scraper solicita páginas como un navegador, analiza el HTML y extrae los campos deseados: precios, descripciones de productos, perfiles, datos de contacto o comentarios. Los scrapers modernos usan navegadores headless para ejecutar JavaScript, rotan direcciones IP a través de redes de proxies residenciales e imitan a humanos para evitar bloqueos. Muchos llaman directamente a la API del sitio, incluidos puntos de acceso no documentados de aplicaciones móviles.
Usos legítimos y maliciosos
El scraping impulsa buscadores, comparadores de precios, investigación académica, archivado y OSINT. Los problemas surgen cuando los bots ignoran las condiciones de uso, sobrecargan los servidores o recopilan información personal:
- En 2021 se publicaron datos de unos 533 millones de usuarios de Facebook; Meta afirmó que se habían extraído en 2019 abusando de una función de importación de contactos.
- Clearview AI creó una base de datos de reconocimiento facial con miles de millones de imágenes extraídas de la web y fue multada por varias autoridades europeas de protección de datos.
- Los competidores copian precios y contenidos, y los estafadores recolectan direcciones de correo y números de teléfono para spam, phishing y ataques dirigidos.
La situación legal varía: en EE. UU., el caso hiQ Labs contra LinkedIn abordó si extraer datos públicos infringe la legislación contra el hacking, mientras que en la UE los datos personales obtenidos por scraping siguen sujetos al RGPD.
Cómo protegerse del scraping abusivo
- Limitar las peticiones por IP, cuenta y clave de API, y exigir autenticación para los datos sensibles.
- Usar gestión de bots que analice huellas del navegador y comportamiento, con un CAPTCHA como desafío de respaldo.
- Evitar identificadores secuenciales y funciones de consulta masiva que faciliten la enumeración.
- Publicar reglas claras en robots.txt (RFC 9309) y en las condiciones de uso, y vigilar el tráfico inusual.
