Веб-скрейпінг (парсинг сайтів) — автоматизоване вилучення даних із вебсайтів чи застосунків за допомогою ботів, які завантажують сторінки або звертаються до інтерфейсів і зберігають вміст у структурованому вигляді.
Як працює веб-скрейпінг
Скрейпер запитує сторінки як браузер, розбирає HTML і вилучає потрібні поля — ціни, описи товарів, профілі, контакти чи коментарі. Сучасні скрейпери використовують headless-браузери для виконання JavaScript, змінюють IP-адреси через мережі резидентних проксі й імітують поведінку людини, щоб уникнути блокування. Багато з них звертаються безпосередньо до API сайту, зокрема до недокументованих ендпоінтів мобільних застосунків.
Легітимне та шкідливе використання
На скрейпінгу працюють пошукові системи, сервіси порівняння цін, наукові дослідження, вебархіви й OSINT. Проблеми починаються, коли боти ігнорують умови використання, перевантажують сервери чи збирають персональну інформацію:
- 2021 року в мережі опинилися дані близько 533 мільйонів користувачів Facebook; за словами Meta, їх зібрали 2019 року, зловживши функцією імпорту контактів.
- Clearview AI створила базу для розпізнавання облич із мільярдів зображень, зібраних в інтернеті, і отримала штрафи від кількох європейських регуляторів у сфері захисту даних.
- Конкуренти копіюють ціни й контент, а шахраї збирають поштові адреси та номери телефонів для спаму, фішингу й цільових атак.
Правова ситуація різниться: у США справа hiQ Labs проти LinkedIn стосувалася того, чи порушує збирання публічних даних закони про комп’ютерні злочини, а в ЄС на зібрані персональні дані й надалі поширюється GDPR.
Як захиститися від зловживань
- Обмежувати частоту запитів за IP-адресою, обліковим записом і API-ключем, вимагати автентифікацію для чутливих даних.
- Використовувати системи керування ботами, що аналізують відбитки браузера й поведінку, з капчею як додатковою перевіркою.
- Не розкривати послідовні ідентифікатори й функції масового пошуку, що спрощують перебір.
- Публікувати зрозумілі правила в robots.txt (RFC 9309) та умовах використання, відстежувати незвичний трафік.
