Глибокий інтернет (deep web) — частина Всесвітньої павутини, яку не індексують пошукові системи: вміст за формами входу, платним доступом, пошуковими формами й у закритих базах даних.
Що належить до глибокого інтернету
Термін популяризував Майкл Бергман у статті 2001 року, де показав, яка частка онлайн-вмісту невидима для пошуковиків. Більша його частина цілком буденна й легальна:
- поштові скриньки, онлайн-банкінг та облікові записи хмарних сховищ;
- корпоративні інтранети, панелі адміністрування та внутрішні вікі;
- медичні картки, наукові бази даних і платні новинні матеріали;
- динамічні сторінки, що формуються лише у відповідь на пошуковий запит.
Сторінки також можуть навмисно виключатися з індексу через robots.txt або тег noindex. Глибокий інтернет значно більший за індексований «поверхневий» веб.
Глибокий інтернет і дарквеб
Ці поняття часто плутають. Дарквеб — невелика частина глибокого інтернету, яку приховано навмисно й до якої можна дістатися лише через спеціальне ПЗ, наприклад Tor. Глибоким інтернетом щодня користується майже кожен — достатньо перевірити пошту, — тоді як дарквеб асоціюється з анонімністю й нерідко зі злочинними майданчиками.
Чому це важливо для безпеки
Ресурси глибокого інтернету містять конфіденційні дані, тому стають головною ціллю. Викрадені або повторно використані облікові дані відкривають зловмисникам доступ до пошти й банківських акаунтів, розкриваючи персональні дані. Поширена помилка — вважати, що неіндексоване означає закрите: неправильно налаштовані хмарні сховища, бази Elasticsearch і адмінпанелі регулярно знаходять сканери й сервіси на кшталт Shodan, навіть без посилань із публічних сторінок. Дослідники й зловмисники однаково застосовують методи розвідки з відкритих джерел, щоб знаходити такі відкриті ресурси.
Рекомендації
- Захищати кожен закритий ресурс надійною автентифікацією та MFA, а не покладатися на невідомість.
- Не покладатися на robots.txt чи важкі для вгадування URL для приховування чутливих даних.
- Регулярно сканувати власну зовнішню поверхню атаки на наявність відкритих баз даних і панелей.
