Глубокий интернет (deep web) — часть Всемирной паутины, которую не индексируют поисковые системы: контент за формами входа, платным доступом, поисковыми формами и в закрытых базах данных.
Что входит в глубокий интернет
Термин популяризировал Майкл Бергман в статье 2001 года, где показал, какая доля онлайн-контента невидима для поисковиков. Большая его часть вполне обыденна и легальна:
- почтовые ящики, онлайн-банкинг и аккаунты облачных хранилищ;
- корпоративные интранеты, панели администрирования и внутренние вики;
- медицинские карты, научные базы данных и платные новостные материалы;
- динамические страницы, которые формируются только в ответ на поисковый запрос.
Страницы также могут намеренно исключаться из индекса через robots.txt или тег noindex. Глубокий интернет намного больше индексируемого «поверхностного» веба.
Глубокий интернет и дарквеб
Эти понятия часто путают. Дарквеб — небольшая часть глубокого интернета, которая скрыта намеренно и доступна только через специальное ПО, например Tor. Глубоким интернетом ежедневно пользуется почти каждый — достаточно проверить почту, — тогда как дарквеб ассоциируется с анонимностью и нередко с криминальными площадками.
Почему это важно для безопасности
Ресурсы глубокого интернета содержат конфиденциальные данные, поэтому становятся главной целью. Утёкшие или повторно используемые учётные данные открывают злоумышленникам доступ к почте и банковским аккаунтам, раскрывая персональные данные. Частая ошибка — считать, что неиндексируемое значит закрытое: неправильно настроенные облачные хранилища, базы Elasticsearch и админ-панели регулярно находят сканеры и сервисы вроде Shodan, даже без ссылок с публичных страниц. Исследователи и злоумышленники одинаково применяют методы разведки по открытым источникам, чтобы находить такие открытые ресурсы.
Рекомендации
- Защищать каждый закрытый ресурс надёжной аутентификацией и MFA, а не надеяться на неизвестность.
- Не полагаться на robots.txt или трудноугадываемые URL для сокрытия чувствительных данных.
- Регулярно сканировать собственную внешнюю поверхность атаки на предмет открытых баз данных и панелей.
