Свежий Черный список IP адресов — ботов, 25,000 ip адресов (обновляется каждый день)

Мы создали в реальном времени черный список IP-адресов около 6 месяцев назад, основанных на статистике от наших больших веб-сайтов, которыми мы управляем.

Спиcок обновляется каждый час, сейчас в нем 25,000 ip адресов. Он включает непознаваемые боты, маскирующиеся под пользователей, а также — Majestic12 bots, Proximic bots, 80legs bots, Ahrefs bots, etc.

Online доступ — ru.myip.ms/browse/blacklist/

Список в текстовом файле — ru.myip.ms/downloads/blacklist/

На данный момет данный список в автоматическом режиме скачивают около 500 компаний/хостеров. Топ стран по скачиванию — США/Германия/Израиль.

Наши сайты посещают каждый день десятки тысяч посетителей, многие из них идентифицируемы, но также приходят различные непознаваемые боты, поисковые агенты, спам боты и роботы на наши сайты. То есть у нас есть десятки тысяч IP-адресов каждый день, которые могут и будут проанализированы для блокирования спам ботов, и.т.д.

Наша уникальная система защиты позволяет легко идентифицировать реальных посетителей ip адреса и ip адреса ботов, поисковых агентов, спам ботов, а также другие угрозы, включая неизвестных спам ботов, маскирующихся непосредственно под нормальных пользователей.

Принцип действия нашей системы защиты очень прост: мы позволяем любому пользователю просматривать 10-20 страниц на любом из наших веб-сайтов, и после этого, система начинает показывать форму бесплатной регистрации на веб-сайте и блокирует все страницы веб-сайта (то есть посетитель видит только форму бесплатной регистрации на всех страницах сайта). Мы просим, чтобы посетители бесплатно зарегистрировались на сайте сами или повторно зашли на сайт через 24 часа, чтобы продолжить просматривать другие страницы сайта.

Боты/поисковые агенты игнорируют форму регистрации, и пытаются продолжить сканировать веб-сайт. Нормальные пользователи могут нажать на ссылки на веб-сайте также, но они будет видеть все время форму регистрации и после того, как они увидят ее на 10-20 страниц, пользователи перестают нажимать на ссылки. Но боты продолжают сканировать сайт все равно несмотря что все время показывается форма регистрации. Мы считаем количество показанных страниц. И после 100 показов различных страниц с формой регистрации, мы можем быть на 100 % уверены, что посетитель — это БОТ, даже если он маскируется под обычного пользователя.

Если пользовательская строка бота не содержит идентификацию бота и маскирует его под обычного пользователя, то мы автоматически добавляем этот IP в наш черный список. Например у Google бота пользовательский агент:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html и он не скрывает этого.

Поэтому наш Черный Список IP адресов состоит только из неизвестных ботов / спам ботов, маскирующихся непосредственно под нормальных пользователей, и в нашем Черном списке нет известных ботов поисковиков как Google бот, Yahoo бот, Bing бот и других, которые не пытаются замаскироваться под реальных пользователей.

Мы не нашли в Интернете подобного вида сервис, который создает Черный список неизвестных спам ботов в режиме реального времени, таким образом, надеемся, вы найдете наш черный список ip адресов спам ботов полезным —

ru.myip.ms/browse/blacklist/

Михаил, Web Developer

www.myip.ms