Чек параметра ИКС от yandex. Собираем качественные базы для прогонов. Связка Zenoposter + XEvil

Всем привет очередная конкурсная статья будет посвящена анализу доменов на параметры ИКС, а так же несколько других параметров, которые отображаются в панели yandex webmasters


Многие веб мастера все еще продолжают упорно работать в ру сегменте интернета и по этому анализ показателей траста именно ru доменов до сих пор остается актуальным. Показатель ИКС один из главных показателей траста для ru доменов. Поскольку для нас важна массовость и спамить я уже привык с размахом то я взял сразу все зарегистрированные ru домены и решил проверить их с помощью связки Zenoposter + XEvil.



Шаблон я взял по ссылке https://zennolab.com/discussion/threads/massovaja-proverka-jandeks-iks.76673/. Базу для анализа взял тут https://partner.r01.ru/zones/ru_domains.gz. 



Настроить проект не составит труда. Там всего два пункта. Если с первым все понятно, то на втором я остановлюсь более детально. У меня по чему то сильно тупила связка Zenoposter + XEvil на стандартном антигейт и капчи постоянно слались с ошибками на разных проектах. В настройках модуля капч зенопостера не показывался баланс антигейта хотя проверял все должно работать. Корректно баланс отображался только на рукапче. Не знаю откуда этот глюк, но мне и не нужно этого знать, так как XEvil с легкостью эмулирует любой сервис распознавания капчи и с легкостью разгадывает десятки тысяч видов капч.  
Проект я запустил без проксей, чтобы посмотреть, возможно, можно обойтись тем, что есть под рукой. На первом этапе капч не было вообще, но и темпы проверки меня особо не устроили. Я увеличил количество потоков сначала до 5 (у меня 5 поточная версия). Но темп все равно не вписывался в нужные мне временные рамки. Пришлось переписывать проект на post get запросы. Это значительно ускорило проверку. Через час уже было проверено больше 20 000 доменов. Хотя до 4,9 млн было еще очень долго. Капч яндекс все еще не показывал. Пришлось поднажать на яндекс (это все-таки тест) и потратить 78 долларов на pro версию Zenoposter. Я переставил Zenoposter на сервер (мой домашний компьютер не справился бы со 100-200 потоками Zenoposter). И так я запустил в 200 потоков проект и сел наблюдать. Вот тут то и начали вываливаться капчи, при том, что я использовал дешевый впн яндекс отказался адекватно принимать решенные капчи пришлось перейти на мобильные прокси. Яндекс начал принимать капчи с первой попытки.
Я оставил проект на ночь, предварительно настроив весь софт на периодический перезапуск через свой планировщик запущенных процесов.

  
Утром я получил весь список доменов со всеми прочекаными параметрами.
Дальше я выберу домены, в которых ИКС выше 100 и буду пытаться их пробивать XRumer. Можно было бы сделать на оборот сначала посмотреть, что может пробить XRumer, а уже потом чекать базу на ИКС и другие показатели, но тогда мы потеряем базу для возможных модернизаций XRumer.


Всем удачи. 

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Регистрируем почты Yandex без привязки к номерам телефонов. Связка Zennoposter + XEvil 4.0

Где брать трастовые сайты под XRumer «next edition». Поиск и использование «прокладок» в прогонах.

Влияние ссылочного в продвижении дорвеев