Как поместить корзину на рабочий стол. Корзина на рабочий стол или всё, что с ней можно сделать. Пошаговая инструкция по созданию корзины

Хитрый способ сбора качественной пробиваемой базы для XRUMER

Всем привет! Ни для кого не секрет, что каким бы замечательным не был софт для массовой регистрации/рассылки, без надлежащего качества баз он почти не имеет ценности. Базы можно добыть различными способами – спарсить самому /купить /найти в паблике/etc. Каждый вариант хорош по – своему и у каждого из них есть свои плюсы и минусы.

Паблик базы. Основной плюс это бесплатность. Часто в паблик сливаются и покупные базы, так что найти стоящие все-таки можно, другое дело что по этим базам будет работать сразу большое количество вебмастеров(как с лиц, так и с ломаным хрумом) и они быстро превратятся в помойку, а как известно, 1 трастовая ссылка зачастую лучше чем 1000 с гавносайтов.
Покупка базы. В основном это лотерея. Селлеров сейчас достаточное количество, но еще больше барыг, которые покупают и перепродают базы, выдавая за свои свежеспарсенные.Данный метод получения базы хорош в том случае если вы дорожите своим временем и покупаете базу у проверенного временем человека.
Самостоятельный парсинг. Самый лучший, но в тоже время затратный вариант. Для успешного парсинга нужно обладать словарем по тематике, признаками для парсинга + свежими прокси/соксами, если вы соберетесь парсить google, к примеру. Разумеется нужен и сам парсер, для хрумоводом все проще, так как с хрумером идет Hrefer, но все же я рекомендовал еще купить что-нибудь дополнительно. Лично я использую webparser, хотя многие хвалят a-parser, в общем кто на что горазд и у кого какие потребности.

База собранная собственноручно дает небольшое временное преимущество над другими вебмастерами, но не стоит думать, что собрав скажем базу форумов по хорошим признакам вы не обнаружите на доброй половине из них спам от «собратьев по оружию», но в любом случае свежеспаршенные (сырые) базы будут лучше паблик и зачастую лучше покупных, но как говорится этот вариант для тех у кого хорошие аппаратные мощности + есть время.

Есть конечно же еще варианты – утащить с чужого сервера, пропарсить интернет по примерно такому запросу

Пример лота в телдери:
_http://www.telderi.ru/ru/viewsite/67448
Как видим: “также прогонялся по профилям, прогон по профилям и каталогам был осуществлен 30 дней назад”, значит это “наш клиент”. Копируем урл сайта к себе в текстовый файл.

Таким нехитрым способом мы собираем БАЗУ сайтов, которые когда-либо прогонялись хрумером или ручками по трастовым сайтам. Отмечу тот факт, что большинство прогонщиков работают с дефолтным хрумером без измененного файла xas_AI.txt, что опять же нам на руку.

Буквально за час, можно собрать около 200 урлов сайтов, которые были «запачканы» прямым прогоном хрумером. Далее мы идем пополнять коллекцию на SEO форумы, там мы ищем темы с прогонами и смотрим на отзывы, форумов полно, для примера :
_http://www.maultalk.com/forum38.html
Далее идем по популярным веткам прогонщиков и смотрим в темах тех, кто оставлял отзывы об услуге. В 85% случаев, если у них заполнено поле сайт в профиле и подпись, то там находится их сайт, по которому они заказывали прогон, причем зачастую не один.

Работа по сбору таких урлов немного нудная, но зато эффект будет достойным(пока поверьте на слово).
После 2-3 часов работы, которую можно сбагрить на аутсорс толковому школьнику за 100-150 рублей с , мы получаем приличный список сайтов, теперь дело за малым – вытащить обратные ссылки.
Для начала идем в _ http://ahrefs.com и (можно воспользоватся другим софтом/сервисами) и извлекаем ВСЕ обратные ссылки .

Данную нудную работу тоже лучше поручить кому-то.
Вторым этапом будет подготовка урлов для парсинга, и тут опять следует небольшая хитрость.
Нужно составить запросы для ПАРСИНГА примерно такого вида, приведу пример для сайт
«Просмотр профиля» http://сайт/
«Профиль» http://сайт/
«Профиль пользователя» http://сайт/
«Пользователь» http://сайт/
«Сайт» http://сайт/
«Домашняя страница» http://сайт/

«user» http://сайт/

«member» http://сайт/

«profile» http://сайт/

Просто ввести название домена в кавычках «http://сайт»
Просто погуляйте по форумам и посмотрите как выглядят там профили.
Сделать список таких признаков и урлов вам поможет EXCEL и оператор &
В одной колонке у вас урлы, в другой наши простенькие “признаки”:

Наглядный пример:
>>>> <<<<

Что мы получается на выходе на выходе? База профилей в 100% индексе яндекса или гугла, большинство из которых пробивает дефолтный хрумер.

С такими нехитрыми признаками мы парсим ПС (я, обычно, ограничиваюсь Яшей и Гошей)

Безусловно, таким способом соберется много дублей, но база профилей получится достаточно качественная и индексируемая. Никогда не гонитесь за количеством, лучше купить/собрать базу базу из 1000 профилей которые попадают в индекс, чем из 40000 закрытых в индексации и тд.

Основная часть (2) : В статье про я упомянул про то, что с помощью этих 3 баз можно собрать неплохую базу под хрумер и я вам не врал.
Для начала стоит скачать все 3 базы – ru, su, РФ:

Https://partner.r01.ru/ru_domains.gz

Https://partner.r01.ru/su_domains.gz

Https://partner.r01.ru/rf_domains.gz

Далее скомпоновать из них 1 большой файл с урлами. ВНИМАНИЕ! Данная операция требует больших аппаратных мощностей, если вы ими не обладаете, поделите базы на куски с помощью KeyWordKeeper (скачать можно по ссылке – _) и продолжайте.

После создания большой базы, нам в любом случае придется прибегнуть к помощи KeyWordKeeper, так как всеми нами любимый EXCEL плохо работает с файлами, где больше 1 000 000 строк, поэтому делим нашу базу на куски по 900 000. Получится достаточно много файлов.

Теперь нужно включить голову и подумать, какие конструкции наиболее часто применимы для форумов.

В базе уже содержится приличное количество форумов, но часто форумы создаются на поддоменах основного сайта и не попадают в базу.
Как в основном выглядят поддомены?
Сайт.ру/forum
Сайт.ру/talk
Forum. Сайт.ру
Talk. сайт.ру
+ другие вариации . Соответственно нам нужно добавить talk и forum к существующим URL, делает это все тем же экселевским оператором & + сочетанием клавиш CTRL + ENTER для применения формулы ко всему списку.

Теперь самое вкусное, в конце рабочего дня мы все что сделали компонуем в 1 большой файл, перемешиваем и запускаем хрумер в режиме «только регистрация».

Учитывая, что база сырая + многих ресурсов просто не существует, мы ведь только предполагаем что там есть поддомены с форумами, при 100 потоках и 6 мегабитном канале скорость будет составлять около 1200-1600 ссылок (+ многое зависит от железа), те у кого с железом и с каналом дела обстоят лучше прогонят эту базу за пару дней, у остальных же примерно это займет около недели с небольшим. Вторым этапом запускаем редактирование профиля.

В итоге вы получаете на ~65% русскоязычную базу профилей, состоящую из ~8000-9000 ресурсов (у меня вышло примерно столько), где просто проставлена ссылка вида «http://сайт/», активных и не закрытых к индексации ссылок будет в 3-4 раза меньше. Данным способом собираются не только форумные профили, но и профили на движке DLE и тд. Если подойти к делу основательно – найти много сайтов + делать прогоны в несколько раз, чтобы выжать из базы максимум – то можно выжать еще сверху 15-20% ресурсов.

Cпособ можно модернизировать и собирать с помощью него ресурсы любого типа. Статья в первую очередь предназначена для новичков, которые только учатся собирать базы и позволяет за 1 день подготовки собрать базу, которой можно пользоваться несколько месяцев.

Для тех кто не хочет с этим делом заморачиваться, может купить у меня личную базу из 13 000 профилей, собранную данным методом с добавлением ресурсов из ЯК и DMOZ + другие источники (с ценником пока не определился, но если будет спрос, то думаю, 20-25 WMZ вполне адекватная цена).

Надеюсь статья оказалась для вас полезной. Заранее извиняюсь за плохое превью скриншотов + отсутствие видео материала, со временем постараюсь поправить.

Всем хорошего дня!