Как в новом вебмастере указать основное зеркало. История о том, как я сменил главное зеркало

Всем привет! Сегодня подробный пост о том, как мне удалось сменить главное зеркало у блога и при этом не потерять позиции, трафик, доход от контекстной рекламы.

Долгое время меня мучил один вопрос — как избавиться от дурацкого , который тащился за мной более трех лет. Наверное возраст домена был главной причиной того, почему я не решался переклеить домен ранее.

Так сложилось, что с первых дней существования блога Яндекс начал индексировать блог именно с www, на тот момент мною было принято решение не препятствовать этому и смириться.

Позднее я себя не раз утешал, мол какая разница, главное что страницы находятся в поиске и приводят посетителей. Занимался продвижением, . И чем больше времени проходило, тем больше у меня чесались руки сменить основное зеркало. В конце концов мое терпение лопнуло и ни смотря ни на что я все же решился. Сегодня я поделюсь своим опытом и расскажу как это было.

Правильный порядок действий при склейке зеркал

На протяжении всего времени я вел заметки , которые постоянно носил с собой и записывал все значимые события в хронологическом порядке. Итак, начало сентября, я ставлю перед собой цель сменить главное зеркало домена и убрать www из адреса.

6.09.2013 Обращаюсь в службу поддержки Яндекс.Вебмастер с письмом, в котором описываю ситуацию и прошу дать советы. Я задал вопросы о том как правильно переклеить домен и чтобы при этом страницы не выпали из индекса. Так как мой блог , то посчитал не лишним обратиться в его поддержку и поинтересовался как отразится смена главного зеркала на присутствие в каталоге. Вскоре получил ответ:

«В данном случае Вам необходимо сменить главное зеркало с помощью директивы Host, дождаться завершения процесса переклейки, затем адрес в Каталоге изменится автоматически. ТИЦ также будет перенесен на адрес нового главного зеркала и восстановлен по этому адресу после ближайшего к переклейке пересчета тИЦ.»

9.09.2013 Получил ответ от Платона Щукина на первое письмо:

«Редирект для смены главного зеркала использовать не стоит. В настоящее время указанные Вами сайты объединены в группу зеркал, в которой главным зеркалом является домен с www согласно текущим указаниям. В поисковой системе Яндекс индексируются и участвуют в поиске только страницы главного зеркала..сайт, то для начала его нужно снять. Оставить редирект в существующем виде и указать в качестве главного зеркала домен без www не получится, так как тогда заданные Вами указания на главное зеркало будут противоречить друг другу. Если просто поменять направление редиректа, то это в конечном итоге приведет к смене главного зеркала, но в этом случае следует понимать, что робот не будет индексировать страницы текущего главного зеркала, а будет переходить по редиректу. В свою очередь, цель редиректа также не будет индексироваться, поскольку является неглавным зеркалом, которое в поиске не участвует.

Поэтому, если Вы хотите, чтобы до переклейки зеркал Ваш сайт мог индексироваться по адресу текущего главного зеркала, установленный редирект следует снять. Для смены главного зеркала лучше использовать директиву Host в файлах robots.txt всех зеркал, а также выбрать нужный домен в соответствующем разделе Яндекс.Вебмастера. Этого будет вполне достаточно, при этом Вы избежите проблем с индексированием сайта из-за перенаправления на неглавное зеркало.

Таким образом, самый оптимальный способ избавиться от префикса www — убрать редирект, сменить главное зеркало с помощью директивы Host и в Яндекс.Вебмастере, а затем, когда главное зеркало изменится, вернуть редирект при необходимости. Что касается Яндекс.Каталога и Яндекс.Метрики, то данные в них обновятся автоматически, заново ничего добавлять не придется. Обратите внимание, процесс склейки зеркал происходит автоматически и может занимать несколько недель, ускорить его, к сожалению, нельзя.»

С 20 марта 2018 года Яндекс официально прекратил поддержку директивы Host. Её можно удалить из robots.txt, а если оставить, то робот её просто игнорирует.

Очень подробный ответ, за что огромное спасибо поддержке Яндекса! Буквально сразу же приступил вносить изменения:

• Сменил главное зеркало в панели Яндекс.Вебмастер, указав адрес без www;
• Изменил директиву Host для Яндекса;
• Изменил основной домен в панели для веб-мастеров Google;
• Убрал редирект из файла.htaccess;
• Добавил новые в панели вебмастеров Гугла и Яндекса;
• Исправил ссылки в основном меню и в сайдбаре, чтобы поисковые боты как можно раньше заметили изменения.

Скриншот из панели Яндекс.Вебмастер. В разделе Настройка индексирования есть пункт Главное зеркало — здесь нужно указать предпочтительный домен:

Скриншот из панели инструментов для веб-мастеров Гугла. Настройки сайта скрываются под шестеренкой. Здесь необходимо указать основной домен:

Процесс запущен! Попутно записал для истории основные показатели блога:

• ТИЦ 130 (последний апдейт 02.07.13)
• PR 2 (последний апдейт 04.02.13)
• Проиндексированных страниц в Google (по данным RDS Bar) — 187
• Проиндексированных страниц в Яндексе — 241

10.09.2013 Вчера я несомненно проверял ответ сервера обоих зеркал и он содержал код 200, как посоветовал сделать Платон Щукин. Но сегодня утром, придя на работу, решил вновь проверить что все в порядке и был удивлен. Видимо на домашнем компьютере ответ сервера был , а сейчас выдает 301 код при обращении к старому адресу с www. Как оказалось, у WordPress заложен собственный редирект, учитывающий настройки адреса сайта в админке.

Нужно было срочно найти решение как отключить это перенаправление. На помощь пришел один из зарубежных форумов, на котором было найдено решение, путем добавления в файл wp-config.php следующих строк:

1 2	define ("WP_HOME" , "http://" . $_SERVER [ "HTTP_HOST" ] ) ; define ("WP_SITEURL" , "http://" . $_SERVER [ "HTTP_HOST" ] ) ;

define("WP_HOME", "http://" . $_SERVER["HTTP_HOST"]); define("WP_SITEURL", "http://" . $_SERVER["HTTP_HOST"]);

Дополню пару слов зачем нужно убирать редирект. Причина в том, что Яндекс должен иметь доступ к обоим зеркалам. Если с одного зеркала стоит перенаправление на другое, то как в таком случае робот зеркальщик определить что сайты идентичны друг другу? Вот-вот…

Это основная , в результате которой в процессе переклейки сайт полностью выпадает из индекса и продолжительное время не участвует в поиске. А цель редиректа он не индексирует по причине того, что в выдаче отечественного поисковика может находиться только главное зеркало, а переклейка еще не произошла. Замкнутый круг.

Поэтому чтобы избежать подобной участи запомните: никогда не ставьте редирект на новое зеркало и снимите существующий до полной склейки/переклейки зеркал в Яндексе, о чем будете уведомлены сообщением!

Далее приступил править все свои ссылки на главную страницу, встречающиеся в записях и комментариях. Сначала было дело решил все сделать вручную, но понял что не справиться с таким объемом. Рискнул и воспользовался SQL запросом к базе данных:

1 2	UPDATE wp_comments SET comment_author_url = REPLACE ( comment_author_url, "www.сайт" , "сайт" )

UPDATE wp_comments SET comment_author_url = REPLACE(comment_author_url, "www..ru")

13.09.2013 Апдейт Яндекс выдачи. Никаких подвижек по зеркалам не наблюдается. В Гугле тоже тишина, хотя много раз перечитывал на форумах, что он реагирует на изменения практически мгновенно и буквально на следующий день можно обнаружить в поиске новые адреса. Продолжаю томительное ожидание.

19.09.2013 Очередной — все без изменений. Убеждаюсь в том что правильно сделал, убрав редирект. Иначе страницы давно бы уже выпали из поиска, а вместе с ними бы и трафик серьезно просел и доход скатился до нуля.

20.09.2013 В Google Webmasters Tools начала появляться информация о внутренних и внешних ссылках по новому домену, ранее данные были недоступны.

26.09.2013 И снова апдейт выдачи. В индексе Яндекса несколько дублирующихся страниц с www и без. Этот же день принес АП ТИЦ, который прибавил десятку, стало 140. В Яндекс Каталоге домен переклеился на новый основной — наконец-то начались подвижки.

27.09.2013 Сервис xseo.. Вечером того же дня другой сервис cy-pr.com также подтвердил склейку.

1.10.2013 Яндекс сделал отличный подарок на мой день рождения в виде апдейта поисковой базы, а также сменил главное зеркало , ура! Ровно в 8 утра пришло письмо от Яндекс.Вебмастера, точнее писем было два:

1. Изменилось главное зеркало. В письме было сообщено о том, что www..ru и поэтому в списке сайтов он был автоматически заменен.
2. Права на сайт успешно подтверждены. Здесь все просто, раз сменилось главное зеркало, то изменился и адрес сайта. А так как файл подтверждения уже находился на сервере, то никаких дополнительных действий с моей стороны не потребовалось.

2.10.2013 Google не спешит менять основной домен, его инструмент в панели вебмастеров похоже не столь эффективен или он меня недолюбливает… Впрочем, у нас эти чувства взаимны. Ставлю , а в файле wp-config.php удаляю ранее добавленные строчки. По Яндексу зеркала переклеились, поэтому уже не страшно за индексацию, а Гугл нормально относится к 301 редиректу.

7.10.2013 Да неужели? Xseo.in показывает склейку по Гуглу. Хотя в его выдаче примерно 50/50 страниц в www и без него, многие страницы продублированы. Судя по графикам сканирования Googlebot активно шерстит блог. По серверным логам видно, что сначала робот загружает страницу по старому адресу, получая 301 ответ, а затем подхватывает цель редиректа с кодом 200.

Посещаемость блога упала на 50%, вот и приехали, случилось то, чего так сильно опасался. Хотя она и снижалась с первых дней моего эксперимента, но происходило это плавно, а в этот день наблюдал резкий спад. Надеясь на лучшее, продолжаю ожидать и следить за процессом, говорят, время лечит.

9.10.2013 Правду говорят люди, время действительно творит чудеса! В этот день произошло очередное обновление поисковой базы Яндекса. Все возвращается на круги своя, наблюдаю рост трафика примерно на 30%. Как ни странно, но спустя месяц Гугл по-прежнему не может разродиться и окончательно сменить основной домен. Не ожидал от него такого.

12.10.2013 Хм… , однако! Спустя месяц впервые публикую новую запись (до этого ничего не публиковал в ожидании склейки) и о чудо! К вечеру из выдачи Гугла пропали все страницы, содержащие префикс.

Ну вот, я наконец-то собрался и полностью изложил свою историю со всеми подробностями. На сегодняшний день могу с уверенностью сказать, что смена главного зеркала проведена успешно, результатом я очень доволен. Надеюсь мой опыт поможет многим из Вас! 🙂

Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.

Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.

Выбор основного зеркала

Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.

Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).

Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.

Способы смены основного зеркала

Существует несколько методов для смены основного зеркала:

1. Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
2. С помощью директивы Host в файле robots.txt (только для Яндекса)

#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru

1. С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.

Это приводит к тому, что показатели сайта , PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.

Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.

Статья по теме: Поисковая оптимизация сайта под Яндекс: что нужно учитывать в 2018 году

Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.

Основной домен для Google

Чтобы указать для Гугла основной домен, выполните следующие действия.

1. 1. На главной странице Инструментов для веб-мастеров (www.google.com/webmasters/tools/) выберите сайт, для которого нужно указать основной домен.
   2. В разделе Конфигурация сайта перейдите в Настройки.

Кроме того, для Гугла можно прописать инструкцию в файле.htaccess

Redirect 301 / https://сайт/

Основное зеркало для Яндекса

Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле

В этой статье я вам расскажу о том, что такое главное зеркало сайта, о доменах с WWW и без WWW и прочих вещах, связанных с этой интересной историко-технической темой. А для начала разберём понятие «WWW» и определим, как правильнее записывать адрес.

Коротко об истории WWW и как правильно писать

WWW – это английская аббревиатура, которая расшифровывается как world wide web, что можно перевести на русский язык, как «всемирная паутина». Понятие «WWW» ввели в 1989 году Тим Бернерс-Ли и Роберт Кайо – дядьки, которые изобрели Интернет. Этими тремя буками они отмечали текст, который являлся гиперссылкой, чтобы её было легко распознать.

С тех пор прошло более 25 лет и теперь каждый знает, где просто текст, а где гиперссылка. И поэтому надобность в WWW отпала. Сегодня WWW можно считать рудиментарным атрофированным органом, который хоть и есть, но не на что уже не пригоден.

Любой сайт будет доступен по адресу с WWW и без WWW, однако в строке браузера будет отображаться лишь один вариант – тот, который выбран главным зеркалом. Главное зеркало сайта может быть как с WWW, так и без него.

Чтобы указать главное зеркало сайта c WWW, вставьте в.htaccess такой код:

RewriteEngine On RewriteCond %{http_HOST} ^example\.ru$ RewriteRule ^(.*)$ http://www.example.ru/$1

RewriteEngine On RewriteCond % { http_HOST } ^ example \ . ru $ [ NC ] RewriteRule ^ (. * ) $ http : //www.example.ru/$1

А если хотите сделать без WWW, то такой:

RewriteEngine On RewriteCond %{http_HOST} ^www.example\.ru$ RewriteRule ^(.*)$ http://example.ru/$1

RewriteEngine On RewriteCond % { http_HOST } ^ www . example \ . ru $ [ NC ]

Главное зеркало сайта или основной домен сайта следует указывать поисковым системам для того, чтобы они точно знали какой из доменов считать основным, а какой зеркалом.

Указание главного зеркала сайта является одним из пунктов по технической оптимизации сайта. Это действие можно сделать тремя способами:

1. Настройкой файла robots.txt
2. Настройкой файла.htaccess
3. Настройкой соответствующих разделов в инструментах для вебмастеров поисковых систем Яндекса и Google.

Уточняю один момент. В данном посте мы рассмотрим самый распространенный случай по определению главного зеркала сайта – с WWW или без WWW.
Другие ситуации, которые возникают, например, при переезде сайта на другой домен мы опустим.

Честно говоря, современный аналитический уровень возможностей поисковых систем, на мой взгляд, может легко обеспечить решение этой задачи.

Но все ведущие специалисты по продвижению все-таки настоятельно рекомендуют проводить такую настройку.

Причем настаивают выполнять все три вышеперечисленных пункта, несмотря на то, что пункт с robots.txt носит рекомендательный характер для поисковых систем.

Настройка robots.txt

Файл robots.txt представляет собой текстовый файл с набором определенных директив. Расположен этот файл в главной директории сайта. Редактируется простейшими редакторами типа «Блокнот».


Очень хорошо и подробно описано применение этого файла и его команд в справочном разделе сервиса Яндекс Вебмастер. Также можно расширить свой кругозор в этом вопросе на сайте robotstxt.org.ua.

В этой публикации нам следует указать поисковым системам главное зеркало сайта. Делается это при помощи директивы Host следующим образом:

Обращаю Ваше внимание, что эту директиву используют только для поискового робота Яндекс. Фрагмент выглядит примерно таким образом:

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
……………
Disallow: /tag
Disallow: /feedback
Host: сайт

Проверить корректность заполнения файла robots.txt можно в том же Яндекс Вебмастере. В разделе «Настройка индексирования» есть подраздел, который так и называется «Анализ robots.txt».

Отмена директивы Host в Яндексе

Поисковая система Яндекс объявила, что с марта 2018 года директива Host в файле robots.txt больше поддерживаться не будет.

Хорошо это или плохо? Скорее хорошо. Ведь Google и ранее не учитывал эту директиву. Теперь правила указания основного зеркала сайта становятся более унифицированными.

Настройка файла.htaccess

Определение главного зеркала сайта в файле.htaccess осуществляется путем настройки 301 Редиректа.


Как это делается можно . Здесь даны примеры настройки для блогов на CMS WordPress.

Файл.htaccess, как и robots.txt, также является текстовым файлом и располагается в главной директории сайта. В этом случае все его директивы должны выполняться для всего сайта. Если же такие файлы встречаются в других директориях сайта, то его команды будут действовать только в этой директории и в подчиненных ей поддиректориях.

Настройка главного зеркала сайта в инструментах вебмастеров.

Для настройки главного зеркала сайта в инструментах для вебмастеров Яндекса и Google следует иметь аккаунт в этих поисковых системах.

Также для этого следует подтвердить права на сайт. Как это делается, надеюсь, Вы уже знаете.

Заостряю Ваше внимание на одном нюансе. В инструментах вебмастеров Google следует подтверждать права как на домен с www, так и без www.

Это делается довольно просто, путем размещения небольшого файла в основной директории или указания специальных тегов.

Настройка зеркала в Яндексе

Указание главного зеркала в Яндексе происходит в разделе «Настройка индексирования». В подразделе «Главное зеркало» дается три варианта, которые следует указать. По умолчанию система выбирает – «На усмотрение робота».

Таким образом производилась настройка в старой версии Вебмастера. В новом Вебмастере Яндекса этот параметр настраивается несколько по другому. Думаю, что главное зеркало Яндекс определяет при регистрации сайта в этом сервисе. Вы ведь явно указываете протокол и URL основного домена с www или без него.

При необходимости главное зеркало можно перенастроить в разделе «Индексирование» — подразделе «Переезд сайта».

Настройка зеркала в Google

В инструментах для вебмастеров Google возможность настройки находится сразу при входе в раздел «Настройки сайта». Но еще раз повторюсь, что подтвердить права на домен придется дважды. Для домена с www и без www.

Вот такие нехитрые, но необходимые действия следует проделать, чтобы у поисковых систем не осталось вопросов о Главном Зеркале Вашего сайта или сайтов Ваших клиентов.

Добрый день. В этой статье мы приступим к техническому аудиту сайта, которые вы должны проделывать, и, в частности, пропишем для сайта его главное зеркало.

Часто на продвижение приходят сайты, на которых, вроде, все делается – работа с контентом, ссылочное продвижение, но сайт очень плохо идет в ТОП.

В большинстве случаев – это именно техническая сторона вопроса.

В SEO сообществе ходят мифы о том, чем отличается хороший сеошник от плохого. Плохой SEO оптимизатор занимается правкой текста и покупкой ссылок, а нормальный сеошник качественно относится к первому и второму пункту, и, кроме этого, делает полный технический аудит.

Разумеется, это не полный спектр того, что делает сеошник, но, как правило, причиной плохого продвижения является то, что не сделана правильная техническая оптимизация.

Начнем мы с главного зеркала.

Главное зеркало – то, по которому откликается ваш сайт, с www, или без него..

Раньше это было более явно выражено, то есть в индекс попадали страницы и с www, и без него.

Эти страницы являются прямыми дубликатами. Это очень плохо, и, чтобы это все исправить, делается 301-й редирект (изначальная настройка зеркала – это 301-й редирект), указание директивы HOST в файле Robots.txt, и ручное задание главного зеркала в инструментах для вебмастера.

Давайте посмотрим, что нам надо подключить для главного зеркала, и как с этим всем работать.

Нам понадобятся Инструменты для вебмастера от Яндекса (webmaster.yandex.ru), и от Google (google.com/webmasters).

Для того, чтобы задать главное зеркало сайта в Яндексе, в правой колонке выбираем Настройка индексирования -> Главное зеркало.

В открывшемся поле выбираем, какой вариант написания мы выбираем в качестве главного зеркала – с www, или без него. После чего, нажимаем кнопку Применить.

В кабинете вебмастера Гугла, назначить главное зеркало немного сложнее.

После того, как вы подтвердили оба варианта домена, вы нажимаете в правом верхнем углу на значек шестеренко (настройки), и выбираете пункт «Настройки сайта». При этом, не важно, какое зеркало будет в данный момент отображаться в аккаунте – с www, или без него.

В открывшемся поле выбираете нужный вариант зеркала, и сохраняете его.

Все, в инструментах вебмастера обоих поисковых систем вы настроили свое главное зеркало.

И теперь, в соответствии со схемой, предложенной выше, вам осталось настроить 301-й редирект и файл Robots.txt, чтобы окончательно показать поисковикам главное зеркало вашего сайта.

В файле Robots.txt за это отвечает команда HOST. Вот как этот файл оформлен у меня:

Как видите, главным зеркалом моего сайта я назначил домен без www.

Редирект 301 мы будем настраивать в файле.htaccess. Если у вас на сайте такой файл отсутствует, то его легко сделать из текстового файла – кликаете правой кнопкой мышки: Создать -> Текстовый документ, и задаете ему название.htaccess.

Открываем этот файл в простом блокноте, и вносим туда нужный вам код, пример которого я привожу ниже (при этом, не забываем изменять название домена моего сайта на своё):

Все, как видите мы задали главное зеркало тремя возможными способами. Вообще то, для поисковых роботов достаточно и 301-го редиректа, однако, я советую для надежности использовать все три метода.

С уважением, Валерий Григорьев