Главная › Услуги › Как в гугл вебмастер указать главное зеркало. Расширение настроек зеркал в Вебмастере. Правильный порядок действий при склейке зеркал

Как в гугл вебмастер указать главное зеркало. Расширение настроек зеркал в Вебмастере. Правильный порядок действий при склейке зеркал

Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.

Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.

Выбор основного зеркала

Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.

Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).

Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.

Способы смены основного зеркала

Существует несколько методов для смены основного зеркала:

Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
С помощью директивы Host в файле robots.txt (только для Яндекса)

#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru

С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.

Это приводит к тому, что показатели сайта , PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.

Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.

Статья по теме: Поисковая оптимизация сайта под Яндекс: что нужно учитывать в 2018 году

Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.

Основной домен для Google

Чтобы указать для Гугла основной домен, выполните следующие действия.

1. На главной странице Инструментов для веб-мастеров (www.google.com/webmasters/tools/) выберите сайт, для которого нужно указать основной домен.
2. В разделе Конфигурация сайта перейдите в Настройки.

Кроме того, для Гугла можно прописать инструкцию в файле.htaccess

Redirect 301 / https://сайт/

Основное зеркало для Яндекса

Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле

Здравствуйте, уважаемые читатели блога. Сегодня я хотел бы раскрыть очень важную тему, касающуюся, в первую очередь, сайтов, с которых качают много файлов.

Однако и для рядовых веб-ресурсов эта тема окажется полезной.

В этой статье я расскажу о том, что такое зеркало сайта, какое зеркало будут считать главным поисковые системы, и как «убедить» поисковики считать главным зеркалом тот сайт, который мы считаем подходящим.

Прежде всего, давайте определимся, что вообще такое зеркало сайта и для чего оно нужно.

Зеркало сайта – точная или почти точная копия какого-либо сайта, доступная под разными адресами, но содержащая одинаковый контент .

К примеру, у вас есть сайт с адресом «www.example.ru», но также он доступен по адресу «www.site.ru». В этом случае сайты считаются зеркалами.

Поисковые системы, индексируя интернет, часто сталкиваются с сайтами-клонами, нарушающими авторское право владельца сайта-прототипа. Естественно, что поисковики пытаются такие сайты наказать за воровство идеи, дизайна, контента и т.д. Но при этом нужно уметь отличать сайты-клоны от зеркал сайтов, что в настоящее время поисковики делают очень неплохо. Но все же мы можем помочь Гуглу, Яндексу и другим поисковым системам определить главный сайт и его зеркала, связав их в одну «кучу». Но об этом чуть позже.

Для чего же нужно зеркало или нужны несколько зеркал? Дело в том, что сайт, расположенный на сервере хостинг-провайдера, может быть загружен запросами пользователей. Особенно это заметно в тех случаях, когда сайт предлагает своим посетителям скачать какие-либо файлы. В этом случае скорость скачивания будет сильно зависеть от мощности сервера (вашего хостера), но в любом случае эта мощность конечна. Если же мы создадим копию сайта или несколько копий, то позволим нашим посетителям скачивать информацию с сайта намного быстрее. Это основной смысл зеркал, но далеко не единственный.

Итак, зеркало сайта нужно:

для уменьшения нагрузки на сервер;
для возможности проведения технических работ на «запасном» сайте без отключения самого сайта;
для сохранности данных (резервные данные никогда не помешают);
для того чтобы сайт был доступен по нескольким url-адресам.

Роль зеркал в SEO

На seo-оптимизацию сайта зеркала прямо не влияют. Но если сайт будет доступен на нескольких серверах, то улучшится его скорость загрузки, что положительно скажется на поведенческих факторах – в частности на показателе отказов.

Кроме этого, сайты-зеркала делят между собой показатели тИЦ и PR – они у веб-ресурсов одни на всех. Т.е. если у главного сайта тИЦ равен «Х», у первого зеркала «Y», а у второго «Z», то у всех них будет один тИЦ, равный «X+Y+Z». Тоже самое касается и PR.

Негативные последствия могут произойти в том случае, если поисковики определят главное зеркало сайта неверно. Тогда вы будете раскручивать один сайт, а он будет считать неосновным, и весь вес перейдет на лже-главное зеркало.

Как склеивать зеркала

Существует несколько способов, позволяющих склеивать два или большее количество зеркал в один сайт.

Файл роботс

Чаще всего это делается в файле robots.txt, где можно прямо указать основное зеркало таким образом:

Host: www.site.ru

Но этот способ отлично воспринимает только Яндекс, для Гугла придется использовать другие методы.

Редирект

Второй по популярности способ – настройка . В этом случае вам нужно на всех сайтах-зеркалах отредактировать файл.htaccess, добавив в него несколько строк:

RewriteEngine on RewriteCond %{HTTP_HOST} ^site.ru RewriteRule ^(.*)$ http://www.site.ru/$1 RewriteBase /

Панель вебмастеров

В панелях Яндекс.Вебмастер и Вебмастерс.Гугл также можно настроить главное зеркало.

Вот где можно сделать это в Яндексе (в качестве зеркал учитываются только проиндексированные сайты)

А так можно поступить с Гуглом.

Как расклеить зеркала

Ну, это совсем просто. Просто избавьтесь от всего того, что вы делали на предыдущих шагах:=). Но если поисковые системы сами с похожим контентом, то самым грамотным способом их расклеить будет изменение информации на сайтах. Сделайте так, чтобы они были как можно меньше похожими друг на друга, и тогда через некоторое время (как правило, около месяца) поисковики сами автоматически расклеют зеркала.

Надеюсь, что эта статья была полезна.

И от семантики мы плавно переходим к технической оптимизации. Первый шаг в рамках этого этапа - определение и настройка главного зеркала сайта.

Почему это важно?

Причин несколько. Во-первых, зеркала сайта - это дубли, от которых нам нужно избавиться, объяснив поисковой системе, что индексировать нужно только одно из них. Вторая причина заключается в том, что ссылки, проставляемые на сайт, как правило разношерстны - кто-то написал Url с WWW, а другой человек указал адрес без него. В итоге ссылочная масса размазывается между этими двумя вариантами. Описанные в данном материале действия призваны полностью решить подобные проблемы.

Как узнать главное зеркало сайта?

Если сайт уже не новый, то первым делом нам нужно определить, какое из зеркал (с WWW или без) было проиндексировано. Способ довольно прост - переходим на Яндекса https://webmaster.yandex.ru/addurl.xml и, прописав Url нашего сайта, получим следующее:

В случае, если введенный вами адрес и является главным зеркалом, то результат проверки будет иметь вид «Сайт www.site.ru уже проиндексирован».

Ну или второй способ определения основного зеркала, справедливый как для Яндекс, так и для - просто ввести в поиск адрес сайта и посмотреть вариант, который будет выведен на первой строчке.

Что если основное зеркало сайта в Яндекс не совпадает с Google?

Лучше оставить тот вариант, который прижился в Яндексе, подогнав Google под него же. По моим наблюдениям Яндекс куда дольше и значительно болезненнее переживает смену главного зеркала, нежели Google. Как «подогнать» - будет описано ниже.

Главное зеркало сайта: с WWW или без

Практической разницы нет - выбирайте то, что вам больше нравится. Мне сугубо из олдскульных привычек импонирует вариант с WWW, но я не могу не признать, что без WWW адрес сайта короче и внимание акцентируется сразу на его названии, а не на приставке-анахронизме (World Wide Web) из времен зари глобальной сети, когда она была обязательной.

Как указать главное зеркало сайта?

В целом этот процесс состоит из трех этапов. Первым делом нужно прописать директиву host в конце нашего файла следующим образом:

User-agent: *
...
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

В первую очередь это необходимо для Яндекса, так как для Google данная директива ничего не значит. Далее мы переходим ко второму этапу, который для каждой поисковой системы свой и заключается в настройке кабинетом веб-мастеров.

Настройка главного зеркала в Яндекс

Далее - «Настройка индексирования» - «Главное зеркало», где мы и выбираем вариант, которому отдаем предпочтение.

Настройка главного зеркала в Google

Дважды добавляем сайт в панель вебмастера Google - то есть адреса с WWW и без, как будто это два разных сайта. Затем для каждого из них в настройках выбираем нужный вариант и сохраняем.

Как склеить зеркала сайта?

Последним этапом станет прописывание серверных в файле htaccess, которые окончательно положат конец неуместному зеркалу, переадресовав все его страницы на нужный вариант.

Options +FollowSymLinks
RewriteEngine On

RewriteEngine off

RewriteCond %{HTTP_HOST} ^www.site.ru$
RewriteRule (.*) http://site.ru/$1

Данный пример справедлив для случая, когда главное зеркало - без WWW. Для обратной ситуации просто поменяйте «www.site.ru» и «site.ru» местами. Участок «FilesMatch» запрещает переадресацию файла robots.txt неосновного зеркала - это необходимо для того, чтобы была директива хост, при обращении поисковой системы к неглавному алиасу, указывала на главное.

Вот, вроде, и всё. Этот небольшой, но важный этап окончен. Вопросы?

правильно его использовать .

Команда Яндекс.Вебмастера

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

","contentType":"text/html"},"proposedBody":{"source":"

Команда Яндекс.Вебмастера

","contentType":"text/html"},"authorId":"30364427","slug":"19180","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":67,"modificationDate":"Tue Jul 08 2014 20:20:00 GMT+0000 (Coordinated Universal Time)","showPreview":true,"approvedPreview":{"source":"

Команда Яндекс.Вебмастера

инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .","contentType":"text/html"},"proposedPreview":{"source":"

Команда Яндекс.Вебмастера

","html":"Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .","contentType":"text/html"},"titleImage":null,"tags":[{"displayName":"Яндекс.Вебмастер","slug":"yandeks-vebmaster","categoryId":"153547628","url":"/blog??tag=yandeks-vebmaster"},{"displayName":"зеркала","slug":"zerkala","categoryId":"153547627","url":"/blog??tag=zerkala"},{"displayName":"главное зеркало","slug":"glavnoe-zerkalo","categoryId":"153547377","url":"/blog??tag=glavnoe-zerkalo"}],"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/19180","urlTemplate":"/blog/%slug%","fullBlogUrl":"https://webmaster.yandex.ru/blog","addCommentUrl":"/blog/createComment/webmaster/19180","updateCommentUrl":"/blog/updateComment/webmaster/19180","addCommentWithCaptcha":"/blog/createWithCaptcha/webmaster/19180","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog","urlEditPost":"/blog/569dee91cb28c8a506119926/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/569dee91cb28c8a506119926/publish","urlUnpublishPost":"/blog/569dee91cb28c8a506119926/unpublish","urlRemovePost":"/blog/569dee91cb28c8a506119926/removePost","urlDraft":"/blog/19180/draft","urlDraftTemplate":"/blog/%slug%/draft","urlRemoveDraft":"/blog/569dee91cb28c8a506119926/removeDraft","urlTagSuggest":"/blog/api/suggest/webmaster","urlAfterDelete":"/blog","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/569dee91cb28c8a506119926","unsubscribeUrl":"/blog/api/unsubscribe/569dee91cb28c8a506119926","urlEditPostPage":"/blog/569dee91cb28c8a506119926/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/19180/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/webmaster/19180","author":{"id":"30364427","uid":{"value":"30364427","lite":false,"hosted":false},"aliases":{},"login":"webmaster","display_name":{"name":"webmaster","avatar":{"default":"0/0-0","empty":true}},"address":"[email protected]","defaultAvatar":"0/0-0","imageSrc":"https://avatars.mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2014-07-08T16:20:29.000Z","socialImage":{"orig":{"fullPath":"https://avatars.mds.yandex.net/get-yablogs/51778/file_1461153249801/orig"}}}}}">

Расширение настроек зеркал в Вебмастере

Пост в архиве.

Сегодня мы хотим рассказать о расширении функциональности в Яндекс.Вебмастере и показать, как .

Команда Яндекс.Вебмастера

Главное зеркало сайта или основной домен сайта следует указывать поисковым системам для того, чтобы они точно знали какой из доменов считать основным, а какой зеркалом.

Указание главного зеркала сайта является одним из пунктов по технической оптимизации сайта. Это действие можно сделать тремя способами:

Настройкой файла robots.txt
Настройкой файла.htaccess
Настройкой соответствующих разделов в инструментах для вебмастеров поисковых систем Яндекса и Google.

Уточняю один момент. В данном посте мы рассмотрим самый распространенный случай по определению главного зеркала сайта – с WWW или без WWW.
Другие ситуации, которые возникают, например, при переезде сайта на другой домен мы опустим.

Честно говоря, современный аналитический уровень возможностей поисковых систем, на мой взгляд, может легко обеспечить решение этой задачи.

Но все ведущие специалисты по продвижению все-таки настоятельно рекомендуют проводить такую настройку.

Причем настаивают выполнять все три вышеперечисленных пункта, несмотря на то, что пункт с robots.txt носит рекомендательный характер для поисковых систем.

Настройка robots.txt

Файл robots.txt представляет собой текстовый файл с набором определенных директив. Расположен этот файл в главной директории сайта. Редактируется простейшими редакторами типа «Блокнот».

Очень хорошо и подробно описано применение этого файла и его команд в справочном разделе сервиса Яндекс Вебмастер. Также можно расширить свой кругозор в этом вопросе на сайте robotstxt.org.ua.

В этой публикации нам следует указать поисковым системам главное зеркало сайта. Делается это при помощи директивы Host следующим образом:

Обращаю Ваше внимание, что эту директиву используют только для поискового робота Яндекс. Фрагмент выглядит примерно таким образом:

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
……………
Disallow: /tag
Disallow: /feedback
Host: сайт

Проверить корректность заполнения файла robots.txt можно в том же Яндекс Вебмастере. В разделе «Настройка индексирования» есть подраздел, который так и называется «Анализ robots.txt».

Отмена директивы Host в Яндексе

Поисковая система Яндекс объявила, что с марта 2018 года директива Host в файле robots.txt больше поддерживаться не будет.

Хорошо это или плохо? Скорее хорошо. Ведь Google и ранее не учитывал эту директиву. Теперь правила указания основного зеркала сайта становятся более унифицированными.

Настройка файла.htaccess

Определение главного зеркала сайта в файле.htaccess осуществляется путем настройки 301 Редиректа.

Как это делается можно . Здесь даны примеры настройки для блогов на CMS WordPress.

Файл.htaccess, как и robots.txt, также является текстовым файлом и располагается в главной директории сайта. В этом случае все его директивы должны выполняться для всего сайта. Если же такие файлы встречаются в других директориях сайта, то его команды будут действовать только в этой директории и в подчиненных ей поддиректориях.

Настройка главного зеркала сайта в инструментах вебмастеров.

Для настройки главного зеркала сайта в инструментах для вебмастеров Яндекса и Google следует иметь аккаунт в этих поисковых системах.

Также для этого следует подтвердить права на сайт. Как это делается, надеюсь, Вы уже знаете.

Заостряю Ваше внимание на одном нюансе. В инструментах вебмастеров Google следует подтверждать права как на домен с www, так и без www.

Это делается довольно просто, путем размещения небольшого файла в основной директории или указания специальных тегов.

Настройка зеркала в Яндексе

Указание главного зеркала в Яндексе происходит в разделе «Настройка индексирования». В подразделе «Главное зеркало» дается три варианта, которые следует указать. По умолчанию система выбирает – «На усмотрение робота».

Таким образом производилась настройка в старой версии Вебмастера. В новом Вебмастере Яндекса этот параметр настраивается несколько по другому. Думаю, что главное зеркало Яндекс определяет при регистрации сайта в этом сервисе. Вы ведь явно указываете протокол и URL основного домена с www или без него.

При необходимости главное зеркало можно перенастроить в разделе «Индексирование» — подразделе «Переезд сайта».

Настройка зеркала в Google

В инструментах для вебмастеров Google возможность настройки находится сразу при входе в раздел «Настройки сайта». Но еще раз повторюсь, что подтвердить права на домен придется дважды. Для домена с www и без www.

Вот такие нехитрые, но необходимые действия следует проделать, чтобы у поисковых систем не осталось вопросов о Главном Зеркале Вашего сайта или сайтов Ваших клиентов.