Понимает ли яндекс nofollow. NOINDEX – рудимент от Яндекса. Куда уходит вес
Meta tags allow you to specify metadata about a site page. A number of meta tags are also used by search engine robots.
Note. Often the description and title meta tags are created automatically. They duplicate themselves and don"t make the search easier for the users. Meta tags with low quality content can have negative effect on the display of the site pages in the search.
The Yandex robot looks at the content of the following meta tags:
- - May be used when determining the page"s relevance to search queries.
- - The content of this tag can be used in snippets (site descriptions in search results).
- - The robot may look at this tag to determine the type of the document and its encoding.
- Used to adapt the site for mobile devices . It allows controlling the zoom of the viewport in the browser. The value width=device-width adapts the width of the viewport to the device screen. The value initial-scale=1 provides a 1:1 ratio of CSS pixels to independent device pixels.
If the meta tag is omitted, mobile browsers show the page for a computer screen by default. Since the screen width on a mobile device is significantly less than a computer screen, browsers try to optimize the content by increasing the font size, scaling the content to the screen size, or showing only the part of the content that fits on the screen.
- Redirects the user to the page with the specified URL after the users stays N seconds on the current page. For small N values, it is considered a temporary redirect, similar to server redirects with the HTTP code 302/303/307.
The Yandex robot also looks at these meta tags:
- Allows you to index text and links on the page, similar to .
- Prohibits indexing the page text.
- Prohibits following the links on the page.
- Prohibits indexing the text and following the links on the page, similar to .
- Prohibits showing the link to the saved copy on the search results page.
- Prohibits using the Yandex.Catalog description for the snippet in the search results.
In the name attribute, you can use yandex in place of robots to specify directives only for the Yandex robot. For example: \n
The robot doesn"t visit documents if they are linked to from pages containing a nofollow meta tag. However, they may be indexed if other sources link to them without nofollow .
If meta tags aren"t specified, the robot assumes that they have positive values (index, follow, archive). If the robot discovers a tag conflict, it chooses the positive value.
\n\n
There is an exception - the all attribute doesn"t affect noarchive:\n
\n\n
The noindex element
To prohibit indexing of auxiliary fragments of the text, use the
The noindex tag is not sensitive to nesting, meaning it can be placed anywhere in the HTML code of a page. You can use the tag in the following format if necessary for making the site code valid :
the text you want to prohibit from indexing
The rel = \"nofollow\" attribute of the a element
The rel=\"nofollow\" attribute is used in the tag in the following format:
The attribute works the same way as the meta tag with the nofollow value, but it only applies to the specified link.
The rel=\"canonical\" attribute of the link element
If a site has groups of pages with similar content, the webmaster can specify the preferred (canonical) address to use in search results for each group.\nFor example, a page can be accessed using two addresses:
Www.example.com/pages?id=2www.example.com/blog
If the preferred address is /blog , this should be reflected in the page code /pages?id=2:
Likewise, if the page has the rel=\"canonical\" attribute specifying the address of this page, the robot regards it as canonical. This page will be indexed and will appear in the Yandex search results.
The robot doesn"t treat a link with the rel=\"canonical\" attribute as a strict directive, but as an option that is taken into account and may be ignored.
For example, the robot might not use the address you specified if:
The document isn"t accessible for indexing at the canonical address.
The canonical address specifies a URL in a different domain or subdomain.
You specified several canonical addresses.
You also shouldn"t create chains of canonical addresses. For example, for the address example.ru/1 , the canonical address is example.ru/2 , but at the same time, the address example.ru/2 has the canonical address example.ru/3 .
Здравствуйте, дорогие посетители!
Если вы попали на данную страницу, то вероятнее всего, что где-то вам посоветовали использовать тег noindex для закрытия какого-либо содержимого от индексации.
В этой статьи я вкратце расскажу, зачем он нужен и особенности его применения. Также покажу, где его применяю я на своем ресурсе.
Общие сведения
Как и в случае с атрибутом , с которым я рекомендую ознакомиться, noindex имеет значения, как в случае обычного тега, так и мета-тега.
- Тег noindex закрывает от индексации только те части, которые заключены внутри него;
- Мета-тег noindex - закрывает всю страницу от индексирования.
В первом случае, тегом оборачиваются необходимые части текста на страницах, которые не нужно индексировать. Это могут быть служебные участки текста или же какая-то конфиденциальная информация.
Тег можно использовать, как в общепринятом варианте, так и валидном, чтобы сделать код страницы валидным и убрать ошибки за счет тега. Снизу даю 2 строки, первая из которых обычный вариант, а вторая - валидный.
тут часть контента, которую нужно закрыть
Какой вариант использовать, решайте сами. Я же пришел ко второму.
В случае же с мета-тегом, noindex добавляется в шапку сайта, что запрещает всю страницу от индексации. Необходим в том же случае (служебные страницы и так далее), только уже для полной страницы.
В данном случае noindex является значением мета-тега robots (см. ниже).
Теперь по поводу использования данного тега.
Применение
Как я уже я писал выше, применять его стоит в том случае, если на странице имеется какая-то служебная информация. Также это имеет место, когда имеются неуникальные куски текста, которые пагубно влияют на продвижения страницы. Их также можно закрывать тегом noindex.
Если же взять мета-тег, который применяется ко всей странице и содержится внутри мета-тега robots (скриншот выше), то данный случай стоит применять для закрытия целых страниц от индексации. Это могут быть целые служебные страницы, не несущие никакой пользы сайту и посетителям. Например, страницы контактов, карты сайта и так далее.
Также имеет место закрытие страниц пагинации, то есть тех страниц, которые разбиваются на списки. Например, в постраничной навигации на сайте можно закрыть все страницы, кроме первой, чтобы обезопасить себя от появления дублированного контента.
Хотя, в последнее время я перестал закрывать страницы мета-тегом noindex. Связано это с произведенным мной анализом других популярных сайтов. Я увидел, что никто из гигантов не использует такое закрытие. Исходя из этого, я также убрал. Хотя раньше я добавлял noindex на такие страницы и все работало на ура. Поэтому, если у вас мета-тег добавляется на страницы пагинации, то можете не переживать.
Главное, чтобы сами контентные страницы были полностью открыти и на них не было мета-тега noindex.
Посмотреть его наличие можно в исходном коде страницы, нажав комбинацию клавиш ctrl+u.
Касаемо моего сайта, то я применяю тег и довольно часто, но не в самих статьях, а в самой верстке шаблона. Я закрываю все части, которые не несут смысловой нагрузки сайту:
- социальные кнопки;
- формы подписки;
- на страницах рубрик, архивов и поиска закрываю текст краткого анонса, чтобы не дублировать контент, ведь он доступен и в полной версии статьи.
Проверить закрытые части данным тегом можно с помощью дополнения к браузеру RDS bar .
Вот, как выглядит закрытие формы подписки и социальных кнопок при активном RDS баре (закрытые области подсвечиваются коричневым).
А вот закрытый кусок текста на страницах рубрик, архивов и поиска.
Таким образом можно закрыть очень много ненужного в своем шаблоне.
На этом можно заканчивать данный материал. Больше о данном теге ничего толкового и не скажешь. В окончание хочу сказать, что если вы хотите закрывать внешние ссылки в noindex, то закроется только содержимое ссылки, то есть ее анкор.
Если у вас остались какие-то вопросы по поводу тега noindex, то пишите их в комментариях под блоком похожих записей, которые также можете почитать. Уверяю вас, будет интересно.
Все, друзья. До связи.
С уважением, Константин Хмелев!
Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.
Внимание! Поисковый робот не обнаружит директиву noindex , если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).
Директива noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому ее рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.
Как добавить атрибут noindex
Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.
Тег
Чтобы заблокировать большинство поисковых роботов , добавьте следующий метатег в раздел
веб-страницы:
Если вы хотите закрыть доступ к странице только роботам Google , используйте такой код:
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
Помогите нам обнаружить метатеги
Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента . Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt .
Заголовок ответа HTTP
Вместо метатега можно возвращать заголовок X-Robots-Tag . В ответе должно быть указано значение noindex или none . Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу.
В апреле, поисковик Yandex, обрадовал рунетовских веб-мастеров, включением поддержки атрибута rel=»nofollow» в ссылках. Какую пользу это нам — блоггерам принесет? Как правильно прописать атрибут rel=»nofollow» в ссылках и что теперь будет с ?
Давайте попробуем разобраться в этих новинках Яндекса.
Небольшая предыстория атрибута rel=nofollow
Что такое rel=nofollow?
Rel=» « — атрибут в ссылке , указывающий отношение ссылки к целевой странице. Также, есть еще атрибут Rev=» « , указывающий отношение целевой страницы к ссылке, например (ссылка с rev=»sponsor» указывает, что это спонсорская ссылка). Но об этом в следующей статье.
Nofollow — статус, говорящий о том,что вы не одобряете данную ссылку.
Исходя из вышесказанного:
Rel=nofollow — определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.
Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, .
Google , встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=»nofollow», но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.
Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег
В чем разница rel=nofollow и
Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=»nofollow»?
Все дело в том, что тег . Данный тег нигде в мире, кроме самого Яндекс, не поддерживается и не стандартизирован. При проверке ресурса на ошибки в коде и поддержке web-стандартов, веб-мастера всегда получали «не валидный» код. То есть, ваш ресурс содержит ошибки. Но, спешу вас успокоить, это не критическая ошибка и практически ни на что не влияет. Для тех кому важен валидный код, вот структура, рекомендованная самим Yandex для валидности вашего кода:
Еще одна проблема тега
Атрибут со статусом rel=»nofollow»
стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.
Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=»nofollow». Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.
Зачем нужен
Тег очень важен, если вы хотите, чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом .
К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.
Как правильно прописать rel=nofollow и
- Для закрытия ссылок от индексации, с помощью rel=»nofollow»
, используется простая схема:
Ссылка на сайт
перехода по ссылке не будет. - Для закрытия блока текста тегом , со всем содержимым, в том числе и с анкорами ссылок, используется схема:
Блок вашего закрываемого текста
данный текстовый блок не будет проиндексирован в Яндекс, со всеми текстами ссылок. - Для закрытия блока текста тегом и ссылок в блоке, используется схема:
Блок вашего закрываемого текста Текст анкор ссылки Блок вашего закрываемого текста
данный блок не будет проиндексирован в Яндекс, со всеми ссылками содержащимся в данном блоке.
Что изменилось с вводом поддержки rel=nofollow?
- Для тех, кто ведет ресурсы для людей и не использует спам-продвижения, почти ничего не изменится. Возможно некоторое уменьшение числа внешних ссылок, закрытых с rel=»nofollow».
- Для тех, кто использовал в продвижении ссылочный спам (спам в комментариях, спам в форумах, соц. сетях, Википедии и т.д), и у кого основная ссылочная масса, дающая ТИЦ, состояла из таких ссылок, будет существенное снижение ТИЦ и как правило, проседание в поисковой выдаче Yandex.
Кратко, о новинках апреля 2010 года в Яндекс:
- У страницы поисковой выдачи Яндекс теперь фиксированная ширина.
- Появились в выдаче навигационные цепочки, у некоторых сниппетов и даты публикации.
- Появился колдунщик видео.
- В панели веб-мастера появилась возможность просмотра статистики по собственным ключевым словам.
P.S.
Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=»canonical»,
о котором я писал в , и многие блогеры вздохнут с облегчением.
Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=»canonical»
. Принесет это облегчение или нет, покажет время.
