Число страниц в поиске яндекса. Страницы в поиске. Различие статистических данных

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» — поиск по всем поддоменам и страницам указанного сайта;
• «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:

• Ошибка при загрузке или обработке страницы роботом - если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX. Выявить ошибку поможет инструмент Проверка ответа сервера .
• Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex .
• Страница перенаправляет робота на другие страницы.
• Страница дублирует содержание другой страницы .
• Страница не является канонической .

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, отправьте страницу на переобход . Так вы сообщите роботу об изменениях.

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

• Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
• Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. Проверьте ответ сервера по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.

В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

В разделе Страницы в поиске , в списке Исключенные страницы , отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).

Страница удаляется из списка исключенных, если:

• она недоступна для робота в течение некоторого времени;
• на нее не ссылаются другие страницы сайта и внешние источники.

Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.

Доброго дня, читатели . Я всегда получаю много вопросов от вебмастеров, владельцев сайтов и блогеров об ошибках и сообщениях, которые появляются в Яндекс.Вебмастер. Многих такие сообщения пугают.

Но, хочу сказать, не все сообщения бывают критичны для сайта. И в ближайших статьях я постараюсь максимально полно охватить все возможные вопросы, которые могут возникать у вебмастеров. В данной статье пойдет речь о разделах:

1. Диагностика — Диагностика сайта
2. Индексирование — Страницы в поиске

О том, и зачем он нужен, я писала ещё несколько назад. Если вы не знакомы с данным инструментом, ознакомьтесь сначала со статьей по ссылке.

Диагностика сайта

Возможные проблемы

1. В файле robots.txt не задана директива Host

Данное замечание Яндекс примечательно тем, что директива Host не является стандартизированной директивой, ее поддерживает только поисковая система Яндекс. Нужна она в том случае, если Яндекс неправильно определяет зеркало сайта.

Как правило, зеркало сайта определяется Яндексом автоматически на основе URL, которые формирует сама CMS, и на основе внешних ссылок, которые ведут на сайт. Чтобы указать главное зеркало сайта, не обязательно указывать это в файле robots.txt. Основной способ — использовать 301 редирект, который либо настроен автоматически в CMS, либо необходимый код вносится в файл.htachess.

Обращаю внимание, что указывать директиву в файле robots.txt нужно в тех случаях, когда Яндекс неправильно определяет главное зеркало сайта, и вы не можете повлиять на это никаким другим способом.

CMS, с которыми мне приходилось работать в последнее время, WordPress, Joomla, ModX, по умолчанию редиректят адрес с www на без, если в настройках системы указан адрес сайта без приставки. Уверена, все современные CMS обладают такой возможностью. Даже любимый мной Blogger правильно редиректит адрес блога, расположенного на собственном домене.

2. Отсутствуют мета-теги

Проблема не критичная, пугаться ее не нужно, но, если есть возможность, то лучше ее исправить, чем не обращать внимание. Если в вашей CMS по умолчанию не предусмотрено создание мета-тегов, то начните искать плагин, дополнение, расширение или как это называется в вашей CMS, чтобы иметь возможность вручную задавать описание страницы, либо, чтобы описание формировалось автоматически из первых слов статьи.

3. Нет используемых роботом файлов Sitemap

Конечно, лучше эту ошибку исправить. Но обратите внимание, что проблема может возникать и в тех случаях, когда файл sitemap.xml есть, так и в тех, когда его действительно нет. Если файл у вас есть, но Яндекс его не видит, просто перейдите в раздел Индексирование — Файлы Sitemap. И вручную добавьте файл в Яндекс.Вебмастер. Если такого файла у вас вообще нет, то в зависимости от используемой CMS, ищите варианты решения.

Файл sitemap.xml находится по адресу http://vash-domen.ru/sitemap.xml

4. Не найден файл robots.txt

Все же этот файл должен быть, и если у вас есть возможность его подключить, лучше это сделать. И обратите внимание на пункт с директивой Host.

Файл robots.txt находится по адресу http://vash-domen.ru/robots.txt

На этом фонтан ошибок на вкладке Диагностика сайта у меня иссяк.

Индексирование

Страницы в поиске

Начнем именно с этого пункта. Так будет легче структурировать информацию.

Выделяем в фильтре «Все страницы»
Опускаемся ниже, справа на странице «Скачать таблицу» Выбираем XLS и открываем файл в Excel.


Получаем список страниц, которые находятся в поиске, т.е. Яндекс о них знает, ранжирует, показывает пользователям.
Смотрим, сколько записей в таблице. У меня получилось 289 страниц.

А как понять, сколько должно быть? Каждый сайт уникален и только вы можете знать, сколько страниц вы опубликовали. Я покажу на примере своего блога на WordPress.
В блоге на момент написания статьи имеется:

• Записи — 228
• Страницы — 17
• Рубрики — 4
• Метки — 41
• + главная страница сайта

В сумме имеем 290 страниц, которые должны быть в индексе. В сравнении с данными таблицы разница всего в 1 страницу. Смело можно считать это очень хорошим показателем. Но и радоваться рано. Бывает так, что математически все совпадает, а начинаешь анализировать, появляются нестыковки.

Есть два пути, чтобы найти ту одну страницу, которой нет в поиске. Рассмотрим оба.

Способ первый. В той же таблице, которую я скачала, я разделила поиск на несколько этапов. Сначала отобрала страницы Рубрик. У меня всего 4 рубрики. Для оптимизации работы пользуйтесь текстовыми фильтрами в Excel.


Затем Метки, исключила из поиска Страницы, в результате в таблице остались одни статьи. И тут, сколько бы статей не было, придется просмотреть каждую, чтобы найти ту, которой нет в индексе.

Обращаю внимание, что в каждой CMS своя структура. У каждого вебмастера свои SEO , canonical, файла robots.txt.

Опять же, если на примере WordPress, обратите внимание, какие разделы сайта у вас индексируются, а какие закрыты. Здесь могут быть и страницы Архива по месяцам и годам, страницы Автора, пейджинг страниц. У меня все эти разделы закрыты настройками мета тега robots. У вас может быть иначе, поэтому считайте все, что у вас не запрещено для индексации.

Если взять для примера Blogger, то владельцам блогов нужно считать только опубликованные Сообщения, Страницы и главную. Все остальные страницы архивов и тегов закрыты для индексации настройками.

Способ второй. Возвращаемся в Вебмастер, в фильтре выбираем «Исключенные страницы».

Теперь мы получили список страниц, которые исключены из поиска. Список может быть большой, намного больше, чем со страницами, включенными в поиск. Не нужно бояться, что что-то не так с сайтом.

При написании статьи я пыталась работать в интерфейсе Вебмастера, но не получила желаемого функционала, возможно, это временное явление. Поэтому, как и в предыдущем варианте, буду работать с табличными данными, скачать таблицу можно также внизу страницы.

Опять же, на примере своего блога на WordPress я рассмотрю типичные причины исключения.

В полученной таблице нам в первую очередь важна колонка D — «httpCode». Кто не знает, что такое ответы сервера, прочитайте в википедии . Так вам будет легче понять дальнейший материал.

Начнем с кода 200. Если вы можете попасть на какую-то страницу в интернете без авторизации, то такая страница будет со статусом 200. Все такие страницы могут быть исключены из поиска по следующим причинам:

1. Запрещены мета тегом robots
2. Запрещены к индексации в файле robots.txt
3. Являются неканоническими, установлен мета тег canonical

Вы, как владелец сайта, должны знать, какие страницы какие настройки имеют. Поэтому разобраться в списке исключенных страниц должно быть не сложно.

Настраиваем фильтры, выбираем в колонке D — 200

Теперь нас интересует колонка E — «status», сортируем.

Статус BAD_QUALITY — Недостаточно качественная. Самый неприятный из всех статус. Давайте разберем его.

У меня в таблице оказалось всего 8 URL со статусом Недостаточно качественная. Я их пронумеровала в правой колонке.

URL 1, 5, 7 — Страницы фида, 2,3,4,5,8 — служебные страницы в директории сайта wp-json. Все эти страницы не являются HTML документами и в принципе не должны быть в этом списке.

Поэтому внимательно просмотрите свой список страниц и выделите только HTML страницы.

Статус META_NO_INDEX. Из индекса исключены страницы пейджинга, страница автора, из-за настроек мета тега robots

Но есть в этом списке страница, которой не должно быть. Я выделила url голубым цветом.

Статус NOT_CANONICAL. Название говорит само за себя. Неканоническая страница. На любую страницу сайта можно установить мета тег canonical, в котором указать канонический URL.

Яндекс стремится находить ответ на запрос пользователя, предоставляя на странице результатов информацию и ссылки на нее в интернете. Мы создали и развиваем поиск , исходя из нашего понимания, что нужно пользователям, и какая информация является ценной.

Поэтому следование рекомендациям, приведенным ниже, поможет в индексировании и лучшем ранжировании вашего сайта, в то время как применение обманных техник может привести к понижению его позиций или исключению его из поиска .

Основные принципы

Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.

Думайте о пользователях, а не о поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?

Тщательно продумайте дизайн - он должен помогать посетителям увидеть главную информацию , ради которой сайт создан.

Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Думайте о том, что пользователь получит, придя на ваш сайт .

Примеры к принципам

Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и выше описанным принципам.

Мы стараемся не индексировать или не ранжировать высоко:

• Сайты, которые вводят в заблуждение посетителей: при скачивании какого-либо файла (аудио, видео, торрент-файл и пр.) загружается посторонняя программа. Или посторонняя программа размещается под видом популярного приложения и т. д. Примером такого нарушения являются так называемые программы-обертки .
• Сайты, использующие устройства посетителей для майнинга криптовалют .

Сайты, копирующие или переписывающие информацию с других ресурсов и не создающие оригинальный контент.

• Сайты, копирующие или переписывающие информацию с других ресурсов, с низкокачественным автоматическим переводом контента на другой язык, не создающие оригинальный контент.

Страницы и сайты, единственной целью которых является перенаправление посетителя на другой ресурс, автоматически («редирект» ) или добровольно.

Автоматически сгенерированный (бессмысленный) текст.

Сайты с каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакого уникального сервиса.

Страницы с невидимым или слабовидимым текстом или ссылками .

Сайты, отдающие разный контент посетителям и роботам поисковых систем («клоакинг» ),

Сайты, предоставляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для посетителя.

Сайты, использующие обманные техники (например, вредоносный код , опасные для посетителей сайта настройки CMS и серверов, вирусы в партнерских программах , вредоносные мобильные редиректы), перенаправляющие посетителей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.

Сайты, пытающиеся повлиять на поисковую систему путем имитации действий посетителей .

Сайты, основным предназначением которых является агрессивная демонстрация рекламных материалов (в том числе popup, popunder , clickunder).

Поисковая выдача Яндекса регулярно обновляется. Страницы вашего сайта могут появляться в результатах поиска и пропадать из них.

С помощью информации, представленной в Яндекс.Вебмастере на странице Индексирование → Страницы в поиске вы можете:

• следить за изменением количества страниц в поисковой выдаче Яндекса и за соотношением числа Страница, которая участвует в поиске Яндекса. Страница может не\\n попасть в поисковую выдачу, если она дублирует контент другой страницы, содержит спам\\n или вирусы, перенаправляет на другую страницу, при ее загрузке произошла ошибка на\\n стороне сервера. "}}\">добавленных и \\n

  Страница, которая была добавлена в результаты поиска Яндекса, но позже\\n исключена.

  \\n "}}\">исключенных

  страниц;
• получать информацию о дате последнего посещения сайта роботом и обновления поисковой выдачи;
• выяснить причину исключения страницы из результатов поиска.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию о конкретном разделе, выберите его из списка в поле с адресом сайта. Доступные разделы соответствуют структуре сайта, известной Яндексу (кроме разделов, добавленных вручную).

1. Динамика состояния страниц
2. Фильтрация данных
3. Выгрузка информации в файл

Динамика состояния страниц

Информация о страницах представлена следующим образом:

• Новые и удаленные - соотношение количества страниц, появившихся в результатах поиска и исключенных из него.
• Исключенные - динамика количества страниц, исключенных из результатов поиска.
• История - динамика количества страниц, которые участвуют в поиске. Каждый сегмент графика соответствует отдельному разделу сайта.
• Распределение - количество страниц, участвующих в поиске, отображается на круговой диаграмме, где каждый сегмент соответствует разделу сайта.

Общее количество страниц, участвующих в поиске, может превышать сумму страниц на диаграммах (при отображении не учитываются отдельные страницы и разделы, которые не попали в раздел сервиса Структура сайта).

Изменения страниц в результатах поиска

Вебмастер сообщает об изменениях в результатах поиска за последние три месяца:

• дата обновления поисковой выдачи;
• была ли страница добавлена в поисковую выдачу (адрес страницы отображается зеленым) или удалена из нее (отображается синим);
• причина удаления страницы из поиска.

Резкое изменение количества добавленных или участвующих в поиске страниц может быть связано с изменениями на сайте. Например, со сменой структуры сайта или файла robots.txt .

Кроме этого, сервис показывает общую информацию о странице:

Чтобы просмотреть изменения, установите переключатель в положение Последние изменения . В результате отобразится до 50 000 изменений.

Список участвующих в поиске страниц

Вы можете просмотреть список участвующих в поиске страниц и следующую информацию о них:

• дата последнего посещения страницы роботом;
• адрес страницы относительно корневого каталога сайта;
• заголовок страницы (HTML-элемент title ).

Чтобы увидеть список страниц, установите переключатель в положение Все страницы . Список может содержать до 50 000 страниц сайта.

Если в списке не все страницы, которые должны участвовать в поиске, сообщите Яндексу о них с помощью инструмента Переобход страниц .

Список исключенных из поиска страниц

Чтобы посмотреть список исключенных страниц (до 50 000), на странице Индексирование → Страницы в поиске установите переключатель в положение Исключенные страницы . Отобразится следующая информация о страницах:

• дата последнего посещения страницы роботом;
• адрес страницы относительно корневого каталога сайта;
• статус (причина исключения страницы).

Примечание. Наличие и количество исключенных страниц в Яндекс.Вебмастере не влияет на положение сайта в результатах поиска.

Страница пропадет из списка исключенных в течение некоторого времени при одновременном выполнении следующих условий:

• страница недоступна для индексирующего робота (HTTP-ответ сервера 404 Not Found) или на странице настроен редирект c HTTP-кодом 301 ;
• другие ресурсы не ссылаются на исключенную страницу.

Если в списке исключенных вы обнаружили URL страницы, которая давно удалена с сайта или вовсе не существует, вероятно, на нее ссылаются другие ресурсы. Чтобы страница пропала из списка исключенных, запретите ее индексирование в файле robots.txt .

Фильтрация данных

Сервис позволяет быстро найти информацию о странице с помощью фильтрации, нажав значок . Фильтровать данные можно по всем представленным параметрам. Например, можно использовать фильтрацию по URL:

С указанием определенного фрагмента URL

Чтобы составить список страниц, адрес которых содержит определенный фрагмент, выберите из списка значение Содержит и в поле укажите нужное значение.

C указанием специальных символов

Специальные символы позволяют задавать не строгое соответствие строки, а ее начало, подстроку и более сложные условия с применением регулярных выражений. Чтобы использовать их, выберите из списка значение Условие , а само условие введите в поле. Можно добавить несколько условий - каждое из них должно начинаться с новой строки.

Для условий доступны правила:

• выполнять любое из условий (соответствует оператору «ИЛИ» );
• выполнять все условия (соответствует оператору «И» ).

Символ	Описание	Пример
*		Использование символа *
@
~		регулярному выражению
!	Отрицание условия

Символы, используемые для фильтрации

Символ	Описание	Пример
*	Соответствует любому количеству любых символов	Отобразить данные по всем страницам, которые начинаются с https://example.com/tariff/ , включая указанную страницу: /tariff/* Использование символа * Символ * может быть полезен при поиске URL, которые содержат два определенных элемента или более. Например, можно найти новости или анонсы за определенный год: /news/*/2017/ .
@	Выбранные данные содержат указанную строку (но не обязательно строго соответствуют)	Отобразить данные по всем страницам, URL которых содержит указанную строку: @tariff
~	Условие является регулярным выражением	Отобразить данные по страницам, URL которых удовлетворяет регулярному выражению . Например, можно выбрать все страницы, в адресе которых есть одно или несколько упоминаний: ~table|sofa|bed
!	Отрицание условия	Исключить данные по страницам, URL которых начинается со строки https://example.com/tariff/ : !/tariff/*

При использовании символов не учитывается регистр.

Символы @, !, ~ могут использоваться только в начале строки, для них доступны следующие сочетания:

Выгрузка информации в файл

Информацию о страницах можно выгрузить в формате XLS или CSV. Содержимое файла различается в зависимости от положения переключателя.

• Последние изменения
• Все страницы
• Исключенные страницы

• updateDate - дата обновления поисковой базы;
• url - адрес страницы;
• httpCode - HTTP-код, полученный роботом во время последнего обхода;
• status - статус страницы ;
• target - адрес страницы, на которую происходит перенаправление, или отображаемый в результатах поиска адрес;
• title - заголовок страницы (содержимое HTML-элемента title );
• event - действие, произошедшее со страницей (добавление или исключение из поиска).

Статусы страницы в поиске

Статус в веб-интерфейсе	Статус в файле	Расшифровка	Рекомендация
Недостаточно качественная	BAD_QUALITY		Ознакомьтесь с рекомендациями .
Исключена по Clean-param	CLEAN_PARAMS	Clean-param .	robots.txt .
Дубль	DUPLICATE		редиректа с HTTP-кодом 301 или атрибута rel=\"canonical\" . отправьте их на переобход
Ошибка подключения к серверу	HOST_ERROR		робота Яндекса на стороне провайдера.
Ошибка HTTP	HTTP_ERROR		отправьте ее на переобход .
Запрещено элементом noindex	META_NO_INDEX	robots	отправьте ее на переобход .
Неканоническая	NOT_CANONICAL		rel=\"canonical\" отправьте ее на переобход .
Неглавное зеркало	NOT_MAIN_MIRROR	зеркалу сайта
Статус неизвестен	OTHER		Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход .
Не удалось скачать страницу	PARSER_ERROR		Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход .
В поиске	REDIRECT_SEARCHABLE	Страница осуществляет перенаправление , но находится в поиске.
Редирект	REDIRECT_NOTSEARCHABLE	Страница осуществляет перенаправление
	ROBOTS_HOST_ERROR		robots.txt .
	ROBOTS_TXT_ERROR	Индексирование сайта запрещено в файле robots.txt . Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования.	При необходимости внесите изменения в файл robots.txt .
В поиске	SEARCHABLE	Страница находится в поиске.

Статусы страницы в поиске

Статус в веб-интерфейсе	Статус в файле	Расшифровка	Рекомендация
Недостаточно качественная	BAD_QUALITY	Страница считается некачественной.	Ознакомьтесь с рекомендациями .
Исключена по Clean-param	CLEAN_PARAMS	Страница была исключена из поиска в результате обработки роботом директивы Clean-param .	Чтобы страница индексировалась, измените файл robots.txt .
Дубль	DUPLICATE	Страница дублирует уже представленную в поиске страницу сайта.	Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel=\"canonical\" . Если содержимое страниц различается, отправьте их на переобход , чтобы ускорить обновление данных в поисковой базе.
Ошибка подключения к серверу	HOST_ERROR	При обращении к сайту роботу не удалось установить соединение с сервером.	Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота.
Ошибка HTTP	HTTP_ERROR	При обращении к странице возникла ошибка.	Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход .
Запрещено элементом noindex	META_NO_INDEX	Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content=\"noindex\" или content=\"none\" ).	Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход .
Неканоническая	NOT_CANONICAL	Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel=\"canonical\" в ее исходном коде.	Исправьте или удалите атрибут rel=\"canonical\" , если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход .
Неглавное зеркало	NOT_MAIN_MIRROR	Страница относится к неглавному зеркалу сайта , поэтому была исключена из поиска.
Статус неизвестен	OTHER	Страница известна роботу, но не участвует в поиске.	Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход .
Не удалось скачать страницу	PARSER_ERROR	При обращении к странице роботу не удалось получить ее содержимое.	Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход .
В поиске	REDIRECT_SEARCHABLE	Страница осуществляет перенаправление , но находится в поиске.
Редирект	REDIRECT_NOTSEARCHABLE	Страница осуществляет перенаправление , при котором индексируется его цель.	Проверьте индексирование страницы , на которую выполняется редирект.
Запрет в robots.txt (весь сайт)	ROBOTS_HOST_ERROR	Индексирование сайта запрещено в файле robots.txt . Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования.	При необходимости внесите изменения в файл robots.txt .
Запрет в robots.txt (страница)	ROBOTS_TXT_ERROR	Индексирование сайта запрещено в файле robots.txt . Робот автоматически начнет посещать страницу, когда сайт станет доступен для индексирования.	При необходимости внесите изменения в файл robots.txt .
В поиске	SEARCHABLE	Страница находится в поиске.

Файл может содержать следующие данные:

• url - адрес страницы;
• lastAccess - дата последнего посещения страницы роботом;
• title - заголовок страницы (HTML-элемент title ).

Файл может содержать следующие данные:

• url - адрес страницы;
• status - статус страницы ;
• lastAccess - дата последнего посещения страницы роботом.

Статусы исключенной страницы в поиске

Статус в веб-интерфейсе	Статус страницы	Расшифровка	Рекомендация
Недостаточно качественная	BAD_QUALITY	Страница считается некачественной.	Ознакомьтесь с рекомендациями .
Исключена по Clean-param	CLEAN_PARAMS	Страница была исключена из поиска в результате обработки роботом директивы Clean-param .	Чтобы страница индексировалась, измените файл robots.txt .
Дубль	DUPLICATE	Страница дублирует уже представленную в поиске страницу сайта.	Укажите роботу предпочтительный адрес с помощью редиректа с HTTP-кодом 301 или атрибута rel=\"canonical\" . Если содержимое страниц различается, отправьте их на переобход , чтобы ускорить обновление данных в поисковой базе.
Ошибка подключения к серверу	HOST_ERROR	При обращении к сайту роботу не удалось установить соединение с сервером.	Проверьте ответ сервера, убедитесь в отсутствии блокировки робота Яндекса на стороне провайдера. Сайт начнет индексироваться автоматически, если станет доступным для робота.
Ошибка HTTP	HTTP_ERROR	При обращении к странице возникла ошибка.	Если проблема актуальна, обратитесь к администратору своего сайта или сервера. Если страница уже доступна, отправьте ее на переобход .
Запрещено элементом noindex	META_NO_INDEX	Страница была исключена из поиска из-за установленного запрета на индексирование (с помощью метатега robots с директивой content=\"noindex\" или content=\"none\" ).	Чтобы страница появилась в поиске, удалите запрет и отправьте ее на переобход .
Неканоническая	NOT_CANONICAL	Страница проиндексирована по каноническому адресу, который был указан в атрибуте rel=\"canonical\" в ее HTML-коде.	Исправьте или удалите атрибут rel=\"canonical\" , если он указан некорректно. Робот отследит изменения автоматически. Чтобы ускорить обновление данных о странице, отправьте ее на переобход .
Неглавное зеркало	NOT_MAIN_MIRROR	Страница относится к неглавному зеркалу сайта , поэтому была исключена из поиска.
Статус неизвестен	OTHER	Страница известна роботу, но не участвует в поиске.