Яндекс вебмастер страницы в индексе. Как попасть на первую страницу поисковой выдачи в Яндексе? Просмотр статистики по отдельному поисковому запросу

Я писал ранее о том, что и честно говоря надеялся на положительный исход в данной ситуации.

Ответ Платона Щукина

Ответ Платона, честно говоря, меня огорчил.

Здравствуйте, Илья!

Прошу прощения за задержку с ответом.

После повторной проверки Вашего сайта наши алгоритмы не сочли его полностью соответствующим нашему пониманию качественных сайтов, поэтому он не будет возвращён в поиск в полном объёме. Напоминаем, что решение о включении страниц сайта в поисковую выдачу принимается на основании совокупности факторов, описанных в документах:
//help.yandex.ru/webmaster/?id=995342
//company.yandex.ru/rules/optimization/index.xml

Если Вы будете продолжать развивать Ваш сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, то со временем количество его страниц в поиске увеличится автоматически.


С уважением, Платон Щукин
Служба поддержки Яндекса
//help.yandex.ru/

Как я видел ситуацию на тот момент

Статьи написаны настолько классно, что такого еще не размещал нигде. Именно это и усугубляет ситуацию. Может копирайтеры где-то переоптимизировали текст? Но в интеренте милионы сайтов, которые в тысячи раз хуже этого и при этом они спокойно индексируются.

В общем я изменил ТЗ копирайтеру о том, что возможно подкорректирую будущие ТЗ. Потому что у меня возникли проблемы с сайтом. Яндекс его не хочет индексировать. Суппорт ответил, что «Если Вы будете продолжать развивать Ваш сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, то со временем количество его страниц в поиске увеличится автоматически».

Статья по теме: Что изменится, если убрать с сайта SEO-тексты

Я подозреваю, что в некоторых статьях, проблема связана с переспамом ключевых слов.

winui / Shutterstock.com

Поэтому есть тема, - пишем для людей, не обращая внимание на поисковики. Ключевые слова не обязательно писать в прямом вхождении, если в тексте они смотрятся как пришитые.))

То есть задача копирайтеру только упростилась. Есть тема - нужно написать на нее хороший ответ.

Что-то много в последнее время читаю сообщений, что даже на СДЛ-сайтах падает трафик на порядок. С 1000 становится 100 посетителей в день. Копирайтеры пишут класнейшие статьи, но Яндекс говорит, что они не отвечают требованиям качества. Что происходит на самом деле?

Да и само понятие АГС уже несколько расширяется. Теперь под этот фильтр попадают не только явные ГС, а вполне приличные сайты с самым отменным контентом. С максимальным показателем отказа 37%, а среднее значение 12,2%. Не вижу в этом логики вообще. Только из-за того, что сайт молодой разве стоит его так карать? Может Яндекс уже пресытился сайтами,которых в интернете уже стало такое количество, что в поисковом индексе не всем хватает места. Это ведь новые винты и специально оборудование покупать надо, чтобы расширять серверы. А они ведь не дешевые.

Что сказал СайтКлиник

Мы считаем, что основные причины - это отсутствие «добавочной ценности»
и «плоская» структура сайта.

Например, главная страница состоит из списка статей и аннотаций к ним,
аннотации дублируют контент, который находится на самой странице
статьи.

Кроме того, правый блок на главной странице «новые статьи»
содержит те же ссылки, что и основной контент главной.

В итоге на сайте неуникальные страницы и анонсы, включая главную, и
страницы статей.

Статья по теме: Контент-маркетинг для решения задач SEO

Сами статьи неплохие, контент не содержит спама, однако после статей
располагается блок ссылок на другие материалы, именно в нем часто
мелькают одни и те же слова, что может считаться переспамом.

В первую очередь необходимо работать над «добавочной ценностью»,
привлекать посетителей, развивать ресурс. Хорошим подспорьем в этом
могут стать соц. сети - тематика позволяет.

Особое внимание уделите главной странице сайта, сделайте ее более
информативной, добавьте полезные блоки.

Я ответил так:

Значит из-за самого контента санкций быть не могло?
На счет неполных дублей - возможно стоит сделать уникальные анонсы, но
у меня на двух других сайтах сделано аналогично и при этом они
нормально индексируются.

Хочу уточнтиь, правильно ли я понял Вас, что под термином «плоская»
структура сайта имеется в виду то, что адрес УРЛ не отображает
принадлежность статьи к какой-либо категории? Но я сделал это для того,
чтобы каждая страница имела больший статический вес. Та как, чем больше
вложенность, тем меньший вес имеет страница.

На счет главной - согласен, надо сделать ее статической.

Мне ответили

По поводу анонсов - их уникальность не всегда является критичной, но
чаще всего рекомендуется их уникализировать.

Под термином «плоская» имеется в виду структура URL (необходимо
отображать принадлежность статьи к разделу), кроме того, разделов очень
мало.

У сайта отсутствует добавочная ценность, т. е. он ничем не отличается от
подобных ресурсов. На данный момент сложно определить концепцию сайта,
именно поэтому мы не предлагали Вам ни аудит, ни разработку стратегии, а
дали несколько советов по развитию ресурса.

Логические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».

И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.

Я решила разобраться с этим более пристально и разложить все по полочкам.

Рассмотрим на примере Яндекса и Google.

Проблема индексирования, или что такое индексы.

Проблема индексирования постоянно волнуетвладельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!

Ну, вот, наконец, сайт начинает стабильно индексироваться.

Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».

Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно и .

Это можно легко сделать, использую .

Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.

Я тоже заметила, что после того, как я стала добавлять информацию на страницу в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.

Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.

А как же можно в таком случае определить, что статья уже проиндексирована?

Я делаю это с помощью расширения браузера Google Chrome .

Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.

Как самостоятельно добавить страницу в индекс Google.

Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать . Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.

Как говорится: и вам хорошо, и нам не плохо.

Таким способом можно добавлять до 500 страниц в месяц.

А как обстоят дела с количественными показателями индексации для сайта?

Сколько страниц в индексе поисковых систем?

Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.

Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.

Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.

Увы, на моем Вордпресс блоге соплей предостаточно.

Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…

Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.

Может, и WordPress когда-нибудь до такого дорастет.

А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.

С нетерпением жду ваших комментариев.

Какие мысли по этому поводу Вас посетили?

всего

От автора

Цель теории и практики SEO, это попадание страниц сайта в поисковую выдачу (индексация) и подъём в выдаче по продвигаемому ключевому запросу. Занимаясь продвижением сайта, нужно иметь под рукой, простые и доступные инструменты проверки, какие страницы сайта проиндексированы, а какие нет. В этой статье я покажу, как посмотреть количество проиндексированных страниц в Яндексе. Как проверить индексацию страниц в Google .

Общий объем проиндексированных страниц

Ситуацию с индексацией можно назвать идеальной, если количество открытых для поисковиков страниц сайта совпадает с количеством страниц в индексе.

Это значит, что все создаваемые страницы сайта имеют достаточную информативность и заинтересовали поисковиков своей полезностью.

Нужно понимать, что индексация страницы это лишь первый шаг, за которым нужно заниматься её продвижением в выдаче. Однако при удачном выборе частотности ключа и его конкуренции страница сразу попадет в ТОП и остается её там только поддерживать.

Как я сказал, идеальный вариант, если все значимые страницы сайта попали в индекс. При этом количество проиндексированных страниц должно точно совпадать с продвигаемыми страницами. Ситуации, когда страниц в индексе значительно меньше или больше, чем страниц на сайте, требует срочного исправления.

1. Если страниц в индексе значительно, меньше, чем страниц на сайте, очевидно, что вы теряет трафик и делаете что-то не так. Либо страницы не информативны, либо контент не уникален, либо страницы у вас просто воруют и быстрее индексирую на другом веб-майте. 2. Ситуация, когда страниц в индексе больше, чем страниц на сайте, ничуть не лучше. Это значит, что поисковики индексируют дубли страниц или на сайте не закрыты от поисковиков малоинформативные и технические страницы.

Обе ситуации, недостаточной и избыточной индексации, мешают продвижению сайта, требуют изучения и исправления.

Чтобы сравнить количество страниц сайта и количество страниц в индексе, нужно эти количества знать и уметь быстро посмотреть количество проиндексированных страниц в Яндексе.

Сколько страниц на вашем сайте

На этапе создания сайта вы должны были решить, какой материал сайта показывать поисковикам, а какой закрыть от сканирования и индексации.

Для управления индексацией страниц в Яндекс отлично работают директивы файла robots.txt. Именно правильное заполнение секции для основного бота Яндекс, User-agent: Yandex , должно стать основой управления Яндекс индексацией.

Узнать общее количество страниц сайта, которое «видит» Яндекс, на любом генераторе Sitemap (карты сайта), отметив настройку «учитывать директивы robots.txt». Рекомендую или .

Количество созданных страниц сайта можно посмотреть в административной панели сайта на странице материалов или товаров.

Остается сравнить два полученных значения с количеством проиндексированных страниц Яндекс. Сделать это можно несколькими способами.

Как посмотреть количество проиндексированных страниц в Яндексе

Способ 1. Яндекс веб-мастер

  • Зайдите (заведите) в свой аккаунт на Яндекс Веб-мастере. https://webmaster.yandex.ru/
  • Посмотрите сколько страниц у вас в поиске .

Способ 2. Расширения браузеров

В любом браузере есть расширения, показывающие основные или расширенные SEO данные по сайту, в том числе количество проиндексированных страниц в Яндексе. Вот одно из них, под названием «RDS bar» .

  • для Google ()
  • для Mozilla ()
  • для Opera ()

Способ 3. Синтаксис поисковых запросов Яндекс

  • Войдите в поиск Яндекс (https://ya.ru/ );
  • В адресную строку впишите строку поиска: host: www.domen.ru | host:domen.ru ;
  • Посмотри результат поиска.

Весь Язык запросов Яндекс

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

  • с помощью Яндекс Вебмастера;
  • с использованием операторов поисковой системы;
  • с помощью расширений и плагинов;
  • с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

  • новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
  • изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
  • история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

  1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
  2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

  • для отслеживания изменений количества страниц в Яндексе;
  • для слежения за добавленными и исключенными страницами;
  • для выяснения причин исключения сайта из поисковой выдачи;
  • для получения информации о дате посещения сайта поисковиком;
  • для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

  • «site» — поиск по всем поддоменам и страницам указанного сайта;
  • «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Нажимаем «Начать проверку» и через несколько секунд получаем результат:


Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.

Что такое индекс поисковой системы?

Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.

Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.

В Google имеется основной индекс и дополнительный (supplemental index).

В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.

В дополнительный индекс Google обычно попадают:

  • страницы с неуникальным контентом,
  • страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
  • дубли,
  • иногда в дополнительный индекс могут попадать страницы с низким весом.

Почему важно проверять количество страниц в индексе?

Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.

Как узнать, сколько страниц в индексе Яндекса или Google?

Есть несколько способов проверить количество страниц в индексе поисковых систем:

1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:

Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.

2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров . Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.

3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.

Как проверить страницу в индексе Яндекса или Google?

Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:

В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:

Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор . Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.

Как вернуть или добавить страницу в индекс?

В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:

Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.

Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.

Как ускорить индексацию сайта?

Индексацию сайта можно ускорить на разных этапах продвижения сайта:

  1. Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
  2. Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
  3. Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
  4. Периодически проводите технический аудит сайта , чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
  5. Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
  6. Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров , уникальность текстов и техническую сторону работы сайта.
  7. Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.

В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.




Top