Узнать количество проиндексированных страниц. Как улучшить и ускорить процесс индексации? Сколько страниц проиндексировано

Инструкция

Проверьте, проиндексирован ли сайт поисковой системой Google при помощи анализа страниц поисковой выдачи. Откройте в URL вида: www.google.com/search?&q=allinurl:<адрес_сайта>/+site:<адрес_сайта>, где вместо заполнителя <адрес_сайта> необходимо подставить доменное имя, указывающее на ваш сайт. Например, если доменное codeguru.ru, то URL будет иметь вид: www.google.com/search?&q=allinurl:codeguru.ru/+site:codeguru.ru . Поисковая выдача в данном случае будет содержать все страницы указанного , присутствующие в индексе Google. Общее число страниц будет указано вверху страницы поисковой выдачи. Сравнивая известное количество с количеством страниц в выдаче, можно вывод о степени сайта.

Проверьте индексацию сайта в Google при помощи инструментов для web-мастеров. Зарегистрируйтесь в Google Webmaster Tools по адресу www.google.com/webmasters/tools/ . Войдите в панель управления сервиса. Добавьте сайт в систему и подтвердите права на . Зайдите по адресу https://www.google.com/webmasters/tools/dashboard .

Определите, проиндексирован ли сайт Yandex при помощи анализа поисковой выдачи. Откройте в браузере страницу с адресом вида http://yandex.ru/yandsearch?surl=<адрес_сайта>. Вместо маркера <адрес_сайта> в строку необходимо подставить доменное имя анализируемого сайта. Вверху страницы поисковой выдачи будет указано общее количество страниц сайта, известных поисковику. Сравните его с количеством страниц сайта.

Рассмотрим вопрос как определить количество проиндексированных страниц в поисковых системах. Сделать это можно разными путями. Что такое индекс можете прочитать в статье индекс поисковой машины .

Информация о количестве страниц в индексе является открытой и доступной для всех. Так что любой вебмастер может проверить абсолютно любой сайт.

1. Сколько страниц проиндексировано Яндексом

1.1. Через запросы в Яндексе

Заходим на главную страницу Яндекса (yandex.ru или ya.ru) и вбиваем в поиске запрос:

site : www.site.ru | url:site.ru или host : www.site.ru | url:site.ru

В ответе Яндекс выдаст количество проиндексированных страниц:

1.2. Через панель Яндекс Вебмастер

В панели webmaster.yandex.ru есть специальная вкладка проиндексированные страницы:

Здесь же можно посмотреть количество страниц известных роботу, количество исключенных страниц и дату последнего посещения роботом сайта. Однако стоит отметить, что воспользоваться Яндекс Вебмастером могут только владельцы сайтов, поскольку это "частная" информация.

2. Сколько страниц проиндексировано Google

2.1. Через запросы в Гугле

Как и в Яндексе, в Google есть специальный запрос, который выводит все известные страницы сайта. Заходим на главную страницу google.ru и вводим:

site :site.ru

Такой запрос отобразит все известные страницы. Чтобы узнать какие страницы попали в так называемый "основной индекс" в конце запроса нужно дописать амперсант:

site :site.ru/&

2.2. Через панель Google Webmaster

В панели google.com/webmaster есть специальная вкладка "Индекс Google" -> "Статус индексирования":

Помимо рассмотренных способов так же есть универсальные методы.

3. Универсальные методы

3.1. Узнать индексацию через специальные сервисы

Специальными сервисами я называю множество различных систем аналитики. Например, самими популярными являются:

Здесь можно получить информацию об количестве проиндексированных страниц сразу в несколько поисковых системах.

Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.

Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.

Что значит «индексация»

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Для чего вообще нужен индекс

Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

От чего зависит скорость индексации

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

• Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
• Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
• CMS, чистота и валидность кода.
• Скорость обновления страниц.

Что такое краулинговый бюджет

У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Индексация сайта

Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/ . Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.

Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Какие есть у поисковиков источники информации об url

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

Вводится в строку поиска следующим образом: site:сайт

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

Вводится в строку поиска следующим образом: host:сайт

Оператор «url:» – показывает конкретную запрашиваемую страницу.

Вводится в строку поиска следующим образом: url:сайт/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:сайт.

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

http://webmaster.yandex.ru/ - для Яндекс.

https://www.google.com/webmasters/ - для Google.

Если текста еще нет в сохранённой копии, но есть на странице, то он может быть найден по запросу [этот текст] url:site.ru — это будет означать, что он уже проиндексирован, но пока не попал в основной индекс

Массовая проверка страниц на индексацию

Если вы ведете , то проверить все страницы на индексацию для вас — дело трех минут.

1. Заходим в файл распределения
2. Выделяем все урлы в столбце URL
3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

Можно ли ускорить индексацию?

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

• Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
• Почаще добавлять новые материалы;
• Можно по самым дешевым запросам в своей тематике директ начать крутить;
• Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

• Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
• Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
• Скрываем от робота все ненужные/мусорные документы;
• Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
• Настраиваем работу сервера.

Иногда нужно, чтобы страницы сайта или размещенные на них ссылки не появлялись в результатах поиска. Скрыть содержимое сайта от индексирования можно с помощью файла robots.txt , HTML-разметки или авторизации на сайте.

Запрет индексирования сайта, раздела или страницы

Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:

• В файле robots.txt укажите директиву Disallow .
• В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none . Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag .
• Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots.txt или с помощью метатега noindex , но на нее ведут ссылки, страница может попасть в результаты поиска.

Запрет индексирования контента страницы

Скрыть от индексирования часть текста страницы

В HTML-коде страницы добавьте элемент noindex . Например:

Элемент не чувствителен к вложенности - может находиться в любом месте HTML-кода страницы. При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

текст, индексирование которого нужно запретить Скрыть от индексирования ссылку на странице

В HTML-коде страницы в элемент a добавьте атрибут . Например.

Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.

Для SEO-специалистов и владельцев сайтов это означает одно — сколько страниц проиндексировано, столько документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.

Как быстро проверить индексацию в Яндексе и Google?

Способов и сервисов проверки индексации страниц достаточно много и у нас есть три инструмента, которые показывают количество документов в индексе по домену:

Просто укажите домен в любом из них. Инструмент поможет проверить сайт на индексацию и подскажет сколько документов в базе данных Google и Яндекс, с учётом поддоменов или без них:

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:» , «host:» и «url:» .

Для Google — «site:» , «inurl:» и «info:» .

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

• С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

  Crawl delay — задаёт минимальное время обращения робота к серверу для избежания нагрузок на сайт.

  Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию , отслеживайте изменения и удачных позиций в выдаче!