Как в яндексе запустить индексацию страниц. Блог об настройках плагинов WordPress и поисковой оптимизаций для начинающих вебмастеров. Что значит «индексация»

Плавно возвращаемся к марафону… В ходе него мы сделали небольшой сайт определенной тематики , оптимизированный под поисковые системы, и готовый к дальнейшему продвижению . Сегодня надо написать о начальной индексации сайта и все, что с ней связано.

В статье про я писал про наполнение сайта статьями и совсем забыл написать о частоте наполнения . Всем понятно, что чем чаще мы будем обновлять (наполнять сайт контентом), тем лучше. Желательно делать это каждый день. В день по статье. Если не получается обновлять каждый день, то хотя бы через день – два. Так мы показываем поисковым системам, что сайт живой и постоянно развивается (так и есть).

Предположим, вы пишите статьи, но почему-то сайт долго не индексируется в ПС . Обычно Гугл быстро индексирует новые сайты, а вот Яндекс иногда упрямится, и для быстрой индексации приходится выполнять кое-какие действия.

Как быстро проиндексировать сайт?

Прежде всего, нужно сделать .

1. Добавление сайта в сервисы для веб-мастеров
Чтобы быстро проиндексировать сайт в Яндексе, делаем следующее:

Добавляем сайт в Яндекс.Вебмастер: http://webmaster.yandex.ru/
Подтверждаем права на сайт, делая то, что требуется.

Добавляем файл Sitemap.xml для своего сайта: http://webmaster.yandex.ru/site/map.xml .

Можно также добавить сайт в адурилку . Но это в принципе не нужно, потому что, при добавлении в Яндекс.Вебмастер, вы и так сообщаете Яндексу о новом сайте.

Для быстрой индексации, в Гугл тоже есть панель для веб-мастеров:

Добавляем файл Sitemap.xml . Смотрим настройки и изменяем их, если это нужно.

Если в инструменты для веб-мастеров добавиться не получается, то можно просто воспользоваться аддурилкой Гугла .

2. Используем пинг сервисы (ping – сервисы)
Пинг сервисы помогают быстро проиндексировать только что опубликованную запись, а точнее, они созданы для уведомления поисковых систем и прочих сервисов о появлении новых записей на вашем сайте.

В WordPress есть инструмент автоматического оповещения сервисов обновлений о появлении новой записи. Настраивается список пинг сервисов в Админке WP – «Настройки» – «Написание», Сервисы обновления .

В сети можно найти огромные списки сервисов обновления. Я не вижу смысла в большом списке пинг-сервисов и использую только вот эти сервисы:

http://rpc.pingomatic.com/
http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.com/ping/RPC2
http://ping.feedburner.com

Как средство для быстрой индексации сайта.
Сейчас есть множество соц. закладок и много сервисов и программ для постинга в соц. Закладки. Мне нравится программа Жукладочник . В общем, работа с соц. закладками проста. Регистрируете аккаунты в сервисах закладок, постите урл главной страницы или любой внутренней, пишите описание, ключевые слова и т.д.

Покупка ссылок. Для ускорения индексации можно купить ссылок. Я покупаю или в Сапе или в ГГЛ (все зависит от сайта, который нужно проиндексировать). Покупаю на трастовых ресурсах для людей, на которых контент обновляется по несколько раз в день и поисковые роботы ходят очень часто.

Свои сайты, форумы, сайты друзей и т.д. Главное не спамте. Вам нужно небольшое количество ссылок для индексации. Также можно , вот только вряд ли кто-то захочет меняться с непроиндексированным ресурсом

Несколько советов:
- Ни какого спама.
- Не используйте прогон по каталогам для новых сайтов. Сотни (а то и тысячи) говноссылок с каталогов и досок объявлений может быть и помогут быстро проиндексировать новый сайт, но толку от такого сайта не будет. Логика поисковых систем понятна, если на сайт ссылается куча говносайтов, скорее всего этот сайт тоже говносайт . Не говоря уже о паршивых донорах, Яндекс вообще не любит быстрого прироста ссылочной массы. Поэтому проставляйте ссылки избирательно, делайте все руками и с любовью

? Если вы попали на эту страницу, то наверняка вас не радует то, что поисковые системы, так медленно и неохотно индексируют ваш сайт и вам бы хотелось, чтобы ваши статьи влетали в индекс с такой скоростью, чтобы сразу видеть результат свой кропотливой работы. Все же не очень на душе приятно, когда пишешь километровую статью, а потом неделями ждешь, когда там Яндекс приползет и занесет ее в свою поисковую базу, чтобы ее потом можно было найти в поисковике.

Итак, в этой статье вы узнаете 24 способа, как загнать вашу сайт, статью, страницу в индекс, да так чтобы на утро она уже была, как в Яндексе так и в Google. Хотя, что я тут мелочусь: если вы используете все 24 способа, то ваш сайт со всеми страницами уже через час будет в индексе.

1 ) Первое, что нужно сделать, так это зарегистрироваться в обеих панелях для вебмастеров Яндекса и Google , и добавить туда ваш сайт.

2 ) Ок, перед тем, как пытаться скормить наш сайт поисковикам нам надо сделать для них специальную карту для поисковых ботов под названием . Как сделайте карту сразу же ее на свои хостинг в корень сайта, и установите на нее права 777. Потом вам нужно этот же файл занести в обе панели для вебмастеров Яндекса и Google. Вы сейчас думайте, наверное, а что это вообще за карта такая и зачем она вообще нужна? Ну, вообще-то это простой блокнот, в котором прописано, какие страницы вашего сайта можно индексировать, а какие нельзя. Без этого файлика Яндекс возможно вообще никогда не узнает о существовании вашего сайта, так что без него никуда.

3 ) Нужно сделать карту сайта Sitemap.xml и также закачать ее на свои , и в панели для вебмастеров. Карта сайта в отличие, от карты для поисковиков ботов — это просто список всех ваших страниц и статьей на сайте, блоге. Данную карту вы можете сделать на этом или использовать плагин для движка WordPress под названием .

4 ) Чтобы ускорить индексацию сайта нужно, чтобы его структура была правильной. Что это вообще значит? Да все просто: у каждой страницы есть свой уровень вложения. Смотрите сколько вам нужно раз кликнуть на моем сайте, чтобы добраться до этой статьи. Первый клик будет на «все статьи», второй клик на название статьи. То есть, как мы видим мы сделали 2 клика, а это значит, что моя статья имеет 2 уровень вложения. Так вот неправильная структура сайта — это, когда до вашей статьи или страницы нужно кликнуть больше 3 раз. Запомните, что статьи не должны быть четвертого, там пятого уровня вложенности, надеюсь, с этим все понятно.

5 ) Добавляем новый сайт или статью в адулировку. Это делается в той же панели вебмастеров, для Яндекс . Просто вставляем адрес нашей статьи, заполняем капчу (буквы, цифры от спама) и нажимаем «добавить». Таким способом вы сообщите Яндексу, что у вас появилось новый контент (статьи), и через некоторое время поисковые роботы придут на ваш сайт в порядке очереди.

6 ) Всегда делаем . Перелинковка - это просто поставленная ссылка с вашей статьи, которую вы написали на другую. Правильная перелинковка выглядит так: 1 ссылка на главную страницу сайта и от 3 ссылок на внутренние статьи сайта. В итоге в каждой нашей статье должно быть не меньше 4 ссылок на другие статьи, но этим способом можно и не пользоваться на начальном этапе, когда у вас появился только новый сайт, и на нем еще нет куча статей.

7 ) Добавляйте новые статьи на сайт как можно чаще! Хочу, подметит, что это очень важный пункт для тормознутого Яндекса, так как если вы будете писать одну статью раз в месяц, то вам все из приведенного списка мало что поможет ускорить индексацию сайта. Рекомендую писать и публиковать новые статьи не реже чем через 2-3 дня, но в идеале 1 день. Также желательно публиковать новый материал не только в одни день, но и в одно и то же время. Это дает просто мега результат, статья влетает в индексе меньше чем за час.

Кстати, если вы перестанете регулярно обновлять ваш сайт, то вскоре поисковики станут вам редко заглядывать, помните это! Чтобы ускорить индексацию сайта рекомендую писать статьи не меньше 2000 символов, так как есть слух, что Яндекс как-то не очень относится к таким сайтам, где статья меньше 2000 символов. Если вы напишите меньше, например 500, то она тоже проиндексируется, но продвигать такую статью будет очень проблематично.

8 ) Пишите только уникальные статьи с уникальностью не меньше 90%. Это я к тому, что не надо копировать чужие уже проиндексированные статьи себе на сайт. Такими делами вы не то, что поможете своему сайту, а наоборот грохните его да так, что потом придется новый создавать. Когда будете новый материал всегда проверяйте его на уникальность . Очень часто пользуюсь этим сервисом, на мой взгляд, самый лучший из всех, которые есть по проверки уникальности.

9 ) Убирайте мусорные страницы. Это такие страницы, на которых ничего нету по сути, ну или есть картинка там, например и все. Помните мы говорили с вами про файл robots.txt. Так вот чтобы все мусорные страницы убрать такие, как галерея картинок, адрес вход на сайт, другие файлы, которые не являются страницами сайта нужно в robots.txt запретить их индексировать.

Как ускорить индексацию сайта в Яндексе с помощью сторонних сервисов?

10 ) Делайте постинг (короткий обзор статьи) анонсов новых статей в социальные закладки. Это способ один из самых лучших в плане Google, но, увы, не в плане Яндекса. Все просто вам нужно сделать постинг (короткий обзор статьи), как можно больше число социальных закладок таких как: ВКонтакте, Одноклассники, Твиттер, Фейсбук. Для этого я пользуюсь платной программой «Жукладочник», но вы можете использовать этот сервис который так, же вам бесплатно прогонит статью по нескольким закладкам.

11 ) Сделать RSS-трансляцию с сайта. RSS — это современная технология, позволяющая публиковать и транслировать практически любой материал с любого сайта. Данный способ, так же хорошо помогает ускорить индексацию сайта, как и социальные закладки.

12 ) Делайте постинг в блоги на платформах таких как: Livejournal.com, blogspot.com и другие. Также заметьте, что не обязательно мучиться, вставляя ссылку каждый раз самому с сайта в блоги, все это может за вас сделать плагин для WordPress LiveJournal Crossposter. При публикациях статьей они сразу же будут транслироваться в несколько социальных блогов.

13 ) Пользуйтесь сервисами вопрос-ответ Mail и Google. Просто заходим на mail и ищем человека, который ищет ответ на свой вопрос или информацию, о которой вы написали в вашей новой статье. Затем надо просто кратко написать ему в комментариях со ссылкой, то что вы уже все это подробно написал в своей статье.

14 ) Комментируйте сайты вашей тематики. Тут я хочу подметить, что необязательно комментировать 101 сайт. Все просто — ищем сайт, на котором есть быстрая обновляемость статьями. Если сайт, например, публикует одну статью в день, то это, то, что нужно. Теперь надо зайти на любую статью, прочитать ее и оставить осмысленный комментарий, а не типа что-то этого: спасибо за статью все мега-пупер, классная статья спасибо, большое спасибо за статью. Такие комментарии большинство удаляют чем оставляют.

15 ) Регистрируемся на my.ya.ru и заводим дневник. А вот эта вещь очень даже неплохо действует на Яндекс в ускорении индексации. Если оставить запись в своем дневнике на статью, то Яшка намного быстрее придет, замечено не только мной, но и многими другими вебмастерами (увы сайт больше не работает).

16 ) Регистрируемся в популярных рейтингах, такихкак: Рамблер ТОП100 , Рейтинг@Майл , LiveInternet . На этих сайтах просто живут поисковые роботы особенно рамблера и майла.

18 ) Купите с главной страницы популярного сайта вашей тематики, который постоянно обновляется! Если вы купите такую ссылку, то поисковой бот будет вам чаще заходить даже через не хочу. Внимание прокатывает с Google, с Яндексом слабовато.

19 ) Купите несколько . Это очень дешево, одна ссылка вам с хорошего сайта будет стоить всего 3 рублей за целых 30 дней. Когда купите, потом прогоните купленные ссылки по социальным закладкам. Этот метод применяют в крайних случаях, когда не знают, что делать.

20 ) Размещайте анонсы и пресс-релизы. Тут все просто — ищем сайты, на которых можно бесплатно оставить пресс-релиз (статью со ссылкой). Тут только один минус — статья должна быть уникальной, но большой плюс в том, что можно проставить до 3 ссылок в статье.

21 ) Зарегистрируйтесь на Subscribe.ru и ведите свою рассылку. В настройках рассылки можно вставить свою ссылку на сайт. Когда вы будете высылать новое письмо, поисковые роботы заметят это, что в свою очередь поможет ускорить индексацию сайта.

22 ) Проверяйте ответ от сервиса Яндекса. Бывают случай, что статья ну никак не хочет залезать в индекс Яшки, тогда идем в панель вебмастера Яндекс, переходим проверить ответ сервиса . Добавляем адрес страницы, статьи и жмем «проверить». Яндекс выдаст нам техническую информацию по данной странице. Данную операцию проделываем 7 раз, каждый раз меняя робота Яндекса на другого. Например, с основного робота на робота картинок.

23 ) Накапливайте ссылочную массу сайта. Когда у вас будет 1000 ссылок ведущих на ваш сайт можно больше не задумываться, как ускорить индексацию сайта — она всегда будет быстрой.

24 ) Используйте . Он поможет вам прогнать сотни ваших ссылок по многим RSS-лентам. Это очень удобно, например, когда вы ведете сразу несколько сайтов и вам некогда ждать, когда они проиндексируются. Кстати, этот же сервис можно использовать и для прогона своих доноров, на которых была куплена ссылка, чтобы она быстрее попала в индекс. (увы сайт переехал, так что ждем обновления).

Вот, по сути, и все способы, хотя я пользуюсь не всеми ими, а только 1-10,15,17,22,24 способами. А теперь давайте потолкуем, зачем собственно это ускоренная индексация нужна вообще?

Зачем нужно ускорять индексацию сайта?

Ну, первый и самый главный и важный пункт это за тем, чтобы не украли ваши статьи. Представьте, написали вы статью огромную, убили на нее весь день как я на эту, а какой-то не совсем добрый и вменяемый человек взял да и опубликовал вашу статью у себя. Так вот в чем беда, если у него ваша статья проиндексируется быстрее это будет значить, что Яндекс и Google будут считать его первоисточником и автором данной статьи, и вы ничего тут уже не докажете, в службу поддержки бесполезно писать, до вас и так там тысяча тысяч людей обращались.

Но это также может случиться совершенно случайно без всякого злого умысла со стороны. Мало кто знаете, что такое: поисковое продвижение, SEO, копипаст (не уникальный текст) и т. д. И вот представьте, что просто пришел человек из поиска, и ему очень понравилась ваша статья, поэтому он взял да и опубликовал ее в своем блоге ЖЖ. Смешно конечно, но он-то откуда знали, что так делать нельзя?

У меня даже был случай забавный. Как-то заказывал статью на фрилансе, потом через время проверил ее на уникальность, нашел копию, написал владельцу сайта с горячими и нежными словами, в ответ тоже получил кучу нежных слов только еще нежнее, в итоге выяснилось, что тот фрилансер продал ему статью, которую писал для меня. Потом владелец сайта убрал статью, так как видел, что она у меня раньше опубликована, хотя дату вообще можно любую ставить. Вот такая короче история.

Вторая причина это если вы продаете ссылки с сайта. Это очень важно, если у вас слабая индексация у вас никто не будет покупать ссылки, если даже у вас ИКС 200 и вы продаете ссылку по 100 руб, что очень дешево. Согласитесь, кто захочет выбрасывать деньги на ветер, когда можно купить с такими же параметрами только с 100% индексацией ссылку на свой сайт. Вот поэтому индексация так важна.

На этом, пожалуй, я закончу свой мануал. Надеюсь, после этой статьи у вас больше никогда не возникнет вопроса,

Что такое индексирование сайта? Как оно происходит? На эти и другие вопросы вы можете найти ответы в статье. в поисковых системах) называют процесс приобщения информации о сайте к базе данных роботом поисковой машины, которая впоследствии используется для розыска сведений на веб-проектах, прошедших такую процедуру.

Данные о веб-ресурсах чаще всего состоят из ключевых слов, статей, ссылок, документов. Индексироваться также могут аудио, изображения и так далее. Известно, что алгоритм выявления ключевых слов зависим от поискового устройства.

На типы индексируемой информации (flash файлы, javascript) существует некоторая лимитация.

Управление приобщением

Индексирование сайта - сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.

Также для ведения индексации применяют теги и реквизит , скрывающие содержимое ресурса от роботов Google и «Яндекса» (Yahoo применяет тег ).

В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе - от одной недели до четырёх.

Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.

Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.

Способы обработки

Индексирование сайта может выполняться несколькими способами:

1. Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
2. Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.

Сроки

Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.

Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.

За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.

Изменения

Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:

• санкции поисковика к веб-узлу;
• наличие погрешностей на сайте;
• изменение алгоритмов поисковиков;
• отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.

Ответы «Яндекса» на обычные вопросы

«Яндекс» - поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.

Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.

Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.

Индексирование сайта в «Яндексе» - довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется - робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.

Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).

Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда - через пару недель.

Процесс обработки

«Яндекс» - поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:

1. Поисковый робот выполняет обход страниц ресурса.
2. Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
3. Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.

Проверка индексации

Как проверить индексацию сайта? Выполнить это можно тремя способами:

1. Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
2. Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
3. Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.

Почему «Яндекс» отказывает?

Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.

У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.

Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.

Ускорение работы «Яндекса»

Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:

Промежуточные действия

Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.

База данных Google

Запрещение

Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?

Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:

1. User-agent: *
2. Disallow: /kolobok.html
3. Disallow: /foto/

Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий - не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».

Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между Запись для запрета, к примеру, может быть написана так: .

Ajax

А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.

Однако системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.

Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.

Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:

1. Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
2. HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на?_escaped_fragment_=.

Привет, Друзья! Очень часто вы задаёте мне следующие вопросы: - «почему мой сайт долго индексируется», «как часто яндекс индексирует сайты», «могут ли мой контент украсть до индексации и обвинить меня в воровстве», как ускорить индексацию сайта яндексом» и так далее. Ответов на почту всем интересующимся я послал более 50 и решил упростить свой труд и ответить на вышеописанные вопросы в этой статье, так сказать убить двух зайцев с одного выстрела))) Итак, начинаем охоту!

Давайте сначала разберем два понятия, индексация и апдейт. Постараюсь кратко написать, что они из себя представляют и с чем их едят.

Индексация сайта - это обработка сайта , то есть программами, сканирующими сайт и заполняющими базы данных поисковиков результатами для поисковых запросов. Если индексация выполнена верно, то пользователь легко найдет нужные страницы сайта. В противном случае веб-ресурс не будет отображаться в поисковых системах, проще говоря, его не увидят пользователи и не приобретут товар, не воспользуются услугой и так далее.

Термин «апдейт » происходит от английского слова – update, что в переводе означает – обновление. Среди специалистов, занимающихся , он используется часто и дословно означает «обновление данных». Разновидностями такого обновления будет доработка интерфейсной части сайта или внесение изменений на конкретной странице. В среде специалистов используется также сокращенная форма слова – «ап».

Появление новых результатов поиска, после запроса по одной и той же ключевой фразе в поисковике, например, Google или Яндекс – вот что такое «апдейт» применительно к . У поисковых движков есть , в которых все страницы расположены по порядку. Апдейт приводит к изменению позиций уже существующих записей веб-ресурсов или добавлению новых в ответах на пользовательские запросы. Связанный с апдейтом процесс, приводит к обновлению кэша поисковой машины и индексации сайтов в ее базе данных.

Более подробно об этих двух понятиях можете прочитать на страницах моего сайта, вот ссылки на то - что такое и что такое .

Ну думаю с этим разобрались, теперь переходим к вашим вопросам.

Почему мой сайт долго индексируется

Здесь всё зависит, как раз от поискового робота. Именно он заходит на сайты по определённому графику, известному только в компании Яндекс и сканирует миллионы WEB проектов на наличие обновлений. К примеру, если контент (статьи, фотографии, видео, карточки товаров) на своем сайте вы добавляете или меняете раз в месяц, то робот рано или поздно это поймёт и будет заходить на ваш ресурс лишь раз в месяц. Отсюда и срок индексации сайта будет такой же.

Чем чаще вы добавляете контент, тем чаще робот будет к вам приходить на сайт. На новостных ресурсах, таких как Фонтанка.ру или RBK роботы просто «живут» и не выходят от туда. Новости на таких сайтах обновляются и добавляются в день десятками, а то и сотнями и поисковые боты их скандируют и индексируют практически мгновенно.

Могут ли украсть контент до индексации сайта

Да могут! И именно так это и делается. Пока сайт молодой и только начинает свой жизненный путь, он индексируется раз в месяц, а то и два. Весь контент, который публикуется на таком сайте, может быть украден, как в ручную, так и автоматически (что бывает чаще) , работающими в самонаполняющихся сайтах. Большинство моих учеников очень удивляется, когда я анализирую их сайт и выявляю не уникальный контент.

Последний мой ученик, опубликовал на своём молодом сайте сразу 15 статей и через месяц был очень удивлён, тому что Яндекс обвинил его в копипасте и наложил на сайт фильтр. Доказать Яндексу (Платону Щукину), что это не он вор, а наоборот у него статьи украли, не получилось. Сделать это теперь очень проблематично и к тому же, чтобы вытащить сайт из под фильтра, придётся все эти статьи удалять и писать новые. Результат от незнания и неправильных действий - потеря денег, потеря контента и попадание под фильтр.

Как обезопасить свой контент от воровства можете прочитать , либо посмотреть моё видео, если лень читать))) Подробно об этом писать здесь не буду.

Как защитить контент от воровства

Теперь поговорим о том, как ускорить процесс индексации.

Как ускорить процесс индексации

Для того чтобы индексация вашего сайта и вновь добавленного контента прошла быстрее, нужно «попросить» яндекс-бота посетить ваш сайт. Делаю я это просто и несколькими способами.

Первый способ ускорения индексации сайта

Я привлекаю на свой сайт робота, методом расшаривания постов опубликованных статей через социальные сети. Делаю я это с помощью блока кнопок социальных сетей. Как только пост опубликован его видят роботы, так как в социальных сетях они живут постоянно и не выходят от туда, как и с новостных лент.

Публикация статей в социальные сети передаёт на сайт соц-сигналы и помимо ускорения индексации пладотворно влияет на продвижение сайта в Google и Яндекс. Напомню, перед расшариванием текстов, обязательно дайте понять Яндексу, что они ваши (смотри видео выше).

Второй способ ускорения индексации сайта

Здесь мы информируем Яндекс-Бота о том, что на нашем сайте появился новый контент, через Яндекс Веб мастер, раздел которого в простонародии называется Адурилкой.

Заходим в Яндекс Вебмастер, регистрируемся, добавляем свой сайт и переходим на вкладку индексирование - переобход страниц. Затем копируем URL той страницы, которую хотите быстро проиндексировать и добавляете в графу, как на картинке ниже и нажимаете кнопку отправить.

После этого ждём обхода робота. Добавление новых URL адресов в адурилку существенно ускоряет процесс индексации, а когда вы работаете в связке с сервисом , то ещё и полностью исключаете воровство вашего контента. Все на самом деле очень просто, если всё это знать.

Также просто и продвигать сайты в Яндекс. Делать это можно самостоятельно и абсолютно бесплатно, но опять же нужны знания. Если хотите, могу научить и этому (информация ниже).

Обучение продвижению сайтов

На этом сегодня всё, всем удачи и до новых встреч!

C Google все очень просто. Вам нужно добавить свой сайт в инструменты вебмастера по адресу https://www.google.com/webmasters/tools/ , после чего выбрать добавленный сайт, таким образом попадая в Search Console своего сайта. Далее в левом меню выбираем раздел «Сканирование», а в нем пункт «Просмотреть как Googlebot».

На открывшейся странице в пустое поле вводим адрес новой страницы, которую хотим быстро проиндексировать (с учетом уже введенного доменного имени сайта) и жмем правее кнопку «Сканировать». Ждем, пока страничка просканируется и появится в верхней части таблицы ранее сканированных подобным образом адресов. Далее жмем на кнопку «Добавить в индекс».

Ура, ваша новая страница моментально проиндексирована Гуглом! Уже через пару минут вы сможете найти ее в гугловской выдаче.

Быстрая индексация страниц в Яндексе

В новой версии инструментов для вебмастера стал доступен аналогичный инструмент для добавления в индекс новых страниц. Соответственно, ваш сайт также предварительно должен быть добавлен в Яндекс Вебмастер. Туда же можно попасть выбрав в вебмастере нужный сайт, далее идем в раздел «Индексирование», выбираем пункт «Переобход страниц». В открывшемся окне вводим адреса новых страниц, которые хотим быстро проиндексировать (по ссылке на одной строке).

В отличие от Гугла, индексация в Яндексе пока не происходит мгновенно, но старается к этому стремиться. Выше произведенными действиями вы сообщите роботу Яндекса о новой странице. А проиндексирована она будет в течение получаса-часа - так показывает лично моя практика. Возможно, скорость индексации страницы в Яндексе зависит от ряда параметров (от репутации вашего домена, аккаунта и/или других). В большинстве случаев, на этом можно остановиться.

Если вы видите, что страницы вашего сайта плохо индексируются Яндексом , то есть несколько общих рекомендаций, как с этим бороться:

• Самая лучшая, но и трудная рекомендация – это поселить быстробот Яндекса на своем сайте. Для этого желательно каждый день добавлять на сайт свежие материалы. Желательно 2-3 и более материалов. Причем добавлять их не сразу все одновременно, а через некоторое время, например, утром, днем и вечером. Еще лучше было бы соблюдать примерно одинаковый график публикаций (примерно выдерживать одно и то же время добавления новых материалов). Также многие рекомендуют создать RSS ленту сайта, чтобы поисковые роботы могли считывать обновления прямо с нее.
• Естественно, далеко не все смогут в таких объемах добавлять новые материалы на сайт – хорошо, если получится добавлять 2-3 материала в неделю. В таком случае о быстроботе Яндекса можно особо не мечтать, а пытаться загонять в индекс новые странички другими способами. Самым эффективным из которых считается постинг ссылки на новые странички в прокаченные Твиттер аккаунты. С помощью специальных программ типа Twidium Accounter можно «прокачать» нужное вам количество твиттер аккунтов и уже с их помощью быстро загонять в индекс поисковых систем новые страницы сайта. Если у вас нет возможности постить ссылки в прокаченные аккаунты Твиттера самостоятельно, можно купить такие посты через специальные биржи. Один пост с вашей ссылкой в среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим.
• Третий вариант быстрой индексации – это использование сервиса http://getbot.guru/ , который всего за 3 рубля поможет достигнуть нужного эффекта с гарантией результата. Хорошо подойдет для сайтов с редким графиком добавления новых публикаций. Есть там и более дешевые тарифы. Подробности и отличия их лучше смотреть на сайте самого сервиса. Лично я услугами данного сервиса в качестве ускорителя индексации очень доволен.

Конечно, можно также добавлять новые публикации в социальные закладки, что теоретически также должно способствовать быстрому индексированию сайта. Но эффективность такого добавления также будет зависеть от прокаченности ваших аккаунтов. Если у вас маленькая активность на них и вы используете аккаунты только для подобного спама, то полезного выхлопа практически не будет.

P.S. с большим опытом всегда актуальна - обращайтесь!