Настроить плагин google xml sitemaps. Использование плагина Google XML Sitemaps, описание, настройка и решение основных проблем

Если вы установили плагин Google XML Sitemaps для WordPress сайта и хотите подробнее разобраться в его установке, настройке и использовании, тогда данная статья поможет вам найти ответы на часто задаваемые вопросы.

Google XML Sitemaps - один из самых популярных плагинов для WordPress сайта, по этой причине у многих пользователей возникают те или иные вопросы касающиеся использования плагина. Давайте рассмотрим все по порядку.

Навигация по странице:

Общие вопросы, касающиеся XML Sitemaps

• Что такое Google Sitemap? В принципе, Google Sitemap представляет собой файл, который содержит URL-адреса и дополнительную информацию для всех страниц или документов вашего сайта. Google и другие поисковые системы могут читать этот файл и добавлять определенные страницы в свой индекс.
• Как я могу создать Google Sitemap для моего WordPress блоге? Это главная функция плагина Google Sitemap для WordPress. Его легко установить, после чего он будет генерировать карту сайта, содержащую все страницы сайта на платформе WordPress.
• Как Google Sitemap будет влиять на мой рейтинг и позиции в выдаче? Нет доказательств, что Google Sitemap напрямую влияют на рейтинг сайта. Тем не менее, карта может помочь Google индексировать и сканировать ваши страницы лучше и быстрее. Все это неизбежно приведет к более полной индексации страниц.

Вопросы, касающиеся установки Google XML Sitemaps

• Как установить плагин? Просто установите его, как и любой другой плагин WordPress. Самый простой способ установить карту сайта применив функцию «Добавить плагин» в WordPress. Читайте об этом отдельно.
  Если данная функция не доступна по каким то причинам, вы можете скачать его на свой компьютер и загрузить на ваш сервер. Вам не нужно ничего менять в конфигурации веб-сервера, файловых разрешений или загружать любые другие файлы.
• Мне нужно изменить какие-либо настройки? Настройки по умолчанию подходят для большинства блогов. Не бойтесь изменять приоритеты, частоту изменений или содержимого карты сайта. Если вам когда-нибудь понадобится сбросить настройки к значениям по умолчанию, нажмите на кнопку в конце страницы настроек.

Обзор настроек Google XML Sitemaps

Уведомления об обновлениях на сайте - настройка Google XML Sitemaps:

• Уведомление Google о новинках блога: Это настройка уведомления Google, которая будет срабатывать каждый раз при публикации нового поста или редактировании старого. Google будет получать карту сайта что, возможно, впоследствии ускорит индексацию вашего нового поста в кратчайшие сроки.
• Сообщите Bing об обновлениях блога : Это настройки уведомления Bing. Поскольку Yahoo работает на базе Bing, ваши сообщения должны также появиться в Yahoo в ближайшее время.
• Добавление карты сайта URL к : Если активировать плагин на добавление URL карты вашего сайта в файле robots.txt, это позволит поисковым системам, которые не поддерживают уведомления, таким как Baidu или Яндекс, найти карту сайта. Карта сайта генерируется WordPress, поэтому убедитесь, что файл robots.txt сохраняется в папке блога!

Выглядят настройки Google XML Sitemaps примерно так:

Расширенные опции:

• Попробуйте увеличить объем памяти. Эта опция в общем должна быть не нужной в большей части случаев, но если вы когда-нибудь получите сообщение об ошибке памяти при запросе карты сайта, вы можете попробовать увеличить лимит здесь.
• Включите XSLT стили: Обычно XML-карта сайта выглядит как XML документ, который трудно читать, человеку. Плагин поставляется со специальным стилем, что делает его более читабельным. Просто используйте плагин по умолчанию, чтобы использовать стиль, или введите полный URL на свой собственный, если вы хотите использовать именно его. Пожалуйста, убедитесь, что он находится в той же директории!
• Переместить базовый URL карты сайта : Используйте эту опцию, если вы хотите, чтобы карта сайта появилась в корневом каталоге вашего домена в случае установленного WordPress в подкаталоге.
• Включить карту сайта в формате HTML: Если активирована данная опция, то плагин также будет генерировать карту сайта в формате HTML. Это может быть полезно для ботов, которые не понимают стандарт XML.
• Разрешить анонимную статистику : Эта опция позволит послать некоторые анонимные сведения автору плагина. Будут отправляться следующие данные плагином: WordPress версия, версии PHP, язык, количество сообщений в вашем блоге (в шагах по 50) и уникальную строку, чтобы избежать дубликатов. Зачем это нужно? Автор может оптимизировать плагин для наиболее часто используемых версий WordPress / PHP и улучшить переводы для наиболее распространенных языков. Плагин никогда не будет посылать ничего личного, например ваш URL блога, название, имя или адрес электронной почты.

Дополнительные страницы:

• Здесь Вы можете указать файлы или URL, которые должны быть включены в карту сайта, но не принадлежат к вашему блогу. Например, если ваш домен www.foo.com и ваш блог находится на www.foo.com/blog вы можете включить свою страницу на www.foo.com
  Примечание: Если ваш блог в подкаталоге, и Вы хотите добавлять страницы, которые не в каталоге блога или под, вы должны разместить файл карты сайта в корневом каталоге.

Сообщения приоритета страницы:

• Не использовать автоматическое вычисление приоритета: Все сообщения будут иметь одинаковый приоритет на сайте. Он может быть определена в соответствии с функцией «Приоритеты».
• Графы комментариев : Использует количество комментариев для вычисления приоритета должностей.
• Средний комментарий: Использует количество комментариев для вычисления приоритета должностей. Расчет базы - среднее число комментариев на пост.

Содержимое карты сайта:

• WordPress стандартный контент: Проверьте пункты, которые вы хотите включить в карту сайта.
• Пользовательские таксономии: Проверьте все пользовательские таксономии, которые вы хотели бы включить.
• Включите время последней модификации: Это добавит дату последнего изменения для всех ваших записей в карте. Поисковые системы могут использовать эту информацию, чтобы вернуться на страницу снова, если она изменилась. Настоятельно рекомендуется, чтобы эта опция была включена.

Исключить позиции:

• Исключение категорий : Если исключить категорию здесь, записи из этой категории не появится в xml файле.
• Исключить записи: Используйте эту опцию, чтобы исключить определенные записи сайта. Вы должны ввести идентификатор поста. Разделяйте сообщения от запятой. можно узнать в специальной статье.

Изменить частоту / приоритеты:

• Изменить частоты: С помощью этой настройки вы можете дать поисковые системы намек, как часто содержание ваших страниц изменяется.
• Приоритеты: с помощью этой настройки вы можете дать поисковые системы намек, как важно содержание вашего блога. Это значение всегда назначается по отношению ко всем другим страницах вашего блога, поэтому установите все значения, чтобы не было высоких (= 1.0), которые не имеет никакого смысла.

Другие особенности Google XML Sitemaps

Направление карты сайта в корневой домен:

Если ваш блог находится в суб-директории (example.com/blog/~~pobj) карта сайта будет генерироваться при example.com/blog/sitemap.xml~~pobj. Если вы хотите переместить сайта в example.com/sitemap.xml~~V, пожалуйста, введите «http://example.com/blog/» под «Перекрыть базовый URL из файла Sitemap» на странице настроек плагина и добавьте следующее правило в файл.htaccess под корневой домен:

RewriteEngine On
RewriteRule ^ (sitemaps - + ( +))?.? \ XML (. \ GZ) $ /your-blogdir/sitemap$1.xml$2 [ L]

Заменить «свой-blogdir» с именем поддиректории с вашим установленным WordPress.

Общие проблемы и ошибки Google XML Sitemaps

Инструменты для веб-мастеров Google показывают информацию о проиндексированных страницах:

Иногда вы можете иметь проблемы, связанные с , который показывает несколько страниц карты сайта в «представлении», но не как «индексируемые». Или возможно количество проиндексированных страниц будет меньше, чем отправленных url. Рекомендуем вам проверить следующее:

• Проверьте указан ли правильный URL сайта. Google различает HTTP / HTTPS, WWW / не-WWW, корень / подпапка. Так что, если вы ведете свой блог на http://www.blog.com/ убедитесь, что вы добавить http://www.blog.com/ в Google Webmaster Tools, и http://www.blog.com/sitemap.xml карта сайта.
• Sitemaps сайта не имеет ошибок, но карта сайта может содержать предупреждения, например, если ваш сайт был загружен медленно, когда Google пытался сканировать его.
• Если карта сайта содержит ссылки на страницы, которые не доступны, попробуйте найти их в WordPress. Плагин читает все записи, которые опубликованы и не имеют паролей. Если что-то появляется в вашей карте сайта, значит это находиться в вашей базе данных WordPress.
• Статистические данные в Google Webmaster Tools , не являются данными вреальном времени. Они предназначены только для информационных целей. Используйте «site:» оператор в Google поиске, чтобы найти, какие страницы вашего блога на самом деле в настоящее время индексируются. Попадание данных в Google Webmaster может занять несколько часов или даже дней, пока новые URL-адреса не отображаются как индексируемые, но на самом деле они уже включены в результатах поиска.

Google Webmaster Tools: отчеты «Недостающие XML теги».

Это обычно происходит, если Google читает карту сайта без всякого содержания. Проверьте карту сайта и посмотрите, если есть какие-либо URL-адреса внутри. Если нет, пожалуйста, попробуйте следующее:

• Если проблемой является externals.xml. Вы добавляли какие-либо внешние страницы? Если это так, пожалуйста, проверьте что URL-адрес для каждого из них является правильным. Также убедитесь, что нет пустой строки в разделе «Дополнительные страницы» на странице настроек плагина. Также попытайтесь сохранить все настройки еще раз, используя кнопку «Обновить настройки» в конце страницы.
• Если проблемой карты сайта является archives.xml. Если у вас нет каких-либо сообщений (только страницы), вы можете отключить «Включить архивы», чтобы решить эту проблему.

Google Webmaster Tools сообщает «Invalid XML» или браузер говорит ошибка на линии Х-Х в столбце 6.

Декларация XML допускается только в начале документа. Пожалуйста, откройте карту сайта в браузере и выберите «Исходный код». Есть пустая строка или пробелы перед XML тегом? Это проблема. Возможно ваши RSS-каналы также не работают. Что такое RSS можно . Причиной этой проблемы является новая линия или пробелы в другом плагине или файл functions.php вашей темы. Убедитесь, что файл functions.php заканчивается на?> и нет пустой строки или пробелов после него. Если это не работает, попробуйте отключить другие плагины один за одним, чтобы найти вредоносный.

Google Webmaster Tools, отчет «404 Not Found» для карты сайта.

• Проверьте ваши постоянные параметры WordPress и нажмите кнопку «Сохранить».
• Если вы используете Nginx в качестве веб-сервера, пожалуйста, добавьте правила перезаписи вручную. Они должны быть представлены на странице Plugins настроек.
• Если вы используете W3 Total Cache и активирован «Не обрабатывать ошибки 404 для статических объектов с WordPress» функция «под Browser Cache», пожалуйста, добавьте правила, указанные ниже, чтобы были внесены «404 ошибки, в список исключений»:
  * sitemaps [а-z0-9 _ \ -] * \ (XML | XSL | HTML). (. \ GZ)?
  Новые версии W3 Total Cache (> 0.9.4) уже включают в себя исправления.

Моя XML Карта сайта не обновляется

Вы уверены в этом? С версии 4, плагин использует новый формат для сайта. В основной карте сайта (sitemap.xml) есть только одна запись в месяц для сообщений. Нажмите текущий месяц вы сможете увидеть фактические посты. Там вы, вероятно, также найдете вашу новую публикацию.

В общем настройки Google XML Sitemaps достаточно просты, плагин же по своему предназначению выполняет огромную роль при работе с поисковыми системами. Игнорирование создания XML карты может негативно сказаться на продвижении сайта в дальнейшем.

Добрый день, дорогие читатели блога сайт. Сегодня я решил рассказать вам про плагин Google XML Sitemaps, который помогает улучшить взаимопонимание между вами и Сложно представить в нынешних реалиях вебмастера, который пренебрегал бы такой возможностью.

Ведь не секрет, что современные проекты в интернете направлены на максимальное привлечение новых читателей на свой ресурс. В этом им как раз и помогает этот плагин, который в автоматическом режиме обновляет файл sitemap.xml при добавлении новых статей на ваш сайт.

Давайте более подробно разберем, как установить данный плагин и как правильная настройка Google XML Sitemaps позволит вам увеличить скорость индексирования ваших статей, а это очень важный момент в блогинге.

Итак, чтобы установить данный плагин, перейдите в административную панель WordPress и во вкладке «Плагины» (1) нажмите «Добавить новый» (2).

На открывшейся странице в поле «Поиск плагинов» введите Google XML Sitemaps и нажмите «Enter».

В результате поиска нажмите кнопку «Установить» как показано на картинке ниже.

Спустя несколько секунд вы увидите, что плагин успешно установлен. Нажмите на активное поле с надписью «Активировать плагин».

На этом установка завершена. Как вы видите, поиск и активация плагина аналогичны плагинам, про которые я рассказывал и . Кто еще не читал эти статьи — прочитайте обязательно! Думаю, они окажутся вам полезны.

Настройка Google XML Sitemaps

Чтобы настроить данный плагин под себя, перейдите во вкладку «Плагины» и в описаниях его нажмите «Settings».

Базовые параметры

В открывшемся окне в меню «Базовые параметры» находится 6 подменю.

Давайте более подробно разберем, что именно обозначает каждое из них.

• Первые два пункта обозначают, что вы соглашаетесь на уведомление поисковых систем Google и Bing об изменениях в вашем блоге.
• Третий пункт позволяет добавить адрес карты сайта в виртуальный . Честно говоря, до конца я так и не понял, для чего это нужно, а на просторах интернета бытует два мнения, что нужно оставить активным и убрать галочку. Их-за того, что по умолчанию данный пункт стоит активным, я решил примкнуть к первой группе пользователей и не стал ничего менять.
• Следующие два пункта «Попытаться увеличить лимит памяти» и «Попытаться увеличить ограничение времени использования» нужны для уменьшения нагрузки на ваш сайт. В основном это может быть полезно людям с большим количеством статей, картинок, видео и аудио. Эти настройки делаются индивидуально под каждый проект, изменив которые, вы можете и навредить своей индексации статей. Я бы советовал вам оставить данный пункт без внимания.
• Пункт «Try to automatically compress the sitemap….» я также оставляю неактивным.
• Следующий пункт «Include sitemap in HTML» позволяет сделать вашу карту сайта доступной и в HTML формате.
• Последний пункт данного меню «Allow anonymous statistics» разрешает анонимную отправку статистики без передачи персональных данных. Я у нас запретил.

Дополнительные страницы

Следующее меню с наименьшим количеством настроек — это «Дополнительные страницы».

Оно позволяет добавить в вашу карту сайта сторонние страницы, то есть не принадлежащие вашему блогу.

Приоритеты статей

Следом расположено меню «Приоритеты статей».

Я советую выбрать первый пункт, так как это означает, что ни одна статья размещённая на вашем сайте не будет получать приоритет в процессе размещения ее в XML карте. На самом деле приоритет не имеет какого-либо решающего значения в индексации и расчет количества комментариев будет создавать лишь лишнюю нагрузку на ваш сервер.

• Тут отмечаем галочкой те виды страниц, которые попадут в вашу карту. По умолчанию программой выбраны первые три пункта. Я бы советовал вам поставить галку еще и напротив четвертой строчки «Включить категории». Это связано с тем, что страницы категории являются дополнительной точкой входа посетителей из поисковых систем. Было бы глупо от них отказываться. Не правда ли?
• Последний пункт «Include the last….» добавляет дату и время последних изменений к записям. Эту информацию поисковики используют для своевременных изменений в выдаваемых страницах.

Excluded categories

Следующий раздел — это «Excluded categories».

В данном пункте можно исключить любые категории из создаваемой карты или же отдельные статьи, введя их идентификатор через запятую в нижнем поле.

Напомню, что идентификатор вы можете посмотреть перейдя в меню «Записи» в админке WordPress. Далее, наведя курсор на нужную вам статью, в левом нижнем углу вашего браузера, вы увидите интересующий вас числовой идентификатор.

Изменить частоты

Следующее меню « Изменить частоты».

Оно дает возможность задания частоты сканирования поисковыми роботами вашего контента. Больше всего мне понравилась честность и открытость разработчиков данного сервиса. Они в шапке указывают, что заданные значения не являются приоритетными для поисковиков. Это значит, что несмотря на заданные значения поисковики будут посещать ваши страницы в то время, когда им захочется.

Приоритеты

Ну и последний пункт настроек «Приоритеты».

Тут можно выставить приоритеты от 0 до 1 для каждого пункта. У себя я не стал ничего трогать и оставил по умолчанию.

На этом настройка данного сервиса закончена, жмем «Обновить параметры» и не забываем добавить Sitemap.xml в поисковики. Как это сделать я расскажу в одной из следующих статей. Так что , чтобы не пропустить ее выход.

Пожалуй, на сегодня буду заканчивать. Если будут вопросы, не стесняемся — пишем в комментариях.

Видео «Как установить и настроить плагин Google XML Sitemaps»

В видео я подробно все рассказываю и показываю на конкретном примере. Так что желаю приятного, а главное — полезного просмотра. А еще рекомендую подписаться на наш youtube-канал, там много интересного!

Интересно, как вы создаете карту сайта? Делитесь своим опытом!

Антон Калмыков

Для более глубокого понимания того, как создавать сайты и зарабатывать на них, рекомендую ознакомится с предыдущими статьями данного цикла:

Где взять плагин «Google xml sitemap»?

Хочется сразу заметить, что данный плагин является абсолютно бесплатным и . Вот ссылка на плагин! Хотите узнать, как установить плагин без скачивания файлов на свой компьютер?

Установка плагина «Google xml sitemap».

Конечно, можно скачать плагин к себе на компьютер и уже далее установить его с компьютера к себе на сайт. Но есть способ намного проще.
Заходим в админ панель и проделываем следующие действия:

— Заходим в раздел «Плагины»
— Выбираем «Добавить новый»
— Далее в поле «Поиск плагинов» вводим название интересующего нас плагина
«Google Xml Sitemap»
— Нажимаем кнопку «Установить»

После установки нажимаем «активировать плагин».
Теперь нам осталось только произвести его настройку.

Настройка плагина «Goole xml sitemap»

Для того, чтобы произвести настройку данного плагина, нам необходимо в первую очередь зайти в раздел «Настройки» и выбрать «XML - sitemap».

Перед Вами откроется несколько блоков. Все, что Вам нужно будет сделать, это выставить настройки по аналогии, как у меня (возможно они у Вас будут выставлены таким образом автоматически).


Тут мы даем указание плагину уведомлять поисковые системы Google и Bing об изменениях, которые произошли у нас на сайте.

Еще один важный момент! Обязательно обратите внимание на блок, в котором будет указано, что именно отображать в карте сайта! Все должно выглядеть именно так:

Все остальные настройки можно оставить как есть. После того, как вы произвели настройку плагина, обязательно перейдите по ссылке http://ваш_домен.ru/sitemap.xml. Если все сделано верно, то Вы увидите перед собой карту Вашего сайта. Выглядеть она должна у Вас примерно вот так:

Всегда помните о том, что сайт мы делаем в первую очередь не для поисковых роботов, а для людей! Возможно, с технической стороны на Вашем сайте и могут быть какие-то ошибки, но содержание должно быть идеальным!

Успехов в развитии Вашего бизнеса на сайтах!

В этой статье мы разберем, как создать и настроить файл sitemap (карта сайта) при помощи плагина Google XML Sitemaps. Также, вы узнаете, как добавить карту сайта в Google и Яндекс. Плагин Google XML Sitemaps нужен для того, чтобы статьи сайта правильно и максимально быстро индексировались в поисковых системах. Плагин автоматически добавляет информацию о всех страницах сайта в файл sitemap.xml, который читают все поисковые системы и добавляют страницы в индекс. Карта сайта помогает поисковым системам быстрее и лучше индексировать страницы, что способствует продвижению статей в поисковой выдаче.

Плейлист «Как создать сайт на WordPress»

TimeWeb лучший хостинг для WordPress: домен в подарок, 99 рублей в месяц.
Попробуйте, 10 дней бесплатно: РЕГИСТРАЦИЯ ВИДЕО

Для начала, давайте разберемся, что такое sitemap. Sitemap это файл WordPress, содержащий информацию о всех страницах сайта. Поисковые системы проверяют этот файл и добавляют из него страницы в индекс.

Как создать карту сайта. Нужно установить плагин Google XML Sitemaps. Он создаст карту сайту и будет автоматически обновлять ее при публикации новых статей.

Как наличие карты сайта влияет на позиции сайта в поиске. Само по себе наличие карты сайта не повышает страницы в поисковой выдаче. Но карта сайта помогает поисковым системам как можно быстрее проиндексировать новую страницу, что в конечном итоге повышает позиции в поиске как отдельной страницы, так и всего сайта в целом.

Установка плагина Google XML Sitemaps. Для установки плагина перейдите в административную панель «WordPress» ⇒ «Плагины» ⇒ «Добавить новый» и в форме поиска вбейте «Google XML Sitemaps». Затем нажмите установить и активировать. Все, установка завершена.

Плагин Google XML Sitemaps настройка. Чтобы настроить работу плагина, перейдите в административную панель «WordPress» ⇒ «Настройки» ⇒ «XML-Sitemap».

Первая строка в настройках показывает URL адрес карты сайты. Этот адрес нужно будет добавить в соответствующий раздел вебмастера на Google и Яндекс (подробнее об этом ниже). Вот так выглядит URL адрес моей карты сайт:
Здесь нужно обязательно поставить галочку напротив надписи «Add sitemap URL to the virtual robots.txt file». Эта настройка добавит URL адрес карты сайта в файл robots.txt, что нужно для Яндекса. Вот так выглядит настройка базовых параметров карты на моем сайте:
При необходимости можно добавить в карту страницу, не принадлежащую вашему сайту:
Здесь включаем типы страниц, которые будут индексироваться. Рекомендовано включить первые четыре пункта и пункт «Include the last modification time» (включить время последнего изменения страниц, то есть поисковые системы будут оповещены, если вы измените какую-либо страницу):
Оставляйте все по умолчанию, частота обхода роботом поисковых систем зависит от того, насколько часто вы публикуете статьи. Если вы установите почасовую частоту, поисковики все равно не будут так часто посещать ваш сайт. Публикуйте статьи по чаще и это будет способствовать частому посещению сайта роботами поисковиков:
Оставляем все по умолчанию:
После внесения всех необходимых изменений, не забывайте нажимать «Обновить параметры».

Как добавить карту сайта в Google и Яндекс

Как добавить карту сайта в Google. Перейдите в «Google Webmasters » ⇒ «Сканирование» ⇒ «Файлы Sitemap» (или просто перейдите по этой ). Затем нажмите на «Добавление/проверка файла Sitemap», вставьте в поле «sitemap.xml»(адрес сайта буде прописан автоматически) и нажмите «Отправить»:
Через некоторое время карта сайта добавится в Google.

Настройка sitemap.xml и robots.txt

Правильная настройка файла robots.txt и sitemap.xml позволит исключить возможные проблемы, возникающие при индексации.

Содержание:

• § 1. Файл robots.txt
• 1.1. Настройка robots
• 1.2. Проверить файл robots.txt и мета теги
• § 2. Файл sitemap.xml
• 2.1. Карта сайта Sitemap.html(для посетителей)
• 2.1.1. Поиск на сайте через Яндекс
• 2.2. Карта сайта Sitemap.xml (для поисковиков)

§ 1. Файл robots.txt

Это обыкновенный файл, который должен находиться в корне вашего сайта, там же где находится и правильный htaccess, и этот файл говорит поисковым роботам как именно индексировать ваш проект, на какие страницы не стоит обращать внимание, а каким уделить особое внимание

Файл содержит инструкции, предназначенные для поисковых ботов. Размещается он обязательно в корневой директории, благодаря чему индексацию страницы боты начнут именно с чтения условий, изложенных в robots.txt.

Рассмотрим преимущества robots.txt, которые он дает ресурсу.

Файл robots.txt должен находиться на сервере, в корне вашего сайта. Можно также посмотреть на любом сайте в Интернет, для этого достаточно после адреса сайта добавить /robots.txt .

Файл robots.txt , у каждого сайта имеет свои особенности и бездумное копирование чужого файла, может создать проблемы с индексированием вашего сайта поисковыми роботами. Поэтому нужно четко понимать назначение файла robots.txt и назначение инструкций (директив), которые будете использовать, при его создании.

Инструкции файла robots.txt могут:

Запрещать к просмотру страницы (каталоги) для всех поисковых роботов;

Запрещать к просмотру страницы (каталоги) для выделенных поисковых роботов;

Производить редирект на другую страницу при ошибке 404;

Указывать на местонахождение карты сайта;

Указывать время загрузки страниц для индексации.

1.1. Настройка

Создать файл robots.txt , можно воспользоваться любым текстовым редактором, например Блокнотом . Легко написать вручную, не прибегая к помощи различных конструкторов. Для одного сайта нужен один такой файл.

Что нужно прописывать в файле?

Обязательно употребление двух директив: User-agent и Disallow .

User-agent определяет, какому боту адресовано данное послание, Disallow показывает, какую страницу или директорию ресурса запрещено индексировать.

Cписок имен ботов самых популярных поисковых систем:

Google Googlebot Яндекс Yandex Rambler StackRambler Mail.ru Mail.Ru
Yahoo! Slurp (или Yahoo! Slurp)
Alexa ia_archiver

1.2. Проверить файл robots.txt и мета теги

У некоторых вебмастеров вообще не индексируются сайт целиком или часть и что бы вы не делали, роботы не индексируют сайт. Причиной всему может быть файл robots.txt. Возможно в нем допущена ошибка или он сделан не правильно. Проверьте файл robots.txt на наличие в нем ошибок (например, строка Disallow: / закрывает сайт от индексации целиком или Disallow: /news/ закрывает к индексации раздел новостей.) или закрытых важных директорий. Если закрыта директория которая должна быть проиндексирована, то откройте ее.

Пример правильного файла на этом сайте.

User-agent: Yandex
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: Google
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: Mail.ru
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/

Host: http://сайт
Sitemap: http://сайт/sitemap.xml

Лучше указывать инструкции для каждого поисковика, который представляет для вас интерес по отдельности, а также для указать инструкцию для всех других поисковиков.

User-agen t - указывает на поисковик, для которого пишется инструкция.

Allow - разрешает индексацию.

Disallow - запрещает индексацию.

Host - указывает на основной хост.

Sitemap - указывает поисковику на xml карту сайта.

Еще сайт может не индексироваться из-за мета тега для google и для яндекса. Если на странице размещены эти коды, то поисковые роботы не будет индексировать такие страницы или части страниц. если вы хотите что бы страницы индексировалось нужно удалить из кода эти мета теги.

Пример Robots.txt

На основе вышеуказанных данных можно вывести полноценный файл robots.

Теперь, когда вы знаете основные моменты разобранного нами файла, вы сможете управлять индексацией своего сайта: запрещать и открывать к индексации желаемые вами файлы, папки и страницы.

§ 2. Файл sitemap.xml

Файл Sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования.

Основные требования к файлу Sitemap:

Файл должен располагаться на том же домене, что и сайт, для которого он составлен.

- При обращении к файлу сервер должен возвращать HTTP-статус с кодом 200 OK .

Файл может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 10 Мб. Если ваш sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса sitemap.

В файле необходимо использовать кодировку UTF-8.

Файл может описывать только страницы того домена, на котором он расположен.

Создать карту Sitemap для своего сайта можно несколькими способами:

используя плагины и онлайн-генераторы, а также составляя ее вручную.

О том, как это сделать, какой генератор карты (sitemap generator) использовать и как добавить карту в поисковые системы Яндекс и Гугл, вы узнаете из этой статьи.

2.1 Карта сайта Sitemap.html (для посетителей)

Карта сайта (для посетителей) - это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не используя навигацию сайта.

При создании карты сайта для посетителей обратите внимание на важные моменты:

1. Расположение на видном месте . Карта должна находиться там, где ее будет сразу видно (например, в главном меню сайта или блога).

2. Правильная структура и форматирование . Качественная карта сайта обязательно содержит заголовки, подзаголовки и другие элементы форматирования. Это делает информацию более удобной для восприятия, посетителям будет проще найти те материалы, которые их интересуют.

3. Наличие краткого описания . Небольшие комментарии к отдельным страницам сайта, или категориям, или же один комментарий ко всей карте сайта - это дополнительное удобство для посетителя.

2.1.1. Поиск на сайте через Яндекс

Яндекс поиск для сайта исправит все недочёты и значительно упростит посетителям пользование вашим сайтом — информацию они смогут находить гораздо быстрее.

С настройками Яндекс поиска разберётся любой, кто даже не смыслит в языках программирования HTML и PHP, и не знаком с CSS.

Результаты Яндекс поиска более качественные, нежели результаты стандартного поиска. Они получаются наиболее релевантные искомому слову или предложению. Посетители задерживаются так на вашем сайте немного дольше, даже если они не находят абсолютного релевантного ответа на свой вопрос;

Яндекс поиск для сайта учитывает лексику и морфологию языка, позволяет использовать поисковые подсказки и настраивать поисковую форму и другие параметры. И всё это — бесплатно и без ограничений.

2.2 Карта сайта Sitemap.xml (для поисковиков)

Ограничения и особенности

Поисковые системы благоприятно относятся к сайтам, имеющим карту Sitemap.xml. Дело в том, что при ее наличии роботы поисковиков индексируют страницы сайта быстрее и лучше (уменьшается вероятность, что какая-та страница будет случайно пропущена). Очевидно, что карта сайта способствует более быстрому увеличению посещаемости сайта. Однако при этом поисковые системы накладывают на карту сайта Sitemap. xml определенные ограничения :

файл Sitemap должен содержать не более 50 тыс. ссылок и иметь размер не более 10 Мбайт (допускается использование архивации для уменьшения размера файла).

Что же делать, если ваш сайт настолько большой, что карта сайта превышает вышеуказанные значения. В этом случае можно поступать следующим образом:

2. создавать несколько карт сайта (например, основную, содержащую ссылки на все другие карты, и еще несколько второстепенных).

И даже если данные требования будут выполнены, нет гарантии, что поисковые системы будут придерживаться файла Sitemap. xml при индексации.

2.3. Онлайн-генераторы карты сайта Sitemap

Онлайн-генераторы (generator Sitemap) позволяют формировать карту сайта в виде отдельного файла. При добавлении новых страниц (или при удалении старых) придется формировать карту сайта с помощью генератора и снова добавлять ее на свой сайт.

Генератор Xml-Sitemaps

Простой и удобный генератор карты сайта, имеющий несколько серьезных недостатков:

Количество ссылок в карте может быть не более 500;

Нет возможности настраивать приоритет для отдельных групп страниц (посты, страницы, категории, метки и т.д.);

Нет возможности указывать частоту обновления для отдельных групп страниц;

Генератор просматривает «мусорные» ссылки, которые не должны находиться в карте сайта (ссылки на комментарии, ссылки-отклики, ссылки «печать» и т.д.).

Перейти на сайт генератора можно . Перед вами появится форма, которую нужно заполнить.

1. Ввоим адрес главной страницы сайта .

2. выбираем «примерной» частоты обновления сайта.

3. Настраиваем дату обновления страниц сайта (None - не использовать; Use server’s response - определить автоматически; Use this date/time - использовать текущие дату и время).

4. Настраиваем приоритет страниц для поисковых систем (None - не использовать; Automatically Calculated Priority - вычислять автоматически).

Кнопка «Start» — запуск генератора .

Спустя некоторое время карта будет сформирована. Появится страница, где по ссылке вы сможете скачать карту Sitemap.xml и добавить ее в корневой каталог сайта (как правило, это папка - «public_html»).

Путь к карте можно будет прописать в файле robots.txt с помощью следующего оператора:

Sitemap: http://ваш сайт /sitemap.xml

Http://ваш сайт /sitemap.xml - путь к карте сайта.

Генератор Mysitemapgenerator

1. Первым делом пройдите на сайт mysitemapgenerator.com Этот сервис даёт возможность сгенерировать бесплатную карту сайта XML, до 500 страниц. Более чем достаточно.

3. В поле "URL сайта" введите адрес вашего сайта.

4. Введите проверочный код, и нажмите кнопку старт.

5. После того как сканирование будет завершено, нажмите на ссылку "скачать Sitemap".

Скачанный файл необходимо переименовать в "sitemap". После остаётся закинуть его в корень сайта и сообщить адрес поисковикам.

2.4. Как добавить карту сайта в поисковые системы

Чтобы добавить sitemap на сайт, необходимо проделать следующие шаги:

1. Для соединения с сервером потребуется любой FTP-клиент. В примере будет использоваться FileZilla. Откройте программу и внесите необходимые данные для соединения с сервером по FTP:

Эту информацию можно получить от хостинг-провайдера.

1. Зайдите в корневую папку вашего сайта (папку, где лежат все файлы ресурса) и добавьте туда ваш sitemap.xml. Это можно сделать двойным щелчком мыши или просто при помощи переноса файла в соседнее окно. На вопрос о замене существующего файла, выбираем заменить.

2. Далее заходите в браузер по адресу site.ru/sitemap.xml и проверяете нахождение необходимого файла. Если по данному адресу нет вашего sitemap.xml, возможно вы переместили его не в ту папку, или просто необходимо обновить страницу.

2.5. Добавляем sitemap в Яндекс

Чтобы сообщить поисковому роботу Яндекс о наличии на вашем сайте файла sitemap.xml существует два наиболее эффективных способа:

1. Добавить sitemap через robots.txt. Для этого необходимо внести изменение в данный файл, дописав директиву:

Sitemap: ваш_сайт/sitemap.xml

2. Добавить sitemap через Яндекс.Вебмастер. Для этого способа должны быть подтверждены права на управление сайтом.

Заходим в панель вебмастера Яндекс , переходим на нужный сайт и во вкладке «Настройка индексирования» выбрать «Файлы Sitemap».

Для наиболее быстрого достижения эффекта рекомендуется совершить оба действия.

2.6. Добавляем sitemap в Google

Сделать, это можно следующим образом, заходите "Сканирование", нажимаете "Файлы Sitemap":

в правом верхнем углу кликаем на красную кнопку "Добавление/проверка файла Sitemap". В открывшееся окошко вписываем sitemap.xml. А затем, перед отправкой карты блога, лучше её проверить на наличие ошибок, поэтому жмём кнопочку Проверить файл Sitemap:

После появится сообщение "Проверка завершена", "Просмотреть результаты проверки". Смотрим, если ошибок нет, тогда картинка будет такая:

Вот, дорогие друзья и весь процесс. А я на этом с вами прощаюсь, не надолго. Очень надеюсь, что инструкция для вас будет полезна. Удачи и всего хорошего.

Не забывайте написать ваш комментарий, понравилась ли статья. От вас пару слов, а мне - признание поисковых систем, что пишу нормальные человеческий статьи. Заранее спасибо вам!