Яндекс вебмастер - полное руководство. Переход на HTTPS в Joomla. Создать группу во время копирования
Обновленного сервиса для вебмастеров.
В Яндекс Вебмастер были добавлены новые отчеты, существенно улучшена визуализация данных, изменился интерфейс и многое другое.
Нововведений достаточно много, но сегодня хотелось бы остановиться на отчете «Статистика индексирования», и как с его помощью можно обнаружить дубли и мусорные страницы.
На многих сайтах есть неинформативные страницы, которые сканируют поисковые системы, но не добавляют в свой индекс, т.к. понимают что они появились в результате технических ошибок. Работа seo специалиста как раз таки заключается в том, чтобы устранить все проблемы в сканировании и индексировании ресурса.
Если мы устраним десятки, а то и сотни мусорных страниц, на сканирование которых тратят время поисковые системы, мы сможем увеличить частоту сканирования и индексирования полезных страниц сайта, а следовательно и улучшить ранжирование ресурса в поисковых системах.
На странице отчета «Статистика индексирования» мы сможем узнать:
- Какие страницы сайта сканирует робот;
- Какие страницы робот исключил из поиска;
- Какие страницы проиндексированы и находятся в индексе поисковой системы Яндекс.
Для поиска дубликатов и мусорных страниц достаточно проанализировать полный список загруженных Яндексом url-адресов.
В сервисе есть возможность выгрузить архив со всеми url-адресами, которые были просканированы роботом Яндекса. Для загрузки нужно перейти по ссылке:
В итоге мы получаем файл в формате.tsv, открыть который можно через Excel, Libre Office или простым блокнотом.
Файл также содержит следующие данные:
- Коды ответа сервера.
- Дату последнего сканирования в формате Unix time , преобразовать можно, задав в консоли запрос вида date -r .
- Проиндексированность страниц.
- В столбце «Double» находятся ссылки на дубликаты страницы, если они есть.
Примеры найденных ошибок на сайтах благодаря данным о загруженных страницах роботами Яндекса:
Сайт asteria.ua:Были обнаружены следующие страницы:
http://asteria.ua/special/razdel/104.html
http://asteria.ua/uslugi/razdel/77.html
http://asteria.ua/kompaniya/razdel/27.html
http://asteria.ua/partneri/razdel/4.html
Это полные дубликаты страниц сайта, они не проиндексированы, но регулярно сканируются Яндексом, следовательно их нужно как можно скорее устранить.
Ещё несколько страниц дубликатов:
http://asteria.ua/index.php?get=easytostart.html
http://asteria.ua/index.php?get=vkluchenie.html
http://asteria.ua/index.php?get=uslugi.html
http://asteria.ua/index.php?get=kontakti.html
http://asteria.ua/index.php?get=shtraf_uvelichili.html
Эти страницы, на момент анализа, перенаправляли пользователей на корректный url-адрес с ЧПУ, но отдавали код 200, а не 301.
Сайт novebti.ua:Были найдены дубликаты главной страницы сайта:
http://novebti.ua/?razdel=uslugi_view&content=41
http://novebti.ua/?razdel=uslugi_view&content=1
http://novebti.ua/?razdel=uslugi_view&content=26
http://novebti.ua/?razdel=reviews
С этих страниц нужно написать link rel=»canonical» на главную страницу сайта.
А также дубликаты других страниц сайта:
http://novebti.ua/index.php?do=contacts
http://novebti.ua/index.php?do=uslugi/razrabotka_gradostroitelnogo_rascheta
Страницы пагинации и тегов:
http://novebti.ua/faq?ask=true?p=35
http://novebti.ua/article?tag=%CD%EE%E2%EE%F1%F2%E8%20%EA%EE%EC%EF%E0%ED%E8%E8
http://novebti.ua/faq?ask=true?p=40
http://novebti.ua/faq?p=47
Страницы такого типа лучше всего закрывать при помощи мета тега robots=»noindex, follow».
Сайт asiamshop.com.ua:Было обнаружено множество страниц вида:
http://asiamshop.com.ua/component/jcomments/captcha/32798
http://asiamshop.com.ua/component/jcomments/captcha/42306
Таких страниц много десятков, они генерируются модулем комментирования jcomments, такие страницы нужно закрыть от сканирования, так как они не несут никакой ценности.Так как у этих страниц нет возможности прописать мета тег robots, то лучше их закрыть при помощи файла Robots.txt.
Вывод:Основное преимущество сервиса состоит в том, что мы анализируем базу url-адресов поисковой системы, а не парсера страниц сайта, который не сможет найти url-адреса на которые нет внутренних ссылок.
Используя инструмент «Статистика индексирования» в новом Яндекс Вебмастере можно в течение 30 минут проанализировать страницы, которые посещает робот, обнаружить проблемы и продумать варианты их решения.
Если вы нашли ошибку, выделите участок текста и нажмите Ctrl + Enter или воспользуйтесь ссылкой , чтобы сообщить нам.
Данная ошибка выводится в отчете после проверки определенных страниц сайта на доступность в поисковой системе Яндекс. Делается это через специальный сервис Яндекс.Вебмастер (инструмент «Индексирование» -> «Проверка URL»).
Что за ошибка?Это означает, что робот посетил её, но не удосужился внести её в поисковую выдачу, сочтя её некачественной и вообще — вы спамер, у вас много рекламы, исправляйте всё немедленно, а потом поговорим! Самое удивительно то, что «некачественным» он иногда считает материал по 5000-10 000 знаков копирайта и отличным положением у конкурента в поиске (у меня не проиндексированная страница в Я была в ТОП-3 в G )
Симптомы:Чтобы повысить качество сайта и страниц в глазах Яндекса, нужно, как это ни странно, воспользоваться советами его самого. Дело в том, что в Я.Вебмастере в разделе «Диагностика» есть список текущих ошибок, которые вполне могут повлиять на выдачу
Что конкретно нужно исправить и как это сделать? Воспользоваться инструментом «Переобход страниц»В Яндекс. Вебмастере есть специальный сервис, заставляющий робот заново посетить вашу страницу «Инструменты» — «Переобход страниц» . Заставьте робота еще раз посетить вашу страницу. Идеальный вариант — немного добавить контента или хотя бы поменять где-то текст. В общем, видоизмените страницу, на которую будете ссылаться.
Удалить дубли, запретить их к индексацииПрактически самый главный враг хорошей индексации отдельных страниц, которые не попадают в выдачу — это дубли. Дубли страниц, которые генерирует сама CMS, будь-то WP или DLE. Причем дубли могут быть совсем не явные, т.е. как таковых «вторых» страниц с таким же контентом нет, но есть страницы, у которых срабатывает редирект на основной материал. Их можно отследить в Я.Вебмастере. Для этого зайдите в меню «Индексирование» -> «Статистика». Далее выберитерядом с названием сайта категорию «HTTP-коды 3хх»
Как видите страниц с редиректом пруд пруди:
Самое интересно то, что еще одним стандартным сервисом «Яндекса» дубли не удалить сходу: Пишет ошибку «Нет основание для удаления». Т.е. яндекс не может просто убрать страницу с поиска, если даже вы этого хотите. Ему нужны основания
Для того, чтобы перестали генерироваться дубли и для того, чтобы их можно было удалить с поисковой выдаче нужно проделать следующие шаги
- Прописать строчку кода в файле functions.php (если у вас Word Press)
Обычно этот файл находится в директории с названием вашей темы. Для редактирования можете использовать FTP ну или встроенный редактор в админке WP — это на ваше усмотрение. Вставляем следующий код
remove_action(‘wp_head’, ‘wp_shortlink_wp_head’);
- Настроить файл robot.txt
Чтобы запретить индексацию дублей нужно создать соответствующее правило в файле robot.txt
Disallow: /?p=*
Т.е. страницы вида «site.ru/?p » запрещены к индексации. Кстати, на Word Press проще всего добавить это правило также через код в том же файле functions.php. Результат удаления URL через Я.Вебмастер теперь положительный:
Создать карту сайта (Sitemap)Карта сайта создана специально для упрощения навигации не только пользователей, но и поисковых роботов. Поэтому, если вы считаете, что вашем посетителям она ни к чему, то сделайте её хотя бы для поисковой системы. Давно доказано — файл Sitemap улучшает индексацию страниц и сайта в целом! Для того, чтобы создать файл Sitemap.xml в CMS Word Press используйте плагин «Google XML Sitemaps».
Чтобы показать Яндексу, что файл у вас создан и может использоваться роботом в Я.Вебмастере зайдите в «Настройка индексирования» — «Файлы Sitemap» и вставьте ссылку на неё (учтите, что статус «Очередь на обработку будет висеть достаточно продолжительное время»)
Заполнить мета тэг name descriptionДля каждой странице нужно заполнить её краткое описание, которое содержится в специальном мета тэге . Поисковые алгоритмы будут использовать данный тэг для формирования описания страницы при выдаче результатов поиска (т.н. сниппет)
Чтобы не заморачиваться с правкой кода, мы можем использовать плагин для Word Press — Meta Tag Manager , который добавляет в конце редактора специальный контейнер, где можно его вписать
Пишем в техническую поддержку ЯндексаЕсли уверены в качестве своего сайта и конкретно тех страниц, которые не попадают в поиск. У Яндекса довольно большой мануал и огромные список того, «чего не желательно» или вовсе «нельзя». Советуем ознакомиться, перед тем, как строчить кляузу — https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml
Что можно и где нужно писать, чтобы мне ответили?Итак, вы уверены, что ваш сайт белый и пушистый, поэтому вам срочно нужно написать в Яндекс. Если это действительно так, то:
После чего откроется форма для обратной связи с техподдержкой:
В сообщении можете написать примерно следующий текст (не копируйте его полностью, просто используйте как шаблон )
P.S. Ответ от Яндекса — это просто ошибка инструмента «Проверка URL»Техническая поддержка Яндекса ответила мне на удивление быстро. Оказалось, мои страницы-таки были в поиске — во всём виноват кривой инструмент «Проверить URL». Я.Вебмастер совсем недавно выкатил новую версию этого сервиса — видимо, пока что, не всё работает, как задумано.
Т.е. возможно страницы есть, а может и нет? Чтобы точно убедится в том или ином предположении, нужно проверить наличие в индексе на других сервисах для веб-мастеров.
Поисковая оптимизация - большая работа над множеством различных факторов. Дизайн, техническая составляющая, контент. Даже незначительные на первый взгляд детали очень важны для продвижения. О самых частых ошибках в дизайне сайта мы уже говорили. Сегодня разберем 9 фатальных SEO ошибок, способных «угробить» любой сайт.
Как минимум, раз в неделю рекомендую заглядывать в вебмастера Яндекс и Google для проверки наличия санкций. В Яндексе это можно сделать в разделе Диагностика → Безопасность и нарушения . В Google - Поисковый трафик → Меры, принятые вручную .
Как показывает наша практика, чаще всего владельцы сайтов даже не догадываются о наложенных ограничениях. Недавний пример из нашей работы:
Большое количество чужих текстов на сайте и открытые исходящие ссылки. Результат на скриншоте.
До снятия всех ограничений дальнейшего смысла заниматься продвижением нет. Исправляем все ошибки, сообщаем поисковой системе и ждем снятия санкций.
Мы постоянно говорим о том, как важны тексты. Контент - это то, зачем пользователи заходят на сайты. Неуникальный и неинтересный контент никому не нужен. Поисковые системы занижают подобные ресурсы в выдаче, а клиенты устали читать одни и те же шаблонные тексты на сотне сайтов. Пруф того, что за контент можно вылететь с хороших позиций, .
Проверяйте уникальность текстов перед размещением на text.ru .
Как писать тексты, на какие страницы и в целом, о контенте, много написано в нашем блоге. Вот хорошая подборка статей от нашего копирайтера Дарьи.
Основа SEO-продвижения - правильно подобранные ключевые слова. Это очень важный фактор в оценке релевантности вашего сайта поисковому запросу.
Чаще всего мы сталкиваемся с двумя ошибками. Полное отсутствие ключевых слов в тегах:
Тег Title должен быть заполнен в виде связного предложения с включением ключевых слов.
Либо переспам ключами в заголовках:
Важно найти золотую середину. Теги должны быть полезными не только для поисковых роботов, но и для обычных людей. Не забывайте об информативности. Как правильно писать теги title, description и заголовки H1, хорошо рассказывает наш копирайтер Екатерина в своей статье .
C января 2017 года браузер Google Chrome (начиная с 56 версии) начал помечать все HTTP-сайты, содержащие любые формы, передающие личные данные пользователей (email, пароли, данные кредитных карт и т.п.) как «небезопасные». Также наличие SSL сертификата является небольшим импульсом в ранжировании в Google.
Всем интернет-магазинам в первую очередь следует перейти на протокол https. При этом очень важно соблюсти правильный алгоритм действий.
Самая частая ошибка - просто настроить 301-редирект со старой версии http на https после покупки SSL-сертификата. Владельцы сайтов забывают о файле robots.txt, директиве Host, настройке вебмастеров. Сайт с http выпадает из индекса, новый сайт на https еще не проиндексирован. Все позиции моментально улетают в трубу.
В нашем Блоге есть подробная инструкция , как правильно перенести сайт с http на https. Если останутся вопросы, пишите нам , обязательно поможем.
Текстовый файл, размещенный на сайте и предназначенный для роботов поисковых систем. В этом файле следует указать параметры индексирования своего сайта для поисковых роботов.
Иногда файл robots.txt отсутствует вовсе.
Свежий пример из нашей работы. Интернет-магазин станков, работы проводились в рамках услуги поисковое продвижение сайта . Сайт был полностью открыт для индексации поисковым роботам и вовсе не имел файл robots.txt.
Настроили ему robots, теперь все в порядке:
Что конкретно мы сделали?
Закрыли от индексации админ панель сайта, служебные страницы 404 и 403, страницу поиска, корзину. Указали адрес карты сайта, настроили директиву Host.
Вместе с остальными работами по оптимизации это помогло достичь следующих результатов:
Еще одна серьезная ошибка - сайт полностью закрыт от индексации. За это отвечают директивы Disallow и Allow, которые запрещают или разрешают индексирование разделов, отдельных страниц сайта или файлов соответственно. Для проверки файла у поисковых систем есть специальные инструменты: Яндекс и Google .
Проверьте, что у вашего сайта имеется файл robots.txt и заполнен он корректно. От индексации следует закрывать все служебные страницы, страницы поиска и фильтров. Страницы дублей, регистрации, авторизации. Корзину и страницу оформления заказа для интернет-магазинов. .
Дублированный контент или просто дубли - это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL.
Одна страница может иметь как один, так и несколько дублей:
Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.
Может измениться релевантная страница. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. Сайт потеряет позиции и просядет в выдаче. В 90% случаев дубли мешают продвижению, и после их устранения позиции сайта улучшаются.
Как найти и убрать дубли на сайте, рассказываем в данной статье .
Зеркалами считаются сайты, являющиеся полными копиями друг друга, доступные по разным адресам. Все зеркала сайта важно склеить через 301 редирект.
Показатели тИЦ, вес внешних ссылок не должны растекаться, а они будут, т.к. поисковики считают разными ресурсами сайты, расположенные по разным адресам. Возможна подмена релевантной страницы в поисковой выдаче, дублирование контента. 100% мешает росту сайта в выдаче.
Сайт не должен открываться по разным адресам, с www и без www, просто site.ru и site.ru/index.php, по http и https и т.д.:
Чек-лист для проверки:
- Сайт должен быть доступен только по одному протоколу http или https.
- Выбрано главное зеркало сайта, с www или без www, указано в Вебмастере.
- Настроен 301 редирект со всех зеркал.
- Главная страница сайта доступна по одному адресу, без /index.php, /index.html и т.п.
100% Must-have для всех сайтов в 2017 году. Сегодня рост мобильного трафика опережает компьютерный. Число пользователей, использующих смартфоны для совершения покупок, в мире растет с каждым днем. Алгоритмы поисковых систем учитывают адаптивность при ранжировании сайта в мобильной выдаче.
Google уже с 2015 года использует алгоритм Google mobile-friendly .
Тут все просто. Пользователям не нравятся медленные сайты. Поисковые системы так же отдают предпочтение быстрым, оптимизированным сайтам. Проверить скорость загрузки своего сайта можно с помощью инструмента Google . Красный - медленно, важно срочно увеличивать скорость, желтый - нормально, но можно оптимизировать, зеленый - отлично.
Разберем на конкретном примере
Помните, в начале статьи мы упоминали интернет-магазин станков. Что мы исправили из фатальных ошибок:
- Неуникальный контент
Написали хороший продающий, уникальный текст на главную страницу сайта.
- Ошибки оптимизации
Скорректировали теги title и description, заголовки H1.
- Отсутствие файла robots.txt
Создали и настроили файл robots.txt. Сейчас сайт правильно индексируется поисковыми системами. До этого, как писали выше, данного файла не было на сайте вовсе.
- Наличие не склеенных зеркал
Склеили зеркала сайта. Сайт был доступен по двум адресам с www и без.
- Некорректный ответ сервера для несуществующих страниц
Создали отдельную страницу 404 и настроили правильный ответ сервера для несуществующих страниц.
До выполнения работ несуществующие страницы через 302 редирект перенаправляли пользователя на главную страницу сайта.
Результаты:
Положительная динамика роста посещаемости из поисковых систем:
Трафик из Google вырос в два раза:
Результат за 3 месяца:
+8 запросов у Яндекса, +6 у Google в топ-5
+19 запросов у Яндекса, +9 у Google в топ-10
+25 запросов у Яндекса, +11 у Google в топ-20
+14 запросов у Яндекса, +4 у Google в топ-50
Хотите так же? Проверьте, может данные ошибки есть и на вашем сайте. Если нет времени и желания разбираться, заказывайте поисковое продвижение у нас, с радостью поможем.
Добрый день друзья. На связи Александр Мельничук, и сегодня я бы хотел рассказать вам о сервисе, с помощью которого можно проводить бесплатный SEO-анализ сайта и его аудит в считанные секунды. Наверняка, многие из вас уже встречали подобные онлайн-инструменты, и пользуются ими на постоянной основе. Действительно, это очень удобно, указал адрес домена или проверяемой страницы и в течение 10 секунд получил полную картину по проблемным местах своего сайта.
Инструмент Sitechecker.pro как раз и предназначен для решения подобных вопросов и обладает рядом преимуществ:
1) Детальный аудит сайта. Ваш сайт или страница будут оценены по 156-параметрам. В итоге, Вебмастер получает комплексную оценку своего сайта и видит его проблемные места;
2) Подсказки по устранению проблемных моментов. Сервис проверки сайтов, не только показывает проблему на вашем ресурсе, но и предлагает детальные решения по устранению этих ошибок;
3) Быстрая проверка. В среднем время на проверку сайта или отдельного url составляет около 7 секунд;
4) Полностью бесплатный. Инструмент работает исключительно на бесплатной основе и без ограничений по количеству проверок;
5) Поддержка 10 языков. Интерфейс сайта может быть доступным на 10 разных языках для удобства пользователей.
Тестирование сервисаЭтот обзор был бы не полным и не объективным, если бы я просто сделал описание сервиса, без демонстрации конкретных результатов. Поэтому, поехали. Для анализа, я возьму произвольный сайт, и посмотрим, какие результаты покажет сервис.
Вставляем адрес сайта на главной странице сервиса Sitechecker.pro и нажимаем кнопку Проверить. Через несколько секунд получаем детальный анализ сайта с пояснениями по проблемам.
Важно! Работа сервиса организована в формате лэндинга, поэтому вся необходимая информация располагается на одной странице, что очень удобно для анализа. В первую очередь обращайте внимание на критические ошибки, потом на предупреждения.
Для удобства пользователей с левой стороны сервиса расположена быстрая навигация по сервису с 5-ю направлениями проверки, а в правой области экрана результаты.
Начнем с 1-го блока – Оптимизация контента, кликнув по которому открывается дополнительное меню.
В этом блоке проверяются:
— Основные параметры страницы: ее ответ (код ответа http), и размер содержимого на странице;
— Title-проверка: будет показан сам title и его длина. Обратите внимание, если есть проблема по отдельному элементу, то это будет обозначено красным значком x и под указанием проблемы будет указан способ по ее устранению;
— H1-H6 проверка: будут показана все теги от H1 до H6 в исходном коде страницы;
— Проверка Description: осуществляется проверка по мета-тегу описания страницы с подсчетом символов и демонстрацией отображения этого описания в сниппете Google;
— Проверка контента. Интересный анализ контента, при котором подсчитывается количество символов на странице и идет подсчет соотношения величины контента к коду. Таким образом, можно определить слабые страницы на вашем сайте, где контента недостаточно;
Блок — Изображения
— Проверка Favicon: будет показана информация о присутствии фавиконки на вашем сайте, а также ее отображение на разных типах устройств;
— Проверка изображений на сайте: идет проверка к каждой расположенной картинке на проверяемой странице на наличие тегов – alt и title, а также указание размера к каждому изображению;
Блок — Поисковая оптимизация
— Проверка канонических ссылок: инструмент проверяет наличие канонической ссылки на странице;
— Проверка альтернативных ссылок;
— Индексирование поисковыми системами: данный элемент анализа показывает текущую информацию об индексировании анализируемой страницы. Обратите внимание на процентный показатель закрытого контента в теги noindex, сервис показывает и эту информацию;
— Пагинация: определение страниц пагинации на сайте;
— Уязвимость URL: идет анализ url-адреса страницы и выявления на ней потенциальных уязвимостей;
— Проверка маскировки: проверка на сканирование роботами поисковых систем Яндекса и Google.
— Внутренняя перелинковка сайта: будут показаны все ссылки перелинковки со страницы;
— Внутренние страницы: показаны страницы, на которые ведут ссылки с проверяемой страницы с указанием url-адреса, анкора ссылки и ответа их сервера.
Блок — скорость веб-страницы
— Мобильный предосмотр: демонстрация вашего сайта на экране мобильного устройства;
— Удобство работы (мобильная версия): оценка мобилопригодности вашей страницы по всем основным параметрам. Вот лишь часть из них;
— Удобство работы (десктоп-версия): проверка удобства работы в десктопной версии и рекомендации по исправлениям.
Мой вердикт (плюсы и минусы)
Если рассматривать сервис по аналогии с другими подобными проектами (например, pr-cy или cy-pr), а это будет наиболее объективная оценка (по крайнем мере, я так считаю), то он имеет ряд преимуществ: не нужно проводить никакой регистрации, чтобы получить определенные преимущества в проверке(в сервисе анализа сайта Sitechecker.pro ее просто нет), также не нужно ждать окончания результатов кэширования на сутки, как в других сервисах, ввел адрес сайта, получил актуальные данные.
Ну и последнее, чтобы я хотел отметить, так это четкое описание каждого параметра проверки и детальное решение проблемы путем внесения правок согласно рекомендациям из сервиса.
Что касается минусов, то я их практически не обнаружил. Пишу практически, так как в инструменте проверки — Внешние ссылки, при анализе моего блога вместо 3-х исходящих ссылок, сервис показал всего 2. И было бы круто, если бы разработчики сервиса, внесли некоторые изменения в алгоритм работы данного элемента, таким образом, чтобы он показывал, закрыта ли ссылка от индексации атрибутами – noindex и rel=»nofollow». Ребята, если вы читаете этот пост, усовершенствуйте, пожалуйста, данный модуль.
Всем привет! В данной статье затронем тему безопасности, а именно безопасный протокол передачи данных — https. Если вы обратили внимание мой блог, на котором вы сейчас находитесь работает по протоколу https, на который я перешел недавно. Также, на https я перевел один из моих клиентских сайтов. Пришлось немного повозиться и понервничать, но в итоге все получилось. Я подумал, что надо обязательно написать об этом на блоге — как перейти с http на https безболезненно для сайта, тем более эта тема я считаю уже популярна, т.к. сегодня все больше и больше сайтов переходят на https.
Что меня побудило перейти на протокол https? В последнее время мне на глаза стали попадаться вот такие заголовки: Браузер Mozilla Firefox в скором времени перестанет поддерживать небезопасные http-соединения; всем государственным сайтам перейти на HTTPS; C января 2017 года все сайты, передающие секретные данные (пароли, номера кредитных карт и т.д.) по незащищенному соединению в браузере Google Chrome будут помечаться как небезопасные. Плюс ко всему где-то в интернете читал, что скоро всем сайтам придется перейти на протокол https в обязательном порядке. Я подумал, что в один прекрасный день все равно эта участь постигнет и меня. Так зачем же тянуть? Тем более хостинг beget.ru , на котором я сижу предоставил возможность для приобретения бесплатных SSL-сертификатов. В общем, собрал всю необходимую информацию по тому, как перейти с HTTP на HTTPS и сделал это. 🙂
Структура статьи
Зачем нужно использовать https и что имеется ввиду под безопасностью?Если говорить кратко, то протокол https позволяет отправлять запросы на сервер с нашего сайта в зашифрованном виде, гарантируя при этом, что эти самые данные не будут перехвачены хакерами. Элементарный пример передаваемых данных — это авторизация на сайте (или регистрация). В процессе авторизации мы отправляем запрос на сервер, который содержит логин и пароль. Так вот, если отправлять эти данные по небезопасному соединению, то они легко могут быть перехвачены, что в результате может привести к взлому сайта. Работу протокола https обеспечивают SSL сертификаты. Они бывают разных видов, про виды сертификатов читайте ниже.
Весь процесс я решил разделить на шаги и выполнять их как раз именно в такой последовательности. Также ниже я дам рекомендации по переходу для популярных cms Joomla и WordPress. У каждого есть свои особенности.
Приобретение сертификатаДля начала необходимо приобрести SSL сертификат, чтобы ваш сайт был доступен по обоим протоколам — http и https. Давайте сначала внесем некоторые ясности в виды SSL сертификатов.
Виды сертификатов Простые сертификатыТакие сертификаты выдаются на один или несколько доменов и подходят как физическим, так и юридическим лицам. Как правило, на выпуск таких сертификатов не уходит много времени, может быть выпущен даже в течении 5 минут. Чтобы получить такой сертификат необходима только проверка принадлежности к домену того, кто его запрашивает.
Wildcard SSLWildcard SSL — прекрасно подойдет сайтам с наличием поддоменов. В данном случае достаточно выпустить один сертификат, который будет работать на всех поддоменах и позволит сэкономить деньги на покупку отдельных сертификатов.
Мультидоменные SSL сертификатыМультидоменный SSL сертификат — сертификат, который может поддерживать сразу несколько доменов. Также, как и Wildcard позволит сэкономить денежку. Так что имейте ввиду, если у вашей компании или проекта имеется несколько доменных имен, то выбирайте именно мультидоменный сертификат.
EV (Extended Validation) сертификатыEV (Extended Validation) — расширенная проверка компании. Данный вид сертификата могут позволить себе купить только крупные компании. Для его получения необходимо предоставить всю подробную информацию о компании — название организации, реквизиты, наличие о государственной регистрации, реальные звонки для утверждения полученных данных и многое другое. Да, получение такого вида сертификата дело хлопотное, но поверьте оно того стоит. Более того, рядом с адресной строкой в браузере будет отображаться название компании. Вот как это выглядит на примере сайта Сбербанка.
Смотрится круто и повышает доверие потенциального клиента. Поэтому, владельцам крупных компаний рекомендуется выпуск именно EV сертификатов.
Сертификаты с поддержкой IDNНе все сертификаты поддерживают кириллические домены. Если у вас домен кириллицей в зоне РФ, то вам следует приобрести сертификат с поддержкой IDN.
Подробнее про виды сертификатов и их стоимости вы можете почитать в интернете. Здесь же я привел лишь некоторые, чтобы вы имели понятие, что сертификаты SSL бывают разные.
Получение сертификатаСегодня приобрести сертификат SSL для сайта можно абсолютно бесплатно. Уже давно Google заявил о том, что пора уже переходить всем на безопасный прокол https и что предпочтение в ранжировании будет отдаваться сайтам именно с защищенным соединением. Кстати, это еще одна причина по которой я перешел на https. В общем, в связи с этим всем в свет появился проект под названием Let’s Encrypt . В первую очередь данный проект рассчитан на доступность приобретения SSL сертификата, а также облегчить жизнь рядовым веб-разработчикам с установкой сертификатов (генерация приватных ключей и прочее). И что самое главное — сертификаты, выдаваемые Let’s Encrypt, абсолютно бесплатные . Лично на моем блоге стоит именно такой сертификат.
Я получил сертификат SSL от Let’s Encrypt в панели управления beget.ru. Если вы пользуетесь данным хостингом, то получить его будет проще простого. Заходите в панель управления Бегет, далее переходите в раздел «Домены » и в списке доменов щелкаете по иконке SSL.
Иконка рядом с доменом говорит о том, что сертификат уже установлен. Попав в раздел SSL, открываем вкладку «Бесплатный SSL сертификат «. Если у вас имеются поддомены на выбранном домене, то лучше сразу выберите и их тоже, т.к. если этого не сделать сразу, то в дальнейшем придется перевыпускать сертификат.
Для перевода сайта на HTTPS необходимо выполнить некоторые настройки на сайте, касается это загружаемых ресурсов. Что подразумевается под ресурсами, это — скрипты, стили, картинки, аудио, видео, т.е. все те ресурсы, которые загружаются браузером с вашего сайта через протокол http. Существуют относительные и абсолютные адреса. Чем они отличаются?
Относительный адрес:
/image.jpg
Относительный адрес вне зависимости от протокола:
//sitename.ru/image.jpg
Абсолютный адрес:
http://sitename.ru/image.jpg
В абсолютном адресе указывается доменное имя сайта с протоколом. Так вот, при переходе на https необходимо применять относительные адреса вне зависимости от протокола, т.е. отсекая сам протокол. При таком подходе ресурсы будут загружаться по такому же протоколу, что и ваш и не важно на http он или на https. Единственное условие — если вы загружаете ресурсы с внешних сайтов (например, с CDN), то данные сайты должны быть доступны по https, иначе от них придется отказаться.
Также, как вариант вы можете просто указать все абсолютные ссылки с протоколом http s (так например сделано в WordPress).
ТегОбратите внимание, если вы на сайте используете тег с адресом сайта, то обязательно проследите, чтобы адрес был указан с протоколом https.. Данный тег не является обязательным, но все же, если в вашей cms он используется, то потрудитесь его исправить в случае чего. Находится он в самом начале секции . Если получится так, что вы все ссылки изменили на относительные вне зависимости от протокола (//sitename.ru), а в теге содержится адрес с http, то все ваши относительные ссылки будут считаться относительными в зависимости от протокола http. В результате в консоле браузера вы получите кучу ошибок, а на сайте поплывет дизайн.
Тег rel=»canonical»Если у вас на сайте используется тег rel=»canonical», то проследите за тем, чтобы канонический адрес страницы в данном теге был абсолютным с указанием протокола https. Иначе, если будет http он будет работать только во вред.
301 редирект с http на httpsЧтобы не потерять трафик нам необходимо сделать так, что когда пользователь заходит на сайт по протоколу http его бы автоматически перекидывало на https. Склейка зеркал и переиндексация сайта в поисковиках дело долгое (Гугл правда быстро реагирует, вот с Яндексом придется ждать), поэтому 301 редирект может это дело ускорить и не дать потерять трафик. Для этого в файл.htaccess нужно добавить всего две строчки:
RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)$ https://sitename.ru/$1
Этих двух строк должно хватить. Если же у вас будут проблемы с редиректом, то можете попробовать альтернативный код.
RewriteEngine On # Если этой строки нет выше RewriteCond %{HTTP:X-Forwarded-Protocol} !=https RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI}
А вот еще один код редиректа. Бывало такое у меня, что выше два кода не работали. Помог только этот.
RewriteEngine On RewriteCond %{HTTPS} off RewriteCond %{HTTP:X-Forwarded-Proto} !https RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI}
Если и это не поможет, то вам надо будет обратиться в службу поддержки хостинга, они должны помочь с этим вопросом.
Еще советую добавить код, который будет перекидывать по 301 редиректу на www или на без www, в зависимости от того, какой домен вы выбрали основным.
## редирект с без www на www: RewriteCond %{HTTP_HOST} ^sitename.ru$ RewriteRule ^(.*)$ https://www.sitename/$1 ## редирект c www на без www: RewriteCond %{HTTP_HOST} ^www.sitename.ru$ RewriteRule ^(.*)$ https://sitename.ru/$1
Файл robots.txtВ robots.txt нам обязательно следует указать главное зеркало с протоколом https. Также указать ссылку на карту сайта так с протоколом https. Вот как я сделал на своем блоге:
Host: https://сайт Sitemap: https://сайт/sitemap.xml
Переезд сайта в панели вебмастеров Яндекс и ГуглПосле вышеперечисленных действий нам необходимо сообщить поисковикам, что сайт переехал на новый протокол https. Как известно адрес с http и с https это абсолютно два разных адреса в глазах поисковиков.
Яндекс вебмастерДля переезда сайта в Яндекс заходим в панель Яндекс Вебмастер по адресу https://webmaster.yandex.ru . Выбираем свой сайт и в разделе «Настройка индексирования » вводим свой домен и отмечаем чек-бокс «Добавить HTTPS «, сохраняем.
Http://сайт https://сайт http://www..сайт
Далее выбираем основное зеркало с https естественно, только с www или без www. Для своего сайта я выбрал без www — https://сайт . Открываем сайт и в настройках сайта (кликаем по шестеренке справа) указываем основной домен. Вот на примере моего блога.
Ну вот, на этом все. Если вы сделали все правильно, то в браузере рядом с адресной строкой у вас должен появиться зеленый замочек. Хотелось бы отметить, что если хотя бы один ресурс будет загружаться по незащищенному протоколу, то зеленого замочка вы не увидете, будет серый восклицательный знак. Отследить загрузку всех ресурсов вы можете в .
Также хотелось бы сказать, что процесс переиндексации в Гугл занимает не так много времени, примерно 2 недели хватит, а может и меньше. Вот в Яндекс по сложнее с этим, я и не удивлен. Яндекс всегда был тугой в этом плане. В первое время у вас обнулится ТИЦ, если он у вас был и в первый же апдейт ТИЦа должен будет вернуться. Это я написал, чтобы вы не пугались. Ну а далее в Яндекс Вебмастер вы обнаружите следующую картину…
Прошло довольно приличное время после перехода на https и как видите по скрину еще не все страницы перешли на https. Что сказать, так устроен отечественный поисковик.
Парус слов про Яндекс Метрику. Если у вас был установлен код яндекс метирки, то в панели метирики вам придется добавить сайт заново с протоколом https.
Переход на HTTPS в JoomlaОбновлено - 15.12.2016
В последних версиях Joomla с переходом на https не должно возникнуть проблем. В файл.htaccess не обязательно добавлять директивы редиректов, движок сам перекинет с http на https. Для этого необходимо просто включить опцию в общих настройках Joomla — «Сервер » -> «Включить SSL » -> «Весь сайт» .
Важно! Включайте данную опцию именно тогда, когда вы уверены, что сертификат у вас уже установлен и сайт доступен по протоколу Https.
Один раз у меня было такое, что мне пришлось немного потрудиться, на одном из клиентских сайтов переход на https прошел не так гладко. Браузер ругался на относительные адреса загружаемых ресурсов, хотя адреса были указаны относительными вне зависимости от протокола. Проблема была в теге . Давайте расскажу по порядку.
Помимо тех настроек сайта, что были указаны выше нам необходимо открыть файл configuration.php и в поле live_site вписать абсолютный адрес с проколом https.
Public $live_site = "https://sitename.ru";
По идее после этой настройки в теге адрес сайта должен быть указан с протоколом https. Но нет, он был указан с протоколом http, от того и пошли все ошибки. Поискал решение проблемы в интернете, конкретно на форуме joomlaforum.ru и нашел решение. Необходимо было сделать некоторый хак ядра, правда уверяли, что после обновления данные изменения не затрутся. Открываем файл — /libraries/joomla/document/renderer/html/head.php и заменяем (77 строка)
$buffer .= $tab . "" . $lnEnd;
$buffer .= $tab . "" . $lnEnd;
Скажу сразу — после обновления движка изменения все же затираются и вам придется после каждого обновления вносить правки в вышеуказанный файл.
Пока я эту проблему так и не решил. Не понимаю почему так происходит — версия движка последняя.
После этих действий все пришло в норму. Также в общих настройках Joomla, включил SSL. Ее включение привело к неработоспособности сайта. Если вдруг вы выбрали опцию «Весь сайт » и сайт перестал работать, то вам необходимо открыть файл configuration.php по Ftp, найти $force_ssl и установить значение на 0.
Public $force_ssl = "0";
После этого сайт заработает.
Переход на HTTPS в WordPressВ принципе для перехода на https в WordPress никаких дополнительных действий, помимо вышеперечисленных делать не нужно. Единственное нужно поменять адрес сайта на https в общих настройках WordPress. Но эту настройку необходимо сделать только после приобретения SSL сертификата, когда ваш домен будет доступен по протоколу https, иначе в админку вы не сможете попасть.
Также, желательно сделать бэкап сайта на всякий случай. Просто дело в том, что в WordPress все адреса хранятся в базе данных в абсолютном виде. После изменения настройки сайта все адреса должны поменяться и в базе данных. Поэтому на случай, если пойдет что-то не так сделайте бэкап.
На этом и завершу. Всем спасибо за внимание. Не стесняемся, задаем вопросы в комментариях.
