Поисковые системы. Разновидности поисковых систем в интернете: разбираемся вместе

Здравствуйте, дорогие читатели! С вами Екатерина Калмыкова. Сегодняшняя статья будет посвящена такому понятию, как поисковая система, что это такое, для чего она нужна. Также мы подробно рассмотрим разновидности поисковых систем в интернете.

Если у вас возник вопрос: «Зачем мне знать про эти поисковые системы?», то я отвечу так. Когда вы едите вкусный суп в ресторане, хотелось бы вам знать, из каких ингредиентов он приготовлен, чтобы повторить его самостоятельно дома? Ведь если вас устраивает конечный результат, то есть вкус супа, то наверняка вам интересно было бы узнать, что привело к такому результату?

Также можно сказать и про работу с поисковой системой (ПС). Если вы в будущем создадите свой блог, то зная работу ПС вам не придется обращаться за помощью к специалистам. Вы сможете самостоятельно вести таким образом свой проект, чтобы поисковая система его видела и показывала другим пользователям. Ведь именно от этого будет зависеть посещаемость вашего ресурса и соответственно заработок.

Итак, приступим.

Что такое поисковая система?

Поисковая система — это специальный ресурс в Интернете, который выдает информацию пользователю в соответствии с его запросом. То есть этот ресурс собирает все данные в глобальной сети, все веб-проекты и при поступлении от пользователя определенного запроса выдает необходимую искомую информацию путем направления его, например, на тематический блог или сайт.

Таким образом, после создания своего проекта ваша задача будет попасть в выдачу, то есть в «список» или базу поисковой системы. Поскольку продвижение сайта в интернете просто не возможно без использования какой-либо поисковой системы, поэтому вам необходимо будет позаботиться о качестве своего ресурса, о внутренней и внешней его оптимизации. Как это сделать мы поговорим в следующих статьях. Так что , чтобы не пропустить.

А пока, если вы решили создать свой блог, то рекомендую прочитать вот эти статьи:

Поскольку новые веб-ресурсы появляются практически каждый день, то соответственно и база поисковых систем должна постоянно обновляться. Каждый вновь созданный сайт должен проиндексироваться роботом. Говоря простыми словами, помощники ПС – роботы должны познакомиться с новым ресурсом и передать эти данные самой поисковой системе.

Ну, тут вы, наверное, догадались, что при посещения вашего блога роботом ему все должно понравиться. От этого гостя и будет зависеть ваша дальнейшая судьба.

Как сделать, чтобы робот от вашего проекта остался в полном восторге я расскажу в одной из следующих статей. Не пропустите, будет интересная и весьма любопытная информация, которой я с вами поделюсь.

Работа поисковых систем

Вся работа, связанная с ПС, начинается с ввода искомого запроса в поисковой строке. Что могут искать пользователи? Да что угодно, начиная от рецепта пирожков с капустой и заканчивая извечным вопросом «как заработать денег побольше ничего не делая».

Чтобы именно ваш ресурс выходил в качестве ответа на вопрос, необходимо опережать своих конкурентов. Для этого и нужно обратить особое внимание на продвижение своего проекта, куда входят такие мероприятия как написание качественного оптимизированного контента, то есть отвечающего на запросы статьи, улучшение поведенческого фактора, то есть чтобы вашему читателю было интересно находится на ресурсе, это улучшение юзабилити, то есть удобство посетителя и многие другие факторы. Это мы все научимся с вами делать.

Компоненты поисковых систем

А что же помогает поисковикам, например, тому же Гугл индексировать ваш ресурс?

1. Агенты — это работники, выполняющий основную часть работу — индексируют и анализируют сайты.
2. Пауки (spider) – программа, которая может скачивать страницы веб-ресурса и собирать общую информацию о нем.
3. Кроулеры (crawler) – программа, отыскивающая все ссылки на страницах, переходя по которым разыскивает новые данные не знакомые поисковикам.
4. Индексатор (indexer) – анализирует текст, заголовки, стиль и др.
5. Роботы - индексируют страницы вашего контента, а также изучают разнообразные ссылки.

Для того чтобы индексация происходила так, как нужно вам вы и создаете специальный документ «robots.txt». Он позволяет системе проверять только те страницы, которые вам нужно, и убирать то, что видеть не следует.

Виды поисковых систем

Существуют несколько вариантов информационно — поисковых систем:

• Каталоги. Простое сравнение поиска – это книжная полка в библиотеке. Там все хранится в подкатегориях и категориях определенной тематики. Если вы попали в такой поисковик, то поверьте, информация, которую вы там найдете, будет более чем полезна и понятна для вашего восприятия. Догадались о каком распространенном сайте идет речь? Конечно же о википедии, которая собрала в себе целый справочник полезной информации.
• Поисковые указатели. Поиск в данных осуществляется за счет ключевых фраз. Это и удобно и неудобно одновременно. Думаю, меня поймут те люди, которые ищут, например, «Девушка показывает класс», чтобы найти как девушка показывает большой палец вверх, а в поиске вылезает что-то не очень приличное. 🙂 Такой вид поиска характеризирует большую часть поисковых систем.
• Рейтинговые системы. Определяют вашу популярность за счет количества посещений. Конечно, не самый лучший критерий, так как не всегда учитывается полезность и качественность самого ресурса. Пример такой системы – это интернет ресурс alexa.com.

Поисковые сервера подразделяются также на общие и специализированные . Общие поисковики сортируют информационные данные без всякого отбора по всем известным им веб-ресурсам. К ним относятся Яндекс, Рамблер, Гугл. Специализированные — осуществляют сортировку по используемому языку.

Также поисковые системы могут делиться на региональное и мировое распространение .

На сегодняшний день все поисковики постоянно совершенствуют свои алгоритмы по отбору качественных, релевантных ресурсов.

Немного истории

В Рунете ПС появились в 1996 года – это Апорт и Рамблер. Годом позже в 1997 году образовался Яндекс, а еще годом позже в 1998 году появился еще один конкурент – Google. В настоящий момент наиболее популярные – это Яндекс и Google.

Какие же поисковики сейчас наиболее популярны?

Приведем статистику:

Как вы видите, сейчас в России наибольшей популярностью пользуется Яндекс, наряду с Гугл и Мэйл.

Таким образом, вы можете увидеть топ поисков, на которые вам следует ориентироваться при создании и продвижении своего проекта.

Поисковая система Яндекс (Yandex)

Принцип работы следующий: в поисковую строку вводите искомый запрос, нажимаете «Найти» и смотрите выдачу. Яндекс подобрал вам 13 млн. ответов на ваш запрос. Искать можно также в картинках, видео, маркете (смотрим левую колонку).

Дополнительно вы можете настроить регион для поиска. Для этого необходимо в строке поиска нажать на значок рядом с крестиком и в окне фильтра выбрать нужный регион.

Поисковая система Гугл (Google)

Гугл работает по аналогии с Яндекс. Искать информацию можно в разных разделах: картинки, видео, новости, карты и т.д.

Если вы нажмете на «Инструменты поиска», то откроется панель с настройками, где вы можете выбрать регион, язык и за какое время осуществить поиск информации.

Теперь вы знаете, какие системы поиска существуют в интернете, также вы увидели самые популярные из них, и теперь, вооруженные информацией вы можете налаживать свои связи и взаимодействие с поисковиками.

На сегодня все. Как Вам статья?

Всем пока.

Советую на обновление блога, чтобы не пропустить выход свежих новостей.

Екатерина Калмыкова

Поисковая система включает в себя такие компоненты:

Spider (“паук”) – эта программа скачивает веб-страницы точно так же, как и пользовательский браузер. Но! Браузер показывает всю информацию, которая имеется на странице (графическую, текстовую и т.д.), тогда как паук не обладает никакими визуальными компонентами и работает сразу с html-текстом.

Indexer (индексатор) – индексатор занимается разбором страницы на составляющие, затем анализирует их. Он выделяет и анализирует разные компоненты страницы: текст, заголовки, стилевые и структурные особенности, html-тэги и прочее.

Search Engine Results Engine – это система выдачи результатов. В ее задачи входит решение того, насколько возможные страницы удовлетворяют запрос пользователя, а также, в каком порядке отсортировать результаты поиска. Этот процесс осуществляется согласно алгоритму ранжирования поисковой системы. Такая информация наиболее ценна для оптимизатора, именно с этим компонентом следует взаимодействовать при попытке повысить позиции сайта в выдаче результатов поиска.

Crawler – этот компонент выделяет все ссылки, имеющиеся на странице. В его задачу входит определение последующего пути. Вычисление этого пути основывается на ссылках или исходя из заданного заранее ряда адресов. Crawler следует по найденным ссылкам и так осуществляет поиск новых документов, которые еще неизвестны поисковой системе.

Database – это база данных, в ней хранятся все данные, которые скачивает и анализирует поисковая система. Базу данных могут называть и индексом поисковой системы.

Web server – на сервере обычно присутствует html-страница с полем ввода, где пользователи могут задать интересующий их поисковый термин. Веб-сервер тоже отвечает за результаты, выдаваемые пользователю, в виде html-страницы.

Индексация сайта означает, что поисковый робот посетил ваш сайт, проанализировал его и занес информацию в базу данных поисковой системы. Прежде чем сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой.

Если некоторая страница занесена в индекс поисковика , то она может быть показана в результатах поиска. Если страница в индексе отсутствует, то поисковая система ничего не знает о ней, и, следовательно, никак не может использовать информацию с этой страницы. Большинство сайтов среднего размера (то есть содержащих несколько десятков или сотен страниц) обычно не испытывают никаких проблем с правильной индексацией поисковыми системами. Однако, существует ряд моментов, которые стоит учитывать при работе над сайтом.

Поисковая система может узнать о вновь созданном сайте двумя путями :

Ручное добавление адреса сайта через соответствующую форму поисковой системы. В этом случае вы сами сообщаете поисковой системе о новом сайте и его адрес попадает в очередь на индексацию. Добавлять следует лишь главную страницу сайта, остальные будут найдены поисковым роботом по ссылкам;

Предоставить поисковому роботу самостоятельно найти ваш сайт. Если на ваш новый ресурс есть хотя бы одна внешняя ссылка с других ресурсов, уже проиндексированных поисковой системой, то поисковый робот в короткие сроки сам посетит и проиндексирует ваш сайт. В большинстве случаев рекомендуется использовать именно этот вариант, то есть получить несколько внешних ссылок на сайт и просто дождаться прихода робота. Ручное добавление сайта может даже удлинить время ожидания робота.
Время необходимое для индексации сайта составляет, как правило, от 2-3 дней до 2 недель, в зависимости от поисковой системы. Быстрее всех индексирует сайты поисковая система Google.

Базы данных поисковых систем постоянно обновляются, записи в базе могут подвергаться изменениям, исчезать и появляться снова, поэтому число проиндексированных страниц вашего сайта может периодически меняться.
Одной из наиболее частых причин исчезновения страницы из индекса является недоступность сервера, то есть поисковый робот при попытке индексации сайта не смог получить доступ к нему. После восстановления работоспособности сервера сайт должен появиться в индексе снова через некоторое время.

8. Релевантность сайта поисковому запросу. внутренние факторы ранжирования.

Релевантность (лат.relevo- поднимать,облегчать) – степень соответствия найденной информации по отношению к запросу в поисковой системе.

Содержательная релевантность: поисковые системы для оценки релевантности найденных документов в базовом варианте используют TF-IDF-метод. Суть его в том, что релевантность документа будет выше, в том случае, если слово или словосочетание из запроса как можно чаще встречается в документе (параметр TF) и при этом, как можно реже это же слово или словосочетание встречается в базе данных поисковой систем (параметр IDF).

Формальная релевантность: соответствие, определяемое путем сравнения образа поискового запроса с поисковым образом документа по определенному алгоритму.

На релевантность сайта влияют следующие факторы:

Наличие ключевых слов или фраз в теге title, мета-описание;

Наличие ключевых слов в заголовках и подзаголовках, теги h1...h6 ;

Наличие ключей в атрибуте alt.

Количество и качество входящих ссылок;

Плотность ключевых слов в основном тексте на странице;

Популярность и релевантность ссылающихся сайтов.

– это факторы, которые относятся к структуре сайтов и находятся под контролем веб-мастера, не зависят от таких внешних условий, как изменение алгоритма поисковых систем или введение ими новых правил индексации. Формируются с созданием сайта и оказывают непосредственное влияние на позиции страниц в поисковых выдачах и вес ключевых слов.

Текстовое оформление web-страниц (контент)

Структура сайта - настройки

Преднамеренный обман поисковиков

Внутренние факторы ранжирования сайтов Факторы, влияющие на положение сайта в выдаче поисковых запросов, можно разделить на внутренние (текст, оформление, мета-теги и проч.) и внешние (ссылочная популярность).

Внутренние факторы ранжирования целиком и полностью подконтрольны владельцу сайта. От того насколько умело ими воспользовался веб-мастер, во многом зависит поисковая релевантность сайта и, как следствие, приток посетителей с поисковых систем

Текстовое оформление: Текста на странице должно быть в меру. Оптимальным вариантом считается 500-1000 слов. Ключевые фразы должны встречаться в тексте несколько раз - примерно 3-4 раза. Плотность ключевых слов должна быть в пределах 3-4%. При меньшем проценте снижается вероятность попадания в Топ10, при большем - повышается вероятность попасть в "бан" поисковика. Ключевые слова и фразы по возможности должны располагаться как можно ближе к началу html-страницы. Обязательно ключевая фраза (или хотя бы слово) должна присутствовать в теле тега TITLE. В тексте ссылок старайтесь использовать ключевые слова и фразы. Желательно использовать ключевые слова в тегах изображений ALT. Не помешает прописать ключевые фразы и слова в мета-тегах DESCRIPTION, KEYWORDS.

Структура сайта: число страниц сайта - чем больше, тем лучше. Необходимо постоянно обновлять контент сайта, добавлять новые страницы. Использовать в навигационных меню ключевые слова. Если сайт относится к англоязычной аудитории, использовать ключевые слова в названии html-файла. При небольшом количестве страниц желательно их размещать в корневом каталоге. Одна страница - одна ключевая фраза. Не стоит оптимизировать одну страницу сразу под несколько ключевых фраз. Главная страница должна быть оптимизирована под основную ключевую фразу.

Ошибки оптимизации: не желательно использовать в дизайне сайта графический заголовок. Верхушка сайта - самое ценное место для того, чтобы размещать ключевые фразы и слова. Поисковые машины "не понимают" графику. По той же причине не желательно использовать графическое меню, скрипты в навигации по сайту. Поисковые машины не индексируют скрипты, не использовать редиректы. Использование скрытого текста позволяет наполнить страницу нужными ключевыми словами без нарушения логики и дизайна страницы. Такой текст невидим для посетителей, однако прекрасно читается поисковыми роботами. Использование таких «серых» методов оптимизации может привести к бану сайта - то есть принудительному исключению сайта из индекса поисковой системы. Однопиксельные ссылки - графические изображения‐ссылки размером 1*1 пиксель (то есть фактически невидимых посетителю) также воспринимается поисковыми системами как попытка обмана и может привести к бану сайта.

Из пяти отдельных программных компонент состоят поисковые системы, а именно:

• Паук (spider ): его задача - скачивать WEB страницы; программа, которая подобна WEB браузеру.
• Crawler : паук, которого называют «путешествующим»; он автоматически переходит по всем ссылкам, которые были найдены на странице.
• Индексатор (indexer ): программа, которую называют «слепой»; ее задача анализировать WEB страницы, которые были скачены пауками.
• База данных (database ): она является хранилищем страниц, которые были сначала скачены, а потом подвергнуты обработке.
• Система выдачи результатов (search engine results engine ): данная система помогает извлекать результаты поиска из базы данных.

Подробнее о каждом из компоненте поисковых систем

Паук : Spider - его задача проста - скачивать WEB страницы. Принцип его работы ничуть не отличается от вашего браузера, в том случае, если вы просто соединяетесь с сайтом и начинаете загружать страницу. Визуализация у Паука отсутствует. Похожую ситуацию (скачивание) можно увидеть, когда вы начинаете просматривать какую-то страницу и выбираете в вашем WEB браузере «просмотреть HTML код».

Crawler : Подобно Пауку он тоже скачивает страницы, также в его функциях есть «раздевание» страницы и нахождение всех ссылок. Это и является его задачей - определить, куда же Паук должен двигаться дальше, он основывается только на ссылках или при помощи заранее заданного списка адресов.

Индексатор : Indexer помогает разобрать страницу на разные ее части и проанализировать их. Вычленяются и анализируются заголовки, элементы любых заголовков страниц, текст, ссылки, элементы BOLD, ITALIC, структурные элементы, а также другие стилевые части страницы.

База данных : Database является хранилищем любых данных, которые поисковая система собирается скачать и проанализировать. В большинстве случаев для этого требуются огромные ресурсы.

Система выдачи результатов : Search Engine Results Engine является сердцем поисковой системы. Именно данная система будет решать, какие же страницы будут удовлетворять каждому запросу обычного пользователя. При помощи данной части поисковой системы и осуществляется поиск.

В случае если пользователь ввел ключевое слово и начал поиск, поисковая система начинает отбирать результаты, опираясь на постоянно меняющиеся критерии. Метод, по которому поисковая система принимает любые свои решения, называется алгоритмом. «Algos» - данный термин иногда используют профессиональные - это и есть то, о чем мы разговариваем.

Критерии поиска при формировании выдачи поисковыми системами

Даже из-за того, что поисковые системы очень изменились, большинство из них в наше время отбирает результаты поиска, опираясь на данные критерии:

• Заголовок (Title): Есть ли в заголовке ключевое слово?
• Домен/адрес (Domain/URL): Есть ли в адресе страницы или в имени домена ключевое слово?
• Стиль (Style): Заголовки HEAD, Курсивный (I или EM), Жирный (B или STRONG): есть ли на странице место, где ключевое слово используют в курсивных, жирных, или Hx (H1, H2, …) текстовых заголовках?
• Плотность (Density): Насколько часто ключевое слово употребляется на странице? Плотность ключевого слова - количество ключевых слов относительно текста страницы.
• Мета данные (MetaInformation): Хоть и многие отрицают, но некоторые поисковые системы в наши дни все еще читают мета описания (meta description) и мета ключевые слова (meta keywords).
• Ссылки наружу (Outbound Links): Куда ведут ссылки на странице, и имеется ли в тексте ссылки ключевое слово?
• Внешние ссылки (Inbound Links): У кого еще в Интернете имеется ссылка на этот сайт? Что в тексте ссылки? Автор страницы не в каждом случае может контролировать этот критерий, поэтому он называется «внестраничным».
• Ссылки внутри страницы (Insite Links): Содержит ли страница ссылки на еще какие-нибудь страницы этого сайта?

В результате видим, что, поисковая система должна уметь и делать многие уточняющие запросы, используя при этом скаченную страницу целиком.

Данная статья является лишь сокращенным описанием функционирования поисковых систем.

Всем привет. Прежде чем начинать продвигать сайт в поисковых системах необходимо понять принципы работы этих самых систем. Вернемся к основам и узнаем каким же образом работает поисковая система.

Принцип работы поисковых систем

Любая поисковая система состоит из следующих компонентов:

Spider (паук)-программа которая скачивает все веб-страницы сайта. В чем-то она похожа на обыкновенный браузер, только работает она напрямую с html-кодом страницы. Ее основная задача найти как можно больше информации на сайте, которая в дальнейшем будет обрабатываться другими алгоритмами поисковой системы.

Crawler (краулер)-программа, которая проходит по всем ссылкам, которые она находит на странице. Она определяет, куда дальше должен идти паук, и находит новые документы, которые еще не известны поисковой системе. В том случае, если есть , то он проходит по всем ссылкам найденным в ней, определяя какие именно страницы нужно проиндексировать.

Indexer (индексатор)-разбивает страницу скачанную пауком на составляющие, анализирует их и заносит в базу данных. Все это называется одним словом «индексация». Существует несколько способов для того, чтобы ускорить .

Database (база данных)-место где хранятся скачанные и обработанные страницы.

Web server (веб-сервер)-сервер, осуществляющий взаимодействие между пользователем и всеми остальными компонентами поисковой системы. Ее Вы видите каждый раз, когда заходите на страницу поиска.

Search engine results engine (система выдачи)-это самая главная часть любой поисковой системы, её ядро, определяющее принцип ее работы. Каждый вопрос, который пользователь задает поисковой системе, она анализирует, и, после этого, находит в индексе документ, который полностью на этот вопрос отвечает.

Основные принципы построения выдачи поисковых систем

Для того, чтобы решить какой документ больше всего подходит для ответа на запрос пользователя система выдачи анализирует:

• Заголовок страницы. Заголовок страницы это текст, расположенный в теге