Проблемы поиска в сети интернет. Проблемы поиска информации: история и технологии. Индекс - это хранилище данных, в котором сосредоточены копии всех посещенных роботами страниц

Думаю, что меня не закидают помидорами, прочитав название статьи. Согласитесь, что без информации мы сейчас и дня прожить не можем. Только для того, чтобы информацией обладать, ее нужно сначала найти. Разве существуют правила поиска информации в Интернете ? — спросите вы.

Предлагаю вспомнить себя новичком в Интернете или оглянуться на своих знакомых, которых у каждого из нас найдется предостаточно. Тех, кто использует Интернет в очень ограниченном количестве. А происходит это зачастую только из-за того, что человек не знает, как правильно составлять поисковые запросы, чтобы найти нужную ему информацию. В результате — сидение на одних и тех же сайтах и ресурсах, не понимая, что под ногами, то есть под руками есть огромный и неизведанный мир.

Как происходит поиск информации в Интернете?

Для начала, давайте определимся, кто для нас находит нужную нам информацию? Главные труженики — это поисковые системы и каталоги. Как верно замечено в справочнике Яндекса, умение искать — это искусство. Вести поиск эффективно при всей простоте интернета, могут далеко не все.

Находят для русского пользователя информацию различные поисковые системы, такие как Google, Yandex, Ramble, Mail, Yahoo… Общих правил поиска у них нет, так что нам предоставляется полная свобода действий. Я предпочитаю использовать Google, так как он имеет лучший в мире алгоритм ранжирования запросов. Для сравнения результатов всегда обращаюсь к Yandex. Если вы будете использовать эти два поисковика, то увидите, что результаты поиска в обоих случаях при одинаковом запросе будут отличаться друг от друга.

Поисковые системы ищут для нас информацию, учитывая следующие критерии:

• Ключевое слово содержится в заголовке
• Наличие ключевого слова в адресе домена или в названии страницы
• Ключевое слово выделено жирным шрифтом
• Плотность ключевого слова
• Ссылки на странице и название ключевого слова в тексте ссылки

То есть, поисковой системе нужно проделать огромную работу, чтобы выдать нам результат. Поэтому первое, что мы должны научиться делать, правильно оформлять поисковые запросы, прежде чем их ввести в поисковую строку.

Правила поиска информации в Интернете

1. Сформулируйте несколько запросов по вашему вопросу. Учитывайте при этом, что если вам надо найти реферат о слоне, то по слову слон вы найдете слонов и всего того, что может и не может относиться к слову слон. Это могут быть книги со словом слон в заголовке, это могут быть сайты, статьи, анекдоты, сказки, вообщем все то, к вашему настоящему запросу не имеет никакого отношения. Поэтому пишем коротко и ясно: рефераты о слонах. Для увеличения нажмите на картинку.

Яндекс нам выдал 2 млн ответов, Гугл оценил, что нам будут полезны 335000 страниц. Как видите, придется попотеть, чтобы найти то, что нам действительно нужно.

2. Сузим область поиска. Для этого заключим в кавычки наш запрос, и он будет выглядеть так: «рефераты о слонах». Посмотрим, что получится:

О чудо! Искать придется теперь гораздо меньше! Теперь мы уверены, что на этих страницах, которые нам выдали поисковики, будет информация, связанная с рефератами о слонах.

3. Не забываем о том, что писать поисковый запрос нужно грамотно. От этого также зависит качество выданной нам информации.

4. Поисковый запрос пишем только маленьким буквами. Если мы используем в запросе большие буквы, то не сможем увидеть ответы, где данное слово пишется с маленькой буквы. Используйте заглавные буквы только в именах собственных.

5. Активно используем поиск в картинках. Обычно, картинки имеют подписи при загрузке, в которых могут прописаны именно ваши ключевые слова.

6. С помощью знаков + и — можно указать какие слова мы хотим или не хотим видеть. Например, при запросе «зеленый чай» можно отметить знаком (-) слово пакетированный. В этом случае, можете рассчитывать на то, что информацию о зеленом чае в пакетиках вы не увидите.

7. Знак | сможет дать понять поисковым системам, что вы хотите найти «или-или». Если вы спросите «как написать реферат|оформить реферат», то в ответах у вас будут и как написать реферат и как его оформить.

8. Знаком! мы указываем, что хотим знать точную информацию по конкретному слову. Например, при поиске запроса!слон, мы увидим точное соответствие данному слову без словоформ. То есть, в поиске не будут отображены различные формы слова «слон» — слоны, слонов, слонами, о слонах и т.д.

9. Принимайте во внимание, что через какое-то время поиск может выдать вам совершенно другую информацию. Поэтому найденную информацию, если она вам действительно важна, лучше всего сохранять в избранном или в закладках браузера. Используйте систему хранения информации в своем браузере с помощью папок, их можно создавать прямо на панели, нажав правой кнопкой мыши и выбрав «добавить папку». Я предпочитаю сохранять с метками в Evernote, можете прочитать о моем любимом помощнике в статье

10. Используйте функции расширенного поиска поисковых систем, если вам нужны уточнения по датам, географии, языку, формату файла.

11. Не пренебрегайте поиском на 2-й и последующих страницах. Часто бывает, что свежая и новая информация еще не успела попасть в ТОП 10, поэтому ее придется поискать. Иногда, свои ответы я нахожу на пятой, или даже десятой странице.

12. Если вам постоянно нужна информация по конкретной сфере деятельности, используйте для сбора информации социальные сети, сообщества, группы, форумы, каталоги. Рассылка Subcribe может предложить вам большое количество специализированных, тематических групп, которые будут постоянно присылать вам новую информацию. Самое нужно вы также можете сохранять в закладках или в Evernote.

Если эта статья для вас оказалась полезной и интересной, поделитесь ею с друзьями, нажав на кнопку любой социальной сети.

ПРОФЕССИОНАЛЬНЫЙ ПОИСК ИНФОРМАЦИИ В СЕТИ ИНТЕРНЕТ

Интернет-поиск – важный элемент работы в Сети. Точное количество веб-ресурсов современного интернета вряд ли кому-либо точно известно. В любом случае, счет идет на миллиарды. Для того чтобы можно было использовать информацию, необходимую в данный конкретный момент, не важно, в рабочих или развлекательных целях, сначала нужно ее найти в этом постоянно пополняемом океане ресурсов.

Для того чтобы интернет-поиск был успешным, должны быть выполнены два условия: запросы должны быть хорошо сформулированы и задавать их нужно в подходящих местах. Другими словами, от пользователя требуется, с одной стороны, умение переводить свои поисковые интересы на язык поискового запроса, а с другой – хорошее знание поисковых систем, доступных инструментов поиска, их достоинств и недостатков, что позволит выбирать в каждом конкретном случае наиболее подходящие средства поиска.

В настоящее время не существует какого-либо одного ресурса, удовлетворяющего всем требованиям к интернет-поиску. Поэтому при серьезном подходе к поиску неизбежно приходится задействовать разные инструменты, используя каждый в наиболее подходящем случае.

Основные средства интернет-поиска можно разделить на следующие основные группы:

Поисковые машины;

Веб-каталоги;

Справочные ресурсы;

Локальные программы для поиска в интернете.

Наиболее популярным средством поиска являются поисковые машины – так называемые интернет-поисковики (Search Engines). Тройка лидеров в общемировом масштабе достаточно стабильна – это Google, Yahoo! и Bing. Во многих странах к этому перечню добавляются собственные локальные поисковики, оптимизированные для работы с местным контентом. С их помощью теоретически можно найти любое конкретное слово на страницах многих миллионов сайтов. С точки зрения пользователя основной недостаток поисковиков – это неизбежное наличие информационного шума в результатах. Так принято называть попавшие по тем или иным причинам в список выдачи результаты, не соответствующие запросу.

Несмотря на многие различия, все интернет-поисковики работают по схожим принципам и с технической точки зрения состоят из похожих подсистем. Первая структурная часть поисковика – специальные программы, применяемые для автоматического поиска и последующего индексирования веб-страниц. Такие программы обычно называют пауками, или ботами. Они просматривают код веб-страниц, находят расположенные на них ссылки и тем самым обнаруживают новые веб-страницы. Есть и альтернативный способ включения сайта в индекс. Многие поисковики предлагают владельцам ресурсов возможность самостоятельно добавить сайт в свою базу. Как бы то ни было, затем веб-страницы скачиваются, анализируются и индексируются. В них выделяются структурные элементы, находятся ключевые слова, определяются их связи с остальными сайтами и веб-страницами. Производятся и другие операции, результатом выполнения которых становится формирование индексной базы поисковика. Эта база – второй главный элемент любого поисковика. Сейчас не существует какой-либо одной абсолютно полной индексной базы, которая содержала бы сведения обо всем контенте интернета. Поскольку разные поисковики используют разные программы поиска веб-страниц и строят свой индекс с помощью разных алгоритмов, индексные базы поисковиков могут существенно различаться. Некоторые сайты оказываются проиндексированными несколькими поисковиками, однако всегда остается определенный процент ресурсов, включенных в базу только какого-либо одного поисковика. Наличие у каждого поисковика такой оригинальной и непересекающейся части индекса позволяет сделать важное практическое заключение: если вы пользуетесь только одним поисковиком, пусть даже самым крупным, вы обязательно потеряете некоторый процент полезных ссылок.

Следующая часть интернет-поисковика – собственно программы поиска и сортировки результатов. Эти программы решают две основные задачи: сначала находят в базе страницы и файлы, соответствующие поступившему запросу, а затем сортируют полученный массив данных в соответствии с различными критериями. От эффективности их работы во многом зависит успех в достижении целей поиска.

Последний элемент интернет-поисковика – пользовательский интерфейс. Кроме обычных для любых сайтов требований к эстетике и удобству, к интерфейсам поисковиков предъявляется еще одно важное требование: они должны предлагать различные инструменты составления и уточнения запросов, а также сортировки и фильтрации результатов. Преимущества поисковых машин – великолепный охват источников, сравнительно быстрое обновление содержимого базы и хороший выбор дополнительных функций.

Главный инструмент работы с поисковиками – это запрос.

Для интернет-поиска используются также специальные приложения, устанавливаемые на локальном компьютере. Это могут быть как простые программы, так и довольно сложные комплексы поиска и анализа данных. Наиболее распространены поисковые плагины для браузеров, панели для браузеров, предназначенные для работы с каким-либо конкретным поисковым сервисом, и метапоисковые пакеты с возможностями анализа результатов.

Веб-каталоги – это ресурсы, в которых сайты распределяются по тематическим категориям. Если с поисковиками пользователь работает только посредством запросов, то в каталоге есть возможность просматривать тематические разделы целиком. Второе принципиальное отличие каталогов от автоматических поисковиков – это то, что в их наполнении, как правило, непосредственно участвуют люди, которые просматривают ресурсы и относят сайт к той либо иной категории. Веб-каталоги принято делить на универсальные и тематические. Универсальные стараются охватить максимум тем. В них можно найти все, что угодно: от сайтов о поэзии до компьютерных ресурсов. Другими словами, широта поиска у них максимальная. Тематические же каталоги специализируются на определенной тематике, обеспечивая за счет сокращения широты охвата ресурсов максимальную глубину поиска.

Преимущества каталогов – сравнительно высокое качество ресурсов, поскольку каждый сайт в нем просматривается и отбирается человеком. Тематическая группировка сайтов позволяет удобно располагать сайты близкой тематики. Такой режим работы хорош для обнаружения новых для вас сайтов по интересующей теме – он точнее применения поисковой машины. Веб-каталоги рекомендуется использовать для первого знакомства с какой-либо предметной областью, а также поиска по нечетким запросам – у вас будет возможность «побродить» по разделам каталога и точнее определиться с тем, что именно вам требуется.

Недостатки веб-каталогов известны. В первую очередь, это медленное пополнение базы, поскольку включение сайта в каталог предполагает участие человека. В отношении оперативности веб-каталог – не соперник поисковикам. Кроме того, веб-каталоги существенно уступают поисковикам по размерам баз.

Говоря о интернет-поиске, нельзя обойти вниманием ряд терминов, которые тесно связаны с этой сферой и часто используются для описания и оценки поисковиков. Например: широта и глубина интернет-поиска. Широким называют поиск, который захватывает как можно большее количество источников информации. При этом достаточным считается хотя бы упоминание о том или ином подходящем запросу сайте. Глубина поиска относится к подробности индексирования и последующего поиска каждого конкретного ресурса. Например, многие поисковики по-разному подходят к индексированию разных сайтов. Крупные и популярные сайты индексируются в максимальном объеме, роботы стараются не упустить ни одной страницы такого ресурса. В то же время на других сайтах может быть проиндексирована только заглавная страница и пара страниц содержания. Эти обстоятельства, естественно, сказываются и на последующем поиске. Глубокий поиск работает по принципу «лучше включить в результаты лишнюю информацию, чем упустить какие-либо относящиеся к теме поиска данные».

Достаточно часто можно встретить такие понятия, как глобальный и локальный интернет-поиск. При локальном интернет-поиске учитывается географическое местоположение пользователя и предпочтение отдается результатам, так или иначе связанным с конкретной страной или местностью. При глобальном поиске эта информация не учитывается, и поиск ведется во всех доступных ресурсах.

При составлении запроса на интернет-поисковиках действуют различные режимы поиска. К типовым режимам поиска, которые встречаются на большинстве интернет-машин, можно отнести простой и расширенный поиск. Простой поиск позволяет в одном запросе указать только один поисковый признак. Расширенный поиск дает возможность составить запрос из нескольких условий, связав их логическими операторами.

Для уточнения поисковых запросов используются различные фильтры . Фильтрами называют те или иные вспомогательные средства составления запроса, которые не относятся к содержательной стороне условий запроса, а ограничивают результаты поиска каким-либо формальным признаком. Так, например, применяя при поиске фильтр типа файла, пользователь не сообщает системе сведений, относящихся к теме своего запроса, а просто ограничивает полученные результаты определенным типом файлов, указанным в условии своего запроса.

Для большинства пользователей универсальные поисковики являются основным, а зачастую и единственным средством интернет-поиска. Они предлагают хороший охват источников, а также набор инструментов, достаточный для решения основных поисковых задач.

Рынок универсальных поисковиков достаточно велик. Мы постарались проанализировать наиболее известные поисковые системы, а результаты представили в виде таблицы 1.

При выборе универсального поисковика важную роль играет качество находимых с его помощью ресурсов. Определить предпочтительный для конкретных задач поисковик можно «методом маркера». Суть его состоит в том, что вначале составляется некий тематический поисковый запрос, после чего опрашивается группа людей – экспертов в данной области на предмет выявления лучших, по их мнению, интернет-ресурсов по избранной теме. На основе данных опроса формируется список сайтов-маркеров, гарантированно релевантных запросу и содержащих качественную информацию. Затем запрос отправляется на тестируемые поисковики. Логика оценки проста: чем выше в результатах поиска будут расположены сайты-маркеры, тем лучше конкретный ресурс подходит для поиска информации по тестовой теме.

c Вячеслав Тихонов , Ноябрь 2000 atomzone.hypermart.net

1. Введение

2. Поисковые системы

2.1. Как работают механизмы поиска 2.2. Сравнительный обзор поисковых систем

3. Поисковые роботы

3.1. Использование поисковых роботов

3.1.1. Статистический анализ 3.1.2. Обслуживание гипертекстов 3.1.3. Зазеркаливание 3.1.4. Исследование ресурсов 3.1.5. Комбинированное использование

3.2. Повышение затрат и потенциальные опасности при использовании поисковых роботов

3.2.1.Сетевой ресурс и загрузка сервера 3.2.2.Обновление документов

3.3. Роботы / агенты клиента

3.3.1.Плохие программные реализации роботов

4.1. Определение роботом, какую информацию включать / исключать 4.2. Формат файла /robots.txt. 4.3. Записи (records) файла /robots.txt 4.4. Расширенные комментарии формата. 4.5. Определение порядка перемещения по Сети 4.6. Подведение итоговых данных

5. Заключение

1. Введение

Основные протоколы, используемые в Интернет (в дальнейшем также Сеть), не обеспечены достаточными встроенными функциями поиска, не говоря уже о миллионах серверах, находящихся в ней. Протокол HTTP, используемый в Интернет, хорош лишь в отношении навигации, которая рассматривается только как средство просмотра страниц, но не их поиска. То же самое относится и к протоколу FTP, который даже более примитивен, чем HTTP. Из-за быстрого роста информации, доступной в Сети, навигационные методы просмотра быстро достигают предела их функциональных возможностей, не говоря уже о пределе их эффективности. Не указывая конкретных цифр, можно сказать, что нужную информацию уже не представляется возможным получить сразу, так как в Сети сейчас находятся миллиарды документов и все они в распоряжении пользователей Интернет, к тому же сегодня их количество возрастает согласно экспоненциальной зависимости. Количество изменений, которым эта информация подвергнута, огромно и, самое главное, они произошли за очень короткий период времени. Основная проблема заключается в том, что единой полной функциональной системы обновления и занесения подобного объема информации, одновременно доступного всем пользователям Интернет во всем мире, никогда не было. Для того, чтобы структурировать информацию, накопленную в сети Интернет, и обеспечить ее пользователей удобными средствами поиска необходимых им данных, были созданы поисковые системы.

2. Поисковые системы

Поисковые cистемы обычно состоят из трех компонент:

агент (паук или кроулер), который перемещается по Сети и собирает информацию;

база данных, которая содержит всю информацию, собираемую пауками;

поисковый механизм, который люди используют как интерфейс для взаимодействия с базой данных.

2.1 Как работают механизмы поиска

Cредства поиска и структурирования, иногда называемые поисковыми механизмами, используются для того, чтобы помочь людям найти информацию, в которой они нуждаются. Cредства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как cобирать документы. Некоторые следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее. Некоторые игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации; другие игнорируют cсылки к ресурсам типа баз данных WAIS; другие проинструктирова-ны, что нужно просматривать прежде всего наиболее популярные страницы.

Агенты - самые "интеллектуальные" из поисковых средств. Они могут делать больше, чем просто искать: они могут выполнять даже транзакции от Вашего имени. Уже сейчас они могут искать cайты специфической тематики и возвращать списки cайтов, отсортированных по их посещаемости. Агенты могут обрабатывать содержание документов, находить и индексировать другие виды ресурсов, не только страницы. Они могут также быть запрограммированы для извлечения информации из уже существующих баз данных. Независимо от информации, которую агенты индексируют, они передают ее обратно базе данных поискового механизма.

Общий поиск информации в Сети осуществляют программы, известные как пауки. Пауки сообщают о содержании найденного документа, индексируют его и извлекают итоговую информацию. Также они просматривают заголовки, некоторые ссылки и посылают проиндексированную информацию базе данных поискового механизма.

Кроулеры просматривают заголовки и возращают только первую ссылку.

Роботы могут быть запрограммированы так, чтобы переходить по различным cсылкам различной глубины вложенности, выполнять индексацию и даже проверять ссылки в документе. Из-за их природы они могут застревать в циклах, поэтому, проходя по ссылкам, им нужны значительные ресурсы Сети. Однако, имеются методы, предназначенные для того, чтобы запретить роботам поиск по сайтам, владельцы которых не желают, чтобы они были проиндексированы.

Агенты извлекают и индексируют различные виды информации. Некоторые, например, индексируют каждое отдельное слово во встречающемся документе, в то время как другие индексируют только наиболее важных 100 слов в каждом, индексируют размер документа и число слов в нем, название, заголовки и подзаголовки и так далее. Вид построенного индекса определяет, какой поиск может быть сделан поисковым механизмом и как полученная информация будет интерпретирована.

Агенты могут также перемещаться по Интернет и находить информацию, после чего помещать ее в базу данных поискового механизма. Администраторы поисковых систем могут определить, какие сайты или типы сайтов агенты должны посетить и проиндексировать. Проиндексированная информация отсылается базе данных поискового механизма так же, как было описано выше.

Люди могут помещать информацию прямо в индекс, заполняя особую форму для того раздела, в который они хотели бы поместить свою информацию. Эти данные передаются базе данных.

Когда кто-либо хочет найти информацию, доступную в Интернет, он посещает страницу поисковой системы и заполняет форму, детализирующую информацию, которая ему необходима. Здесь могут использоваться ключевые слова, даты и другие критерии. Критерии в форме поиска должны соответствовать критериям, используемым агентами при индексации информации, которую они нашли при перемещении по Сети.

База данных отыскивает предмет запроса, основанный на информации, указанной в заполненной форме, и выводит соответствующие документы, подготовленные базой данных. Чтобы определить порядок, в котором список документов будет показан, база данных применяет алгоритм ранжирования. В идеальном случае, документы, наиболее релевантные пользовательскому запросу будут помещены первыми в списке. Различные поисковые системы используют различные алгоритмы ранжирования, однако основные принципы определения релевантности следующие:

Количество слов запроса в текстовом содержимом документа (т.е. в html-коде).

Тэги, в которых эти слова располагаются.

Местоположение искомых слов в документе.

Удельный вес слов, относительно которых определяется релевантность, в общем количестве слов документа.

Эти принципы применяются всеми поисковыми системами. А представленные ниже используются некоторыми, но достаточно известными (вроде AltaVista, HotBot).

Время - как долго страница находится в базе поискового сервера. Поначалу кажется, что это довольно бессмысленный принцип. Но, если задуматься, как много существует в Интернете сайтов, которые живут максимум месяц! Если же сайт существует довольно долго, это означает, что владелец весьма опытен в данной теме и пользователю больше подойдет сайт, который пару лет вещает миру о правилах поведения за столом, чем тот, который появился неделю назад с этой же темой.

Индекс цитируемости - как много ссылок на данную страницу ведет с других страниц, зарегистрированных в базе поисковика.

База данных выводит ранжированный подобным образом список документов с HTML и возвращает его человеку, сделавшему запрос. Различные поисковые механизмы также выбирают различные способы показа полученного списка - некоторые показывают только ссылки; другие выводят cсылки c первыми несколькими предложениями, содержащимися в документе или заголовок документа вместе с ccылкой.

2.2 Сравнительный обзор поисковых систем

Lycos . В Lycos используется следующий механизм индексации:

слова в title заголовке имеют высший приоритет;

слова в начале страницы;

Как и большинство систем, Lycos дает возможность применять простой запрос и более изощренный метод поиска. В простом запросе в качестве поискового критерия вводится предложение на естественном языке, после чего Lycos производит нормализацию запроса, удаляя из него так называемые stop-слова, и только после этого приступает к его выполнению. Почти сразу выдается информация о количестве документов на каждое слово, а позже и список ссылок на формально релевантные документы. В списке против каждого документа указывается его мера близости запросу, количество слов из запроса, попавших в документ, и оценочная мера близости, которая может быть больше или меньше формально вычисленной. Пока нельзя вводить логические операторы в строке вместе с терминами, но использовать логику через систему меню Lycos позволяет. Такая возможность применяется для построения расширенной формы запроса, предназначенной для искушенных пользователей, уже научившихся работать с этим механизмом. Таким образом, видно, что Lycos относится к системе с языком запросов типа "Like this", но намечается его расширение и на другие способы организации поисковых предписаний.

AltaVista . Индексирование в этой системе осуществляется при помощи робота. При этом робот имеет следующие приоритеты:

ключевые фразы, находящиеся в начале странички;

ключевые фразы по количеству вхожденийприсутствия словфраз;

Если тэгов на странице нет, использует первые 30 слов, которые индексирует и показывает вместо описания (tag description)

Наиболее интересная возможность AltaVista - это расширенный поиск. Здесь стоит сразу оговориться, что, в отличие от многих других систем AltaVista поддерживает одноместный оператор NOT. Кроме этого, имеется еще и оператор NEAR, который реализует возможность контекстного поиска, когда термины должны располагаться рядом в тексте документа. AltaVista разрешает поиск по ключевым фразам, при этом она имеет довольно большой фразеологический словарь. Кроме всего прочего, при поиске в AltaVista можно задать имя поля, где должно встретиться слово: гипертекстовая ссылка, applet, название образа, заголовок и ряд других полей. К сожалению, подробно процедура ранжирования в документации по системе не описана, но видно, что ранжирование применяется как при простом поиске, так и при расширенном запросе. Реально эту систему можно отнести к системе с расширенным булевым поиском.

Yahoo . Данная система появилась в Сети одной из первых, и сегодня Yahoo сотрудничает со многими производителями средств информационного поиска, а на различных ее серверах используется различное программное обеспечение. Язык Yahoo достаточно прост: все слова следует вводить через пробел, они соединяются связкой AND либо OR. При выдаче не указывается степень соответствия документа запросу, а только подчеркиваются слова из запроса, которые встретились в документе. При этом не производится нормализация лексики и не проводится анализ на "общие" слова. Хорошие результаты поиска получаются только тогда, когда пользователь знает, что в базе данных Yahoo информация есть наверняка. Ранжирование производится по числу терминов запроса в документе. Yahoo относится к классу простых традиционных систем с ограниченными возможностями поиска.

OpenText . Информационная система OpenText представляет собой самый коммерциализированный информационный продукт в Сети. Все описания больше похожи на рекламу, чем на информативное руководство по работе. Система позволяет провести поиск с использованием логических коннекторов, однако размер запроса ограничен тремя терминами или фразами. В данном случае речь идет о расширенном поиске. При выдаче результатов сообщается степень соответствия документа запросу и размер документа. Система позволяет также улучшить результаты поиска в стиле традиционного булевого поиска. OpenText можно было бы отнести к разряду традиционных информационно-поисковых систем, если бы не механизм ранжирования.

Infoseek . В этой системе индекс создает робот, но он индексирует не весь сайт, а только указанную страницу. При этом робот имеет такие приоритеты:

слова в заголовке title имеют наивысший приоритет;

слова в теге keywords, description и частота вхожденийповторений в самом тексте;

при повторении одинаковых слов рядом выбрасывает из индекса

Допускает до 1024 символов для тега keywords, 200 символов для тэга description;

Если тэги не использовались, индексирует первые 200 слов на странице и использует как описание;

Система Infoseek обладает довольно развитым информационно-поисковым языком, позволяющим не просто указывать, какие термины должны встречаться в документах, но и своеобразно взвешивать их. Достигается это при помощи специальных знаков "+" - термин обязан быть в документе, и "-" - термин должен отсутствовать в документе. Кроме этого, Infoseek позволяет проводить то, что называется контекстным поиском. Это значит, что используя специальную форму запроса, можно потребовать последовательной совместной встречаемости слов. Также можно указать, что некоторые слова должны совместно встречаться не только в одном документе, а даже в отдельном параграфе или заголовке. Имеется возможность указания ключевых фраз, представляющих собой единое целое, вплоть до порядка слов. Ранжирование при выдаче осуществляется по числу терминов запроса в документе, по числу фраз запроса за вычетом общих слов. Все эти факторы используются как вложенные процедуры. Подводя краткое резюме, можно сказать, что Infoseek относится к традиционным системам с элементом взвешивания терминов при поиске.

WAIS . WAIS является одной из наиболее изощренных поисковых систем Internet. В ней не реализованы лишь поиск по нечетким множествам и вероятностный поиск. В отличие от многих поисковых машин, система позволяет строить не только вложенные булевые запросы, считать формальную релевантность по различным мерам близости, взвешивать термины запроса и документа, но и осуществлять коррекцию запроса по релевантности. Система также позволяет использовать усечения терминов, разбиение документов на поля и ведение распределенных индексов. Не случайно именно эта система была выбрана в качестве основной поисковой машины для реализации энциклопедии "Британика" на Internet.

3. Поисковые роботы

За последние годы Всемирная паутина стала настолько популярной, что сейчас Интернет является одним из основных средств публикации информации. Когда размер Сети вырос из нескольких серверов и небольшого числа документов до огромных пределов, стало ясно, что ручная навигация по значительной части структуры гипертекстовых ссылок больше не представляется возможной, не говоря уже об эффективном методе исследования ресурсов.

Эта проблема побудила исследователей Интернет на проведение экспериментов с автоматизированной навигацией по Сети, названной "роботами". Веб-робот - это программа, которая перемещается по гипертекстовой структуре Сети, запрашивает документ и рекурсивно возвращает все документы, на которые данный документ ссылается. Эти программы также иногда называют "пауками", " странниками", или " червями" и эти названия, возможно, более привлекательны, однако, могут ввести в заблуждение, поскольку термин "паук" и "странник" cоздает ложное представление, что робот сам перемещается, а термин "червь" мог бы подразумевать, что робот еще и размножается подобно интернетовскому вирусу-червю. В действительности, роботы реализованы как простая программная система, которая запрашивает информацию из удаленных участков Интернет, используя стандартные cетевые протоколы.

3.1 Использование поисковых роботов

Роботы могут использоваться для выполнения множества полезных задач, таких как статистический анализ, обслуживание гипертекстов, исследования ресурсов или зазеркаливания страниц. Рассмотрим эти задачи подробнее.

3.1.1 Статистический Анализ

Первый робот был создан для того, чтобы обнаружить и посчитать количество веб-серверов в Сети. Другие статистические вычисления могут включать среднее число документов, приходящихся на один сервер в Сети, пропорции определенных типов файлов на сервере, средний размер страницы, степень связанности ссылок и т.д.

3.1.2 Обслуживание гипертекстов

Одной из главных трудностей в поддержании гипертекстовой структуры является то, что ссылки на другие страницы могут становиться " мертвыми ссылками" в случае, когда страница переносится на другой сервер или cовсем удаляется. На сегодняшний день не существует общего механизма, который смог бы уведомить обслуживающий персонал сервера, на котором содержится документ с сылками на подобную страницу, о том, что она изменилась или вобще удалена. Некоторые серверы, например, CERN HTTPD, будут регистрировать неудачные запросы, вызванные мертвыми ссылками наряду с рекомендацией относительно страницы, где обнаружена мертвая cсылка, предусматривая что данная проблема будет решаться вручную. Это не очень практично, и в действительности авторы документов обнаруживают, что их документы содержат мертвые ссылки лишь тогда, когда их извещают непосредственно, или, что бывает очень редко, когда пользователь cам уведомляет их по электронной почте.

Робот типа MOMSPIDER, который проверяет ссылки, может помочь автору документа в обнаружении подобных мертвых ссылок, и также может помогать в обслуживании гипертекстовой структуры. Также роботы могут помочь в поддержании содержания и самой структуры, проверяя соответствующий HTML-документ, его соответствие принятым правилам, регулярные модернизации, и т.д., но это обычно не используется. Возможно, данные функциональные возможности должны были бы быть встроены при написании окружающей среды HTML-документа, поскольку эти проверки могут повторяться в тех случаях, когда документ изменяется, и любые проблемы при этом могут быть решены немедленно.

3.1.3 Зазеркаливание

Зазеркаливание - популярный механизм поддержания FTP архивов. Зеркало рекурсивно копирует полное дерево каталогов по FTP, и затем регулярно перезапрашивает те документы, которые изменились. Это позволяет распределить загрузку между несколькими серверами, успешно справиться с отказами сервера и обеспечить более быстрый и более дешевый локальный доступ, так же как и автономный доступ к архивам. В Сети Интернет зазеркаливание может быть осуществлено с помощью робота, однако на время написания этой статьи никаких сложных средств для этого не существовало. Конечно, существует несколько роботов, которые восстанавливают поддерево страниц и сохраняют его на локальном сервере, но они не имеют средств для обновления именно тех страниц, которые изменились. Вторая проблема - это уникальность страниц, которая состоит в том, что ссылки в скопированных страницах должны быть перезаписаны там, где они ссылаются на страницы, которые также были зазеркалены и могут нуждаться в обновлении. Они должны быть измененены на копии, а там, где относительные ссылки указывают на страницы, которые не были зазеркалены, они должны быть расширены до абсолютных ссылок. Потребность в механизмах зазеркаливания по причинам показателей производительности намного уменьшается применением сложных кэширующих серверов, которые предлагают выборочную модернизацию, что может гарантировать, что кэшированный документ не обновился, и в значительной степени самообслуживается. Однако, ожидается, что cредства зазеркаливания в будущем будут развиваться должным образом.

3.1.4 Исследование ресурсов

Возможно, наиболее захватывающее применение роботов - использование их при исследовании ресурсов. Там, где люди не могут справиться с огромным количеством информации, довольно возможность переложить всю работу на компьютер выглядит довольно привлекательно. Существует несколько роботов, которые собирают информацию в большей части Интернет и передают полученные результаты базе данных. Это означает, что пользователь, который ранее полагался исключительно на ручную навигацию в Сети, теперь может объединить поиск с просмотром страниц для нахождения нужной ему информации. Даже если база данных не содержит именно того, что ему нужно, велика вероятность того, что в результате этого поиска будет найдено немало ссылок на страницы, которые, в свою очередь, могут ссылаться на предмет его поиска.

Второе преимущество состоит в том, что эти базы данных могут автоматически обновляться за определенный период времени так, чтобы мертвые ссылки в базе данных были обнаружены и удалены, в отличие от обслуживания документов вручную, когда проверка часто является спонтанной и не полной. Использование роботов для исследования ресурсов будет обсуждаться ниже.

3.1.5 Комбинированное использование

Простой робот может выполнять более чем одну из вышеупомянутых задач. Например робот RBSE Spider выполняет статистический анализ запрошенных документов и обеспечивает ведение базы данных ресурсов. Однако, подобное комбинированное использование встречается, к сожалению, весьма редко.

3.2 Повышение затрат и потенциальные опасности при использовании поисковых роботов

Использование роботов может дорого обойтись, особенно в случае, когда они используются удаленно в Интернете. В этом разделе мы увидим, что роботы могут быть опасны, так как они предъявляют слишком высокие требования к Сети.

Роботы требуют значительной пропускной способности канала сервера. Во-первых роботы работают непрерывно в течение длительных периодов времени, часто даже в течение месяцев. Чтобы ускорить операции, многие роботы делают параллельные запросы страниц с сервера, ведущие в последствии к повышенному использованию пропускной способности канала сервера. Даже удаленные части Сети могут чувствовать сетевую нагрузку на ресурс, если робот делает большое количество запросов за короткий промежуток времени. Это может привести к временной нехватке пропускной способности сервера для других пользователей, особенно на серверах с низкой пропускной способностью, поскольку Интернет не имеет никаких cредств для балансирования нагрузки в зависимости от используемого протокола.

Традиционно Интернет воспринимался как "свободный", поскольку индивидуальные пользователи не должны были платить за его использование. Однако теперь это поставлено под сомнение, так как особенно корпоративные пользователи платят за издержки, связанные с использованием Сети. Компания может чувствовать, что ее услуги (потенциальным) клиентам стоят оплаченных денег, а страницы, автоматически переданные роботам - нет.

Помимо предъявления требований к Сети, робот также предъявляет дополнительные требования к самому серверу. В зависимости от частоты, с которой он запрашивает документы с сервера, это может привести к значительной загрузке всего сервера и снижению скорости доступа других пользователей, обращающихся к серверу. К тому же, если главный компьютер используется также для других целей, это может быть вообще неприемлемо. В качестве эксперимента автор управлял моделированием 20 параллельных запросов от своего сервера, функционирующего как Plexus сервер на Sun 4/330. Несколько минут машину, замедленную использованием паука, вообще невозможно было использовать. Этот эффект можно почувствовать даже последовательно запрашивая страницы.

Все это показывает, что нужно избегать ситуаций с одновременным запросом страниц. К сожалению, даже современные браузеры (например, Netscape) создают эту проблему, параллельно запрашивая изображения, находящиеся в документе. Сетевой протокол HTTP оказался неэффективным для подобных передач и как средство борьбы с подобными эффектами сейчас разрабатываются новые протоколы.

3.2.2 Обновление документов

Как уже было упомянуто, базы данных, создаваемые роботами, могут автоматически обновляться. К сожалению, до сих пор не имеется никаких эффективных механизмов контроля за изменениями, происходящими в Сети. Более того, нет даже простого запроса, который мог бы определить, которая из cсылок была удалена, перемещена или изменена. Протокол HTTP обеспечивает механизм "If-Modified-Since", посредством которого агент пользователя может определить время модификации кэшированного документа одновременно с запросом самого документа. Если документ был изменен, тогда сервер передаст только его содержимое, так как этот документ уже был прокэширован.

Это средство может использоваться роботом только в том случае, если он сохраняет отношения между итоговыми данными, которые извлекаются из документа: это сама ссылка и отметка о времени, когда документ запрашивался. Это ведет к возникновению дополнительных требований к размеру и сложности базы данных и широко не применяется.

3.3 Роботы / агенты клиента

Загрузка Сети является особой проблемой, связанной с применением категории роботов, которые используются конечными пользователями и реализованы как часть веб-клиента общего назначения (например, Fish Search и tkWWW робот). Одной из особенностей, которая является обычной для этих роботов, является способность передавать обнаруженную информацию поисковым системам при перемещении по Сети. Это преподносится как усовершенствование методов исследования ресурсов, так как запросы к нескольким удаленным базам данных осуществляются автоматически. Однако, по мнению автора, это неприемлемо по двум причинам. Во-первых, операция поиска приводит к большей загрузке сервера, чем даже простой запрос документа, поэтому обычному пользователю могут быть причинены значительные неудобства при работе на нескольких серверах с большими издержками, чем обычно. Во-вторых, ошибочно предполагать, что одни и те же ключевые слова при поиске одинаково релевантны, синтаксически правильны, не говоря уже об оптимальности для различных баз данных, и диапазон баз данных полностью скрыт от пользователя. Например, запрос " Форд и гараж " мог бы быть послан базе данных, хранящей литературу 17-ого столетия, базе данных, которая не поддерживает булевские операторы или базе данных, которая определяет, что запросы относительно автомобилей должны начаться со слова "автомобиль: ". И пользователь даже не знает это.

Другой опасный аспект использования клиентского робота заключается в том, что как только он был распространен по Сети, никакие ошибки уже не могут быть исправлены, не могут быть добавлены никакие знания проблемных областей и никакие новые эффективные свойства не могут его улучшить, как не каждый пользователь впоследствии будет модернизировать этого робота самой последней версией.

Наиболее опасный аспект, однако - большое количество возможных пользователей роботов. Некоторые люди, вероятно, будут использовать такое устройство здраво, то есть ограничиваться некоторым максимумом ссылок в известной области Сети и в течение короткого периода времени, но найдутся и люди, которые злоупотребят им из-за невежества или высокомерия. По мнению автора, удаленные роботы не должны передаваться конечным пользователям, и к счастью, до сих пор удавалось убедить по крайней мере некоторых авторов роботов не распространять их открыто.

Даже не учитывая потенциальную опасность клиентских роботов, возникает этический вопрос: где использование роботов может быть полезно всему Интернет-сообществу для объединения всех доступных данных, а где они не могут быть применены, поскольку принесут пользу только одному пользователю.

"Интеллектуальные агенты" и " цифровые помощники", предназначенные для использования конечным пользователем, который ищет информацию в Интернет, являются в настоящее время популярной темой исследований в компьютерной науке, и часто рассматриваются как будущее Сети. В то же время это действительно может иметь место, и уже очевидно, что автоматизация неоценима для исследований ресурсов, хотя требуется проводить еще больше исследований для того, чтобы их сделать их использование эффективным. Простые управляемые пользователем роботы очень далеки от интеллектуальных сетевых агентов: агент должен иметь некоторое представление о том, где найти определенную информацию (то есть какие услуги использовать) вместо того, чтобы искать ее вслепую. Рассмотрим ситуацию, когда человек ищет книжный магазин; он использует "Желтые страницы" для области, в которой он проживает, находит список магазинов, выбирает из них один или несколько, и посещает их. Клиентский робот шел бы во все магазины в области, спрашивая о книгах. В Сети, как и в реальной жизни, это неэффективно в малом масштабе, и совсем должно быть запрещено в больших масштабах.

3.3.1 Плохие программные реализации роботов

Нагрузка на сеть и серверы иногда увеличивается плохой программной реализацией особенно недавно написанных роботов. Даже если протокол и ссылки, посланные роботом, правильны, и робот правильно обрабатывает возвращенный протокол (включая другие особенности вроде переназначения), имеется несколько менее очевидных проблем.

Автор наблюдал, как несколько похожих роботов управляют вызовом его сервера. В то время, как в некоторых случаях негативные последствия были вызваны людьми, использующими свой сайт для испытаний (вместо локального сервера), в остальных случаях стало очевидно, что они были вызваны плохим написанием самого робота. При этом могут произойти повторные запросы страниц в том случае, если нет никаких записей об уже запрошенных ссылках (что является непростительным), или когда робот не распознает, когда несколько ссылок синтаксически эквивалентны, например, где различаются DNS псевдонимы для одного и того же адреса IP, или где ссылки не могут быть обработаны роботом, например " foo/bar/ baz.html " является эквивалентным "foo/baz.html".

Некоторые роботы иногда запрашивают документы типа GIF и PS, которые они не могут обработать и поэтому игнорируют.

Другая опасность состоит в том, что некоторые области Сети являются почти бесконечными. Например, рассмотрим сценарий, который возвращает страницу со ссылкой на один уровень, расположенный ниже. Он начнет, например, с " /cgi-bin/pit / ", и продолжит с " /cgi-bin/pit/a / ", " /cgi-bin/pit/a/a / ", и т.д. Поскольку такие cсылки могут заманить в робота в ловушку, их часто называют "черными дырами".

4. Проблемы при каталогизации информации

Бесспорен тот факт, что базы данных, наполняемые роботами, популярны. Автор непосредственно регулярно использует такие базы данных для нахождения нужных ему ресурсов. Однако, имеется несколько проблем, которые ограничивают применение роботов для исследования ресурсов в Сети. Одна из них заключается в том, что здесь находится слишком много документов, и все они постоянно динамически изменяются.

Одной из мер эффективности подхода к поиску информации является "отзыв" (recall), содержащий информацию о всех релевантных документах, которые были найдены. Брайен Пинкертон утверждает, что отзыв в индексирующих системах Интернет является вполне приемлемым подходом, так как обнаружение достаточно релевантных документов не проблема. Однако, если сравнивать все множенство информации, доступной в Интернет, с информацией в базе данных, созданной роботом, то отзыв не может быть слишком точным, поскольку количество информации огромно и она очень часто изменяется. Так что практически база данных может не содержать специфического ресурса, который доступен в Интернет в данный момент, и таких документов будет множество, поскольку Сеть непрерывно растет.

4.1. Определение роботом, какую информацию включать / исключать

Робот не может автоматически определить, была ли данная страница в Сети включена в его индекс. К тому же веб-сервера в Интернет могут содержать документы, которые являются релевантными только для локального контекста, документы, которые существуют временно, и т.д. На практике роботы сохраняют почти всю информацию о том, где они побывали. Заметьте, что, даже если робот смог определить, должна ли указанная страница быть исключена из его базы данных, он уже понес накладные расходы на запрос самого файла, а робот, который решает игнорировать большой процент документов, очень расточителен. Пытаясь исправить эту ситуацию, Интернет-сообщество приняло " Стандарт исключений для роботов". Этот стандарт описывает использование простого структурированного текстового файла, доступного в известном месте на сервере ("/robots.txt") и используемого для того, чтобы определить, какая из частей их ссылок должна игнорироваться роботами. Это средство может быть также использовано для того, чтобы предупредить роботов о черных дырах. Каждому типу роботов можно передавать определенные команды, если известно, что данный робот специализируется в конкретной области. Этот стандарт является свободным, но его очень просто осуществить и в нем имеется значительное давление на роботов с попыткой их подчинения.

4.2. Формат файла /robots.txt.

Файл /robots.txt предназначен для указания всем поисковым роботам индексировать информационные сервера так, как определено в этом файле, т.е. только те директории и файлы сервера, которые НЕ описаны в /robots.txt. Это файл должен содержать 0 или более записей, которые связаны с тем или иным роботом (что определяется значением поля agent_id), и указывают для каждого робота или для всех сразу что именно им НЕ НАДО индексировать. Тот, кто пишет файл /robots.txt, должен указать подстроку Product Token поля User-Agent, которую каждый робот выдает на HTTP-запрос индексируемого сервера. Например, нынешний робот Lycos на такой запрос выдает в качестве поля User-Agent:

Lycos_Spider_(Rex)/1.0 libwww/3.1

Если робот Lycos не нашел своего описания в /robots.txt - он поступает так, как считает нужным. При создании файла /robots.txt следует учитывать еще один фактор - размер файла. Поскольку описывается каждый файл, который не следует индексировать, да еще для многих типов роботов отдельно, при большом количестве не подлежащих индексированию файлов размер /robots.txt становится слишком большим. В этом случае следует применять один или несколько следующих способов сокращения размера /robots.txt:

указывать директорию, которую не следует индексировать, и, соответственно, не подлежащие индексированию файлы располагать именно в ней

создавать структуру сервера с учетом упрощения описания исключений в /robots.txt

указывать один способ индексирования для всех agent_id

указывать маски для директорий и файлов

4.3. Записи (records) файла /robots.txt

Общее описание формата записи.

[ # comment string NL ]*

User-Agent: [ [ WS ]+ agent_id ]+ [ [ WS ]* # comment string ]? NL

[ # comment string NL ]*

# comment string NL

Disallow: [ [ WS ]+ path_root ]* [ [ WS ]* # comment string ]? NL

Параметры

Описание параметров, применяемых в записях /robots.txt

[...]+ Квадратные скобки со следующим за ними знаком + означают, что в качестве параметров должны быть указаны один или несколько терминов. Например, после "User-Agent:" через пробел могут быть указаны один или несколько agent_id.

[...]* Квадратные скобки со следующим за ними знаком * означают, что в качестве параметров могут быть указаны ноль или несколько терминов. Например, Вы можете писать или не писать комментарии.

[...]? Квадратные скобки со следующим за ними знаком? означают, что в качестве параметров могут быть указаны ноль или один термин. Например, после "User-Agent: agent_id" может быть написан комментарий.

..|.. означает или то, что до черты, или то, что после.

WS один из символов - пробел (011) или табуляция (040)

NL один из символов - конец строки (015) , возврат каретки (012) или оба этих символа (Enter)

User-Agent: ключевое слово (заглавные и прописные буквы роли не играют). Параметрами являются agent_id поисковых роботов.

Disallow: ключевое слово (заглавные и прописные буквы роли не играют). Параметрами являются полные пути к неиндексируемым файлам или директориям.

# начало строки комментариев, comment string - собственно тело комментария.

agent_id любое количество символов, не включающих WS и NL, которые определяют agent_id различных поисковых роботов. Знак * определяет всех роботов сразу.

path_root любое количество символов, не включающих WS и NL, которые определяют файлы и директории, не подлежащие индексации.

4.4. Расширенные комментарии формата.

Каждая запись начинается со строки User-Agent, в которой описывается каким или какому поисковому роботу эта запись предназначается. Следующая строка: Disallow. Здесь описываются не подлежащие индексации пути и файлы. КАЖДАЯ запись ДОЛЖНА иметь как минимум эти две строки (lines). Все остальные строки являются опциями. Запись может содержать любое количество строк комментариев. Каждая строка комментария должна начинаться с символа # . Строки комментариев могут быть помещены в конец строк User-Agent и Disallow. Символ # в конце этих строк иногда добавляется для того, чтобы указать поисковому роботу, что длинная строка agent_id или path_root закончена. Если в строке User-Agent указано несколько agent_id, то условие path_root в строке Disallow будет выполнено для всех одинаково. Ограничений на длину строк User-Agent и Disallow нет. Если поисковый робот не обнаружил в файле /robots.txt своего agent_id, то он игнорирует /robots.txt.

Если не учитывать специфику работы каждого поискового робота, можно указать исключения для всех роботов сразу. Это достигается заданием строки

Если поисковый робот обнаружит в файле /robots.txt несколько записей с удовлетворяющим его значением agent_id, то робот волен выбирать любую из них.

Каждый поисковый робот будет определять абсолютный URL для чтения с сервера с использованием записей /robots.txt. Заглавные и строчные символы в path_root ИМЕЮТ значение.

Пример 1:

User-Agent: Lycos

Disallow: /cgi-bin/ /tmp/

В примере 1 файл /robots.txt содержит две записи. Первая относится ко всем поисковым роботам и запрещает индексировать все файлы. Вторая относится к поисковому роботу Lycos и при индексировании им сервера запрещает директории /cgi-bin/ и /tmp/, а остальные - разрешает. Таким образом сервер будет проиндексирован только системой Lycos.

4.5. Определение порядка перемещения по Сети

Определение того, как перемещаться по Сети является относительной проблемой. Учитывая, что большинство серверов организовано иерархически, при первом перемещении вширь по ссылкам от вершины на ограниченной глубине вложенности ссылок, более вероятно быстрее найти набор документов с более высоким уровнем релевантности и услуг, чем при перемещении в глубину вложенности ссылок, и поэтому этот метод намного предпочтительнее для исследования ресурсов. Также при перемещении по ссылкам первого уровня вложенности более вероятно найти домашние страницы пользователей с ссылками к другим, потенциально новым, серверам, и поэтому при этом существует большая вероятность найти новые сайты.

4.6. Подведение итоговых данных

Проиндексировать произвольный документ, находящийся в Сети, очень сложно. Первые роботы просто сохраняли название документа и якори (anchor) в самом тексте, но новейшие роботы уже используют более продвинутые механизмы и вообще рассматривают полное содержание документа.

Эти методы являются хорошими общими мерами и могут автоматически применяться для всех страниц, но, к сожалению, не могут быть столь же эффективны, как индексация страницы самим ее автором. Язык HTML обеспечивает автора документа средством для того, чтобы присоединить к нему общую информацию. Это средство заключается в определении элемента, например " . Однако, здесь не определяется никакая семантика для специфических значений атрибутов данного HTML-тэга, что серьезно ограничивает его применение, а поэтому и его полноценность. Это ведет к низкой "точности" относительно общего количества запрошенных документов, которые являются релевантными для конкретного запроса. Включение особенностей типа применения булевских операторов, нахождение весов слов, как это делается в WAIS или обратной связи для релевантности, могут улучшить точность документов, но учитывая, что информация, находящаяся в данный момент в Интернет, чрезвычайно разнообразна, эта проблема продолжает быть серьезной и наиболее эффективные пути ее решения пока не найдены.

5. Заключение

Данная работа, естественно, не претендует ни на полноту, ни на точность изложения. Большая часть материала была взята из иностранных источников, в частности, основой послужили обзоры Мартина Костера (Martijn Koster). Поэтому я не исключаю возможности, что данный документ содержит какие-либо неточности, связанные как с переводом, так и с феноменально быстрым развитием информационных технологий. Однако, я все же надеюсь, что данная статья окажется полезной всем, кого интересует Всемирная Сеть Интернет, ее развитие и будущее. В любом случае я буду рад получить отклики о моей работе по E-Mail: [email protected]

6. Список использованной литературы

Павел Храмцов "Поиск и навигация в Internet". http://www.osp.ru/cw/1996/20/31.htm

How Intranet Search Tools and Spiders Work http://linux.manas.kg/books/how_intranets_work/ch32.htm

Martijn Koster "Robots in the Web: threat or treat?" http://info.webcrawler.com/mak/projects/robots/threat-or-treat.html

Обучение Интернет-профессиям. Search engine Expert. http://searchengine.narod.ru/archiv/se_2_250500.htm

Андрей Аликберов "Несколько слов о том, как работают роботы поисковых машин". http://www.citforum.ru/internet/search/art_1.shtml

Введение

Сегодня большинство людей привыкли начинать свой день не с горячей чашки кофе, свежей газеты и бутерброда с маслом, а с включения компьютера с доступом в Интернет. Всемирная паутина заменила нам выпуск новостей по телевидению, исключила необходимость покупать диски с фильмами и музыкой, а в некоторых случаях желание пользоваться телефоном и даже ходить на работу.

Всемирная электронная паутина так прочно вошла в нашу жизнь, что многие просто не представляют себе без нее жизнь. Едва оказавшись в доступном для интернета месте, они первым делом заходят на любимые сайты, узнают новости, «общаются» с друзьями, комментируют, просматривают, скачивают. Конечно, информация имеет для человека огромное значение, она формирует личность, но бывает, что она, же и разрушает ее.

Все чаще и чаще стало произноситься такое словосочетание, как «Интернет - зависимость» и в последнее время, данная тема стала одной из

самых популярных тем для публикаций и разговоров. Что это значит и какая

группа людей подвержена этому?

Что такое интернет-зависимость, как она появилась, как определить её у себя и как не поддаться этой зависимости? Вот вопросы, которые я поставила перед собой и решила выяснить, на сколько я и мои сверстники зависимы от Интернет.

Тема моего проекта « Интернет – зависимость»

Актуальность выбранной темы заключается в том, что в наше время компьютер все настойчивее вторгается во все области нашей жизни. Все большее количество детей подвергаются риску компьютерной зависимости. Я решила посмотреть на эту проблему внутри нашей школы.

П редметом исследования является Интернет-зависимость моих сверстников, определение ее наличия и степени распространения.

Цель работы : исследование проблемы Интернет - зависимости, степени распространенности и особенностей этого явления.

Для достижения поставленной цели я определила для себя следующие задачи: определить наиболее часто используемые Интернет – ресурсы и выяснить наличие и степень распространения зависимости от Интернет учащихся 8-10-х классов и учителей школы.

Для реализации задач я использовала методы: опрос, тестирование, сравнительный анализ результатов, вывод результатов в виде диаграмм.

В данной работе я попытаюсь ответить на такие вопросы:

▪ Как учащиеся 8-10-х классов моей школы, а также мои учителя относятся к Интернет зависимости?

▪ Какие существуют способы определения зависимости от Интернета?

▪ Как не стать жертвой "паутины"?

▪ Как избавиться от Интернет – зависимости?

▪ Как влияет чрезмерное увлечение Интернетом на организм человека?

ВСЕМИРНАЯ ПАУТИНА

1.1. Интерес, порождающий манию.

Если человек не сумеет сам заметить опасность,

если не отгородит глухой стеной ту сферу своей

жизни и деятельности, где властвует техника,

от остальных сфер своей жизни и души,

он превращается в духовного калеку.

Даниил Андреев. "Роза Мира"

Интернет всё больше и больше внедряется в нашу жизнь, становится одним из доминирующих инструментов, как для персональной, так и профессиональной коммуникаций. Количество пользователей Интернета насчитывает приблизительно 400 миллионов человек по всему миру. Для России эта цифра составляет 8,8 миллионов человек. И с каждым днём количество пользователей увеличивается. Вся наша культура становится более зависимой от этой технологии, и неудивительно, что у некоторых людей возникают проблемы в связи с тем, что они слишком много времени проводят в Интернете.

И сегодня каждый день множество людей открывает для себя существование глобальных компьютерных сетей, объединяющих компьютеры во всем мире в едином информационном пространстве, имя которому – Интернет.

Интернет – это глобальная компьютерная сеть, которая связывает между собой пользователей компьютерных сетей.

Интернет постепенно становится основным средством корпоративного общения, уступая пока телефону. Когда два или более компьютеров связывают постоянным соединением для обмена данными, говорят о создании компьютерной сети.

По Интернету происходит поиск информации, рассылают пресс -релизы, устраивают конференции, выставки, интервью и т.д. Обычный, «домашний» пользователь имеет все шансы по Интернету не только заказать любой товар с доставкой на дом или узнать погоду, но и познакомиться, пообщаться.

Сегодня Интернет не охватывает только несколько стран Африки и Восточной Азии.

Сегодня Интернет вошел практически во все отрасли, дома – полностью используется как в промышленности, армии, медицине и т.д. Без интернета невозможно представить всевозможные сервисы: электронная почта, онлайн

конференции, оперативный поиск информации, общение, социальные сети,

электронные СМИ, веб - представительства фирм и корпораций. В свое время даже фантасты не могли представить как всего за несколько десятилетий перспективная сеть компьютерной связи, ныне носящая имя

Интернет, изменит наш мир и нашу культуру.

За последние 10 лет Интернет распространился в десятки, сотни и даже в тысячи раз. И согласно последним данным - сегодня каждый 3 человек на планете находится в интернете. Количество пользователей продолжает бурно увеличиваться.

Но бурное развитие технологий и лавинообразно растущий поток информации, «выливающийся» на пользователей Сети, таят в себе скрытую угрозу. Время препровождение в Сети может стать настолько притягательным, что у человека вырабатывается нездоровая привязанность или зависимость от интернета.

Это явление получило название интернет-аддикция. Для его обозначения уже появились образные русскоязычные термины: «нетоголик», «интернетоман» или «интернет-аддикт».

Истинные интернетоманы - люди, утратившие способность контролировать свое время в Сети. Оно уходит на серфинг, игры, покупки, участие в форумах и чатах, банальное блуждание по сайтам, наконец. У этой категории пользователей на Сеть в среднем затрачивается в 10 раз больше времени, чем на работу или учебу.

Интернет как новый инструмент, средство современного жизнеобеспечения снимает проблему повышения мотивации. Телекоммуникационная среда с самого начала была оккупирована подрастающим поколением и которое хорошо освоилось в этой среде. Проблемы подрастающего поколения, не замечаемые взрослыми и находившиеся в состоянии «покоя» в реальной действительности, вылились в определенные негативные явления: появление молодежной субкультуры, Интернет-аддикция, флейм и т.д. Обратите внимание, что проблемы существуют, имеют определенные названия, т.е. это проблемы не носят частный характер.

ИНТЕРНЕТ – ЗАВИСИМОСТЬ

Порой, фантазией реальность заменяя,

Мы забываем наш прекрасный мир.

Часами по сети гуляем!

Да! Интернет - у многих есть кумир.

Кто ты: ПАУК в нем или МУХА?

Определись! И ситуацией владей!

Иначе же в сети сотрется личность,

Бесследно ты исчезнешь в ней!

1. Вред и польза Интернета

В наше время Интернет ассоциируется с кладом знаний. Благодаря нему можно узнать новую информацию и даже разбогатеть. Но, несмотря на все эти плюсы, Интернет приносит не только пользу, но и вред.

С возрастанием популярности Интернета проявились и негативные аспекты его применения. Некоторые люди настолько увлекаются виртуальным пространством, что начинают предпочитать Интернет реальности, проводя за компьютером до 18 часов в день. Чем больше времени в жизни человека начинает занимать интернет, тем меньше в ней остается места другим, более нужным вещам.

Человек меньше задумывается о своих социально-бытовых проблемах, своем здоровье, не строит никаких планов на жизнь. Все это откладывается на потом, оставляя место для комфортного психологического состояния «здесь и сейчас» - в Сети.

За и против

Огромный информационный ресурс

Отвыкание от книг

Путь избавления от одиночества

Замена реальных отношений виртуальными

Поддержание дружеских отношений на расстоянии

Перенос реальных интересов в виртуальный мир, сложность общения наяву

Возможность примерить на себя

различные «роли»

«Безнаказанное» поведение снижает уровень ответственности

Возможность сэкономить деньги, найти работу в интернете

Риск стать компьютерным преступником

Лучшее усвоение языка

Создание виртуального языка

Укрепление самооценки

Упадок нравственности

И уж, конечно, все сходятся в мыслях, что интернет, если он чрез меры, если его слишком много, ничего хорошего пользователю не даст. Один только вред.

2.2. Основные типы и критерии Интернет-зависимости.

Компьютеры и информационные системы находят применение во все новых областях человеческой практики, оказывая воздействие на психические процессы и трансформируя не только отдельные действия, но и человеческую деятельность в целом. С психологической точки зрения, при взаимодействии человека с системами информатики происходит преобразование деятельности за счет опосредствования ее знаковыми системами.

Каждый человек, становясь пользователем Интернета проходит 3 стадии : навязчивого влечения, отторжения и баланса. Некоторые пользователи застревают на первой стадии. Таким образом у него начинает формироваться Интернет-зависимость.

Основными проявлениями Интернет-зависимости являются : поглощенность проблемами Интернета (постоянные размышления об Интернете); постоянно увеличивающееся время провождения в Сети, необходимое для достижения удовлетворения; безуспешные попытки контролировать или прекратить использование Интернета; возникновение плохого настроения, депрессии, беспокойства при отсутствии Возможности работать в Интернете; концентрация внимания на Интернете. Все меньше и меньше уделяется вниманию семье и друзьям, затем работе, попытки скрыть свое чрезмерное увлечение, отрицание аддикции . Интернет используется как способ ухода от проблем, для того чтобы поднять настроение. Перечисленные признаки являются лишь общими для Интернет зависимости , которая в настоящее время разделяется исследователями на несколько подтипов.

Информационная перегрузка (навязчивый web-серфинг) - бесконечные путешествия по Сети, поиск информации по базам данных и поисковым сайтам.

Интернет-коммуникативная зависимость - избыточность знакомых и друзей в Сети.

Навязчивая потребность в Сети - игра в онлайновые азартные игры.

Зависимость W eb -серфинга существует у многих, она вызвана желанием поиска новых интересных сайтов. Интернет используется как средство поиска информации, серфинг доставляет массу удовлетворения и массу информации, хотя 70 % этой информации является пустой, не несущей никакой информационной нагрузки. В месяц по подсчётам зависимые тратят не менее 350 МБ, что примерно составляет 340–620 рублей. Но это пустяки по сравнению с тем, что тратят зависимые от азартных игр в Интернете. Интернет-коммуникативная зависимость - в основном это потребность в общении. Самые популярные сервисы для общения в Интернете – это icq и irc . Они являются на данный момент самыми распространенными, поскольку являются бесплатными и используют относительно немного Интернет-трафика. Максимальную степень выраженности имеет зависимость от игр on - line . По данным психологов этой зависимости подвержены люди практически всех возрастов, начиная с 9-летнего.

Исследователи приводят различные критерии, по которым можно судить об Интернет-зависимости.

Более развернутую систему критериев приводят русские специалисты. По их мнению, можно констатировать Интернет-зависимость при наличии 3 пунктов из следующих:

Неспособность и нежелание отвлекаться от Интернета и досада и раздражение, при вынужденном отрыве.

Количество времени, проводимое в Интернете, чтобы достичь удовлетворения (иногда чувство удовольствия от общения в сети граничит с эйфорией), заметно возрастает. Неспособность спланировать время выхода из сети.

Увеличение расходов на Интернет.

Ложь или скрывание количества времени, проведенного в Интернете

Забывание о прямых обязанностях, будь то учеба, работа или домашние дела.

Пренебрежение семьей и друзьями. Потеря отношений и общения прежнего круга друзей.

Освобождение посредством Интернета от негативных настроений и депрессий. Хорошее самочувствие и появление специфической эйфории при нахождении в сети.

Пренебрежение собственным здоровьем.

Существуют так же и физические симптомы, свидетельствующие о возможном наличии Интернет-зависимости.

2.3. Причины и симптомы зависимости.

Интернет-зависимость – это исключительно современная проблема, которую нельзя оставлять без внимания. Стремительно растущая популярность социальных сетей и он-лайн игр ставит под угрозу гармоничное развитие и существование человека с самых ранних лет его жизни: сейчас компьютером умеет пользоваться каждый первоклассник!

Феномен Интернет – зависимости привлекает сейчас внимание ученых, исследователей сети, средства массовой информации. Это явление стало изучаться в зарубежной психологии с 1994 года. Интернет – зависимость определяется психологами как "навязчивое желание выйти в Интернет, находясь off-line, и неспособность выйти из Интернет, будучи on-line. Под on-line понимается общение в сети в реальном времени, off-line – общение через почтовый ящик, когда непосредственный собеседник отсутствует в данный момент времени. Исследователи отмечают, что большая часть Интернет - зависимых пользуется сервисами Интернет, связанными с общением. Другую часть «зависимых» привлекают информационные сервисы сети.

Причины Интернет – зависимости:

▪ Доступность разнообразной информации;

▪ Широкая интерактивность, постоянное общение;

▪ персональный контроль над информацией о себе, позволяющий создавать определенный «образ»;

▪ анонимность передаваемой информации;

▪ основной причиной возникновения компьютерной зависимости у детей психологи считают недостаток общения и взаимопонимания с родителями, сверстниками и значимыми людьми;

▪ игровая зависимость возникают на фоне скрытой или явной неудовлетворенности окружающим миром и невозможности самовыражения, при страхе быть непонятым.

Симптомы Интернет – зависимости:

▪ Психические признаки компьютерной зависимости: «потеря контроля» над временем, проведенным за компьютером; утрата интереса к социальной жизни и внешнему виду;

▪ Физические признаки компьютерной зависимости: ухудшение опорно-двигательного аппарата; пищеварительной системы; зрения.

В группе риска по интернет - зависимости:
- дети и подростки – 78%,
- женщины старше 45 лет – 57%,
- мужчины старше 30-35 лет – 32%.

Пути решения

Самый простой и доступный способ решения зависимости это приобретение другой зависимости. Любовь к здоровому образу жизни общение с живой природой, творческие прикладные увлечения, обращение к спорту, туризму, занятиям музыкой, художественной фотографией, как правило, выводят человека из зависимости. Прежде всего, следует привести свой образ жизни к некоему балансу. В ней должно быть что-то интересное помимо Интернета и компьютерных игр.
Главное – доказать человеку, что живое общение привлекательнее виртуального. Вырвать человека из Сети, приобщить к другим интересам – задача вполне разрешимая.

МОИ ИССЛЕДОВАНИЯ

Моё исследование было проведено среди старшеклассников и учителей моей школы. Всего в исследовании участвовали 37 человек: 25 учащихся 8,9 и 10 классов и 12 учителей, которые располагают ежедневным доступом к Интернету.

Каждым из них были заданы несколько вопросов. На каждый вопрос была создана диаграмма, где наглядно представлены все ответы .(Приложение1)

Первый вопрос был: «Зарегистрированы ли вы в каком – ни будь социальном сете»

Результат его показал что, 92% учеников и 66% учителей зарегистрированы в "Вконтакте" и в "Одноклассниках" - 18% учеников и 34% учителей.

На вопрос «Какова ваша потребность в интернете» 20% учащихся и 10% учителей ответили, что равнодушно относятся к выходу в Интернет и у 40% учащихся и 80% учителей есть ежедневная и периодическая потребность выхода в Интернет. Это потребность связано с электронным образованием. Учителям ежедневно приходиться заполнять электронные журналы и тем самым заходить в Интернет.

По результатам исследования можно сделать вывод, что 100% участвующих в анкетировании зарегистрированы в социальных сетях. Все учителя и большинство учащихся считают Интернет полезным открытием, и разумно им используется половина анкетируемых, однако вызывает волнение то, что некоторая часть сидит в Интернете по ночам, что негативно сказывается на здоровье и учебе. Будем думать, что это происходит в выходные дни.

Интернет-зависимость - психическое расстройство, навязчивое

желание подключиться к Интернету и болезненная неспособность вовремя

отключиться от Интернета.

Среди 8 – 10 классов школы, у которых есть Интернет, таких 25 человек, я с учителем информатики провели тест на Интернет – зависимость.

«ПРОВЕРЬ СЕБЯ: ЗАВИСИМ ЛИ ТЫ ОТ СЕТИ?» (Приложение2).

Тест состоит всего из пяти вопросов, за каждый ответ «да» начисляется 1 балл, за «нет» - 0 баллов. Исследование выявило наличие у некоторых учащихся признаков Интернет - зависимости, что подтверждает важность и актуальность рассмотренной темы. У них выявлена разная степень Интернет - зависимости.

Примерно 32% учеников пользуются Интернетом больше, чем полагается. Им нужно найти силы пользоваться интернетом меньше.
Зависимость пока не грозит половине учащихся, проходящих тестирование, они могут пользоваться Сетью в том же режиме. С помощью этой анкеты я узнала, что юноши более подвержены Интернет – зависимости.

Следующее мое исследование – это влияние Интернета на здоровье по мнению самим анкетированных . Я обратилась к фельдшеру нашего села за статистическими данными о состоянии здоровья (осанка, зрение) в 8 и 9 классах тех, кто принимал участие в анкетировании. Проанализировав данные, можно сделать вывод: в 8 классе у трех человек было слабое зрение, а в 9 классе зрение ухудшилось у 5 человек, причем все пользуются Интернет, правда «зависимых» среди них нет. Нарушение осанки: 8 класс один человек (имеющих компьютер), а в 9 классе их количество увеличилось до 4. Конечно, я не берусь утверждать, что это точно от увлечения компьютером, но думаю, стоит моим одноклассникам задуматься.

Заключение

Компьютеризация нашего общества в последнее время приобрела лавинообразный характер, практически невозможно найти учебное заведение, организацию без наличия в них компьютеров и компьютерных сетей. Аналогично тому, как изобретение игровых автоматов породило такую форму аддиктивного поведения, получившего название "патологическая игра", таким же образом очередной виток технического прогресса создал еще более замысловатую аддиктивную патологию - интернет-зависимость.

Основной группой риска для развития этой патологии в России являются подростки в возрасте от 13 до 17 лет. Этому способствует ряд факторов - широкое распространение домашних компьютеров, легкость подключения интернет - сети. Как правило, подростки знакомятся с компьютером в школе, у друзей или компьютерном клубе. Практически все они проходят стадию естественной увлеченности и, хотя многие из них становятся в дальнейшем обычными пользователями, определенная часть переходит в категорию интернет - зависимых. Таким образом, приходится признать тот факт, что развитие цивилизации неизменно сопровождается не только улучшением качества жизни людей, но и порождает новые проблемы, откладывание решения которых грозит значительными последствиями для психического здоровья общества.

Несомненно, возможность использования интернета очень важна для каждого современного человека. Однако всегда следует помнить о потенциальной опасности сети и понимать, что реальная жизнь проходит очень быстро, если сидеть за компьютером больше двух часов в день…

Интернет открывает нам новые возможности, но от нас зависит, как мы будем их использовать.

Сильных Интернет укрепляет, а слабых – подавляет и разрушает.

Список литературы.

Мартынова О. С. Интернет – зависимость « Психотерапия и

консультирование"

Байков В.Д.,Сафронов И. К. Уроки Интернета для школьников.

БХВ-Петербург,2003

Статьи в интернете:

1).Колчанова Л. Психологические проблемы интернет-зависимости. 2. Окружающие жаловались, что вы проводите много времени в интернете?
3. Если во время «бдения» в Сети приходит время приема пищи, то вы пропускаете его или едите прямо за компьютером?
4. Вы знаете, что нужно ложиться спать до 24.00, но несколько раз в неделю засиживаетесь в Сети за полночь?
5. Если за день не удается выйти в Сеть ни разу, вечером возникают тревога и раздражительность?
Ключ
0-1 балл. Зависимость пока вам не грозит, можно пользоваться Сетью в том же режиме.
2-3 балла. Вы в тревожной зоне. Нужно найти силы пользоваться интернетом меньше.
4-5 баллов. У вас ярко выражена зависимость. Нужна помощь.

Анализ теста

«ДА»

«НЕТ»

Переход к информационному обществу XXI века породил беспрецедентный рост объемов и концентрации информации в глобальных компьютерных сетях. Это резко обострило проблему создания информационно-поисковых систем (ИПС) и их эффективного использования.

История автоматизированных информационно-поисковых систем исчисляется полувеком. Типичная ИПС первых лет - это человеко-машинная система, где анализ и описание содержания документов (индексирование) выполняется вручную, а поиски проводятся машиной. Первоначально основу ИПС составляли информационно-поисковые языки (ИПЯ), основным элементом которых являются дескрипторные словари и тезаурусы. Сегодня, однако, большинство работающих ИПС относится к классу вербальных систем бестезаурусного типа, когда индексационные термины выбираются непосредственно из текстов документов. Лавинообразный рост объемов электронной документальной информации, ее видовое, тематическое и языковое разнообразие являются как причиной кризиса современного информационного поиска, так и стимулом его совершенствования.

Проблема поиска ресурсов в сети Интернет была осознана достаточно скоро, и в ответ появились различные системы и програм­мные инструменты для поиска, среди которых следует назвать системы Gopher, Archie, Veronica, WAIS, WHOIS и др. В последнее время на смену этим инструментам пришли «клиенты» и «серверы» всемирной паутины WWW.

Если попытаться дать классификацию ИПС сети Интернет, то можно выделить следующие основные типы:

1. ИПС вербального типа (поисковые системы – search engines)

2. Классификационные ИПС (каталоги – directories)

3. Электронные справочники («желтые» страницы и т.п.)

4. Специализированные ИПС по отдельным видам ресурсов

5. Интеллектуальные агенты.

Глобальный учет всех ресурсов Интернета обеспечивается вербальными и отчасти классификационными системами.

Классификационные ИПС реализуют навигацию в веб-пространстве на основе специальных указателей, представляющих собой тематические «деревья», строящиеся на основе классификаций.

Для решения проблемы максимального охвата ресурсов Интернета создаются системы, называемые метапоисковыми (metasearch engines).

Основным средством поиска информации в сети сегодня следует считать глобальные ИПС вербального типа , индексирующие (по крайней мере, претендующие на это) все Интернет-пространство. К числу главных поисковых систем этого типа (в первую очередь, по объему базы данных) можно отнести Google, Fast (AlltheWeb), AltaVista, HotBot, Inktomi, Teoma, WiseNut, MSN Search. Среди российских систем главными являются три: Яндекс (Yandex), Рамблер (Rambler) и Апорт! (Aport). Как правило, системы с бóльшим объемом базы дают в результате поиска и большее количество документов. Большая, как лингвистическая, так и программная проблема - многоязычие информационного пространства Интернета и многообразие форматов представления данных.

Особенность современных систем - полнотекстовый поиск. Многие вербальные ИПС сети Интернет вычисляют релевантность документов запросам путем сопоставления элементов запроса с полными текстами документов, размещенных в сети. Что касается информационно-поискового языка, то, как правило, в качестве поисковых элементов выступают обычные слова естественных языков. Запросы формулируются через специальный интерфейс, реализуемый в виде экранных форм в программах-броузерах.

В составе любой поисковой системы можно выделить три основные части.

Робот - подсистема, обеспечивающая просмотр (сканирование) Интернета и поддержание инвертированного файла (индексной базы данных) в актуальном состоянии. Этот программный комплекс является основным средством сбора информации о наличии и состоянии информационных ресурсов сети.

Поисковая база данных - так называемый индекс - специальным образом организованная база (англ. index database), включающая, прежде всего, инвертированный файл, который состоит из лексических единиц, взятых из проиндексированных веб-документов, и содержит разнообразную информацию о них (в частности, их позиции в документах), а также о самих документах и сайтах в целом.

Поисковая система - подсистема поиска, обеспечивающая обработку запроса (поискового предписания) пользователя, поиск в базе данных и выдачу результатов поиска пользователю. Поисковая система общается с пользователем через пользовательские интерфейсы - экранные формы программ-броузеров: интерфейс формирования запросов и интерфейс просмотра результатов поиска.

Важным компонентом современных ИПС являются так называемые интерфейсные веб-страницы, т.е. экранные формы, через которые пользователь общается с поисковой системой. Различают два основных типа интерфейсных страниц: страницы запросов и страницы результатов поиска.

Интерфейс выдачи (форма представления результатов) у разных систем включает такие параметры: статистика слов из запроса, количество найденных документов, количество сайтов, средства управления сортировкой документов в выдаче, краткое описание документов и др. Описание каждого документа, в свою очередь, может содержать в своем составе: заглавие документа, URL (адрес в сети), объем документа, дату создания, название кодировки, аннотацию, шрифтовое выделение в аннотации слов из запроса, указание на другие релевантные веб-страницы того же сайта, ссылка на рубрику каталога, к которой относится найденный документ или сайт, коэффициент релевантности, другие возможности поиска (поиск похожих документов, поиск в найденном).

Вопросы для самоконтроля:

1. Что собой представляют ИПС?
2. Какова классификация ИПС?
3. Что собой представляет документальная ИПС?
4. Что собой представляет фактографическая ИПС?
5. Из каких частей состоит ИПС?
6. Какие обеспечивающие подсистемы ИПС имеются?
7. Основные понятия информационного поиска.
8. Что собой представляют информационно-поисковые языки?
9. Какова классификация ИПС в Интернете?
10. Основные части любой ИПС.