Основные свойства и характеристики поисковых систем. Область применения программы

Самое простое применение поисковой системы, это поиск текстовых файлов на собственном компьютере. Нечто вроде дополнения к файловому менеджеру. Вещь очень нужная и полезная. Вы вводите слова, содержащиеся в тексте документа, вам выдается список файлов. Такие системы, пригодны для поиска в массиве из нескольких тысяч небольших документов, расположенных на ПК пользователя. Эти системы ищут только документы, для поиска информации, например справочного характера, они непригодны.

Поисковые системы для корпоративных пользователей. Такие программы предназначены для работы с массивами текстовых документов предприятия имеющих объемы от нескольких гигабайт до нескольких десятков гигабайт. Кроме того, такие программы обязательно реализованы в сетевом варианте, при котором доступ к базе данных на сервере локальной сети, осуществляется с рабочих станций сотрудников.

Поисковые системы для интернет проектов. Предназначены для поиска htmlдокументов в Интернете. Рассчитаны на упрощенный поиск в большом количестве небольших документов. Результат поиска в таких системах – список ссылок наhtmlфайлы в сети плюс короткие цитаты из контекста, обычно по одной. Из-за больших объемов информации в сети эти программы должны иметь очень высокую скорость поиска. Из-за большого количества мусора в сети, необходима сортировка выдачи по степени релевантности или другим критериям (например рейтингу сайта).

Самое сложная задача, это поиск информации в больших полнотекстовых массивах. В базы данных таких систем могут закачиваться любые текстовые источники информации, в том числе большого объема: энциклопедии, справочники, архивы периодических изданий, целые библиотеки специальной литературы, архивы документов корпораций, специализированные архивы типа исторических, патентных, судебных, расшифровки разговоров, протоколы и многое другое. Если в ответ на Ваш конкретный запрос система выдаст ссылку на энциклопедию, то это Вряд ли Вас обрадует. Если в этой энциклопедии сто ответов на запрос, то система должна обработать каждый и выдать отдельно все соответствующие тексты. Такая система должна искать не просто документы, а информацию, содержащуюся в них.

Если поисковая система предназначена для индексации и поиска информации в глобальной сети или для доступа к большим хранилищам текстовой информации, объёмом до десятков терабайт, то программное обеспечение системы разрабатывается специально для комплекса серверов, в качестве которых используются мощные специализированные компьютеры типа кластерных систем, имеющих десятки параллельно работающих процесооров и большой объем оперативной памяти. Например, поисковая система Google в качестве аппаратной базы использует сеть из нескольких тысяч таких суперкомпьютеров, размещенных по всему миру.

Программы для различных категорий пользователей

Программа для реализации собственного проекта. Обычно создается для поисковой системы в интеренете, интранет сети большой организации, крупного банка текстовых данных с доступом через сеть (например национальная библиотека). Для реализации проекта создается команда проектировщиков, программистов и т.п., которая самостоятельно или с посторонней помощью создает, сопровождает и развивает систему.

В случае успешно созданного проекта, комплекс программ может быть доработан до необходимой степени универсальности и использован для разработки поисковых систем на заказ. Самостоятельно такой программный комплекс не поставляется, так как требует конфигурации и настройки программных средств под требования заказчика, частичной доработки программ, постоянного сопровождения на случай сбоев системы.

Если программный комплекс доработан настолько, что -покрывает потребности большого круга пользователей, не требует постоянного сопровождения разработчиков, имеет программный интерфейс, доступный программистам среднего уровня, сопровождается качественной документацией, не использует чужих компонентов без лицензии, то он может поставляться на рынок как инструментарий разработчика. В этом случае фирма-поставщик имеет более-менее определенные цены на свою продукцию. Обычно имеется несколько стандартных версий, представляющих урезанные варианты полной конфигурации.

Программы для конечного пользователя. Представляют собой готовый коммерческий продукт. Имеют хорошо отработанный пользовательский интерфейс, позволяющий обычному пользователю управлять всеми функциями системы. Обычно разработаны «с нуля», без использования «чужих» программных средств. Такие программы распространяются в «коробочном» варианте по определенной цене.

Министерство образования и науки Российской Федерации

Федеральное агентство по образованию

МАОУ «Лицей №5»

Реферат на тему:

Поисковая система Яндекс

Выполнил ученица 11 класса

МАОУ «Лицея №5»

Барабанов Антон Михайлович

Руководитель

1 Введение 3

2 Поисковый запрос 4

3 Основные характеристики поисковой системы 6

4 Что умеет Yandex 8

4.2 Морфологический анализ слов 9

5 История Yandex 12

6 Руководство 13

8 Список литературы 15

Введение

Актуальность. Мы в нашем современном мире не можем представить жизни без Интернета, с его помощью мы покупаем разнообразные товары, знакомимся, общаемся, работаем, слушаем музыку, смотрим фильмы и т.д. Возможности Всемирной Паутины безграничны, надежными помощниками в виртуальных лабиринтах выступают поисковые системы. Нет ничего проще, чем написать в строке поисковика нужный запрос, и поисковая система выдаст огромное количество предложений по внесенным словам или фразе. Еще совсем недавно о подобном даже не мечтали.

Российские граждане о возможностях Интернета узнали всего лишь несколько лет назад, несмотря на такой короткий срок, в настоящее время Всемирная Паутина становится доступной даже в отдаленных уголках нашей большой страны. Например, среди жителей Москвы девяносто процентов молодежи до 30 лет являются активными пользователями Интернета. С каждым днем по всей стране их количество стремительно возрастает, значительно увеличивается и скоростная способность каналов.

Умение использовать возможности поиска в интернете является информационной компетентностью любого современного человека.

Цель работы: формирование представления о возможностях и принципах работы поисковой системы Yandex.

Задачи:

· Изучить литературу

· Исследовать принцип работы поисковой системы Yandex

Методы исследования : сбор информации, изучение литературы, анализ.

Поисковой запрос

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Перми»)
Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Основные характеристики поисковой системы

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.
Основные характеристики поисковой системы.
Опишем основные характеристики поисковых систем:
Полнота
Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.
Точность
Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

Актуальность
Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.
Скорость поиска
Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Яндкес Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Яндекс приходит около 90 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

Что умеет Yandex

Программные продукты серии Yandex (Языковый index) - набор средств полнотекстовой индексации и поиска в текстовых данных с учетом морфологии русского языка.
Yandex включает модули морфологического анализа и синтеза, индексации и поиска, а также набор вспомогательных модулей, таких, как анализатор документов, языки разметки, конверторы форматов, сетевой "паук".
Алгоритмы морфологического анализа и синтеза, основанные на базовом словаре, умеют нормализовать слова, то есть находить их начальную форму, а также строить гипотезы для слов, не содержащихся в базовом словаре. Система полнотекстового индексирования позволяет создавать компактный индекс и быстро осуществлять поиск с учетом логических операторов.
Yandex предназначен для работы с текстами как в локальной так и в глобальной сети (технологии Intranet и Internet) , а также может быть подключен как модуль к другим системам.

4.1. Индексация
Создаваемый индекс составляет около 1/3 объема текста (без картинок, tag"ов и пр.), при этом записывается подробный адрес слова - с точностью до позиции в тексте, что потом позволяет искать с учетом близости. В базу входят нормализованные формы слов текста, сами документы не хранятся.

4.2. Морфологический анализ слов

4.2. Морфологический анализ слов текста происходит одновременно с индексацией, что дает возможность снятия омонимии.
Скорость индексации - не менее 2 Мб/минуту. Написан свой робот для обхода Web"а.

10
Организация изменения индекса (полное либо частичное обновление, слияние).
Идет индексирование по всем словам, стоп-слова определяются статистически.
1.2. Поиск
Язык запросов: скобки; логическое И (в пределах одного абзаца); логическое ИЛИ; оператор И НЕ (в пределах одного абзаца); близость - расстояние в словах.
Список выданных документов упорядочивается по релевантности - по количеству найденных слов. В каждом документе выделяются (подсвечиваются) найденные слова.
1.3. Работа с языком
Для интеллектуализации поиска используется словарь на 90 тыс. слов. При индексации происходит нормализация, то есть слово ставится в свою исходную форму (для существительных - именительный падеж единственного числа, для глаголов - неопределенная форма и т.д.) и в таком виде учитывается в базе. Алгоритм морфологического разбора умеет корректно обрабатывать и слова, не найденные в словаре. Морфология работает для русского и английского языка. Также индексируются числа.

1.4.Результаты поиска.
На странице результатов поиска Яндекса есть тексты, поясняющие результаты поиска, и ссылки, дающие возможность сортировать найденное или уточнять запрос.

1.5.Если в результате запроса Яндекс нашел много документов, но по более широкой теме, чем вам хочется, вы можете сократить этот список, уточнив запрос. Еще один вариант - включить флажок в найденном в форме поиска, задать дополнительные ключевые слова, и следующий поиск будет вестись только по тем документам, которые были отобраны в предыдущем поиске. Например, чтобы найти страницы про кондиционеры - средства, предназначенные для ухода за волосами (а не климатическую технику), можно задать запрос кондиционеры, для определения области поиска. А затем, поставив галочку в найденном, - слово «волосы»

1.6.Адрес сайта.
Яндекс позволяет искать информацию только по интересующему вас сайту, задав соответствующие параметры в расширенном поиске, с помощью Яндекс.Бара или нажав на ссылку «Еще с сайта» . Тогда рядом с поисковой формой появляется напоминание, что результаты получены поиском по одному сайту. Если вы хотите продолжить поиск по всем сайтам, достаточно перед очередным запросом снять флажок.

1.7.Выбор региона.
Поиск можно ограничить сайтами в нужном вам регионе или относящимися к интересной вам теме. Для поиска по всем сайтам снимите флажок в регионе.

1.8.Выбор диапазона дат.
Задав временной интервал, к которому должны относиться искомые документы, вы можете затем его исправить в результатах поиска, введя новые числа в формате «День-Месяц-Год».

История Яндекс

«Яндекс» - российская ИТ-компания, владеющая одноимённой системой поиска в Сети и интернет-порталом. Поисковая система «Яндекс» является 5-ой среди поисковых сайтов мира по количеству обработанных поисковых запросов (более 3 млрд, 1,7 % от мирового количества, статистика за сентябрь 2011 года). По состоянию на 16 ноября 2012 года, согласно рейтингу Alexa.com, по популярности сайт yandex.ru занимает 18-е место в мире и 1-е место в России.

Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. Как отдельная компания «Яндекс» образовался в 2000 году. В мае 2011 года Яндекс провёл первичное размещение акций, заработав на этом больше, чем какая-либо из Интернет-компаний со времён IPO поисковика Google в 2004 году.

Основным и приоритетным направлением компании является разработка поискового механизма, но за годы работы «Яндекс» стал мультипорталом. В 2011 году «Яндекс» предоставляет более 30 сервисов.

Руководство

Руководство:

· Аркадий Волож - генеральный директор.

· Илья Сегалович - директор по технологиям и разработке.

· Шульгин, Александр - финансовый директор

· Алексей Третьяков - коммерческий директор.

· Андрей Себрант - директор по маркетингу сервисов.

· Екатерина Фадеева - директор по правовым вопросам.

· Аркадий Борковский - CTO of Yandex Labs.

· Максим Киселёв - директор по развитию бизнеса.

Вывод

Теперь подытожим все вышесказанное.
Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
Основные характеристики поисковых систем:
1. Полнота
2. Точность
3. Актуальность
4. Скорость поиска
5. Наглядность

В состав поисковой системы входят компоненты:
1. Модуль индексирования
2. База данных
3. Поисковый сервер

Список литературы

1. Е. Колмановская, CompTek International, Яndex: система русского поиска Internet/Intranet.
2. Абросимов А.Г., Абрамов Н.В., Мотовилов Н.В., Корпоративные экономические информационные системы, уч. пос. СГЭА, 2005.
3. Информационно-поисковые системы. – http://www.comptek.ru/yandex/yand_about.html.
4. Аликберов А. Поисковые машины. – http://citforum.ru/win/internet/search/index.shtml.
5. Талантов М. Поиск информации в Интернете: подводные камни // КомпьютерПресс.– № 9, 1999.

Яндекс.Браузер – это новый браузер, разработанный в компании Яндекс в 2012 году. Базой для его создания послужил браузер с открытым исходным кодом Chromium. Для компании Яндекс это уже вторая попытка представить собственный браузер, а первой был Яндекс.Интернет, который являлся обыкновенной сборкой Chromium, куда были добавлены сервисы Яндекса. Однако на этот раз разработчики объявили, что создали обозреватель практически с нуля, поэтому он кардинально отличается от предыдущего. Впервые Яндекс.Браузер был представлен публике на технологической конференции Yet another Conference.

Ознакомимся с характерными особенностями данного Интернет-браузера.
При установке Яндекс.Браузер может импортировать информацию из других уже установленных на компьютере обозревателей. После установки пользователю сразу открываются все страницы из последней сохраненной сессии браузера, из которого импортировались данные.

По своим основным возможностям Яндекс.Браузер не уступает остальным современным браузерам и имеет некоторые особенности, отличающие его от других. Например, браузер оснащен программой просмотра файлов в формате PDF, а также проигрывателем Adobe Flash Player, без которого сейчас не обойтись при просмотре сайтов в Интернете. Также браузер объединен с такими сервисами, как «Яндекс.Почта», «Яндекс.Переводчик», «Яндекс.Диск» и «Яндекс.Поиск».

Браузер позволяет синхронизировать закладки, расширения, пароли и настройки браузера между разными устройствами. Для всех этих данных представлена также возможность резервного копирования на «облачном» сервере Яндекса. Также в браузере имеется возможность автоматического перевода с таких языков как английский, французский, немецкий, украинский и других, которых в общей сложности насчитывается 14. Встроенный переводчик способен переводить не только некоторые слова, но и веб-страницы полностью.

Для ускорения работы обозревателя в нем используется технология Turbo от компании Opera. Она помогает браузеру работать быстрее даже при медленном соединении и доступна с версии 1.1. Яндекс.Браузера, вышедшей 8 ноября 2012 года.

Одной из главных особенностей браузера Яндекс является наличие так называемой «умной строки». В эту строку можно писать и адреса веб-сайтов, и поисковые запросы. А при наборе выводятся подсказки – пользователь видит строчки из своих закладок или из истории страниц, которые он посещал. Также подсказки показывают ответы на запросы, чтобы пользователь не тратил время на набор, а переходил сразу на страницу результатов поиска. При желании браузер позволяет узнать, что нашли по запросу пользователя другие поисковые системы, или что есть на эту тему в Википедии. Если пользователь не помнит или не знает адрес нужного сайта, Яндекс.Браузер может вычислить наиболее популярные сайты, которые, возможно, имелись в виду. Обозреватель найдет их даже в том случае, если пользователь ввел название с неверной раскладкой клавиатуры или допустил ошибку.

В Яндекс.Браузере есть также панель быстрого запуска, называемая «Табло». Оно появляется каждый раз, когда пользователь открывает новую вкладку или переносит значок курсора в строку адреса. Такая панель представляет собой окно с виджетами выбранных пользователем сайтов, которые можно отредактировать, добавить новые или удалить старые. Таких сайтов можно добавить не больше 15. Также виджеты помимо мини-скриншота сайта могут показывать дополнительные сведения, например сообщения из социальных сетей, непрочитанные письма электронной почты, уровень заторов на дорогах и т. д.

Что касается безопасности браузера , то обозреватель от Яндекса оснащен сервисом, который проверяет сайты и ссылки на предмет их угрозы компьютеру. Все файлы, которые пользователь скачивает, проходят проверку на безопасность системой, разработанной «Лабораторией Касперского». Браузер предупреждает пользователя о сайтах, которые могут оказаться мошенническими.

При помощи системы быстрых ссылок Яндекс.Браузер помогает пользователю разобраться с незнакомыми сайтами, такими как интернет-магазины, сайты транспортных компаний или банков. Браузер выделяет на сайте наиболее значимые области и переносит в строку поиска ссылки для быстрого перехода именно в эти разделы. К примеру, в интернет-магазине это такие разделы как «доставка и оплата» или «корзина». Это помогает пользователю быстрее сориентироваться.
Популярность Яндекс. Браузера стремительно растет. В мае 2013 года доля данного обозревателя на рынке уже равнялась 5 %, а по популярности использования в Рунете он занимал седьмое место по данным LiveInternet. Сегодня Яндекс.Браузер занимает уже второе место среди российских пользователей.

В июне 2013 года компания Яндекс выпустила мобильную версию браузера для планшетов и смартфонов, и собирается создать версию для Linux.

Здравствуйте, дорогие читатели. Сегодняшняя тема не оставит равнодушным ни одного владельца сайта, ведь в этой статье я приведу описание поисковой системы Яндекс – лидера среди российских поисковиков. Что ни говори, грамотное использование её ресурсов – ключ к успешному продвижению и росту посещаемости вашей площадки.

Итак вперед к прочтению статьи.))

Возможности Yandex

Начнём, пожалуй, с характеристики самой ПС, которая в России занимает первое место среди (после Google), и является несомненным лидером среди российских браузеров. Сегодня это не только эффективная ПС, но и масса удобных для пользователя сервисов.

Заведя всего один аккаунт в системе (ваш почтовый ящик) вы получаете доступ к таким сервисам как , возможность вести собственный блог, приобретать авиабилеты, хранить файлы на диске и делиться ими с другими пользователями и т.п.

Поиск возможен не только по запросу в привычной поисковой строке, но и в каталоге сайтов. Это тематический рубрикатор, где, выбрав раздел, вы получаете результаты выдачи по нужной тематике. Именно поэтому если у вас уже есть виртуальное представительство, не забудьте включить его в базу. Для этого нужно просто заполнить информацию на этой странице: https://yaca.yandex.ru/add_free.xml.

Для вебмастера здесь есть масса всевозможных вкусностей, которые значительно облегчают работу:

• Метрика позволяет эффективно анализировать площадки, учитывая не только количество посетителей, но и их активность. Учитывается и скорость загрузки страниц – важный параметр оптимизации. Для индивидуализации получаемых отчетов вы можете использовать фильтры.
• Директ — это служба контекстной рекламы, помогающая вам в продвижении площадки, если ваша цель состоит в увеличении популярности, или заработке на посещаемости ресурса, если вы размещаете на нём объявления. Это одна из крупнейших рекламных сетей в Рунете, поэтому не стоит недооценивать её как источник трафика.
• Wordstat нужен для получения статистики запросов по интересующим вас ключевым словам. С его помощью можно подобрать базовые ключи ещё до начала работы.

Основной инструмент продвижения – панель вебмастера. Здесь можно отследить факт индексации системой, провести анализ позиций сайта в рейтинге ПС, добавить в систему созданную карту сайта, увидеть региональные различия в результатах выдачи и т.п.

После авторизации в сервисе (войти с логином и паролем от почтового ящика Яндекс) необходимо добавить ресурс и подтвердить свои права на него. Для этого на главной странице вебмастера: https://webmaster.yandex.ru/ нажимаем кнопку «добавить сайт» и вводим туда нужные данные. Для подтверждения своих прав, вам потребуется добавить на сервер файл с указанным программой содержимым и дождаться проверки роботом.

После этого ваши возможности существенно расширятся. К примеру, пользователи, прошедшие подобную верификацию, могут добавлять виджеты на главную страницу поисковика. Изучить варианты использования всех служб можно с помощью специального курса для вебмастеров, материалы которого доступны здесь.

Зачем нужны обновления в Яндексе?

Обновления, или иначе апдейты – ключевой момент в продвижении в этой поисковой системе. Неслучайно все владельцы ресурсов ждут новостей о них с особым вниманием. Это общее обновление поисковой базы, в результате которого меняются позиции сайтов в рейтинге ПС.

В ходе данного процесса происходит учёт изменений, внесённых владельцем с момента предыдущего апдейта, в результате следует повышение или понижение места в рейтинге. Если при анализе ресурса найдены серьёзные нарушения, возможен бан, то есть исключение из результатов поиска.

Вновь попасть в него можно только при следующем апдейте, если нарушения будут устранены. Таким образом, в промежутке между ними результаты выдачи по конкретным запросам не изменяются.

Возможно, при первом знакомстве алгоритм взаимодействия с данным поисковиком выглядит сложным. Однако, приложив определённые усилия, в нём вполне реально разобраться, даже не имея опыта продвижения. Надеюсь, что вам было интересно. Не пропустите — новые полезные материалы на моём блоге уже совсем скоро – подписывайтесь на обновления! Пока-пока.

С уважением, Роман Чуешов

Поисковые системы Google, Yahoo, Яндекс, Rambler, Nigma, Aport... служат для обнаружения необходимого ресурса в сети Интернет по ключевым словам. Эти системы, или, как их иначе называют, поисковые машины, ежедневно перебирают миллионы WWW серверов, индексируют и каталогизируют найденные ресурсы. Возможность поиска ресурса в Интернет очень удобна, но нельзя забывать о том, что Сеть живет своей жизнью - каждый день появляются тысячи новых страниц, некоторые старые исчезают... Поэтому, поисковые системы не всегда выдают самую точную информацию.

Средства поиска и структурирования, иногда называемые поисковыми механизмами, используются для того, чтобы помочь людям найти информацию, в которой они нуждаются. Средства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как cобирать документы. Некоторые следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее. Некоторые игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации; другие игнорируют cсылки к ресурсам типа баз данных WAIS; другие проинструктированы, что нужно просматривать прежде всего наиболее популярные страницы.

Поисковые системы -- веб-сайт, предоставляющий возможность поиска информации в Интернете. Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на ftp-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Как правило, основной частью поисковой системы является поисковые машины-- комплекс программ, обеспечивающий функциональность поисковой системы. Основными критериями качества работы поисковой машины являются релевантность (степень соответствия запроса и найденного, то есть уместность результата), полнота базы, учёт морфологии языка. Индексация информации осуществляется специальными поисковыми роботами. В последнее время появился новый тип поисковых движков, основанных на технологии RSS, а также среди XML-данных разного типа.

Улучшение поиска -- это одна из приоритетных задач сегодняшнего Интернета (см. про основные проблемы в работе поисковых систем в статье Глубокая паутина).

По данным компании Net Applications в декабре 2007 года использование поисковых систем на Западе распределялось следующим образом (приложение 2, рисунок 2):

Google -- 77,04 %, Yahoo -- 12,46 %, MSN -- 3,33 %, Microsoft Live Search -- 2,57 %, AOL -- 2,12 %, Ask -- 1,38 %, AltaVista -- 0,13 %, Excite -- 0,07 %, Lycos -- 0,02 %, All the Web -- 0,02 %.

В вышеприведенный отчёт не входят российские поисковики, такие как, например, Яндекс, Рамблер или Nigma.

Одним из первых инструментов поиска в интернете (до WWW) был Archie. Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» -- бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице -- с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины Rambler и Aport. 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и метапоиска. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivisimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик Nigma, поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака ключевых слов. Nigma тоже экспериментировала с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

Популярные поисковые системы

Всеязычные: Google (34,4 % Русскоязычного сегмента); Bing (0,9 % Русскоязычного сегмента); Yahoo! (0,2 % Рунета) и принадлежащие этой компании поисковые машины: Inktomi, AltaVista, Alltheweb.

Англоязычные и международные: AskJeeves (механизм Teoma).

Русскоязычные -- большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках -- украинском, белорусском, английском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами. Яндекс (46,3 % Рунета), Mail.ru (8,9 % Рунета), Rambler (3,3 % Рунета), Nigma (0,5 % Рунета), Генон (0,1 % Рунета), Gogo.ru (<0,1 % Рунета), Aport (<0,1 % Рунета). Мета (приложение 2, рисунок 3).

Из перечисленных поисковых систем не все имеют собственный поисковый алгоритм -- так Mail.ru и QIP.ru используют поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

Главный плюс любой поисковой машины кроется в механизме ее работы. В отличие от каталогов, поисковики, для добавления сайтов в свою базу данных, используют специального робота-паука, который вполне удачно просматривает и индексирует все общедоступные сайты своей Глобальной Паутины. Но для удачного поиска нам будет мало лишь огромной базы нашего спутника, ведь среди всех этих терабайт информации нам нужно найти именно нужную нам.

Важнейшим фактором и залогом нашего успеха является правильность поискового запроса.

Исключение из поиска

Поисковую машину можно не только «заставлять» искать нужный текст, но и исключать некоторые слова из запроса. Если вы не хотите, что бы при поиске реферата на тему История Древнего Египта вам были предложены документы с его Культурой, просто введите в поисковое поле Google: история древнего египта -культура. В Яндексе вместо знака «-» используется сочетание знаков «~~». При таком запросе, слово «культура» было полностью исключено из критериев поиска.

Поиск с учетом регистра

Поисковые системы не учитывают регистр, все заглавные символы воспринимаются машинами как строчные, за исключением использования специального операнда. Таковым является знак восклицания «!», стоящий перед словом. Эта функция очень полезна для поиска сел или городов с распространенными названиями, к примеру «село!Кошки». В данном случае, поисковик не будет искать сайты, где речь ведется о селе, где живут кошки, а будет вести поиск с учетом заглавной буквы.