Реферат: Технологии поиска информации в сети Интернет. Технология поиска информации в Интернете: информационные поисковые системы Интернета

С.А. Тактаев
http://www.taktaev.com/

Основы поиска информации в Интернете

Поиск информации - задача, которую человечество решает уже многие столетия. По мере роста объема информационных ресурсов, потенциально доступных одному человеку (например, посетителю библиотеки), были выработаны все более изощренные и совершенные поисковые средства и приемы, позволяющие найти необходимый документ.

Все найденные за много лет средства и приемы поиска информации доступны и эффективны и при поиске информации в Интернет.

Рассмотрим общую схему: АВТОР создает ДОКУМЕНТ. У ПОЛЬЗОВАТЕЛЯ возникает ИНФОРМАЦИОННАЯ ПОТРЕБНОСТЬ. Эта информационная потребность часто (как правило) даже не может быть точно выражена словами, и выражается только в оценке просматриваемых документов - подходит или не подходит. В теории информационного поиска вместо слова "подходит" используют термин "ПЕРТИНЕНТНЫЙ ДОКУМЕНТ", а вместо "не подходит" - "не пертинентный". Слово "пертинентный" происходит от английского "pertinent", что значит "относящийся к делу, подходящий по сути". Субъективно понимаемая цель информационного поиска - найти все пертинентные и только пертинентные документы (мы хотим найти "только то, что хотим, и ничего больше").

Эта цель – идеальна и пока недостижима. Мы часто в состоянии оценить пертинентность документа только в сравнении с другими документами. Для того, чтобы было с чем сравнивать, необходимо некоторое количество непертинентных документов. Эти документы называются - "ШУМ". Слишком большой шум затрудняет выделение пертинентных документов, слишком малый - не дает уверенности в том, что найдено достаточное количество пертинентных документов. Практика показывает, что когда количество непертинентных документов лежит в интервале от 10% до 30%, ищущий чувствует себя комфортно, не теряясь в море шума и считая, что количество найденных документов - удовлетворительно.

Когда документов много, используется информационно-поисковая система (ИПС). В этом случае информационная потребность должна быть выражена средствами, которые "понимает" ИПС - должен быть сформулирован ЗАПРОС.

Запрос редко может точно выразить информационную потребность. Однако многие ИПС по причинам, описанным ниже, не могут определить, соответствует ли тот или иной документ запросу. Для решения этой задачи был введен синтетический критерий - степень соответствия документа запросу, который называется РЕЛЕВАНТНОСТЬЮ. Релевантный документ может оказаться непертинентным и наоборот.

Виды информационно поисковых систем

Информационно-поисковые системы (ИПС) Интернет, при всем их внешнем разнообразии, также попадают в один из этих классов. Поэтому, прежде чем знакомиться с этими ИПС, рассмотрим абстрактные алфавитные (словарные), систематические и предметные ИПС. Для этого дадим определение некоторым терминами из теории информационного поиска.

Классификационные информационно-поисковые системы. В классификационных ИПС используется иерархическая (древовидная) организация информации, которая называется КЛАССИФИКАТОРОМ. Разделы классификатора называются РУБРИКАМИ. Библиотечный аналог классификационной ИПС - систематический каталог. Классификатор разрабатывается и совершенствуется коллективом авторов. Затем его использует другой коллектив специалистов, называемых СИСТЕМАТИЗАТОРАМИ. Систематизаторы, зная классификатор, читают документы и приписывают им классификационные индексы, указывающие, каким разделам классификатора эти документы соответствую.

Предметная ИПС Web-кольца. Предметная ИПС с точки зрения пользователя устроена наиболее просто. Ищи название нужного предмета своего интереса (предметом может быть и нечто невещественное, например, индийская музыка), а с названием связаны списки соответствующих ресурсов Интернет. Это было бы особенно удобно, если полный перечень предметов невелик.

Словарные ИПС. Культурные проблемы, связанные с использованием классификационных ИПС, привели к созданию ИПС словарного типа, с обобщенным англоязычным названием search engines. Основная идея словарной ИПС - создать словарь из слов, встречающихся в документах Интернет, в котором при каждом слове будет храниться список документов, из которых взято данное слово.

Теория информационного поиска предполагает два основных алгоритма работы словарных ИПС: с использованием ключевых слов и с использованием дескрипторов. В первом случае, для оценки содержимого документа используются только те слова, которые в нем встречаются, и по запросу ИПС сопоставляет слова из запроса со словами документа, определяя по количеству, расположению, весу слов из запроса в документе его релевантность. Все работающие ИПС по историческим причинам используют этот алгоритм, в различных модификациях.

При работе с дескрипторами индексируемые документы переводятся на некоторый дексрипторный информационный язык. Дескрипторный информационный язык, как и любой другой язык, состоит из алфавита (символов), слов, средств выражения парадигматических и синтагматических отношений между словами. Парадигматика предусматривает выявление скрытых в естественном языке лексико– семантических отношений между понятиями. В рамках парадигматических отношений можно рассматривать, например, синонимию, омонимию. Синтагматика исследует такие отношения между словами, которые позволяют объединять их в словосочетания и предложения. Синтагматика включает правила построения слов из элементов алфавита (кодирование лексических единиц), правила построения предложений (текстов) из лексических единиц (грамматика).

То есть, запрос пользователя переводится в дескрипторы и обрабатывается ИПС уже в этой форме. Такой подход более затратен по вычислительным ресурсам но и потенциально более продуктивен, так как позволяет отказаться от критерия релевантности и работать непосредственно с пертинентностью документов.

Ранжирование результатов поиска. Словарные ИПС способны выдавать списки документов, содержащие миллионы ссылок. Даже просто просмотреть такие списки невозможно, да и не нужно. Было бы удобно иметь возможность задать формальные критерии (хотя бы относительной) важности (с точки зрения пертинентности) документов с тем, чтобы наиболее важные документы попадали бы в начало списка. Существующие ИПС делают это, исходя из критерия релевантности, и в настоящее время все ИПС уделяют основное внимание именно алгоритму определения релевантности для ранжирования полученных ссылок. Наиболее часто используемыми критериями при ранжировании в ИПС являются:

• наличие слов из запроса в документе, их количество, близость к началу документа, близость к друг другу;
• наличие слов из запроса в заголовках и подзаголовках документов (заголовки должны быть специально отформатированы);
• Количество ссылок на данный документ с других документов;
• «рекспектабельность» ссылающихся документов

Современные проблемы поисковых систем

Все основные технологические проблемы Интернет технологий, которые мы сейчас видим и зачастую ощущаем на себе, имеют своей причиной то, что когда эти технологии разрабатывались никто из разработчиков (по их собственным высказываниям) не представлял себе, что Интернет станет глобальной информационной средой. Все это полностью относится и к поисковым системам.

Архитектура. Современная поисковая система имеет трехуровневую архитектуру:

• crawler (сборщик) – осуществляет сканирование Интернет ресурсов в поисках изменений на страницах;
• indexer (индексатор) – индексирует ресурсы, строит базы данных по ключевым словам, хранит эти базы данных в виде, удобном для поиска по ним;
• gateway (шлюз) – осуществляет прием запросов от пользователей и выдачу им информации из базы данных

В современных ИПС вся поисковая информации, вплоть до копий исходных документов, хранится в самой ИПС. Это было обусловлено ненадежностью ранних каналов связи и компьютерного оборудования. Это давало возможность пользователю ИПС фактически независимо от доступности документа ознакомиться с ним. Сейчас это ведет к том, что ИПС вынуждены наращивать свою вычислительную мощность пропорционально росту количества документов в Сети, то есть экспоненциально. Так, в Google сейчас работает более 100 компьютеров – серверов.

В современных ИПС Crawler самостоятельно сканирует Сеть в поисках новых документов. В условиях количества документов измеряемого в сотнях тысяч такой способ позволял быстро наполнить базу ИПС и соответственно представить там максимальное количество документов. Сейчас скорость появления и обновляние документов такова, что ни одна ИПС не охватывает более 30-35% документов в Сети. Более того, все изменения и перемещения документов попадают в базу ИПС со значительным опозданием (до 4 недель), то есть найти актуальную информацию через ИПС в Сети невозможно.

Алгоритмы поиска и ранжирования. То есть, Основной проблемой современных поисковых систем является то, что из-за фактически устаревшей архитектуры они не могут обеспечить качественный поиск информации.

Дело в том, что средняя длина поисковых запросов мала – 2-3 слова. Естественно, построить качественную пертинентную выборку из миллиарда документов по такому «слепку информации» просто невозможно. Естественным выходом здесь является сохранение контекста запросов пользователя, их истории, предпочтений. Но это не представляется возможным сделать на стороне сервера (т.к. он перегружен).

Далее, как видно, из критериев ранжирования, реальный критерий пертинентности документа – наличие слов из запроса - не так сильно влияет на его ранжирование в результатах поиска. С другой стороны, использование синтетических критериев дает возможность манипулирования результатами вычислений ранга страницы, путем оптимизации документов, с чем и борются все ИПС. Такая ситуация ведет к снижению качества поиска, поскольку потенциально более пертинентные документы неминуемо оттесняются своими «оптимизированными» конкурентами в конец списка. Наверно, многие сталкивались с тем, что реально полезные ресурсы в поисковиках находятся на второй – третьей страницы выдачи поискового запроса.

Изначально в Интернете вся информация была представлена в HTML, причем без таблиц, картинок и рисунков. Все эти вещи появились в Сети позже. Естественно, что алгоритмы ИПС ориентированы именно на текст. Сейчас объем мультимедийного наполнения (таблицы, базы данных, рисунки, музыка, видео) по объему уже превышает объем текстов. А найти информационную сводку или (тем более!) нужный музыкальный фрагмент, не зная его дополнительных параметров (автор, тема) – просто невозможно.

Резюмируя, существующая архитектура обеспечивает работоспособность поисковой системы в условиях низкой скорости и ненадежности каналов связи, низкой вычислительной мощности клиентского оборудования, не очень больших объемов (сотни тысяч, миллионы) документов, что было актуально в 90-х годах ХХ века. Сейчас все эти предпосылки устарели, высокоскоростные и надежные каналы связи стали обычным явлением, в несколько десятков раз выросла вычислительная мощность клиентских компьютеров, но и число документов в Сети выросло в десятки тысяч раз, приближаясь к 5 миллиардам. Следовательно, необходима иная архитектура, реализующая эти требования.

Основными моментами новой архитектуры ИПС, на взгляд автора, должны стать:

1. Переход к распределенной модели вычислений;
2. Переход от модели «один поиск на всех» к модели персонального поиска;
3. Переход от критериев релевантности к критерию пертинентности;
4. Переход от поиска только текстовой информации к распознаванию и поиску мультимедийной информации

В общем, решения пп. 1, 2 достаточно просты технически и организационно, но решения пп. 3 и 4 требуют нового теоретического подхода к поиску информации. Для реализации этого подхода применена теория пространства понятий.

Введение в теорию пространства понятий

Постановка задачи

Целью данной работы является выработка теоретического подхода к математическому анализу смысла понятий как объектов окружающего мира и, с определенным уровнем абстракции, выражаемых в человеческих языках, путем их систематизации в многомерном пространстве (Пространстве понятий) и разработка математического аппарата преобразования (действия над) понятиями - алгебры понятий.

Для современной технологии поиска необходима такая модель представления информации, которая позволит распознавать хранимые в ней знания без использования человеческого интеллекта или артефактных алгоритмов (таких как нейронные сети). Здесь уместно провести аналогию между растровым и векторным способом хранении графических изображений, то есть если из содержимого растрового файла нельзя однозначно сказать, как построено хранимое изображение, то из векторного формата способ построения очевиден.

Практически вся информация, хранимая человечеством сейчас представлена именно в «растровом» формате. Исключение составляют различные структурированные массивы информации и алгоритмы, но опять же, информация, зафиксированная в них скорее похожа улов в сети с ячейками размером метр на метр, то есть в нее попадаются только самые общие описания и правила. Очевидно, что такой подход дает слишком абстрактные модели и их применение в реальном мире невозможно без вмешательства человеческого интеллекта.

Следовательно, необходимо найти такой способ описание знаний, который бы был, по существу «векторным» форматом представления информации. Это и составляет собой суть теории пространства понятий.

Другими словами, основная идея состоит в том, чтобы применять не только существующую модель описания знаний, базирующуюся на ассоциациях, но и модель, базирующуюся на определении точного положения понятия в некоей системе координат. Автор доказывает, что для каждого понятия, ассоциированного с каким-либо объектом окружающего мира, существует не только определение через ассоциации («кресло похоже на диван, но диван больше, на нем можно лежать»), но и определение, как некоторой области некоего «пространства понятий». Следовательно, существует и возможность построения однозначного соответствия (отражения) между неким лингвистическим выражением, описывающим некоторый предмет, свойство или действие в окружающей реальности, и областью многомерного пространства понятий N{x1,x2,…, xn}, где Xn n ∞– примеры координатных осей (размерностей) данного пространства. Тогда становится возможным описание отношений между понятиями реального мира как расстояний, через уравнения алгебры понятий, в основе которых лежит векторная алгебра, построение карты пространства понятий и дальнейшего изучения его топологии.

В настоящее время преобладает иной подход, когда используются различные суррогатные заменители расстояния – «семантические связи», и т.д. , как правило, отражающие иерархические и сетевые соотношения между понятиями. «Близость», «отдаленность» в этих контекстах являются абстрактными величинами, они не дают возможности численного измерения (а значит и точной оценки) расстояния только для понятийно близких вещей (белый и черный, теплый и холодный). А насколько далеки друг от друга понятия «черный» и «холодный»? Это расстояние больше, чем между «шершавый» и «синий»? А какие вещи понятийно ближе друг к другу – кресло и бутылка или компьютер и кружка?

Идея пространства понятий ни в коем случае не отменяет иерархических, конструктивных и прочих взаимосвязей, но дополняет их, делая их исчислимыми. Например, можно достаточно долго описывать положение листа на дереве, передвигаясь к нему от ствола, по веткам и веточкам. Его гораздо проще можно найти, задав абсолютные полярные координаты: горизонтальное и вертикальное направление, длину вектора от осевой линии ствола у земли. Вместо достаточно объемного описания путешествия по дереву, мы получаем 3 (!)числа.

Основные определения

Пространство понятий – набор из N одномерных пространств, каждое из которых содержит в себе определенный ранжируемый признак объекта. Понятие – область пространства понятий (подпространство), соответствующая какому-то объекту в реальном мире. Действие – вид области в пространстве понятий - вектор, соответствующий процессу, производимому над объектом в реальном мире и изменяющее координаты объекта в ПП. В общем случае действие – это тоже подпространтсво. Модификатор – область в пространстве понятий, соответствующий эпитету в реальном языке (прилагательное – Модификатор существительного). Корректор – вектор - в пространстве понятий, соответствующий эпитету в реальном языке (наречие - Корректор глагола). Домен – именованная многомерная область (подпространство) в пространстве понятий, которая объединяет понятия в группы по иерархическим признакам. (понятие «стул» в домене «Мебель», Нож в домене «кухонное оборудование»). Иерархические отношения между понятиями регулируются доменами. Домены имеют внутреннюю структуру пространства понятий. По сути, это «разрезы» пространства понятий по определенным признакам.

Пространство понятий. Развернутая и свернутая форма представления

Если принять, что все существующие понятия окружающего мира, описанные в развитых человеческих языках, отражаются в многомерное пространство понятий N (Notion – понятие), то любое понятие, будь то существительное, глагол, прилагательное, или иная часть речи, несущая определенный смысл, может быть отражено как Entity (существительное, прилагательное, noun, adjective) N{{x1,x1’},{x2,x2’},…, |{xn,xn’}|}, где N - n-мерная область в n-мерном пространстве, где n ∞, а x1…n – измерения (оси координат) данного пространства.

Глагол, Наречие (Verb, adverb) erb {|x1-x1’|,|x2-x2’|,…, |xn-xn’|}, где Verb – вектор в n-мерном пространстве.

В общем случае, действия (глаголы) также могут быть описаны как области пространства понятий, каковыми они на самом деле и являются. Разделение область – векторы сделаны для удобства понимания теории и проведения расчетов.

Разрешенные области и действия

Если операция над понятием вида: i+1= i + j где i+1, i - произвольные области понятий, а j - произвольный вектор, истинна, то есть после выполнения некоего действия над понятием, мы получаем новое известное понятие, то данное действия с понятием является разрешенным, так как в реальном мире оно соответствует некоей реальной операции над реальным объектом, приводящей к реальному результату.

Если ложна, то данное сочетание является еще неописанным в пространстве понятий, "белым пятном". Ложность выражения не означает неосуществимости данной операции, но дает ресурс для поиска новых решений, открытий и изобретений. Возможно, раньше никто не задумывался о возможности такой операции и такого результата.

Построение поисковой системы с позиций теории пространства понятий

Пертинентный поиск

Для решения проблемы перехода к пертинентности, предлагается использовать для описания страниц дескрипторный язык вместо ключевых слов. Дескриптор – одно или несколько слов данного языка (синонимов), характеризующих данное понятие. Здесь дескриптор соответствует понятию. Данное переименование принято из целей соответствия принятой лингвистической терминологии.

С точки зрения теории понятий дескриптор – вектор, d{x1,x2,xi,...xn}, где x1,x2,xi, - инверсные расстояния до соответствующих осей координат пространства понятий, или, другими словами, это веса, притягивающие данный дескриптор к тому или иному разделу иерархического каталога тематических областей поиска. То есть, для реализации задачи пертинентного поиска, необходимо искать те документы которые лежат в той же области пространства понятий, что и запрос.

Поиск в мультимедийном окружении

Первой задачей поиска в мультимедийном окружении является поиск в базах данных. В настоящее время уже накоплены большие объемы информации в числовых данных которые однако недоступны для поиска через Интернет, так как (очевидно) не индексируются существующими ИПС.

Для организации поиска в табличной информации, необходимо вербализовать эти данные, то есть перевести столбцы чисел в некие текстовые отчеты, в которых будет произведен анализ данных в таблице.

Нужна некая система построения отчетов (генератор отчетов) для написания отчетов на основании заданных рядов данных на естественных языках с элементами математического и статистического (в будущем – эвристического) анализа. Отличительной особенностью предлагаемой системы является то, что она имитирует действия человека, читающего доклад с использованием графиков и таблиц, то есть является следующим шагом в деле построения отчетов.

Второй наиболее реализуемой задачей представляется задача распознавания речи и текста на изображениях, в том числе и рукописного.

При распознавании устной речи и рукописного текста на естественных языках возникают проблемы, следующего рода. Существуют слова, близкие по звучанию, по набору фонем. Например, «шесть» и «шерсть» (рус.), ship and sheep в английском. Человек достаточно легко справляет с различением таких слов за счет понимания контекста, в котором они произнесены, тогда как для компьютерных систем различить такие близкие наборы звуков составляет почти неразрешимую задачу. Следовательно, для распознавание речи нужно не только слышать ее, но еще и понимать о чем идет речь. Человек однозначно воспринимает контекст и «домысливает» нерасслышанные фонемы, в то время как существующие алгоритмы этот контекст просто не учитывают.

Аналогичные проблемы возникают и при распознавании рукописного текста. То есть, вариации в написании символов различными людьми не дают возможности построить однозначное соответствие между рукописным символом и буквой алфавита, что не дает возможности точно построить то или иное слово по его рукописному аналогу.

Проблема распознавания решается построением выражения алгебры понятий для тех гипотез значений, которые наиболее вероятны для звучаний и написаний распознаваемых слов (то есть рассматриваются все варианты слов, которые могут быть получены из распознанной информации). Так как распознавание происходит вместе с предыдущим контекстом, то, при проведении отражения в пространство понятий, сразу можно проверить попадание понятия в область, которая соответствует данному контексту, используя механизм алгебры понятий. То есть, результат описанных в тексте преобразований понятий попадает в определенную область, разрешенную по данному контексту и значение для распознавания будет выбираться именно из этой (результирующей) области., что решит проблему низкого качества распознавания.

В общем случае - осуществляется поиск фразы запроса по страницам Интернета, и с помощью определенных критериев и алгоритмов результаты поиска ранжируются и выдаются пользователю. Наиболее часто используемыми критериями при ранжировании в поисковых машинах являются:
– наличие слов из запроса в документе, их количество, близость к началу документа, близость друг к другу;
– наличие слов из запроса в заголовках и подзаголовках документов;
– количество ссылок на данный документ с других документов;
– «респектабельность» ссылающихся документов.
Как видно из критериев ранжирования, реальный критерий релевантности документа - наличие слов из запроса (поисковая фраза) - не так сильно влияет на его ранг в результатах поиска. Такая ситуация ведет к снижению качества поиска, поскольку потенциально более полезные документы неминуемо оттесняются своими «оптимизированными» конкурентами в конец списка. И действительно, многие сталкивались с тем, что реально полезные ресурсы в поисковиках находятся на второй третьей странице выдачи поискового запроса. Тут и проявляется неэффективность алгоритмов ранжирования найденных документов. Это во многом обусловлено тем, что поисковые запросы в среднем состоят всего из трех-пяти слов, т. е. просто не хватает исходной информации для эффективного ранжирования выдачи.

А вот и проблемы при поиске....

Тут и проявляется не 100%-ная эффективность алгоритмов ранжирования найденных документов. Конечно, такая ситуация также возникает потому, что поисковые запросы пользователей в среднем состоят всего из трех-пяти слов. Т. е. такая исходная информация для поисковых систем слишком скудная для эффективного ранжирования выдачи.
Вторая проблема заключается в том, как «эдакое» большое количество информации переработать (= «переварить», «рассмотреть», «выделить главное», «отсеять ненужное и бесполезное») для конкретного пользователя, с учетом его потребностей, смысла и темы запроса, его предыдущей истории поиска, географического положения, его мнения о результатах поиска и т.д. Конечно, поисковые системы в этом направлении активно развиваются, но, очевидно, что поисковой машине далеко до совершенства. Потому что, на сегодняшний день только человек может оценить семантическую полезность, качество, специфику найденной информации и т.д.

Альтернативы поисковым системам

Поэтому, в качестве альтернативы появляются сервисы, структурирующие как-то Интернет для облегченного поиска нужной пользователю информации. И на данный момент уже есть социальные закладки, каталоги, торрент-трекеры, форумы, специализированные поисковики, файлообменники и т.д. Все эти сервисы в той или иной степени структурируют Интернет и «уменьшают расстояние» между пользователем и необходимой ему информацией (будь-то фильмы, музыка, книги, ответы на вопросы, и т.д.). И что, самое главное, «структурируют Интернет», в основном, сами пользователи.
Нет, здесь нет намека на то, что поисковые системы бесполезны или мало эффективны. Я считаю, что поисковые системы идеально подходят для поиска поверхностной и наиболее популярной информации. А для поиска более глубокой информации, в том числе полезных книг, статей, журналов, музыки и т.д. (имеется ввиду с возможностью скачать все это) более подходят вышеупомянутые ресурсы, «структурирующие Интернет».

Как вообще не заблудиться в Интернете?

Кратко:
1.Для поиска поверхностной информации использовать поисковые системы, например http://google.com , http://yandex.ru , http://nigma.ru , http://nibbo.com
2.Для поиску нужных по теме сайтов использовать каталоги Интернета, например ,

Казалось бы, нет ничего проще, чем найти нужные данные в Сети. В реальности с этим может справиться даже тот, кто впервые воспользовался услугами поисковых систем. Однако в то же время с эффективностью такого поиска можно будет серьезно поспорить. Намного меньше времени можно потратить на поиск информации в Сети, располагая необходимыми сведениями об особенностях работы популярных поисковых систем.

В глобальной Сети применяют во время обработки запросов собственную машинную логику. Опираясь на несколько несложных правил и располагая достаточной информацией об использовании популярных поисковиков, можно значительно ускорить процесс нахождения необходимой информации, а самое главное - в результате вы получите именно то, что требуется.

Особенности составления поискового запроса

Как правильно искать в Интернете необходимую информацию? Для этого, в первую очередь, необходимо знать эффективные приемы удачного составления поисковых запросов. Выполнение поиска по единственному слову обычно приводит к выдаче результатов в виде миллионов страниц, большинство из которых абсолютно не относится к делу. Если в поисковой строке находится от четырех до шести значений и более, количество результатов автоматически сокращается до нескольких тысяч и сотен, а иногда ограничивается лишь парой страниц.

Более того, поиск в Интернете нуждается в составлении грамотных запросов. Чем точнее указано искомое слово или словосочетание, тем выше вероятность обнаружить необходимые данные на первой же странице в выдаче результатов. Все дело в том, что поисковикам далеко не всегда удается исправить ошибки орфографии, допущенные пользователем, а некоторые из них попросту упускаются. А ведь в отдельных случаях точность запроса может оказаться достаточно принципиальной.

Помимо прочего, не следует игнорировать необходимость введения заглавных букв, если запрос касается поиска человека по фамилии либо имен собственных. В противном случае среди подходящих страниц в результате поиска обязательно будет присутствовать достаточная масса неподходящих, косвенно касающихся запроса данных.

Почему важно использовать несколько поисковых систем?

Выполняя поиск в Интернете, крайне важно применять, как минимум, два поисковика. Ведь на получение результатов при этом будут влиять разные способы То, что не замечает один поисковик, обязательно заметит другая система. Например, использование отечественной поисковой системы может переместить необходимую информацию на несколько страниц вперед, и в то же время иностранная выдаст тот же результат в первой пятерке.

Выполнение поиска согласно синонимам

Что больше ищут в Интернете? Обычно предметом поиска пользователей оказывается медиа контент и развлечения, в частности, фильмы, музыка, компьютерные игры. При этом люди далеко не всегда нуждаются в нахождении конкретного запроса. Часто в результатах выдачи необходимо увидеть общую информацию, различные варианты одного значения.

Для поиска схожей информации согласно выбранному запросу применяется символ «~», который необходимо расположить перед запросом в поисковой строке. Например, задав запрос «~лучшие игры», в конечном итоге можно увидеть ссылки на страницы, где не будет присутствовать ни одного совпадения с определением «лучшие». Однако здесь окажется достаточно синонимов к данному определению.

Как получить несколько результатов одновременно?

Как искать информацию в Интернете, чтобы получить одновременно несколько результатов выдачи? Для этого используется разделение пары запросов специальным оператором «|», который может располагаться, как между несколькими словами, так и фразами. Например, разделив таким образом запросы «купить автомобиль» и «купить мотоцикл», можно быстро получить страницы, содержащие оба варианта.

Использование преимуществ расширенного поиска

Применение функции расширенного поиска дает возможность избежать самостоятельного формирования уточняющих запросов. Вместо этого можно воспользоваться теми вариантами, которые предлагает непосредственно поисковая система.

Большинство поисковиков знают, что искать в Интернете намного лучше по сравнению с самыми продвинутыми пользователями, так как основывают свою работу на статистике формирования популярных запросов. Поэтому задавая поисковику запрос в виде искомого слова, лучше сразу же конкретизировать его при помощи функционала расширенного поиска.

Как быстро отыскать значение незнакомого понятия?

Что люди ищут в Интернете? Нередко предметом поиска становятся незнакомые пользователю материалы, а также понятия, в сути которых нужно разобраться. Чтобы моментально отыскать значение тех или иных определений, достаточно всего лишь разместить перед запросом «define:».

Просмотр результатов из первого десятка страниц

Что искать в Интернете? В первую очередь, обращать внимание следует на первые результаты выдачи поисковой системы. Ведь именно здесь обычно встречаются не только самые соответствующие запросу данные, но также результаты, найденные на наиболее популярных среди пользователей страницах. Как правило, это самые уважаемые, проверенные Интернет порталы с содержанием точной, отвечающей запросам пользователя информации.

Уточнение географии искомых данных

Наименее актуальной необходимость уточнения географии запроса выглядит для жителей столиц и крупных городов, однако она остается важной для пользователей из отдаленных регионов. Несмотря на автоматическое определение местоположения пользователя, которое выполняется большинством продвинутых поисковых систем, в результатах на первых позициях обязательно окажутся ссылки, связанные с крупными населенными пунктами. Ведь именно в таких местах сконцентрирована основная масса активных пользователей.

Исходя из вышесказанного, не стоит слишком надеяться на то, что поисковик определит, из какой точки на карте исходит запрос. Вместо этого лучше сразу же добавить к искомому запросу упоминание о месте своего пребывания.

Не стоит забывать и жителям столичных областей, что искать в Интернете информацию подобным образом наиболее целесообразно. Ведь нужные товары или услуги запросто могут оказаться за пределами города. Иногда самое простое упоминание конкретного региона, улицы или даже станции метро способствует быстрому нахождению необходимых магазинов, компаний или сервисов, которые располагаются ближе всего по отношению к месту пребывания пользователя.

Федеральное агентство по образованию

Смоленский государственный университет

Технологии поиска информации в сети Интернет.

Смоленск

Введение

Любой, кто пытался когда-нибудь найти нужную информацию в Интернете, наверняка согласится с тем, что этот процесс похож на поиск иголки в стоге сена. Глобальная сеть Internet содержит огромный объем информации, который стремительно увеличивается с каждым днем. В силу этого часто оказывается, что задача нахождения необходимой информации в этом информационном океане является чрезвычайно сложной и нужно уметь эффективно использовать различные поисковые системы (программы поиска информации в сети). Необходимо учесть, что "поиск - это искусство".

1. Классификация поисковых систем

Тематические каталоги и автоматические индексы различаются, прежде всего, по тому, как формируются и пополняются их базы данных: принимают ли в этом процессе участие люди, или все происходит совершенно автоматически.

Базы данных тематических каталогов составляются и систематически пополняются экспертами в соответствующих областях на основании новых Web-документов, обнаруженных в Internet специальными поисковыми программами. Тематический каталог представляет пользователю Internet некоторую древовидную структуру категорий (разделов и подразделов), на верхнем уровне которой собраны самые общие понятия, такие как Наука, Искусство, Бизнес и т. п., а элементы самого нижнего уровня представляют собой ссылки на отдельные Web-страницы и серверы вместе с кратким описанием их содержимого. По этому иерархическому каталогу можно путешествовать, начиная с более общих категорий (понятий) к более узким, специализированным.

Например, для нахождения информации о состоянии научных исследований по теории суперструн можно спуститься вниз по следующей "лестнице" понятий:

Science (Наука)

Physics (Физика)

Theoretical Physics (Теоретическая физика)

Theories (Теории)

String Theories (Теорииструн)

В результате будет получен список сайтов, среди которых наибольший интерес представляет сайт Superstrings. Щелкнув мышью на гиперссылке Superstrings, мы попадаем на home page сайта, с соответствующим заголовком, на котором можно найти on-line учебник по теории суперструн, различные ссылки для дальнейшего чтения, глоссарий по суперструнам и т.д.

Главным достоинством тематических каталогов является большая ценность получаемой пользователем информации, что обеспечивается присутствием "человеческого фактора" в процессе анализа и сортировки новых Web-страниц. С другой стороны, тематические каталоги имеют существенный недостаток, связанный опять же с человеческим фактором, ибо из-за ограниченных возможностей человека их базы данных охватывают лишь небольшую часть всего информационного Web-пространства (менее 1 %). Таким образом, несмотря на всю полезность тематических каталогов, использование лишь поисковых систем этого вида часто оказывается явно недостаточным.

Сводная таблица избранных предметных каталогов

В отличие от тематических каталогов, базы данных для автоматических индексов создаются и пополняются полностью автоматически некоторыми специальными, внутренними поисковыми программами-роботами, которые в круглосуточном режиме просматривают Internet-узлы (сайты) в поисках вновь появившихся Web-документов. Из каждого такого документа робот извлекает все содержащиеся в нем новые ссылки и добавляет их в свою базу адресов, в результате чего у программы-робота возникает возможность просмотра еще некоторого количества новых для него Web-документов. В каждом новом Web-документе робот анализирует все входящие в него слова и в разделе базы данных, соответствующем каждому данному слову, запоминается адрес (URL) документа, где это слово встретилось. Таким образом, база данных, создаваемая автоматическим индексом, фактически хранит сведения о том, в каких Web-документах содержаться те или иные слова. В отличие от тематических каталогов, автоматические индексы охватывают до 25 % общего Web-пространства.

Автоматический индекс имеет отдельную поисковую систему для обеспечения интерфейса с пользователем. Эта система может, просматривая базу данных, по заданному набору ключевых слов находить и выдавать на экран пользовательского компьютера адреса и краткую информацию обо всех Web-страницах, которые содержат данный набор ключевых слов. Таким образом, автоматический индекс состоит из трех частей: программы-робота, собираемой этим роботом базы данных и интерфейса для поиска в этой базе данных. Именно с последней составляющей и работает пользователь. В силу такой организации, автоматический индекс не делает какой-либо классификации или оценивания информации.

Интерфейс автоматических индексов позволяет пользователю задать некоторый набор ключевых слов, которые с его точки зрения, являются характерными для искомых им документов, и позволяют, таким образом, найти достаточно ограниченное число потенциально относящихся к делу Web-страниц. В качестве таковых слов могут быть использованы некоторые специфические термины и их комбинации, достаточно редкие фамилии и т. д.

Успех поиска нужной информации в значительной степени определяется именно удачным выбором ключевых слов, ибо в противном случае поисковая система может выдать многие тысячи и миллионы ссылок на не относящиеся к делу Web-документы.

Следует иметь ввиду, что начинающего пользователя подстерегает много разных неожиданностей, иногда доходящих до анекдотических ситуаций.

Если для автоматических индексов поиск по ключевым словам является единственным средством нахождения необходимой информации, то в тематических каталогах (например, в Yahoo!) это средство является альтернативным способом поиска наряду с путешествием по системе (дереву) вложенных друг в друга категорий.

Некоторой разновидностью поисковых служб являются рейтинговые службы. Они предоставляют клиенту готовый список некоторых ссылок, к которым обращались наиболее часто другие пользователи сети Internet. Когда речь идет о темах, имеющих общественный интерес, таких как новости, музыка и т. д., такие рекомендации, полученные статистическим методом, являются весьма удобными и полезными. Такие услуги, в частности, обеспечивает отечественная служба Rambler.

2. Приемы поиска

2.1. Простой поиск

Каждая поисковая система (ПС) предоставляет свои методы поиска и имеет свои особенности в правилах записи комбинаций ключевых слов. Однако есть общие элементы одинаково справедливые для большинства поисковых систем. Обычно все ПС допускают поиск Web-документов по ключевым словам, которые являются характерными для искомого документа. Выбор таких слов часто является нетривиальной задачей.

О нашем СЕО блоге вебмастеров

Давайте знакомиться: Мы группа веб мастеров фрилансеров, в нашу команду входит два программиста, один сео специалист и один дизайнер. Мы занимаемся разработкой сайтов еще с далекого 2005 года.

Структура блога и его наполнение

Теперь давайте немного пробежимся по содержанию рубрик, имеющихся на этом блоге:

Раздел CMS – в этом разделе мы рассказываем про одни из самых распространённых cms wordpress, joomla и про плагины и скрипты для них. Так же иногда делаем обзор про OpenCart и 1С-Битрикс.

Раздел Веб дизайн – тут все просто, про тренды и новости в веб дизайне, уроки веб дизайна, советы, и примеры классных дизайнов.

Раздел оптимизация сайта – тут техническая информация по поисковой оптимизации сайта, как делать сео аудит сайта, как устранять технические моменты и многое по этой теме.

Раздел Полезные статьи – тут мы многое рассказываем о заработке в интернете, о монетизации сайтов, много новостей из мира it и сайта строения.

Раздел Продвижение сайта - все про SEO, новости, тренды, методы продвижения, ссылки, интерент маркетинг, контекстная реклама, реклама через социальные сети, семантическое ядро, ключевые слова, сервисы и программы для продвижения, все в этом разделе.

Разделал разработка сайтов – тут все о программирование, много новостей и примеров как программировать на таких языках как php, html5, js, CSS 2.1, CSS 3.

Раздел о нас – тут мы рассказываем о том, кто мы, как долго занимаемся разработками и что мы умеем.