Редкие поисковые системы. Поисковая система

Рунет представляет собой место, где можно найти практически все. Но только при условии пользования правильным поисковиком. Последних на сегодняшний день в российской части Интернета уже с десяток, но некоторые из них используются почти всеми пользователями, а другие – лишь небольшим процентом. Связано это как с особенностями самих поисковых систем, так и с устоявшимся мнением, что Яндекс и Goggle – это круто, а остальные лишь пытаются за ними угнаться.

А знаете кто придумал Яндекс и Goggle? Вот .

Что такое поисковик

Поисковая система – это сервис, осуществляющий поиск информации во Всемирной Сети Интернет по заданному поисковому запросу пользователя. Для того чтобы найти эту самую информацию, необходимо открыть сайт поисковика и сформулировать запрос. При этом не обязательно записывать целые предложения в поисковой строке. Поисковики сегодня уже настолько «умны», что могут понять запрос пользователя буквально с полуслова.

В современном мире практически не существует человека, который хоть раз в жизни не искал что-либо во Всемирной сети Интернет. Поисковики, с помощью которых мы и осуществляем поиск, уже прочно вошли в нашу жизнь – мы «гуглим» названия фильмов и книг, имена и адреса людей, кулинарные рецепты и студенческие работы.

Трудно представить, как трудно нам пришлось, если бы не было Яндекса, Гугла, Майла и других информационно-поисковых систем. Приходилось бы записывать названия сайтов или даже подбирать их из набора символов. Но несмотря на то, что поисковики являются неотъемлемой частью повседневной жизни современного человека, мало кто задумывается, как они работают и каким образом появились.

История возникновения поисковиков

Удивительно, но история поисковых систем началась еще в 1945 году. Именно тогда американский ученый Вэнивер Буш впервые в одной из своих статей привел идею гипертекста. Впоследствии он также участвовал в создании первого прототипа поисковика, но основную работу все же проделали другие люди.

В 1969 году ученые одного из агентств по работе над исследовательскими проектами США создали концепцию, позволяющую передавать информацию при помощи компьютерной сети. Данную разработку хотели использовать для военных целей, но выяснилось, что соединение слишком слабое и может возникнуть утечка информации. Работа над концепцией прекратилась, но была снова возобновлена в 1980 году. На этот раз удалось объединить библиотеку информации университетов США с помощью компьютерных сетей.

Первый настоящий прототип современных поисковиков появился в середине 1990-х годов, когда были созданы каталоги сайтов, по которым можно было осуществлять поиск. Также существовали боты поисковых систем, но они не смогли дальше справляться со своими обязанностями после развития Интернета и появления большого количества сайтов.

С 1995 года во Всемирной сети начали свою работу современные поисковики – Yahoo, Google, Яндекс и другие.

Принцип работы поисковых систем

Процесс нахождения информации в Интернете поисковиком состоит из трех этапов:

• Изучение всех сайтов – сканирование;
• Индексирование;
• Ранжирование

На первом этапе поисковик блуждает по Всемирной сети, изучая содержимое каждого сайта. Учитывая, сколько сайтов представлено в Интернете и какое количество информации на них представлено, можно только предполагать с какой скоростью происходит сканирование. Ведь выдать результат нужно сразу после запроса пользователя.

Сканированием у поисковиков занимаются специальные роботы. Их также называют пауками. Они заходят на каждый сайт в Интернете и заносят информацию с них в свою базу данных. На старых сайтах это делается периодически, но именно сколько раз в месяц, решают уже сами поисковики. Когда же появляется новый сайт, роботы быстро сканируют весь его контент и забирают себе всю эту информацию. Дальше все происходит точно так же, как и на других сайтах.

На втором этапе и происходит процесс занесения найденной информации в базу данных. Здесь также каждая поисковая система работает по-своему. Например, Goggle забирает всю информацию, найденную на сайте, а Яндекс – лишь ту часть, которая кажется ему полезной. Затем поисковики классифицируют данные по темам, чтобы впоследствии было проще с ними работать.

На третьем этапе происходит выстраивание сайтов по порядку, в зависимости от того, насколько информация на них совпадает с поисковым запросом пользователя.

Количество пользователей поисковых систем растет с каждым днем, а значит, растет и популярность самих поисковиков. Возможно, совсем скоро позиции сервисов изменятся, они начнут работать в другом ключе или исчезнут вовсе. А простым пользователям остается лишь подстраиваться под них.

Итак, вот самые распространенные поисковые системы Рунета.

Яндекс: история возникновения

Как пользоваться поиском Google

Работа Goggle практически аналогична работе Яndex. Здесь также для нахождения нужной информации достаточно вбить письменный запрос на нужном языке в поисковую строку. Также можно задать и голосовую команду. Для этого достаточно нажать на значок микрофона и сделать запрос на поиск.

Поисковик поможет найти не только сайты с текстовой информацией, но и нужные картинки, видео или новости. Чтобы это сделать, нужно задать запрос и затем выбрать соответствующий раздел внизу поисковой строки.

Поисковая система Майл

– крупнейший интернет-портал Рунета, объединяющий в себе несколько сервисов. Один из них – поисковая система Mail, которая появилась сравнительно недавно – в 2003 году. Данный проект был запущен с намерением сделать его таким же успешным, как почту mail.ru, Одноклассники или Агент. Для этого были использованы разработки Google WebSearch, сервис интегрировали с List.mail.ru, но все же поисковик не стал таким популярным, как, например, Яндекс.

Несмотря на это mail.ru имеет свои особенности, выгодно отличающие его от других подобных сервисов. Так, поиск в нем ведется не только по всему Интернету, но и в самих сервисах Mail.Также поисковая система умеет различать названия фильмов и книг, запоминать предыдущие запросы пользователей, выдавать информацию по похожим запросам. В перспективе создание специального сервиса для вебмастеров, где можно будет получать информацию о:

• запросах, интересующих пользователей поисковых систем;
• посещаемых страницах;
• скачанных файлах;
• кэше посещаемых страниц;
• рейтинге сайтов по посещаемости.

В настоящее время поисковая система Mail занимает 3 место по популярности в Рунете и обрабатывает почти 6% всех запросов в Интернете в РФ.

Как пользоваться поиском Mail

В отличие от Google и Яндекс, поисковая строка Mail расположена в верхней части главной страницы. А вот алгоритм поиска тот же. Для нахождения информации достаточно вписать запрос и нажать значок с лупой. Аналогичны главным поисковикам Рунета и разделы Mail. Здесь тоже можно найти картинки и видео, но кроме этого, доступны «приложения» и «ответы». Выбрав первый раздел, можно воспользоваться многочисленными инструментами сервиса. Второй позволит найти информацию в Mail.Ответы.

А в этой статье я писал про сервисы очень подробно.

Поисковая система Рамблер

Рамблер – самый первый поисковик Рунета и огромное информационное пространство. История его началась в 1991 году. В то время Интернет как таковой в России только начинал зарождаться и использовался только в крупных организациях. В число таких организаций входили институты РАН, и в одном из них стали использовать локальную сеть для передачи данных между сотрудниками. Позже сеть была подключена к Интернет.

После пяти лет успешного использования на базе сети под началом российского программиста Дмитрия Крюкова создали поисковую систему под названием Rambler, что в переводе означает «странник». Данное название полностью отражает суть не только этого поисковика, но и всех остальных.

Сейчас, спустя 16 лет, Рамблер существует как система с разнообразными инструментами – игры, погода, новости, товары, карты и т.д. На его долю приходится 0,4% поисковых запросов Рунета.

Наиболее существенные изменения сервис претерпел в 2012 году: поменялся дизайн, появился показ новостей по умолчанию. Но практически сразу после этого руководством было принято решение заключить договор с Яндексом и перейти на его поиск. То есть теперь запросы с Рамблер обрабатывает и выдает Яндекс, а сам сервис работает на основе других своих инструментов.

Как пользоваться поиском Рамблер

Поиск в Рамблер ничем не отличается от поиска в других аналогичных сервисах. Пользователем задается команда в поисковой строке и после нажатия «найти» отображаются результаты. Кроме текстовой информации, здесь можно найти также картинки.

Другие поисковые системы Рунета

Поисковая система Нигма

Нигма – самая интеллектуальная поисковая система, созданная программистами Виктором Лавренко и Владимиром Чернышовым в 2004 году. Он отличается от других аналогичных сервисов тем, что здесь используется не только собственный алгоритм поиска, но и данные других поисковиков. Также Нигма позволяет использовать фильтры для быстрого нахождения нужной информации.

Здесь можно отдельно искать фильмы, музыку, картинки, ссылки и даже инструменты, помогающие ученикам и студентам с домашними заданиями. Функция фильрации называется кластеризацией. Изначально Нигма задумывалась именно как умная поисковая система, экономящая время. Именно поэтому и были созданы фильтры.

Несмотря на все фишки Нигмы, она не так популярна, как Яндекс, Гугл, Майл и даже Рамблер. На ее долю приходится лишь 0,1% всех запросов в поисковых системах. Возможно, именно поэтому с сентября 2017 года сайт «нигма.рф» стал недоступен для использования, но никаких официальных объявлений о закрытии проекта пока не было.

Поисковая система Спутник

Спутник – российская официальная поисковая система, которая появилась на рынке в 2014 году. Создатель ее – компания «Ростелеком».

История «Спутника» началась еще в 2010 году, когда Правительство РФ объявило о необходимости создания национальной поисковой системы. Причиной этого стала невозможность контроля уже существующих поисковиков, так как они не государственные. В 2011 году Президент Дмитрий Медведев поддержал идею, а уже в 2013 проект имел название и готовился к запуску. 22 мая он был запущен в режиме бета-тестирования.

Кроме поиска информации, Спутник предлагает такие сервисы, как «Погода», «Медицина», «Телепрограмма», «Карты», «Финансы», «Афиша» и т.д. Но несмотря на это пользователи Интернета восприняли поисковик без особого энтузиазма и в 2017 году проект был признан неудачным.

Как пользоваться поиском Спутник

Еще один российский поисковик Спутник имеет простой и удобный интерфейс. Для поиска информации в нем достаточно ввести запрос в поисковую строку и нажать кнопку «найти». Единственное, чем данный сервис принципиально отличается от аналогичных – это качество результата. То есть Спутник не выдаст столько результатов поиска, сколько другие, более популярные.

Поисковая система Апорт

Я застал время, когда мы им активно пользовались. Мне он нравился. Апорт как поисковик был создан в 1996 году компанией «Агама» — одним из лидеров по разработке программного обеспечения. Изначально сервис осуществлял поиск только по одному сайту, но со временем их стало больше, а затем поиск стал возможен по всему Рунету.

До 2000 года Апорт занимал высокие позиции в Рунете наряду с Яндексом и Гуглом. Разработчики несколько раз меняли дизайн, внедряли и другие инструменты, кроме поиска, но все же он начал сдавать позиции.

В 2011 году Апорт заключил договор с Яндекс и перешел на его движок. С этого времени поисковая система перестала существовать как привычная пользователям. Сейчас это сервис поиска цен на различные товары и сравнения с таковыми в других магазинах.

Как пользоваться Апорт

Апорт – это поисковая система, но находит она только товары с ценами. Для этого нужно выбрать из каталога нужный товар, а сервис покажет цены на него в различных магазинах. Затем можно перейти в магазин с более выгодной ценой и купить нужную вещь.

В сервисе представлено множество разделов с самыми разнообразными товарами. Благодаря ему можно отлично сэкономить.

Поисковая система Bing

Bing – поисковик от Microsoft, ставший третьим подобным проектом компании и самым удачным. Руководство Microsoft давно мечтало создать свою поисковую систему и впервые мечта стала реальностью в 1998 году, когда на рынке появился проект MSN Search. Но задумка была совершенно не встречена с энтузиазмом пользователями Интернета. И неудивительно, поскольку поисковик не представлял из себя ничего стоящего.

В 2006 году появился Windows Live Search, через год ему на смену пришел Live Search, но оба также не имели успеха у пользователей.

Наконец, в 2009 году Microsoft анонсировал новый сервис – Bing. Несмотря на неудачи своих предшественников, поисковик за короткое время заработал себе поклонников. В течение года по числу пользователей он сравнялся с Yahoo, что само по себе явление удивительное, а еще через немного вошел в список лучших поисковых систем мира.

В Рунете Бинг популярен гораздо меньше, чем во всей Всемирной паутине. Главная причина этого состоит в том, что поисковик очень мало отображает русскоязычные сайты. К тому же, в Рунете практически уже невозможно подвинуть те поисковики, которые устоялись.
Кроме самых популярных, есть также большое количество поисковых систем, которые мало кому известны, но все же используются некоторыми пользователями. Так, в Китае более 60% поисковых запросов обрабатывает поисковик Baidu.

У Бинга неплохая панель для вебмастеров. Обязательно добавьте ваш сайт туда.

Как пользоваться Bing

Поиск в Bing такой же удобный, как и в большинстве других поисковиков. Чтобы здесь найти сайт с текстовой информацией, изображение, видео или новость, достаточно ввести соответствующий запрос в поисковую строку. Поисковая система находит информацию как на российских сайтах, так и на зарубежных.

Главное отличие Bing от других сервисов с аналогичным функционалом – интерфейс с красивым дизайном. В отличие от того же Google, здесь по умолчанию установлен красочный фон.

Сравнение популярных поисковиков Рунета: где что искать

Поисковики тем лучше, чем больше точной информации могут выдать в ответ на запрос пользователя. Сегодня самая популярная система в Интернете – Google, а в Рунете – Яндекс. Если судить именно по качеству выдачи, то оно у них примерно одинаковое, но все же про что-то легче найти в Goggle, про что-то – в Яндекс. То же самое касается и других поисковых систем. Каждая из них ориентирована на определенную категорию пользователей и запросы.

Задача всех поисковых систем – нахождение информации, но каждый из них делает это по-своему. У всех свой алгоритм поиска и свои особенности. Возьмем к примеру Яндекс. Здесь можно найти практически все, но он в большей степени ориентирован на русскоязычные сайты. То есть если вы ищете информацию на русском языке про русского писателя, другого источника точно не надо. А вот если требуется статья на английском, уже стоит обратиться к Goggle или Bing. То же самое можно сказать и про иностранные видео и новости. Их вдоволь в одноименных разделах этих поисковых систем.

Спутник также ориентирован на русскоязычных пользователей и здесь вы вряд ли найдете много информации на иностранных языках. Скорее всего, в результатах будет что-то похожее на разыскиваемую информацию, но на русском языке.

Майл и Рамблер похожи по результатам выдачи на Яндекс, но найти здесь то, чего нет в главном поисковике Рунета, получится в очень редких случаях. В то же время Майл можно использовать для поиска в сервисе «Ответы», где зачастую находится нужная информация.

Апорт – специфический поисковик и предназначен для поиска товаров. Поэтому если вы намерены заняться шоппингом и ищете выгодные предложения, данный сервис вам обязательно поможет. Сравнивая цены в популярных интернет-магазинах, можно найти самые оптимальные варианты.

А каким поисковиком пользуетесь вы?

А знаете , и когда был запущен первый сайт? Угадаете?. Всем пока.

В Интернет специальный веб сайт, на котором пользователь по заданному запросу может получить ссылки на сайты, соответствующие этому запросу. Поисковая система состоит из трех компонент: 1 поискового робота; 2 индекса системы; и 3 программы,… … Финансовый словарь

Сущ., кол во синонимов: 3 искалка (9) ищейка (16) поисковик (13) Словарь синонимов AS … Словарь синонимов

поисковая система - поисковик Сайт, при помощи которого ищутся другие сайты. Поиск осуществляется путём ввода ключевых слов в окошко поиска. В отличии от каталогов, даже, если сайт не был предварительно зарегистрирован, его можно найти при помощи поисковика.… … Справочник технического переводчика

поисковая система - ieškos sistema statusas T sritis automatika atitikmenys: angl. searching system vok. Suchsystem, n rus. поисковая система, f pranc. système de recherche, m … Automatikos terminų žodynas

Поисковая система - – (англ. search engine, синонимы: искалка, поисковый сервер, поисковая машина) – Инструмент для поиска информации в Интернете. Как правило, работа поисковой машины состоит из двух этапов. Специальная программа (поисковый робот, автомат, агент,… … Энциклопедический словарь СМИ

Управления, система автоматического управления (См. Автоматическое управление), в которой управляющие воздействия методом поиска автоматически изменяются т. о., чтобы осуществлялось наилучшее (в каком то смысле) управление объектом; при… … Большая советская энциклопедия

Управлення система автоматического управления, в к рой управляющие воздействия методом поиска автоматического изменяются т. о., чтобы осуществлять наилучшее управление объектом; при этом изменения хар к объекта или воздействий внеш. среды заранее … Большой энциклопедический политехнический словарь

СМП 1 редназначена для поиска спасателей, попавших в критические условия, связанные с угрозой для жизни, а также поиска десантированных грузов и различных объектов в условиях плохой видимости. В ее состав входят: радиоблок поиска активных… … Словарь черезвычайных ситуаций

автоматизированная информационно-поисковая система - 3.2.5 автоматизированная информационно поисковая система: ИПС, реализованная на базе электронно вычислительной техники Источник … Словарь-справочник терминов нормативно-технической документации

У этого термина существуют и другие значения, см. Апорт. Апорт … Википедия

Книги

• Экстремальные задачи теории графов и Интернет. Учебное пособие , Райгородский Андрей Михайлович. Настоящая брошюра посвящена изучению различных экстремальных задач теории графов, (хотя бы частичное) решение которых может быть полезно при анализе данных. Она возникла на основе…
• Экстремальные задачи теории графов и интернет , Райгородский Ф.М.. Настоящая брошюра посвящена изучению различных экстремальных задач теории графов, (хотя бы частичное) решение которых может быть полезно при анализе данных. Она возникла на основе…

Интернет необходим многим пользователям для того, чтобы получать ответы на запросы (вопросы), которые они вводят.

Если бы не было поисковых систем, пользователям пришлось бы самостоятельно искать нужные сайты, запоминать их, записывать. Во многих случаях найти «вручную» что-то подходящее было бы весьма сложно, а часто и просто невозможно.

За нас всю эту рутинную работу по поиску, хранению и сортировке информации на сайтах делают поисковики.

Начнем с известных поисковиков Рунета.

Поисковые системы в Интернете на русском

1) Начнем с отечественной поисковой системы. Яндекс работает не только в России, но также работает в Белоруссии и Казахстане, в Украине, в Турции. Также есть Яндекс на английском языке.

2) Поисковик Google пришел к нам из Америки, имеет русскоязычную локализацию:

3)Отечественный поисковик Майл ру, который одновременно представляет социальную сеть ВКонтакте, Одноклассники, также Мой мир, известные Ответы Mail.ru и другие проекты.

4) Интеллектуальная поисковая система

Nigma (Нигма) http://www.nigma.ru/

С 19 сентября 2017 года “интеллектуалка” nigma не работает. Она перестала для её создателей представлять финансовый интерес, они переключились на другой поисковик под названием CocCoc.

5) Известная компания Ростелеком создала поисковую систему Спутник.

Есть поисковик Спутник, разработанный специально для детей, про который я писала .

6) Рамблер был одним из первых отечественных поисковиков:

В мире есть другие известные поисковики:

• Bing,
• Yahoo!,
• DuckDuckGo,
• Baidu,
• Ecosia,

Попробуем разобраться, как же работает поисковая система, а именно, как происходит индексация сайтов, анализ результатов индексации и формирование поисковой выдачи. Принципы работы поисковых систем примерно одинаковые: поиск информации в Интернете, ее хранение и сортировка для выдачи в ответ на запросы пользователей. А вот алгоритмы, по которым работают поисковики, могут сильно отличаться. Эти алгоритмы держатся в тайне и запрещено ее разглашение.

Введя один и тот же запрос в поисковые строки разных поисковиков, можно получить разные ответы. Причина в том, что все поисковики используют собственные алгоритмы.

Цель поисковиков

В первую очередь нужно знать о том, что поисковики – это коммерческие организации. Их цель – получение прибыли. Прибыль можно получать с контекстной рекламы, других видов рекламы, с продвижения нужных сайтов на верхние строчки выдачи. В общем, способов много.

Зависит от того, какой размер аудитории у него, то есть, сколько человек пользуется данной поисковой системой. Чем больше аудитория, тем большему числу людей будет показываться реклама. Соответственно, стоить эта реклама будет больше. Увеличить аудиторию поисковики могут за счет собственной рекламы, а также привлекая пользователей за счет улучшения качества своих сервисов, алгоритма и удобства поиска.

Самое главное и сложное здесь – это разработка полноценного функционирующего алгоритма поиска, который бы предоставлял релевантные результаты на большинство пользовательских запросов.

Работа поисковика и действия вебмастеров

Каждый поисковик обладает своим собственным алгоритмом, который должен учитывать огромное количество разных факторов при анализе информации и составлении выдачи в ответ на запрос пользователя:

• возраст того или иного сайта,
• характеристики домена сайта,
• качество контента на сайте и его виды,
• особенности навигации и структуры сайта,
• юзабилити (удобство для пользователей),
• поведенческие факторы (поисковик может определить, нашел ли пользователь то, что он искал на сайте или пользователь вернулся снова в поисковик и там опять ищет ответ на тот же запрос)
• и т.д.

Все это нужно именно для того, чтобы выдача по запросу пользователя была максимально релевантной, удовлетворяющей запросы пользователя. При этом алгоритмы поисковиков постоянно меняются, дорабатываются. Как говорится, нет предела совершенству.

С другой стороны, вебмастера и оптимизаторы постоянно изобретают новые способы продвижения своих сайтов, которые далеко не всегда являются честными. Задача разработчиков алгоритма поисковых машин – вносить в него изменения, которые бы не позволяли «плохим» сайтам нечестных оптимизаторов оказываться в ТОПе.

Как работает поисковая система?

Теперь о том, как происходит непосредственная работа поисковой системы. Она состоит как минимум из трех этапов:

• сканирование,
• индексирование,
• ранжирование.

Число сайтов в интернете достигает просто астрономической величины. И каждый сайт – это информация, информационный контент, который создается для читателей (живых людей).

Сканирование

Это блуждание поисковика по Интернету для сбора новой информации, для анализа ссылок и поиска нового контента, который можно использовать для выдачи пользователю в ответ на его запросы. Для сканирования у поисковиков есть специальные роботы, которых называют поисковыми роботами или пауками.

Поисковые роботы – это программы, которые в автоматическом режиме посещают сайты и собирают с них информацию. Сканирование может быть первичным (робот заходит на новый сайт в первый раз). После первичного сбора информации с сайта и занесения его в базу данных поисковика, робот начинает с определенной регулярностью заходить на его страницы. Если произошли какие-то изменения (добавился новый контент, удалился старый), то все эти изменения будут поисковиком зафиксированы.

Главная задача поискового паука – найти новую информацию и отдать ее поисковику на следующий этап обработки, то есть, на индексирование.

Индексирование

Поисковик может искать информацию лишь среди тех сайтов, которые уже занесены в его базу данных (проиндексированы им). Если сканирование – это процесс поиска и сбора информации, которая имеется на том или ином сайте, то индексация – процесс занесения этой информации в базу данных поисковика. На этом этапе поисковик автоматически принимает решение, стоит ли заносить ту или иную информацию в свою базу данных и куда ее заносить, в какой раздел базы данных. Например, Google индексирует практически всю информацию, найденную его роботами в Интернете, а Яндекс более привередлив и индексирует далеко не все.

Для новых сайтов этап индексирования может быть долгим, поэтому посетителей из поисковых систем новые сайты могут ждать долго. А новая информация, которая появляется на старых, раскрученных сайтах, может индексироваться почти мгновенно и практически сразу попадать в «индекс», то есть, в базу данных поисковиков.

Ранжирование

Ранжирование – это выстраивание информации, которая была ранее проиндексирована и занесена в базу того или иного поисковика, по рангу, то есть, какую информацию поисковик будет показывать своим пользователям в первую очередь, а какую информацию помещать «рангом» ниже. Ранжирование можно отнести к этапу обслуживания поисковиком своего клиента – пользователя.

На серверах поисковой системы происходит обработка полученной информации и формирование выдачи по огромному спектру всевозможных запросов. Здесь уже вступают в работу алгоритмы поисковика. Все занесенные в базу сайты классифицируются по тематикам, тематики делятся на группы запросов. По каждой из групп запросов может составляться предварительная выдача, которая впоследствии будет корректироваться.

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.

Поисковая система — это база данных по определенной информации в интернете. Многие пользователи считают, что как только они вводят запрос в поисковую систему, тут же начинается сканирование всего интернета, но это совсем не так. Сканирование интернета происходит постоянно, многими программами, данные о сайтах заносятся в базу данных, где по определенным критериям все сайты и все их страницы распределяются в различного рода списки и базы данных. То есть это своего рода картотека данных, и поиск происходит не по интернету, а по этой картотеке.

Google — самая популярная поисковая система в мире.

Кроме поисковой системы, компания Google предлагает множество дополнительных сервисов, программ и аппаратного обеспечения, среди которых почтовый сервис , браузер Google Chrome , крупнейшая видеотека youtube и многие другие проекты. Компания Google уверено скупает многие проекты приносящие крупную прибыль. Большинство сервисов направлены не на прямого пользователя, а на заработок в интернете и интегрирована с уклоном на интересы европейских и американских пользователей.

Mail — поисковая система, популярная в основном из-за почтового сервиса.

Имеется множество дополнительных сервисов, ключевым из которых является почта Mail , на данный момент компании Mail принадлежит социальная сеть Одноклассники , собственная сеть «Мой мир», сервис Деньги-mail, множество онлайн игр, три практически одинаковых браузера с различными названиями. Во всех приложениях и сервисах очень много рекламного наполнения. Социальная сеть «ВКонаткте» блокирует прямые переходы в сервисы Mail, агрументируя большим количеством вирусов.

Википедия.

Википедия — поисковая справочная система.

Некоммерческая поисковая система, существующая на частные пожертвования, поэтому не наполняет страницы рекламой. Многоязычный проект, целью которого является создание полной справочной энциклопедии на всех языках мира. У нее нет определенных авторов, заполняется и управляется добровольцами со всех стран мира. Каждый пользователь может как написать, так и отредактировать статью.

Официальная страница — www.wikipedia.org.

Youtube — крупнейшая библиотека видеофайлов.

Видеохостинг с элементами социальной сети, где каждый пользователь может добавить видео. С момента приобретения их компанией Google Ink, отдельная регистрация для ютуба не требуется, достаточно зарегистрироваться в почтовом сервисе Google .

Официальная страница — youtube.com.

Yahoo! — вторая по значимости поисковая система в мире.

Имеются дополнительные сервисы, самым известным из которых является почта Yahoo. В рамках улучшения качества поисковой системы, Yahoo передает данные о пользователях и их запросах в компанию Microsoft. От этих данных формируется представление об интересах пользователей, а так же формируется рынок рекламного наполнения. Поисковая система Yahoo, так же как и , занимается поглощением других компаний, например, Yahoo принадлежат поисковой сервис Altavista и сайт электронной коммерции Alibaba.

Официальная страница — www.yahoo.com.

WDL — цифровая библиотека.

В библиотеке собираются книги предоставляющие культурную ценность в цифровом виде. Основная цель — повышение уровня культурного содержания интернета. Доступ к библиотеке осуществляется бесплатно.

Официальная страница — www.wdl.org/ru/.

Bing — поисковая система от компании Microsoft.

Официальная страница — www.baidu.com.

Поисковые системы России

Рамблер — «проамериканская» поисковая система.

Изначально создавался как медийный интернет-портал. Как и другие многие поисковые системы, имеет сервисы поиска по картинкам, видеофайлы, карты, прогноз погоды, новостной раздел и многое другое. Так же издатели предлагают бесплатный браузер Рамблер-Нихром .

Официальная страница — www.rambler.ru.

Nigma — интеллектуальная поисковая система.

Более удобная поисковая система из-за наличия множества фильтров и настроек. Интерфейс позволяет включать, либо исключать предлагаемые подобные значения в поиске для получения более качественных результатов. Так же, при получении результата поиска позволяет использовать информацию других крупных поисковиков.

Официальная страница — www.nigma.ru.

Aport — каталог товаров онлайн.

В прошлом поисковая система, но впоследсвии того, что разработки и нововведения были прекращены, быстро сдала позиции и . В настоящий момент Апорт является торговой площадкой, на которой представляются товары более 1500 фирм.

Официальная страница — www.aport.ru.

Спутник — национальная поисковая система и интернет-портал.

Создана компанией «Ростелеком». В настоящее время находится в стадии тестирования.

Официальная страница — www.sputnik.ru.

Metabot — развивающаяся поисковая система.

В задачах Metabot стоит создание поисковой системы по всем другим поисковым системам, создавая позиции выдачи результатов с учетом данных всего списка поисковых систем. То есть это поисковая система по поисковым системам.

Официальная страница — www.metabot.ru.

Работа поисковой системы приостановлена.

Официальная страница — www.turtle.ru.

KM — мультипортал.

Изначально сайт являлся мультипорталом с последующим внедрением поисковой системы. Поиск может проводиться как внутри сайта, так и по всем отслеженным сайтам рунета .

Официальная страница — www.km.ru.

Gogo — не работает, перенаправляет на поисковик .

Официальная страница — www.gogo.ru.

Российский мультипортал, не очень популярный, требует доработки. В поисковик включены новости, телевидение, игры, карта.

Официальная страница — www.zoneru.org.

Поисковая система не работает, разработчики предлагают воспользоваться поисковиком .