Современные технологии обработки данных big data. Big Data нуждаются в вашей помощи

Колонка преподавателей НИУ ВШЭ о мифах и кейсах работы с большими данными

В закладки

Преподаватели Школы новых медиа НИУ ВШЭ Константин Романов и Александр Пятигорский, который также является директором по цифровой трансформации «Билайна», написали для сайт колонку о главных заблуждениях по поводу больших данных - примерах использования технологии и инструментах. Авторы предполагают, что публикация поможет руководителям компаний разобраться в этом понятии.

Мифы и заблуждения о Big Data

Big Data - это не маркетинг

Термин Big Data стал очень модным - его используют в миллионах ситуаций и в сотнях разных интерпретаций, зачастую не имеющих отношения к тому, чем он является. Часто в головах людей происходит подмена понятий, и Big Data путают с маркетинговым продуктом. Более того, в некоторых компаниях Big Data является частью маркетингового подразделения. Результат анализа больших данных действительно может быть источником для маркетинговой активности, но не более того. Посмотрим, как это работает.

Если мы определили список тех, кто покупал в нашем магазине товары на сумму более трех тысяч рублей два месяца назад, а затем послали этим пользователям какое-то предложение, то это типичный маркетинг. Мы выводим понятную закономерность из структурных данных, и используем ее для увеличения продаж.

Однако если мы соединим данные CRM с потоковой информацией, например, из Instagram, и проанализируем их, то найдем закономерность: человеку, который снизил свою активность в среду вечером и на чьей последней фотографии изображены котята, следует сделать определенное предложение. Это уже будет Big Data. Мы нашли триггер, передали его маркетологам, а они его использовали в своих целях.

Из этого следует, что технология обычно работает с неструктурированными данными, а если данные и структурированы, то система всё равно продолжает искать в них скрытые закономерности, чего не делает маркетинг.

Big Data - это не ИТ

Вторая крайность этой истории: Big Data часто путают с ИТ. Это связано с тем, что в российских компаниях, как правило, именно ИТ-специалисты являются драйверами всех технологий, в том числе и больших данных. Поэтому, если всё происходит именно в этом отделе, для компании в целом создается впечатление, что это какая-то деятельность ИТ.

На самом деле, здесь есть коренное различие: Big Data - это деятельность, направленная на получение определенного продукта, что совсем не относится к ИТ, хотя без них технология и не может существовать.

Big Data - не всегда сбор и анализ информации

Есть ещё одно заблуждение относительно Big Data. Все понимают, что эта технология связана с большими объемами данных, но какого рода данные имеются в виду, не всегда ясно. Собирать и использовать информацию может каждый, сейчас это возможно не только в фильмах про , но и в любой, даже совсем маленькой компании. Вопрос только в том, что именно собирать и как это использовать с пользой для себя.

Но следует понять, что технологией Big Data не будет являться сбор и анализ совершенно любой информации. Например, если вы соберете в социальных сетях данные о конкретном человеке, это не будет Big Data.

Что такое Big Data на самом деле

Big Data состоит из трех элементов:

данные;
аналитика;
технологии.

Big Data - не что-то одно из этих составляющих, а связка всех трех элементов. Часто люди подменяют понятия: кто-то считает, что Big Data - это только данные, кто-то - что технологии. Но по факту, сколько бы данных вы ни собрали, вы ничего с ними не сделаете без нужных технологий и аналитики. Если есть хорошая аналитика, но нет данных, - тем более плохо.

Если говорить о данных, то это не только тексты, но и все фотографии, размещаемые в Instagram, и вообще всё, что можно проанализировать и использовать для разных целей и задач. Другими словами, под Data понимаются огромные объемы внутренних и внешних данных различных структур.

Также нужна аналитика, потому что задача Big Data - построить какие-то закономерности. То есть аналитика - это выявление скрытых зависимостей и поиск новых вопросов и ответов на основе анализа всего объема разнородных данных. Причем Big Data ставит вопросы, которые напрямую из этих данных не выводим.

Если говорить об изображениях, то факт размещения вами своего фото в голубой футболке ни о чем не говорит. Но если использовать фотографию для Big Data-моделирования, то может выясниться, что именно сейчас вам следует предложить кредит, потому что в вашей социальной группе такое поведение говорит об определенном феномене в действиях. Поэтому «голые» данные без аналитики, без выявления скрытых и неочевидных зависимостей Big Data не являются.

Итак, у нас есть большие данные. Их массив огромен. Также у нас есть аналитик. Но как сделать так, чтобы из этих сырых данных у нас родилось конкретное решение? Для этого нам нужны технологии, которые позволяют их не просто складировать (а раньше и это было невозможно), но и анализировать.

Проще говоря, если у вас есть много данных, вам потребуются технологии, к примеру, Hadoop , которые дают возможность сохранить всю информацию в первозданном виде для последующего анализа. Такого рода технологии возникли в интернет-гигантах, поскольку именно они первыми столкнулись с проблемой хранения большого массива данных и его анализа для последующей монетизации.

Кроме инструментов для оптимизированного и дешевого хранения данных, нужны аналитические инструменты, а также надстройки к используемой платформе. К примеру, вокруг Hadoop уже образовалась целая экосистема из связанных проектов и технологий. Вот некоторые из них:

Pig - декларативный язык анализа данных.
Hive - анализ данных с использованием языка, близкого к SQL.
Oozie - поток работ в Hadoop.
Hbase - база данных (нереляционная), аналог Google Big Table.
Mahout - машинное обучение.
Sqoop - перенос данных из РСЦБД в Hadoop и наоборот.
Flume - перенос логов в HDFS.
Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS и так далее.

Все эти инструменты доступны каждому бесплатно, но есть и набор платных надстроек.

Кроме того, нужны специалисты: это разработчик и аналитик (так называемый Data Scientist). Также необходим менеджер, способный понять, как эту аналитику применить для решения конкретной задачи, потому что сама по себе она совершенно бессмысленна, если ее не встраивать в бизнес-процессы.

Все три сотрудника должны работать в команде. Менеджер, который дает специалисту по Data Science задание найти определенную закономерность, должен понимать, что далеко не всегда найдется именно то, что ему нужно. В таком случае руководитель должен внимательно слушать, что же нашел Data Scientist, поскольку зачастую его находки оказываются более интересными и полезными для бизнеса. Ваша задача - применить это к бизнесу и сделать из этого продукт.

Несмотря на то, что сейчас есть множество разного рода машин и технологий, окончательное решение всегда остается за человеком. Для этого информацию нужно как-то визуализировать. Инструментов для этого довольно много.

Самый показательный пример - это геоаналитические отчеты. Компания «Билайн» много работает с правительствами разных городов и областей. Очень часто эти организации заказывают отчеты типа «Транспортная загруженность в определенном месте».

Понятно, что подобный отчет должен попасть к правительственным структурам в простой и понятной им форме. Если же мы предоставим им огромную и совершенно непонятную таблицу (то есть информацию в том виде, в каком ее получаем мы), они вряд ли купят такой отчет - он будет совершенно бесполезен, они не вынесут из него тех знаний, которые хотели получить.

Поэтому, какими бы хорошими ни были специалисты по Data Science и какие бы закономерности они ни находили, вы не сможете работать с этими данными без качественных инструментов визуализации.

Источники данных

Массив получаемых данных очень велик, поэтому его можно разделить на некоторые группы.

Внутренние данные компании

Хотя к этой группе относится 80% собираемых данных, этот источник не всегда используют. Часто это данные, которые, казалось бы, вообще никому не нужны, например, логи. Но если посмотреть на них под другим углом, иногда можно найти в них неожиданные закономерности.

Условно бесплатные источники

Сюда относятся данные социальных сетей, интернета и всего, куда можно бесплатно проникнуть. Почему условно бесплатно? С одной стороны, эти данные доступны каждому, но если вы являетесь крупной компанией, то получать их в размерах абонентской базы в десятки тысяч, сотни или миллионы клиентов - уже непростая задача. Поэтому на рынке существуют платные сервисы по предоставлению этих данных.

Платные источники

Сюда относятся компании, которые продают данные за деньги. Это могут быть телекомы, DMP, интернет-компании, бюро кредитных историй и агрегаторы. В России телекомы не продают данные. Во-первых, это экономически невыгодно, а во-вторых, запрещено законом. Поэтому они продают результаты их обработки, например, геоаналитические отчеты.

Открытые данные

Государство идет навстречу бизнесу и дает возможность пользоваться данными, которые они собирают. В большей степени это развито на Западе, но Россия в этом плане тоже идет в ногу со временем. Например, существует Портал открытых данных Правительства Москвы, где публикуется информация по различным объектам городской инфраструктуры.

Для жителей и гостей Москвы данные представлены в табличном и картографическом виде, а для разработчиков - в специальных машиночитаемых форматах. Пока проект работает в ограниченном режиме, но развивается, а значит, тоже является источником данных, который вы можете использовать для своих бизнес-задач.

Исследования

Как уже отмечалось, задача Big Data - найти закономерность. Часто исследования, проводимые по всему миру, могут стать точкой опоры для нахождения той или иной закономерности - вы можете получить конкретный результат и попытаться применить похожую логику в своих целях.

Big Data - это область, в которой работают не все законы математики. Например, «1»+«1» - это не «2», а значительно больше, потому что при смешении источников данных можно значительно усилить эффект.

Примеры продуктов

Многие знакомы с сервисом по подбору музыки Spotify. Он прекрасен тем, что не спрашивает у пользователей, какое у них сегодня настроение, а сам вычисляет это на основе доступных ему источников. Он всегда знает, что вам нужно сейчас - джаз или тяжелый рок. Это то ключевое отличие, которое обеспечивает ему поклонников и отличает от других сервисов.

Подобные продукты принято называть sense-продуктами - такими, которые чувствуют своего клиента.

Технологию Big Data применяют и в автомобилестроении. Например, это делает Tesla - в их последней модели есть автопилот. Компания стремится создать машину, которая сама будет везти пассажира туда, куда ему нужно. Без Big Data это невозможно, потому что если мы будем использовать только те данные, которые получаем напрямую, как это делает человек, то автомобиль не сможет усовершенствоваться.

Когда мы ведем автомобиль сами, то с помощью наших нейронов принимаем решения, исходя из множества факторов, которых мы даже не замечаем. Например, мы можем не осознать, почему решили не газовать сразу на зеленый свет, а потом окажется, что решение было верным - мимо вас пронеслась машина на бешеной скорости, и вы избежали аварии.

Также можно привести пример использования Big Data в спорте. В 2002 году генеральный менеджер бейсбольной команды Oakland Athletics Билли Бин решил разрушить парадигму того, как нужно искать себе спортсменов - он выбрал и обучил игроков «по цифрам».

Обычно менеджеры смотрят на успехи игроков, но в данном случае всё было иначе - чтобы получить результат, менеджер изучал, какие комбинации спортсменов ему нужны, обращая внимания на индивидуальные характеристики. Причем спортсменов он выбрал таких, которые сами по себе не представляли большого потенциала, зато команда в целом получилась настолько успешной, что выиграла двадцать матчей подряд.

Режиссер Беннетт Миллер в последствии снял фильм, посвященный этой истории, - «Человек, который изменил всё» в главной роли с Брэдом Питтом.

Технология Big Data полезна и в финансовом секторе. Ни один человек на свете не сможет самостоятельно и точно определить, стоит ли давать кому-то кредит. Для того, чтобы принять решение, производится скоринг , то есть строится вероятностная модель, по которой можно понять, вернет этот человек деньги или нет. Дальше скоринг применяется на всех этапах: можно, например, просчитать, что в определенный момент человек перестанет платить.

Большие данные позволяют не только заработать деньги, но и сэкономить их. В частности, эта технология помогла Министерству труда Германии сократить расходы на пособия по безработице на 10 млрд евро, так как после анализа информации стало понятно, что 20% пособий выплачивалось незаслуженно.

Также технологии применяются в медицине (особенно это характерно для Израиля). С помощью Big Data можно поставить значительно более точный анализ, чем это сделает врач с тридцатилетним стажем.

Любой доктор, когда ставит диагноз, опирается лишь на свой собственный опыт. Когда это делает машина, она исходит из опыта тысяч таких врачей и всех существующих историй болезни. Она учитывает то, из какого материала сделан дом пациента, в каком районе живет пострадавший, какая там задымленность и так далее. То есть она учитывает массу факторов, которые врачи не берут в расчет.

Примером использования Big Data в здравоохранении можно назвать проект Project Artemis, который внедрила Детская больница Торонто. Это информационная система, которая собирает и анализирует данные по младенцам в реальном времени. Машина позволяет анализировать 1260 показателей здоровья каждого ребенка ежесекундно. Этот проект направлен на прогноз нестабильного состояния ребенка и профилактику заболеваний у детей.

Большие данные начинают использовать и в России: например, подразделение больших данных есть у «Яндекса». Компания совместно с «АстраЗенекой» и Российским обществом клинической онкологии RUSSCO запустили платформу RAY, предназначенную для генетиков и молекулярных биологов. Проект позволяет улучшить методы диагностики рака и выявления предрасположенности к онкологическим заболеваниям. Платформа начнет работу в декабре 2016 года.

16.07.18. Mail.ru запустила Big Data as a Service

Облачная платформа Mail.ru пополнилась сервисом для анализа больших данных Cloud Big Data , который базируется на фреймворках Apache Hadoop и Spark. Сервис будет полезен ритейлерам, финансовым организациям, которым нужно анализировать большие данные, но которые не хотят тратить много денег на собственные сервера. Mail.ru берет деньги только за фактическое время работы оборудования. Так, кластер Hadoop из 10 узлов обойдется клиенту в 39 руб. за один час работы. Напомним, в прошлом году МТС запустил такой же BigData-сервис Cloud МТС . Стоимость использования сервиса составляла от 5 тыс. руб. в месяц. Также, услуги по обработке больших данных предоставляет .

2017. МТС запустила облачную платформу для обработки Big Data

Оператор МТС запустил услугу по облачной обработке больших данных для бизнеса в рамках своей облачной платформы #CloudМТС . Компании смогут работать с данными в программных средах Hadoop и Spark. Например, этот облачный сервис поможет бизнесу таргетировать рекламу, собирать и обрабатывать открытые данные, проводить финансовую и бизнес-аналитику. Интернет-магазины смогут анализировать поведение клиентов, а затем предлагать готовые таргетированные предложения к разным событиям и праздникам. Сервис работает при помощи предустановленных инструментов расчета, однако есть возможность создать собственные алгоритмы обработки данных. Стоимость использования сервиса составляет от 5 тысяч рублей в месяц, цена изменяется в зависимости от пространства, занятого в облаке. Напомним, платформа #CloudМТС была создана в 2016 году. Сначала она предоставляла только услуги облачного хранения данных, а позже появилась и услуга облачных вычислений.

2016. Big Data прогноз на Олимпиаду в Рио

Уже скоро Big Data сервисы будут подсказывать вам, какие решения принимать для роста и обеспечения безопасности вашего бизнеса. Пока же они, в основном, тренируются на спортивных мероприятиях. Помните, недавно интеллектуальная платформа Microsoft спрогнозировала результаты Чемпионата Европы по футболу? Так вот, нифига она не угадала. На этот раз американская компания Gracenote, которая специализируется на обработке больших данных, просчитала наиболее вероятный вариант медального зачета Олимпиады в Рио. На картинке - прогноз, который был составлен за месяц до Олимпиады. Он постоянно обновляется. Текущая версия - .

2016. Интеллектуальная платформа Microsoft спрогнозировала результаты Чемпионата Европы по футболу

У Microsoft (как у любого уважающего себя ИТ-гиганта) уже есть аналитическая платформа, основанная на обработке больших данных (Big Data) и искусственном интеллекте - Microsoft Cortana Intelligence Suite . На основании различных данных из ваших бизнес-систем, она может предсказать отток клиентов, поломки оборудования, изменение доходов и т.д. А сейчас, Microsoft дает нам возможность проверить, насколько точно работает эта платформа. Проанализировав футбольную историю, статистическую информацию о командах, результативности игроков, полученных травмах, а также комментарии фанатов в социальных сетях, она представила свой прогноз на Чемпионат Европы по футболу, который стартует сегодня. Итак, согласно прогнозу: в финале Германия победит Испанию с вероятностью 66%. А в стартовом матче Франция выиграет у Румынии с вероятностью 71%.

2016. SAP и Яндекс создают Big Data сервис для удержания клиентов

2 года назад Яндекс запустил сервис , который предоставляет услуги обработки больших данных для бизнесов. Этот сервис уже помог таким компаниям как Билайн и Wargaming (Word of Tanks) избегать оттока клиентов. Он предсказывает периоды оттока на основании исторических данных и дает бизнесу возможность подготовиться и вовремя предложить какую-нибудь новую акцию. Теперь, видимо, эта технология Яндекс заинтересовала крупнейшего в мире игрока на корпоративном ИТ рынке - компанию SAP. Компании объединили усилия, чтобы разработать сервис для предсказания поведения клиентов. По мнению SAP и YDF, сервис будут использовать в ритейле, e-commerce, банках и телекоммуникациях. Говорят, сервис будет предназначен для среднего бизнеса, в том числе, и по цене.

2016. PROMT Analyser - морфологический анализатор Big Data

Компания PROMT выпустила PROMT Analyser - решение в области искусственного интеллекта для работы с большими данными в информационно-аналитических системах. Инструмент предназначен для поиска, извлечения, обобщения и структуризации информации из практически любого текстового контента на разных языках как в корпоративных системах, так и во внешних источниках. Он анализирует любые тексты или документы, выделяет в них сущности (персоналии, организации, географические названия, геополитические сущности и др.), а также определяет соотносящиеся с этим сущностями действия, дату и место совершения действия, формирует целостный образ документа. PROMT Analyser позволяет решать самые разные задачи: анализ внутренних ресурсов компании (системы документооборота), анализ внешних ресурсов (медиа, блогосфера и пр.), анализ данных, получаемых из закрытых источников, для оценки критичности ситуаций, анализ деятельности объекта с привязкой к географии, а также оптимизация поисковых систем и служб поддержки.

2016. Mail.Ru поможет компаниям анализировать их данные

Mail.Ru стремится ни в чем не отставать от своего главного конкурента - Яндекса. Год назад Яндекс сервис анализа больших данных для бизнеса. А теперь Mail.ru открыла Big Data направление для корпоративных клиентов. Прежде всего, оно будет заниматься проектами, направленными на повышение эффективности процессов маркетинга и продаж, оптимизации производства, логистики, управления рисками, планирования, управления персоналом и другие рабочие процессы различных бизнесов. Например, Mail.ru сможет создать модель прогнозирования оттока клиентов, отклика на предложения, прогноз реакции на обращение через определенный канал коммуникации. Это позволит сделать взаимодействие с потенциальным клиентом более персонифицированным. В Mail.ru заявляют, что компания занимается анализом данных фактически с момента основания и имеет собственные технологии машинного обучения.

2015. IBM станет ведущим провайдером прогноза погоды для бизнеса

Важна ли погода для бизнеса? Конечно, особенно, если ваш бизнес - это сельхоз предприятие, турфирма, кафе или магазин одежды. Погода влияет на стабильность поставок, выбор ассортимента и активность продаж. В таком случае, каждая уважающая себя система бизнес-аналитики должна учитывать прогноз погоды. Так подумали в IBM и купили крупнейшую в мире метеослужбу The Weather Company. IBM планирует скормить данные из трех миллиардов прогнозных референсных точек своему суперкомпьютеру Watson и совершить переворот в прогнозировании погоды. Кроме того, они планируют создать платформу, которая позволит сторонним бизнес-приложениям использовать информацию о погоде за некоторую плату.

2015. Видео: как использовать Big Data для привлечения талантливых сотрудников

Вы все еще сомневаетесь, что Big Data - это полезно для бизнеса? Тогда посмотрите этот ролик о том, как Билайн привлекает новых талантливых работников с помощью Big Data. В начале сентября по Москве курсировало такое Big Data Taxi в виде автомобиля Tesla. По словам представителя Билайн, кроме помощи в привлечении новых талантов, технологии Big Data позволяют компании решать самые разные задачи. Начиная от таких простых и тривиальных, как «найди всех тех, кто пользуется SIM, купленной по чужому паспорту», и заканчивая - «определи возраст абонента по совокупности показателей».

2015. Microsoft представила говорящую Big Data платформу

Технологии Big Data обещают компаниям волшебную оптимизацию бизнес процессов, например: у вас всегда будет нужное количество товара в нужном месте, в нужное время. Но те компании, которые уже попробовали Big Data говорят: на практике это не работает. Существующие Big Data системы предназначены для аналитиков, а обычному сотруднику, который должен принять решение здесь и сейчас, они не помогают. Поэтому, в Microsoft решили выпустить Big Data платформу с человеческим лицом (точнее - голосом) - Cortana Analytics Suite . Она основана на облачной платформе Azure и использует голосового помощника Cortana в качестве интерфейса. Предполагается, что с помощью визуального конструктора любой начальник департамента сможет создавать мини-приложения, обрабатывающие большие объемы данных, а любой сотрудник - сможет спрашивать у Кортаны и получать нужную информацию в нужное время, в нужном месте.

2015. Видео: Что такое Big Data и кому это нужно?

Российский стартап CleverData позиционируется как Big Data-интегратор. Они реализуют проекты для решения конкретных бизнес-задач с использованием Big Data платформ и технологий. На видео генеральный директор CleverData Денис Афанасьев интересно рассказывает о том, что такое Big Data и откуда эти большие данные появились. Оказывается, технологии обработки больших данных существуют уже не один десяток лет, но причина появления маркетингового термина Big Data в том, что (благодаря облачным вычислениям) снизилась их стоимость, и они стали доступными малым-средним компаниям. По словам Дениса, чаще всего Big Data применяется для маркетинга (сегментация клиентской базой, онлайн реклама), ит безопасности (выявление мошенничества, прогнозирование поломок), риск менеджмента (оценка кредитоспособности клиентов).

2015. SAP представил Next Big Thing - ERP-систему S/4HANA

Первая ERP система SAP называлась R/2 и работала на мейнфреймах. Потом был R/3. В 2004 году появился SAP Business Suite. На днях SAP представил (как они говорят) самый главный продукт в своей истории - новую версию S4/HANA . При ее создании разработчики думали не о том, как утереть нос извечному конкуренту Oracle, а о том, как не дать себя обставить агрессивным SaaS-провайдерам Salesforce и Workday. Поэтому S4 сможет работать как локально, так и в облаке. Главная фишка системы - скорость. Как следует из названия, в основе S4 лежит ведущая Big-Data платформа SAP HANA, которая позволяет обрабатывать очень большие данные за секунды. Вторая главная фишка - интерфейс. Забудьте о сложных таблицах и меню, в которых без бутылки не разобраться. SAP хочет, чтобы новой мощной системой можно было управлять с помощью смартфона. Для работы с SAP можно будет использовать как минимум 25 простых приложений SAP Fiori. Вот их видеопрезентация:

2014. Яндекс открыл Big Data сервис для бизнеса

Яндекс запустил проект Yandex Data Factory , который будет предоставлять услуги обработки больших данных для бизнесов. Для этого он использует технологию машинного обучения Матрикснет, которую Яндекс разработал для ранжирования сайтов в своей поисковой системе. Заявляется, что Яндекс планирует стать конкурентом таким компаниям, как SAP AG и Microsoft. На данный момент специалисты Yandex Data Factory реализовали несколько пилотных проектов с европейскими компаниями. В частности искусственный интеллект Яндекса использовался компанией, обслуживающей линии электропередач, для прогнозирования поломок, банком - для таргетирования заемщиков, автодорожным агентством для прогнозирования пробок на дорогах. Кроме того, оказывается Яндекс обрабатывает данные, полученные из знаменитого адронного коллайдера в центре CERN.

2014. Microsoft поможет Мадридскому Реалу выигрывать с помощью Big Data

От добра добра не ищут. Мадридский Реал довольно хорошо играет в последнее время и добивается высоких результатов. Однако, лавры сборной Германии, выигравшей чемпионат мира с помощью не дают покоя президенту мадридского клуба Флорентино Пересу (крайний слева на фото). Поэтому он заключил контракт с Microsoft на сумму $30 млн, в рамках которого будет создана современная ИТ инфраструктура клуба. Тренерский состав и игроки Реала получат планшеты Surface Pro 3 с предустановленными приложениями Office 365 для более тесного взаимодействия персонала. А используя аналитические инструменты Power BI for Office 365, тренеры команды смогут изучать эффективность игры футболистов, определять долгосрочные тенденции и даже предсказывать травмы.

2014. 1С-Битрикс запустил сервис Big Data

Big Data - технологии для обработки очень больших объемов данных с целью получения простых и полезных для бизнеса результатов - это один из главных новых трендов ИТ рынка. А сервис 1С-Битрикс BigData - это пожалуй, первый отечественный сервис, основанный на этой технологии. Первым применением этого искусственного интеллекта станет оптимизация (персонализация) интернет-магазинов на движке Битрикс под каждого нового посетителя. На основе анализа большого количества данных о всех прошлых посетителях, сервис сможет предсказывать поведение нового посетителя на сайте, выделять похожих на него клиентов, и делать ему персонализированные предложения на основе истории покупок других клиентов. Вероятно, скоро можно будет ожидать Big Data функции и в системе управления бизнесом Битрикс24.

2014. SAP: Сборная Германии выиграла Чемпионат Мира благодаря Big Data

Недавно, в прошлом году, яхта Oracle выиграла Кубок Америки, и тогда в Oracle сказали , что эта победа произошла во многом благодаря системе анализа больших данных (Big Data) в облаке Oracle. Теперь настало время извечного конкурента Oracle - немецкой компании SAP ответить на этот PR-ход. Оказалось, что сборная Германии выиграла Чемпионат Мира по футболу тоже благодаря Big Data. В SAP разработали систему Match Insights , которая считывает футбольный матч в 3-х мерную цифровую модель и анализирует действия каждого игрока и команды в целом. Анализировались не только матчи собственной сборной (чтобы исправить ошибки и улучшить эффективность), но и матчи конкурентов. Искусственный интеллект находил слабые места соперников и помогал команде подготовиться к матчу. А мораль этой басни такова: Представьте, что Big Data может сделать для вашего бизнеса.

2014. КРОК запустил облачное решение класса Business Intelligence

Системный интегратор Крок запустил сервис бизнес-аналитики с говорящим названием "Business Intelligence as a Service" или BIaaS. Решение рассчитано на крупные организации, заинтересованные в снижении капитальных затрат и ускорении принятия управленческих решений. Система построена на продукте EMC Greenplum и представляет собой решение уровня Big Data. С помощью этого инструмента можно анализировать и сравнивать большие объемы информации, выстраивать ключевые показатели и принимать бизнес-решения, минуя стадию капитальных затрат на приобретение софта, лицензий и возможную модернизацию инфраструктуры. Решение позволяет реализовать три возможных сценария работы с данными - аналитика для ритейла, анализ показателей работы контакт-центра, а также оценка управленческой деятельности организации на соответствие KPI.

2013. SAP делает большие бизнесы эффективными с помощью Big Data. Конкуренты плачут

В последние годы SAP проявлял себя, как наименее инновационная ИТ компания (по сравнению с конкурентами Oracle, Microsoft, IBM). Все собственные инновационные проекты SAP в основном проваливались (вспомните ), и единственное, что получалось у SAP - это покупать другие компании (SuccessFactors, SyBase, Ariba). Но на этот раз SAP, похоже, решил утереть нос конкурентам. И сделает он это за счет новой модной технологии Big Data. Что это такое?

Что такое Big Data (дословно — большие данные )? Обратимся сначала к оксфордскому словарю:

Данные — величины, знаки или символы, которыми оперирует компьютер и которые могут храниться и передаваться в форме электрических сигналов, записываться на магнитные, оптические или механические носители.

Термин Big Data используется для описания большого и растущего экспоненциально со временем набора данных. Для обработки такого количества данных не обойтись без .

Преимущества, которые предоставляет Big Data:

Сбор данных из разных источников.
Улучшение бизнес-процессов через аналитику в реальном времени.
Хранение огромного объема данных.
Инсайты. Big Data более проницательна к скрытой информации при помощи структурированных и полуструктурированных данных.
Большие данные помогают уменьшать риск и принимать умные решения благодаря подходящей риск-аналитике

Примеры Big Data

Нью-Йоркская Фондовая Биржа ежедневно генерирует 1 терабайт данных о торгах за прошедшую сессию.

Социальные медиа : статистика показывает, что в базы данных Facebook ежедневно загружается 500 терабайт новых данных, генерируются в основном из-за загрузок фото и видео на серверы социальной сети, обмена сообщениями, комментариями под постами и так далее.

Реактивный двигатель генерирует 10 терабайт данных каждые 30 минут во время полета. Так как ежедневно совершаются тысячи перелетов, то объем данных достигает петабайты.

Классификация Big Data

Формы больших данных:

Структурированная
Неструктурированная
Полуструктурированная

Структурированная форма

Данные, которые могут храниться, быть доступными и обработанными в форме с фиксированным форматом называются структурированными. За продолжительное время компьютерные науки достигли больших успехов в совершенствовании техник для работы с этим типом данных (где формат известен заранее) и научились извлекать пользу. Однако уже сегодня наблюдаются проблемы, связанные с ростом объемов до размеров, измеряемых в диапазоне нескольких зеттабайтов.

1 зеттабайт соответствует миллиарду терабайт

Глядя на эти числа, нетрудно убедиться в правдивости термина Big Data и трудностях сопряженных с обработкой и хранением таких данных.

Данные, хранящиеся в реляционной базе — структурированы и имеют вид,например, таблицы сотрудников компании

Неструктурированная форма

Данные неизвестной структуры классифицируются как неструктурированные. В дополнении к большим размерам, такая форма характеризуется рядом сложностей для обработки и извлечении полезной информации. Типичный пример неструктурированных данных — гетерогенный источник, содержащий комбинацию простых текстовых файлов, картинок и видео. Сегодня организации имеют доступ к большому объему сырых или неструктурированных данных, но не знают как извлечь из них пользу.

Полуструктурированная форма

Эта категория содержит обе описанные выше, поэтому полуструктурированные данные обладают некоторой формой, но в действительности не определяются с помощью таблиц в реляционных базах. Пример этой категории — персональные данные, представленные в XML файле.

Prashant RaoMale35 Seema R.Female41 Satish ManeMale29 Subrato RoyMale26 Jeremiah J.Male35

Характеристики Big Data

Рост Big Data со временем:

Синим цветом представлены структурированные данные (Enterprise data), которые сохраняются в реляционных базах. Другими цветами — неструктурированные данные из разных источников (IP-телефония, девайсы и сенсоры, социальные сети и веб-приложения).

В соответствии с Gartner, большие данные различаются по объему, скорости генерации, разнообразию и изменчивости. Рассмотрим эти характеристики подробнее.

Объем . Сам по себе термин Big Data связан с большим размером. Размер данных — важнейший показатель при определении возможной извлекаемой ценности. Ежедневно 6 миллионов людей используют цифровые медиа, что по предварительным оценкам генерирует 2.5 квинтиллиона байт данных. Поэтому объем — первая для рассмотрения характеристика.
Разнообразие — следующий аспект. Он ссылается на гетерогенные источники и природу данных, которые могут быть как структурированными, так и неструктурированными. Раньше электронные таблицы и базы данных были единственными источниками информации, рассматриваемыми в большинстве приложений. Сегодня же данные в форме электронных писем, фото, видео, PDF файлов, аудио тоже рассматриваются в аналитических приложениях. Такое разнообразие неструктурированных данных приводит к проблемам в хранении, добыче и анализе: 27% компаний не уверены, что работают с подходящими данными.
Скорость генерации . То, насколько быстро данные накапливаются и обрабатываются для удовлетворения требований, определяет потенциал. Скорость определяет быстроту притока информации из источников — бизнес процессов, логов приложений, сайтов социальных сетей и медиа, сенсоров, мобильных устройств. Поток данных огромен и непрерывен во времени.
Изменчивость описывает непостоянство данных в некоторые моменты времени, которое усложняет обработку и управление. Так, например, большая часть данных неструктурирована по своей природе.

Big Data аналитика: в чем польза больших данных

Продвижение товаров и услуг : доступ к данным из поисковиков и сайтов, таких как Facebook и Twitter, позволяет предприятиям точнее разрабатывать маркетинговые стратегии.

Улучшение сервиса для покупателей : традиционные системы обратной связи с покупателями заменяются на новые, в которых Big Data и обработка естественного языка применяется для чтения и оценки отзыва покупателя.

Расчет риска , связанного с выпуском нового продукта или услуги.

Операционная эффективность : большие данные структурируют, чтобы быстрее извлекать нужную информацию и оперативно выдавать точный результат. Такое объединение технологий Big Data и хранилищ помогает организациям оптимизировать работу с редко используемой информацией.

Вы же знаете эту известную шутку? Big Data — это как секс до 18:

все об этом думают;
все об этом говорят;
все думают, что их друзья это делают;
почти никто этого не делает;
тот, кто это делает, делает это плохо;
все думают, что в следующий раз лучше получится;
никто не принимает мер безопасности;
любому стыдно признаться в том, что он чего-то не знает;
если у кого-то что-то получается, от этого всегда много шума.

Но давайте начистоту, с любой шумихой рядом всегда будет идти обычное любопытство: что за сыр-бор и есть ли там что-то действительно важное? Если коротко — да, есть. Подробности — ниже. Мы отобрали для вас самые удивительные и интересные применения технологий Big Data. Это небольшое исследование рынка на понятных примерах сталкивает с простым фактом: будущее не наступает, не нужно «подождать еще n лет и волшебство станет реальностью». Нет, оно уже пришло, но все еще незаметно глазу и поэтому припекание сингулярности еще не обжигает известную точку рынка труда так сильно. Поехали.

1 Как применяются технологии Big Data там, где они зародились

Большие IT компании — то место, где зародилась наука о данных, поэтому их внутренняя кухня в этой области интереснее всего. Кампания Google, родина парадигмы Map Reduce, , единственной целью которого является обучение своих программистов технологиям машинного обучения. И в этом кроется их конкурентное преимущество: после получения новых знаний, сотрудники будут внедрять новые методы в тех проектах Google, где они постоянно работают. Представьте себе, насколько огромен список сфер, в которых кампания может совершить революцию. Один из примеров: нейронные сети используются .

Корпорация и внедряет машинное обучение во все свои продукты. Ее преимущество — наличие большой экосистемы, в которую входят все цифровые устройства, используемые в повседневной жизни. Это позволяет Apple достигать невозможного уровня: у кампании есть столько данных о пользователях, сколько нет ни у какой-либо другой. При этом, политика конфиденциальности очень строгая: корпорация всегда хвасталась тем, что не использует данных клиентов в рекламных целях. Соответственно, информация пользователей шифруется так, что юристы Apple или даже ФБР с ордером не смогут ее прочесть. По вы найдете большой обзор разработок Apple в сфере ИИ.

2 Большие Данные на 4 колесах

Современный автомобиль — накопитель информации: он аккумулирует все данные о водителе, окружающей среде, подключенных устройствах и о себе самом. Уже скоро одно транспортное средство, которое подключено к сети наподобие той, что , будет генерировать до 25 Гб данных за час.

Транспортная телематика используется автопроизводителями на протяжении многих лет, но сейчас лоббируется более сложный метод сбора данных, который в полной мере задействует Big Data. А это значит, что теперь технологии могут оповестить водителя о плохих дорожных условиях путем автоматической активации антиблокировочной тормозной и пробуксовочной системы.

Другие концерны, включая BMW, используют технологии Большиx Данных в сочетании со сведениями, собранными с тестируемых прототипов, встроенной в автомобили системой «памяти ошибок» и клиентскими жалобами, чтобы на ранней стадии производства определить слабые места модели. Теперь вместо ручной оценки данных, которая занимает месяцы, применяется современный алгоритм. Ошибки и затраты на их устранение уменьшаются, что позволяет ускорить рабочие процессы анализа информации в BMW.

Согласно экспертным оценкам, к 2019 году оборот рынка подключенных в единую сеть автомобили, достигнет $130 млрд. Это неудивительно, если учитывать темпы интеграции автопроизводителями технологий, которые являются неотъемлемой частью транспортного средства.

Использование Больших Данных помогает сделать машину более безопасной и функциональной. Так, компания Toyota путем встраивания информационных коммуникационных модулей (DCM) . Этот инструмент, использующийся для Больших Данных, обрабатывает и анализирует данные, собранные DCM, чтобы в дальнейшем извлекать из них пользу.

3 Применение Больших Данных в медицине

Реализация технологий Big Data в медицинской сфере позволяет врачам более тщательно изучить болезнь и выбрать эффективный курс лечения для конкретного случая. Благодаря анализу информации, медработникам становится легче предсказывать рецидивы и предпринимать превентивные меры. Как результат — более точная постановка диагноза и усовершенствованные методы лечения.

Новая методика позволила взглянуть на проблемы пациентов с другой стороны, что привело к открытию ранее неизвестных источников проблемы. Например, некоторые расы генетически более предрасположены к заболеваниям сердца, нежели представители других этнических групп. Теперь, когда пациент жалуется на определенное заболевание, врачи берут во внимание данные о представителях его расы, которые жаловались на такую же проблему. Сбор и анализ данных позволяет узнавать о больных намного больше: от предпочтений в еде и стиля жизни до генетической структуры ДНК и метаболитах клеток, тканей, органов. Так, Центр детской Геномной медицины в Канзас-Сити использует пациентов и анализа мутаций генетического кода, которые вызывают рак. Индивидуальный подход к каждому пациенту с учетом его ДНК поднимет эффективность лечения на качественно иной уровень.

С понимания того, как используются Большие Данные, вытекает первое и очень важное изменение в медицинской сфере. Когда пациент проходит курс лечения, больница или другое здравоохранительное учреждение может получить много значимой информации о человеке. Собранные сведения используются для прогнозирования рецидивов заболеваний с определенной степенью точности. Например, если пациент перенес инсульт, врачи изучают сведения о времени нарушения мозгового кровообращения, анализируют промежуточный период между предыдущими прецедентами (в случае возникновения таковых), обращая особое внимание на стрессовые ситуации и тяжелые физические нагрузки в жизни больного. На основании этих данных, больницы выдают пациенту четкий план действий, чтобы предотвратить возможность инсульта в будущем.

Свою роль играют и носимые устройства, которые помогают выявлять проблемы со здоровьем, даже если у человека нет явных симптомов той или иной болезни. Вместо того чтобы оценивать состояние пациента путем длительного курса обследований, врач может делать выводы на основании собранной фитнес-трекером или «умными» часами информации.

Один из последних примеров — . В то время как пациент проходил обследование из-за нового приступа судороги, вызванного пропущенным приемом лекарств, врачи обнаружили, что мужчина имеет куда более серьезную проблему со здоровьем. Этой проблемой оказалась фибрилляция предсердий. Диагноз удалось поставить благодаря тому, что сотрудники отделения получили доступ к телефону пациента, а именно к приложению, сопряженному с его фитнес-трекером. Данные с приложения оказались ключевым фактором в определении диагноза, ведь на момент обследования у мужчины никаких сердечных отклонений обнаружено не было.

Это лишь один из немногих случаев, который показывает, почему использование Больших Данных в медицинской сфере сегодня играет столь значимую роль.

4 Анализ данных уже стал стержнем розничной торговли

Понимание пользовательских запросов и таргетинг — одна из самых больших и максимально освещенных широкой публике областей применения инструментов Big Data. Большие Данные помогают анализировать клиентские привычки, чтобы в дальнейшем лучше понимать запросы потребителей. Компании стремятся расширить традиционный набор данных информацией из социальных сетей и историей поиска браузера с целью формирования максимально полной клиентской картины. Иногда крупные организации в качестве глобальной цели выбирают создание собственной предсказательной модели.

Например, сети магазинов Target с помощью глубинного анализа данных и собственной системы прогнозирования удается с высокой точностью определить — . За каждым клиентом закрепляется ID, который в свою очередь привязан к кредитке, имени или электронной почте. Идентификатор служит своеобразной корзиной покупок, где хранится информация обо всем, что когда-либо человек приобрел. Специалистами сети установлено, что женщины в положении активно приобретают неароматизированные средства перед вторым триместром беременности, а в течение первых 20 недель налегают на кальциевые, цинковые и магниевые добавки. На основании полученных данных Target отправляет купоны на детские товары клиентам. Сами же скидки на товары для детей «разбавляются» купонами на другие продукты, чтобы предложения купить кроватку или пеленки не выглядели слишком навязчивыми.

Даже правительственные ведомства нашли способ, как использовать технологии Big Data для оптимизации избирательных кампаний. Некоторые считают, что победа Б. Обамы на президентских выборах США в 2012 году обусловлена превосходной работой его команды аналитиков, которые обрабатывали огромные массивы данных в правильном ключе.

5 Большие Данные на страже закона и порядка

За последние несколько лет правоохранительным структурам удалось выяснить, как и когда использовать Большие Данные. Общеизвестным фактом является то, что Агентство национальной безопасности применяет технологии Больших Данных, чтобы предотвратить террористические акты. Другие ведомства задействуют прогрессивную методологию, чтобы предотвращать более мелкие преступления.

Департамент полиции Лос-Анджелеса применяет . Она занимается тем, что обычно называют проактивной охраной правопорядка. Используя отчеты о преступлениях за определенный период времени, алгоритм определяет районы, где вероятность совершения правонарушений является наибольшей. Система отмечает такие участки на карте города небольшими красными квадратами и эти данные тут же передаются в патрульные машины.

Копы Чикаго используют технологии Больших Данных немного другим образом. У блюстителей правопорядка из Города ветров также , но он направлен на очерчивание «круга риска», состоящего из людей, которые могут оказаться жертвой или участником вооруженного нападения. По информации газеты The New York Times, данный алгоритм присваивает человеку оценку уязвимости на основании его криминального прошлого (аресты и участие в перестрелках, принадлежность к преступным группировкам). Разработчик системы уверяет, что в то время как система изучает криминальное прошлое личности, она не учитывает второстепенных факторов вроде расы, пола, этнической принадлежности и месторасположения человека.

6 Как технологии Big Data помогают развиваться городам

Генеральный директор Veniam Жоао Баррос демонстрирует карту отслеживания Wi-Fi-роутеров в автобусах города Порту

Анализ данных также применяется для улучшения ряда аспектов жизнедеятельности городов и стран. Например, зная точно, как и когда использовать технологии Big Data, можно оптимизировать потоки транспорта. Для этого берется в расчет передвижение автомобилей в режиме онлайн, анализируются социальные медиа и метеорологические данные. Сегодня ряд городов взял курс на использование анализа данных с целью объединения транспортной инфраструктуры с другими видами коммунальных услуг в единое целое. Это концепция «умного» города, в котором автобусы ждут опаздывающий поезд, а светофоры способны прогнозировать загруженность на дорогах, чтобы минимизировать пробки.

На основе технологий Больших Данных в городе Лонг-Бич работают «умные» счетчики воды, которые используются для пресечения незаконного полива. Ранее они применялись с целью сокращения потребления воды частными домовладениями (максимальный результат — сокращение на 80%). Экономия пресной воды — вопрос актуальный всегда. Особенно, когда государство переживает самую сильную засуху, которая когда-либо была зафиксирована.

К перечню тех, кто использует Big Data, присоединились представители Департамента транспорта города Лос-Анджелеса. На основании данных, полученных от датчиков дорожных камер, власти производят контроль работы светофоров , что в свою очередь позволяет регулировать траффик. Под управлением компьютеризованной системы находится порядка 4 500 тысяч светофоров по всему городу. Согласно официальным данным, новый алгоритм помог уменьшить заторы на 16%.

7 Двигатель прогресса в сфере маркетинга и продаж

В маркетинге инструменты Big Data позволяют выявить, продвижение каких идей на том или ином этапе цикла продаж является наиболее эффективным. С помощью анализа данных определяется, как инвестиции способны улучшить систему управления взаимоотношениями с клиентами, какую стратегию следует выбрать для повышения коэффициента конверсии и как оптимизировать жизненный цикл клиента. В бизнесе, связанном с облачными технологиями, алгоритмы Больших Данных применяют для выяснения того, как минимизировать цену привлечения клиента и увеличить его жизненный цикл.

Дифференциация стратегий ценообразования в зависимости от внутрисистемного уровня клиента — это, пожалуй, главное, для чего Big Data используется в сфере маркетинга. Компания McKinsey выяснила , что около 75% доходов среднестатистической фирмы составляют базовые продукты, на 30% из которых устанавливаются некорректные цены. Увеличение цены на 1% приводит к росту операционной прибыли на 8,7%.

Исследовательской группе Forrester удалось определить , что анализ данных позволяет маркетологам сосредоточиться на том, как сделать отношения с клиентами более успешными. Исследуя направление развития клиентов, специалисты могут оценить уровень их лояльности, а также продлить жизненный цикл в контексте конкретной компании.

Оптимизация стратегий продаж и этапы выхода на новые рынки с использованием геоаналитики находят отображение в биофармацевтической промышленности. Согласно McKinsey , компании, занимающиеся производством медикаментов, тратят в среднем от 20 до 30% прибыли на администрирование и продажи. Если предприятия начнут активнее использовать Большие Данные , чтобы определить наиболее рентабельные и быстро растущие рынки, расходы будут немедленно сокращены.

Анализ данных — средство получения компаниями полного представления относительно ключевых аспектов их бизнеса. Увеличение доходов, снижение затрат и сокращение оборотного капитала являются теми тремя задачами, которые современный бизнес пытается решить с помощью аналитических инструментов.

Наконец, 58% директоров по маркетингу уверяют , что реализация технологий Big Data прослеживается в поисковой оптимизации (SEO), e-mail- и мобильном маркетинге, где анализ данных отыгрывает наиболее значимую роль в формировании маркетинговых программ. И лишь на 4% меньше респондентов уверены, что Большие Данные будут играть значимую роль во всех маркетинговых стратегиях на протяжении долгих лет.

8 Анализ данных в масштабах планеты

Не менее любопытно то, . Возможно, что именно машинное обучение в конечном счете будет единственной силой, способной поддерживать хрупкое равновесие. Тема влияния человека на глобальное потепление до сих пор вызывает много споров, поэтому только достоверные предсказательные модели на основе анализа большого объема данных могут дать точный ответ. В конечном счете, снижение выбросов поможет и нам всем: мы будем меньше тратиться на энергию.

Сейчас Big Data — это не абстрактное понятие, которое, может быть, найдет свое применение через пару лет. Это вполне рабочий набор технологий, способный принести пользу практически во всех сферах человеческой деятельности: от медицины и охраны общественного порядка до маркетинга и продаж. Этап активной интеграции Больших Данных в нашу повседневную жизнь только начался, и кто знает, какова будет роль Big Data уже через несколько лет?