• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Встречаем Colossal Data

Спираль накопления человечеством «больших данных» продолжает раскручиваться, ее уже не остановить.

Люди, их компьютеры, смартфоны, планшеты, смарт-телевизоры, фитнес-трекеры каждый день производят колоссальные объемы данных. Свой вклад в их накопление начинают вносить всевозможные сенсоры и датчики интернета вещей.

Большие объемы данных – финансовых, технологических, транзакционных, клиентских, – хранящихся и зачастую дублирующих друг друга в информационных системах, становятся проблемой для компаний из самых разных секторов экономики, будь то ритейл, связь или металлургия. Несмотря на то что эксперты отмечают снижение стоимости хранения 1 Кбайт данных, а соответственно, и совокупной стоимости владения ими, даже перед крупными компаниями в России сегодня встает вопрос, стоит ли копить, обрабатывать и анализировать эти разнообразные и разноформатные данные.

В бизнесе операторов связи для характеристики объемов данных, с которыми приходится работать, на смену Big Data приходит термин Colossal Data. Поставить их под контроль на всех уровнях, от инфраструктурного до абонентского, начать анализировать эти груды и горы данных – значит получить мощное конкурентное преимущество. Главное – разумно и результативно использовать этот багаж для управления клиентским опытом, персонализации услуг, поддержания лояльности абонентов, кросс-продаж и т.д.

Что копим? Как анализируем?

Данные – поддающиеся многократной интерпретации представления информации в формализованном виде, пригодные для передачи, связи и обработки, – возникают в информационных системах или порождаются действиями пользователей этих систем. У крупных и высокотехнологичных компаний информационных систем много. У банка их в среднем около 40.

Обычно значительная часть данных утилизируется, а та, которая признается полезной, сохраняется в информационных системах или специальных хранилищах. Полезные данные служат основой для построения разных видов отчетов – управленческих, финансовых, стратегических и др. Внутри компаний основными их потребителями обычно выступают финансовый и маркетинговый блоки, а также отдел продаж.

Подготовкой отчетов занимаются бизнес-аналитики – индустриальные специалисты, которые анализируют те или иные процессы, протекающие в компании. Иногда они составляют отдельную группу в ИТ-департаменте и обслуживают всех ее внутренних заказчиков, иногда каждое функциональное подразделение имеет своих бизнес-аналитиков.

Инструменты, которые аналитики используют в своей работе с данными, могут иметь разную специализацию: либо это средства для формирования отчетности, входящие в состав учетных систем, либо системы бизнес-аналитики (Business Intelligence, BI), полностью ориентированные на решение аналитических задач в интересах разных блоков компании – финансового, маркетингового, коммерческого, логистического и др.

Надо сказать, что рынок программного обеспечения бизнес-аналитики в России растет темпами, опережающими мировой, – на 20,9% за 2013 г. По данным отчета IDC, опубликованного в конце 2014 г., объем рынка ПО бизнес-аналитики составил в России $411 млн, что чуть больше 1% глобального рынка, который оценивается в $37,7 млрд.

В объеме рынка, по словам Александра Прохорова (IDC), учитываются три сегмента: во-первых, программные средства для построения хранилищ данных и управления ими, во-вторых, различного рода BI tools, включая средства создания запросов, инструменты data mining и text mining, прогнозной аналитики. И третий сегмент – это аналитические приложения для финансового планирования, HR, управления цепочкой поставок, CRM.

При этом самая большая доля в структуре российского рынка ПО бизнес-аналитики – 25% – принадлежит финансовым компаниям. За ними с долей 15% следуют органы государственного управления, телекоммуникации занимают 14%, розничная и оптовая торговля – 10%.

Как показал проведенный IDC опрос провайдеров таких решений, основными драйверами 20%-ного роста рынка были необходимость ускорить принятие управленческих решений, экспоненциальный рост объемов информации в организациях, снижение прибыльности бизнеса, спрос на оптимизацию расходов, потребность в обоснованных управленческих решениях, усиление финансового контроля, повышение культуры новых руководителей.

Тормозили развитие рынка в России, считают участники опроса, невысокий уровень корпоративной культуры (недостаточная проработка бизнес-процессов), сложность постановки задачи, нехватка бюджетов, высокая стоимость лицензий, в том числе на ПО, и услуг для малого и среднего бизнеса, сложность оценки отдачи от внедрения систем бизнес-аналитики, дефицит бизнес-аналитиков.

Большие, быстрые и разные

Когда же у компаний из разных отраслей экономики возникает понимание, что традиционных инструментов бизнес-анализа недостаточно, что пора задуматься о специализированных технологиях и решениях для обработки «больших данных»? Вариантов ответа на этот вопрос несколько, утверждает А. Прохоров. Вариант первый предполагает, что данные поступают из разных источников в одном или нескольких форматах. Вариант второй – объем накопленных компанией данных превышает 100 Тбайт. Вариант третий – данные поступают со скоростью 60 Гбит/с и их необходимо анализировать «на лету». И наконец, четвертый вариант предполагает, что объем данных в компании увеличивается на 60% в год. И если ситуация в компании подпадает под любой из вышеперечисленных вариантов, ей стоит задуматься об использовании новых технологий и архитектур для экономичного извлечения ценности из большого объема разноформатных данных.

В категорию компаний, для которых быстрый захват, обработка и анализ «больших данных» – насущная необходимость, входят розничные сети, как онлайн, так и офлайн. Их внимание к этой сфере обусловлено подверженностью серьезным рискам, связанным с товарными запасами и логистикой. «Активно интересуются такими технологиями банки, в первую очередь для решения задач скоринга, определения вероятности дефолта тех или иных потенциальных заемщиков», – отмечает Михаил Левиев  («АлгоМост»). По его словам, всем компаниям, работающим на массовом рынке, анализ «больших данных», безусловно, полезен. Впрочем, у компании «АлгоМост», специализирующейся на оказании услуг дата-консалтинга и дата-майнинга, есть проекты в и строительстве, энергетике и медицине.

Колоссальные данные

Термин Colossal Data начинает употребляться применительно к данным, накапливаемым в отрасли телекоммуникаций. «У операторов сегодня под контролем десятки миллиардов параметров, которые нужно обрабатывать практически в режиме реального времени, – говорит Владимир Шапоров  (Nokia Networks), – чтобы отслеживать параметры сервиса, который предоставляется абоненту в каждой точке сети, и понимать: качество услуги хорошее, абонент удовлетворен».

Такой подход – мониторинг всех уровней, от сетевого для абонентского – подразумевают концепция CEM (Customer Experience Management) и одноименное решение, ее реализующее. «Темам клиентоцентричности, управления клиентским опытом и обработки «больших данных» посвящена одна из трех стратегических программ Международной ассоциации TM Forum – Customer Centricity. Ее задача – помочь участвующим в этой организации операторам и поставщикам услуг использовать анализ Big Data для повышения удовлетворенности клиентов, увеличения индекса потребительской лояльности, привязанности абонентов к бренду поставщика услуг, снижения их оттока и т.д. Программа, в развитии которой принимают участие более 120 компаний – членов Форума, вызывает неизменный интерес у отраслевого сообщества», – поясняет Сергей Анфилофьев  (TM Forum Россия и СНГ).

В рамках программы уже разработан и утвержден набор стандартов, методик и лучших практик – Big Data Analytics Solution Suite 2.0. Основной документ – GB979, руководство по анализу «больших данных». В планах на этот год – создание калькулятора, позволяющего операторам и сервис-провайдерам подсчитать ROI от внедрения решений CEM, проработка сценариев использования (use case) для аналитики «больших данных» в области CEM, интернета вещей, виртуализации и т., а также создание репозитория лучших практик анализа Big Data у операторов связи.

Свой набор лучших практик сегодня предлагают операторам и поставщики оборудования и ПО. По словам В. Шапорова, у Nokia сегодня около 100 use case в области CEM, реализовать которые предлагается операторам, нацеленным на управление опытом абонента.

Данные превращаются… в деньги

Управление клиентским опытом на основе анализа «колоссальных данных» – верный путь к повышению лояльности абонента, подтверждением которой может быть расширение набора потребляемых им услуг или готовность порекомендовать оператора друзь­ям и знакомым, отказ от перехода к другому оператору. И хотя не все эффекты от вышеперечисленных действий можно выразить в деньгах, все они являются инструментами монетизации накопленных данных о клиентах, считает эксперт в области CRM Максим Мозговой .

Еще одна возможность монетизации внедренных технологий обработки Big Data, по мнению М. Левиева, это использование выявленных в ходе анализа закономерностей для совершенствования и развития технологических и бизнес-процессов. Впрочем, такой возможностью интересуются не только коммерческие компании, но и государство. Например, в Москве департаменты здравоохранения и информационных технологий объявили о создании исследовательской лаборатории, которая займется анализом массивов данных, накопленных благодаря информатизации столичной системы здравоохранения. С ее помощью, в частности, планируется выявлять узкие места в системе городского здравоохранения и решать другие задачи.

Постепенно начнет приносить прибыль и продажа особым образом подготовленных, обезличенных данных о потребительском поведении клиентов. В них сегодня заинтересованы, в частности, рекламные агентства и компании из других сфер, не накопившие «больших данных», но желающие их анализировать для повышения эффективности своего бизнеса.

«Продажа аналитических отчетов – самый простой вариант монетизации в сфере Big Data», – считает Алексей Беднов  (AT Consulting). Именно его используют операторы большой тройки в Москве, предоставляя городскому департаменту транспорта данные геолокационных сервисов о трафике на дорогах в рамках проекта оптимизации транспортной системы столицы. Эта информация позволяет своевременно определять наиболее загруженные участки и предлагать меры по улучшению ситуации.

Так что начало формированию рынка аналитических продуктов, подготовленных на основе обработки «больших данных», уже положено.

Готовность заказчиков

Для компаний, сфокусированных на решении повседневных бизнес-задач, которым неважно, дни, часы или минуты их BI-система тратит на подготовку самого сложного отчета, анализ имеющихся в ее распоряжении «больших данных» не является на сегодняшний день приоритетом. Роман Баранов  (КРОК) объясняет это отсутствием у некоторых заказчиков понимания, как и в чем им может помочь аналитика Big Data: «Еще один барьер – парадигма ожидания ими чуда. Но чудес не бывает. Заказчик должен определить для себя конечную цель анализа накопленной или даже требующей накопления информации, а уже потом переходить к решению задачи с точки зрения ИТ».

Вместе с тем другие эксперты отмечают, что компании еще в прошлом году начали больше интересоваться технологиями и инструментами анализа Big Data в области управления взаимоотношениями с клиентами, формирования таргетированных предложений, борьбы с мошенничеством. Примером тут может служить компания «ВымпелКом», которой благодаря закономерностям, выявленным в ходе анализа «больших данных», удалось сократить объем спама, получаемого ее абонентами, с 12 до 0,5 сообщений в месяц.

Есть основания полагать, что поиск путей оптимизации технологических и бизнес-процессов приведет компании к осознанию необходимости искать эти пути в накопленных у них больших объемах данных. «В идеале лучше копать в том направлении, в котором компания зарабатывает, – советует М. Левиев, – поскольку именно там она и теряет деньги из-за того, что плохо контролирует свои издержки».

Тем более что сегодня для того, чтобы воспользоваться плодами анализа Big Data, можно прибегнуть к вполне экономичным предложениям ведущих вендоров. «Есть оборудование TalkSum, которое на порядок превосходит в скорости коммерческие приложения обработки событий и может быть в несколько раз эффективнее детища Twitter – Apache Storm, – рассказывает Роман Баранов. – Компании Huawei и Oracle предлагают коммерческий Hadoop с оборудованием по привлекательным ценам. Даже IBM сделала начальную версию Netezza (PureData), которая не только дает возможность интеграторам заработать на поставке, но и обеспечивает действительно приятную стоимость хранения и обработки единицы информации на потраченный рубль». Кроме того, на рынок уже выходят игроки, позволяющие потреблять аналитику «больших данных» из облака или предлагающие услуги в области дата-майнинга.

Так что нынешнее состояние рынка технологий, решений и услуг в области «больших данных» можно охарактеризовать словами: уже не маркетинговое, но еще не массовое явление. Однако тем компаниям, которые успели внедрить решения Big Data до наступления кризиса, эти сильнодействующие средства существенно облегчают повышение эффективности бизнеса.