• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

А.Хлуденев: Big Data для внутренней автоматизации

Несмотря на некоторую неопределенность границ рынка, обозначаемого термином  Big Data, ведущие поставщики декларируют наличие в их портфелях наборов технологий и решений, тесно с ним связанных.

Мнения системных интеграторов и поставщиков решений - в полной версии Дискуссионного Клуба «ИКС» темы №1-2 «Кому и чем полезна Big Data?». Часть 2.

?«ИКС»: Что в контексте бизнеса вашей компании означает BigData? С какими особенностями самих данных, с какими новыми инструментами для их захвата, обработки и анализа вы этот термин связываете?

Сергей Знаменский, технический консультант, HP Россия:

Для компании НР термин BigData объединяет группу продуктов, ориентированных на обработку и хранение «больших данных», как структурированных так и неструктурированных. Так, например HP Vertica относится к группе продуктов HP Bigdata Solutions и отвечает за агрегацию и хранение структурированных данных для их последующего анализа. Это аналитическая база данных нового поколения, она  оптимизирована для обработки «больших данных», имеет колоночную структуру хранения данных и способна за несколько секунд обрабатывать  запросы, для которых реляционной СУБД при равных условиях может потребоваться несколько часов.

Сергей Лихарев, руководитель продаж IBM Big Data Solutions:

«Большие данные» для IBM - это как технологии, которые мы производим, так и технологии, которые потребляем. Платформа для работы с «большими данными» по праву считается ведущей в отрасли.  Объемы услуг в области Big Data, которые мы оказываем нашим клиентам, огромны. Сотни возможных сценариев использования «больших данных» в компаниях из самых разных индустрий, технологическая платформа, консалтинг - мы считаем это своим вкладом в то, чтобы сделать бизнес наших клиентов более эффективным, а мир вокруг нас более разумным.

Как потребители мы сталкиваемся с теми же вызовами, что и все наши клиенты: IBM как глобальной организации доступны огромные объемы разнородной информации, которую можно и нужно анализировать для повышения эффективности ее бизнеса. Анализ производственного цикла и повышение эффективности использования оборудования, анализ информации в одной из крупнейших в мире корпоративной социальной сети, исследовательские проекты в самых разных областях - это малая толика примеров, где IBM сталкивается с «большими данными» как самая обычная компания.

Александр Зейников, региональный менеджер по продажам в России и СНГ, LSI:

Для компании LSI традиционно существует два направления деятельности: сети и подсистемы хранения данных. Оба эти направления напрямую связаны с лавинообразным ростом данных и проблемами, которые ИТ-сообщество в связи с этим призвано решить. Мы привыкли называть это явление DataDeluge -  шквал данных. Технологии, ассоциированные с этим явлением, – это SSD, SSD-кэширование, компрессия данных «на лету» и некоторые другие. Есть также решения для Big Data и для сетей передачи данных, но такие технологии обычно встраиваются в решения OEM-производителей оборудования. Так или иначе, объемы растут, и наши решения изначально проектируются с учетом таких явлений.

Андрей Медведев, руководитель направления технологического консалтинга, Qlik-Tech:

Компания QlikTech фокусируется на бизнес-аналитике с уникальным подходом к анализу и предоставлению данных. Рост количества внедрений решений с применением подхода Big Data предполагает не только создание некого технологического комплекса, но и системы визуализации данных. Как и в случае с хранилищами данных, хранилище само по себе не является самоцелью, важно уметь анализировать и предоставлять информацию в удобных разрезах и понятных визуальных формах конечному потребителю этой информации. Эти данные не должны лежать мертвым грузом, а приносить прибыль. Современный инструмент бизнес-аналитика должен умеет работать с любыми источниками данных, и Big Data не исключение. Наша компания тесно сотрудничает с российскими и зарубежными интеграторами и уже имеет портфолио готовых примеров использования Big Data в качестве источника данных.

Андрей Прозоров, ведущий эксперт по ИБ, InfoWatch:

Обработка больших массивов информации является одной из важнейших задач, реализованных в наших решениях. В системе мониторинга и контроля утечки информации, DLP, и в системе мониторинга социальных сетей реализован механизм анализа и обработки огромного числа информационных сообщений, на основании которых системы принимают те или иные решения и строят свою аналитику.

В частности, в системе DLP реализовано много различных технологий анализа данных, принципов о том, как система «понимает» содержание передаваемых сообщений и файлов данных. Перечислю лишь некоторые из них: лингвистический анализ (БКФ), анализ цифровых отпечатков, анализ выгрузок из баз данных, анализ сканов паспортов и пластиковых карт, анализ информации по определенной структуре и регулярных выражений и другие. За каждой из них стоит мощный математический аппарат и технологии, позволяющие его реализовывать.

Ирина  Яхина, руководитель отдела технологических решений, Hitachi Data Systems в России и странах СНГ:

Для компании Hitachi Data Systems Big Data является очень важным компонентом IT-мира, поскольку разработка решений для работы с данными – основная специализация компании. Одна из основных особенностей таких данных – это их неструктурированность, что вызывает массу неудобств при работе с ними, поскольку, по сути, говорит об отсутствии системы управления этими данными. Еще одна особенность – это, конечно, объем, который должен где-то храниться. Для решения этих проблем наша компания предлагает ряд программно-аппаратных комплексов, в том числе позволяющих хранить и управлять большими объемами неструктурированных данных, а также высокопроизводительные решения для обеспечения файлового доступа. Подобные технологические решения позволяют хранить и управлять большими объемами данных, а возможность кастомизации решений и настройки определенных политик позволяют в значительной степени упростить и автоматизировать эти процессы.

Александр Василенко, глава представительства, VM Ware в России и СНГ:

Выгоды, извлекаемые бизнесом из анализа «больших данных», становятся все более очевидными, однако доля неструктурированных данных растет и развертывание уникальных физических инфраструктур их обработки усложняется, грозя стать непозволительно дорогим. Одним из способов решения проблемы может быть виртуализация Hadoop, открывающая перед разработчиками новые возможности.

Традиционные реляционные базы данных не обладают гибкостью, необходимой для хранения широкого спектра типов данных, классические СУБД уже не позволяют эффективно обрабатывать поступающие объемы данных — стоимость бизнес-аналитики оказывается слишком высокой для большинства организаций. Стремительно развивающаяся платформа Hadoop изменила подход к обработке данных, позволяя хранить огромные их объемы, а технология MapReduce предоставляет средства для их параллельной обработки. Вместе с тем на пути этих технологий имеется ряд препятствий, преодолеть которые можно за счет виртуализации.

Бытующее мнение о том, что Hadoop  виртуализировать нельзя и/или нецелесообразно в корне неверно. Наоборот, виртуализация позволяет быстрее внедрить на предприятии решения для хранения и обработки больших данных, оптимизировать задачи, связанные с управлением жизненным циклом кластеров Hadoop и обеспечить их бесперебойную работу.

Сергей Кузнецов, директор по технологиям Дивизиона Данных, IBS:

При описании сегмента технологий под условным названием Big Data мы ориентируемся на позицию аналитиков агентства Gartner. Этот перечень включает не только технологии, связанные с управлением большими объемами информации, но, например, и обработку сканированных изображений, восстановление текстов, атрибутирование фото- и видеоизображений – все, что связано с технологиями восстановления информационных атрибутов и обработкой потоков данных.

Александр Хлуденев, заместитель генерального директора по перспективным технологиям, КРОК:

Во-первых, Big Data для нас - это возможность предложить новые технологии для решения задач нашим заказчикам, связанные с data discovery, текстовым и семантическим анализом, массивно-параллельной обработкой данных и т.д.  Во-вторых, мы используем «большие данные» и для внутренней автоматизации. Например, сейчас решаем задачи маркетингового характера: проводим для себя анализ рынка, оперативный мониторинг конкурсов и тендеров, используя открытые источники в сети. Полученная информация сопоставляется с данными из CRM-системы КРОК и других внутренних источников и используется в привычных для нас срезах аналитики.

Денис Андриков, заместитель технического директора по работе с заказчиками, «Открытые Технологии»:

Мы изначально работаем с огромным объемом информации как интеграторы, то есть наша первая и основная  задача - управлять информацией, и строим наш бизнес на обработке и хранении данных, то есть ЦОДах. Теперь мы уже в совершенстве знаем, как  правильно хранить данные и как их обрабатывать, но пока только идем к тому, чтобы научиться их правильно анализировать. Big Data – это своего рода новая методология, инструмент извлечения более глубинного уровня информации из текущего набора данных. То есть, можно сказать, что Big Data для нас означает переход на новый качественный  уровень работы с информацией.

Виктор Сусойкин, директор по консалтингу Центра финансовых решений,  РДТЕХ:

Для бизнеса нашей компании Big Data, в первую очередь, означает продолжение работ в области аналитики в банках и других отраслях, но уже на новом уровне с применением новых ИТ-инструментов для обработки неструктурированных данных и оперативного анализа больших объемов информации.

Можно также предположить, что развитие концепции Big Data в недалеком будущем приведет не только к появлению новых проектов в нашем портфеле, но и к проектам по модернизации ранее внедренных хранилищ данных. За время эксплуатации в них уже накоплены большие объемы исторических данных, к которым можно применять новые, удобные инструменты работы с неструктурированной информацией.

Сергей Дианов, руководитель отдела продаж систем бизнес-анализа, Softline: 

В современном мире количество источников данных очень велико.  Данные, в большинстве своем неструктурированные, в режиме реального времени поступают от различных датчиков, метеорологических зондов, RFID-меток, спутников, базовых станций связи, от устройств аудио- и видеорегистрации. Для их обработки требуются новые инструменты. Возможности по анализу данных с использованием математического аппарата есть не только в решениях класса Big Data, но и в иных средствах, они могут быть как встроеными в современные BI-системы, так и самостоятельными продуктами.  

Дмитрий Бухаринов, ведущий аналитик отдел продаж систем бизнес-анализа, Softline: 

И тут необходимо выделить технологию Hadoop. Это программный framework, позволяющий хранить и обрабатывать данные с помощью компьютерных кластеров. В основе технологии лежит распределённая файловая система HDFS (Hadoop Distributed File System), которая обеспечивает хранение данных сразу на нескольких узлах кластера.

Вторым важным элементом является MapReduce – ramework для вычисления распределенных задач. В соответствии с ним обработка данных состоит из двух этапов: Map и Reduce. На этапе Map выполняется предварительная обработка данных, которая осуществляется параллельно на различных узлах кластера. На шаге Reduce происходит сведение предварительно обработанных данных в единый результат. Данный подход к хранению данных получил наименование NoSQL и предполагает распределенное хранение данных на нескольких равнозначных серверах.

Алексей Тоскин, генеральный директор, T-Systems CIS:

У нашей компании есть как собственные разработки решений для BIG DATA, так и разработки на базе технологии других вендоров, например SAP HANA, которую предлагаем из собственного облака. На начальном этапе развития рынка, когда спрос на продукт мал или скрыт, для продвижения необходима тяжелая артиллерия вендора, который активно инвестирует в популяризацию своего решения. Поэтому в России мы сделали акцент на решениях SAP.

Подготовила Александра Крылова