Облачная «кладовая» корпоративных данных

В любой компании, в которой работают более 100 человек, как правило, имеется целый «зоопарк» информационных систем для различных целей – бухгалтерия, CRM, системы логистики, закупок, управления персоналом, производственной деятельностью и т.п. Причина проста: ни одна, даже самая продвинутая информационная система предприятия не может успевать за ростом требований бизнеса, за скоростью изменения рыночных условий. Даже если такая система и существует, то стоит она настолько дорого, что недоступна абсолютному большинству бизнесов. 

Тем не менее руководитель не может и не должен вручную складывать информационный «пазл» из отчетов всех этих систем, чтобы получить полную картину работы всего предприятия. Когда сборка пазла становится непосильной задачей, компания начинает строить единое хранилище, которое обычно называют корпоративным хранилищем данных (КХД, в англоязычных источниках – Data Warehouse, DWH).

К сожалению, построить КХД не так просто, как кажется на первый взгляд. Произвольно взятый «тыжпрограммист» не справится с задачей, время одиночек в ИТ давно прошло. Основные трудности на этом пути следующие:

Автоматически решить все эти проблемы нельзя, так как в каждой компании ситуация уникальна по-своему. Компания пришла к текущему состоянию своим путем, и потому состав информационных систем, опыт людей, которые их внедряли и эксплуатировали, словом, «информационный ландшафт», у разных предприятий будет существенно различаться.

И все же выход есть! Задача существенно упрощается, если строить КХД в облаке. Конечно, облачный провайдер не сделает за заказчика подготовку и анализ данных, но вот в чем он точно может помочь, так это в предоставлении инфраструктуры и готовых сервисов для построения КХД. Действительно, в облаке можно получить:

Осталось ответить на весьма важный вопрос: где тот облачный провайдер, который обеспечит всеми необходимыми инструментами? Соответствующие решения в своем портфеле сегодня имеют все крупные мировые провайдеры. 

Если говорить о специализированной СУБД, то у АWS это Redshift, у Microsoft – Azure SQL Data Warehouse, у Oracle – Autonomous Data Warehouse. Однако у всех мировых лидеров есть нюанс – их дата-центры расположены за границей и не могут удовлетворять требованиям российского законодательства о персональных данных. А таких данных в КХД будет много. Расстояние до дата-центров тоже имеет большое значение. И вот на российском рынке остается, по сути, один игрок, который предоставляет полный спектр решений для создания КХД, – это платформа SberCloud.Advanced , построенная на технологиях Huawei. 

Предположим, что исходная база данных в текстовом формате CSV имеет размер 200 Гбайт. После импорта в обычную БД PostgreSQL ее размер составит около 400 Гбайт, в Microsoft SQL Server 2017 – около 900 Гбайт, а вот импорт в Data Warehouse Service в формате колоночного хранения для основных таблиц позволяет занять всего 80 Гбайт!

Центральным компонентом облака SberCloud.Advanced для построения корпоративных хранилищ является сервис Data Warehouse Service (DWS). Он представляет собой массивно-параллельную СУБД на базе PostgreSQL, архитектура которой оптимизирована для хранения больших массивов данных и выполнения сложных аналитических запросов. Множество патентованных решений от Huawei позволяют этому сервису обрабатывать гигантские объемы информации – до десятков петабайт. При этом производительность кластера растет линейно с ростом числа его узлов. А колоночное хранение и встроенные механизмы сжатия дают возможность весьма экономно расходовать дисковое пространство.

Детальное описание всех технических решений в сервисе DWS может потребовать нескольких статей. Сфокусируемся на том, как сократить затраты при построении КХД. Разумеется, КХД не ограничивается только специальной версией СУБД, «заточенной» для этого вида нагрузки. Важно понять, как сервис интегрирован в общую экосистему облака и какие предлагаются инструменты для миграции и обработки данных. В этом смысле облаку SberCloud.Advanced есть что предложить.

В общем случае КХД представляет собой специализированную СУБД, в которую с помощью средств ETL (Extract -> Transform -> Load – выгрузка -> трансформация -> загрузка) «переливаются» данные из различных информационных систем предприятия (рис. 1).

 

Схема понятна, но база данных далеко не всегда будет единственным источником, и на практике реализация «магического» блока ETL может быть сколь угодно сложной. Если же несколько конкретизировать возможный набор сервисов и потоков данных, то картина приобретет вид, показанный на рис. 2.

 

Конечной точкой является Data Warehouse Service, а в качестве центрального ETL-средства работает специализированный сервис Cloud Data Migration, входящий в пакет DAYU (Data-as-you-use). Этот сервис позволяет настроить перенос данных из любых источников, включая текстовые файлы и все виды реляционных и нереляционных СУБД. К сожалению, некоторые форматы файлов не поддерживаются напрямую, например, форматы электронных таблиц Excel, сформированных для человека. Прежде чем загрузить данные из такого файла, его требуется предварительно подготовить. В подобных случаях удобно воспользоваться сервисом бессерверных вычислений FunctionGraph, с помощью которого можно быстро написать и запустить код для базовой обработки/подготовки данных. А работа с данными, хранящимися в кластерах Hadoop, поддерживается «из коробки».

Все вышесказанное относится к данным, которые представляют собой готовые таблицы в различных форматах. Но в современных условиях важно обрабатывать данные в режиме, максимально приближенном к режиму реального времени, а значит, необходимо уметь обрабатывать потоковые данные из различных источников. И тут незаменимым окажется сервис Data Lake Insights, который идеально подходит для обработки и агрегации данных, поступающих в реальном времени. Бизнес-пользователи будут видеть ситуацию с задержкой максимум в пару минут!

Таким образом, в облаке SberCloud.Advanced есть все компоненты для организации корпоративного хранилища – как сам сервис специализированной СУБД, так и инфраструктура для переноса данных любых форматов в хранилище из любых источников. Настройка этих компонентов сравнительно проста и может быть выполнена силами разработчиков баз данных провайдера.

Размещение КХД в облаке позволит в дальнейшем достаточно просто обеспечить интеграцию с корпоративными системами клиентов и партнеров. Все данные уже есть, и облако предоставляет необходимые средства для развертывания современных cloud-native-приложений. К примеру, сервис API Gateway позволит собрать воедино все внутренние приложения и предоставит единый API для интеграции, а управляемая версия Kubernetes упростит развертывание приложений. 

Построение КХД в облаке станет первым шагом настоящей цифровой трансформации предприятия. Ведь цифровая трансформация фактически и означает переход в облака, а такой переход всегда требует «расчистки завалов» прошлых лет, переосмысления архитектур и их миграции на новые распределенные и отказоустойчивые решения.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!