На пороге «десятилетия данных»

Разработки в области информационных технологий во всех отраслях – от сельского хозяйства до фармацевтики – побудили организации переосмыслить принципы работы, конкуренции и обслуживания клиентов. В основе этих изменений лежат данные, и именно они продолжат играть свою преобразующую, трансформирующую роль. 

В области хранения данных, которая касается любого бизнеса, ориентированного на ИТ, темпы инноваций ускоряются, однако для большинства предприятий обработка и передача стремительно растущего объема данных продолжает оставаться непростой задачей. При этом все более важным делается получение максимальной отдачи от данных, особенно для тех организаций, чьи хранилища достигают экзабайтной емкости. 

Чтобы обрести стратегическую ценность для предприятия, инновации в области хранилищ данных должны преодолеть пропасть. Необходимо перейти от простого хранения и перемещения битов к целостному, комплексному управлению данными. 

В 2019 году Storage CTO Council, Совет по технологиям хранения данных Dell Technologies изучил более 90 ключевых технологий и определил, какие из них обладают инновационным потенциалом, который поможет хранилищам данных преодолеть эту пропасть в ближайшие 5–10 лет. В текущем году актуальны три ключевые области, которые выходят за рамки существующих подходов к хранению данных и ИТ. Именно они, по нашему мнению, будут влиять на ситуацию в организациях. 

В этом году мы увидим новые подходы к решению задач потоковой передачи данных, включая использование контейнерных архитектур и программно определяемых систем хранения (SDS). Заказчики в таких отраслях, как производство, кибербезопасность, автономные транспортные средства, общественная безопасность и здравоохранение, стремятся создавать приложения, которые обрабатывают данные как потоки, а не разбивают их на отдельные файлы или объекты.

Прием и обработка потоковых данных – уникальные задачи, решение которых ограничивают традиционные ИТ-системы и системы хранения. Поскольку потоковые рабочие нагрузки часто меняются в течение дня, емкость хранилища и вычислительная мощность должны быть гибкими, изменяемыми, чтобы соответствовать этим особенностям. Это требует наделения хранилища интеллектом, способным мгновенно обеспечить автоматическое масштабирование. 

Если рассматривать все как поток данных, то события данных можно воспроизводить так же, как мы смотрим прямую трансляцию спортивного матча по телевизору с поддержкой DVR, где программу можно мгновенно приостановить, «перемотать» и воспроизвести. До настоящего времени разработчики приложений были ограничены в своих возможностях при выборе вариантов использования данных в качестве потоков для захвата, воспроизведения и архивирования. Включение этих возможностей работы с данными облегчит создание приложений, которые допускают новые варианты использования данных, о которых раньше даже не думали. 

В области управления данными 2020 год откроет новые подходы организациям, желающим лучше управлять данными, которые распределены по многим изолированным СХД, локальным и облачным. В течение многих лет рост данных опережал рост ИТ-бюджетов, что мешало организациям не только хранить все свои данные, но и управлять ими, монетизировать их, защищать и делать полезными для конечных пользователей. 

Управление наборами данных (Dataset Management) – развивающаяся дисциплина, применяющая различные подходы и технологии, чтобы помочь организациям лучше и эффективнее использовать данные и управлять ими в течение всего их жизненного цикла. По сути, речь идет о возможности прозрачного хранения данных и облегчения их поиска. Наша отрасль хорошо умеет хранить блочные, файловые и объектные данные, иногда объединяя их в «озере данных». Управление наборами данных – это эволюция озера данных, предоставляющая клиентам возможность мгновенно находить нужные данные в локальных и облачных хранилищах и делать их доступными в надлежащем контексте.

Управление наборами данных будет особенно полезно для отдельных отраслей (таких как мультимедиа и развлечения, здравоохранение, страхование), в которых данные часто хранятся в разных СХД и на разных платформах (включая необработанные данные, данные, генерируемые устройством/инструментом, производные данные на уровне проекта и т.д.). Клиентам нужна возможность поиска в этих данных в хранилищах, например, для создания пользовательских рабочих процессов. Многие из наших крупнейших клиентов в сфере мультимедиа и развлечений используют подходы Dataset Management для соединения с базами данных, управления активами и тегирования наборов данных, которые затем можно перемещать в соответствующие ЦОДы для работы со спецэффектами или цифровой постобработки, затем – для распространения и, наконец, записи в архив.

До сих пор нас ограничивали традиционные методы управления неструктурированными данными. Благодаря новым технологическим достижениям, таким как машинное обучение и более высокая производительность ЦП, мы увидим, что в 2020 году Dataset Management приобретет еще большую популярность, поскольку открывает организациям путь из старого мира каталогов и файлов в новый мир данных и метаданных.

В 2020 году можно ожидать появления новых архитектур хранилищ, которые еще больше стирают грань между хранением данных и вычислениями.

Некоторые из клиентов говорят нам, что им нужна большая гибкость традиционных сетей хранения данных, чтобы вычисления были как можно ближе к хранилищу, чтобы поддерживать ориентированные на данные рабочие нагрузки и уменьшить сложность операций.

Благодаря более глубокой интеграции технологий виртуализации в массиве хранения данных приложения можно запускать непосредственно в одной системе и управлять ими с помощью стандартных инструментов. Это может быть подходящим решением для приложений, ориентированных на данные, которые требуют очень интенсивного обмена с системами хранения и операций с данными (т.е. аналитических приложений, приложений с активными базами данных и пр.). Кроме того, есть рабочие нагрузки, которые требуют малой задержки транзакций и большого количества данных для обработки.

Речь идет не о гиперконвергентной системе в классическом смысле, скорее, о взаимодействии с существующей инфраструктурой и процессами, а также большей гибкости при развертывании в соответствии с требованиями конкретной среды и/или приложений заказчика. Это может открыть новые возможности использования (например, ИИ/машинное обучение, аналитика в периферийных системах и/или в частном облаке, в доменах рабочей нагрузки и т.д.). Следствием может также стать снижение стоимости владения и упрощение среды ИТ для ИТ-подразделений и владельцев приложений, которым не обязательно будет полагаться на администратора хранилища данных для предоставления ресурсов или управления СХД на нижнем уровне.

Программно определяемая инфраструктура (Software-Defined Infrastructure, SDI) также приобретает все большее значение в корпоративных дата-центра, используется для расширения традиционных сетей SAN и гиперконвергентных систем. Традиционные предприятия, давно находящиеся в сфере влияния гипермасштабных сред, готовы воспользоваться SDI для перераспределения определенных рабочих нагрузок, которые предъявляют требования к емкости и вычислениям, отличные от тех, что могут обеспечить традиционные трехуровневые сети SAN.

Заказчики, которые разрабатывают архитектуру гибких масштабных решений, хотят реализовать независимое и гибкое, быстрое масштабирование ресурсов хранения данных и вычислительных ресурсов. Заказчикам необходимо консолидировать несколько высокопроизводительных задач (например, базы данных) или рабочих нагрузок общего характера. Предприятия, рассматривающие стратегии консолидации, сталкиваются с ограничениями традиционных сетей хранения данных, с непредсказуемой производительностью/затратами и привязкой к конкретным облачным сервисам. Именно здесь SDI становится для определенных рабочих нагрузок весьма жизнеспособной альтернативой традиционным сетям SAN и гиперконвергентным системам.

По мере того, как объектное хранение трансформируется из дешевого и глубокого хранилища «холодных» данных или архива в современную облачную платформу хранения, все больше людей обращают внимание на ее производительность. 

Одна из причин, по которой мы наблюдаем этот рост в текущем году, – спрос со стороны разработчиков приложений. Аналитика также стимулирует большой спрос, и мы ожидаем, что в этом направлении будут двигаться компании в разных вертикальных отраслях.

В свою очередь, высокая производительность флеш-памяти и NVMe-накопителей создает весомые возможности для объектноориентированных платформ: они могут поддерживать приложения, требующие высокой скорости и практически безграничного масштаба (например, аналитику, автопилоты – Advanced Driver Assistance Systems (ADAS), IoT, разработку облачных приложений и т.д. Раньше объектные хранилища были недостаточно быстрыми для рабочих нагрузок вроде ADAS, но флеш-массивы изменяют эту ситуацию). 

Флеш-массив, объектное хранилище с автоматическим многоуровневым тирингом, предлагает экономически эффективное решение, особенно когда заказчики говорят о сотнях петабайт хранимых данных или эксабайтных масштабах. Он позволяет перемещать необходимые данные на уровень флеш-памяти для запуска аналитических и высокопроизводительных приложений, а затем переводить их на уровень «холодных» данных или архивный уровень, когда операции с ними закончатся.

Поскольку объектное хранение настраивается для флеш-памяти и NVMe, мы ожидаем более высокий интерес к объектному хранению контента, который традиционно хранился на файловых системах NAS, таких как изображения, данные журналов и данные, сгенерированные машиной.

По мере ускорения темпов технологических инноваций расширяются и возможности хранения и управления данными. Если последние десять лет принесли столь драматические изменения в технологиях, то представьте себе, что будет дальше.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!