• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Строим корпоративную сеть банка

Мультисервисная телекоммуникационная сеть Банка России в Московском регионе обеспечивает каждому пользователю полный набор сервисов – от голоса и передачи данных до услуг ЦОДов и видеоконференцсвязи, и отличается при этом высокой надежностью и управляемостью.

Каким образом удалось этого добиться? Что необходимо учесть при столь масштабном строительстве?

До недавнего времени потребности Банка России в услугах связи в Московском регионе удовлетворялись интегрированной телекоммуникационной банковской сетью (ИТБС), созданной в 1998–2000 гг. Однако с момента ввода сети в эксплуатацию трафик в ней вырос в несколько десятков раз, и уже к 2008 г. загруженность сети на основных направлениях достигла предельного уровня. Стала очевидной необходимость серьезной модернизации сетевой инфраструктуры. Причем для передачи информационных потоков основных бизнес-процессов Банка России требовались (и продолжают требоваться!) высокоскоростные каналы связи с высокой степенью готовности.

Почему собственная сеть?

В принципе информационные сервисы, обеспечивающие все направления деятельности компании, сегодня можно выбрать из обширного перечня услуг того или иного оператора связи и получить их уже завтра «с доставкой на дом».

Бурное развитие мультисервисных операторских сетей в мегаполисах вполне это позволяет.

Однако настоящая мультисервисность обойдется недешево. А в вопросах надежности, управляемости и безопасности предоставляемых услуг придется полагаться на их провайдера. Когда же подобный подход недопустим, стоит оценить свои силы и взяться за строительство собственной сети.

В Банке России дело обстоит именно так: важность выполняемых инфокоммуникационной системой задач диктует высочайшие требования к ее информационной безопасности, надежности и отказоустойчивости. Поэтому вопрос аренды услуг внешних провайдеров был снят с обсуждения, и было решено создать свою корпоративную мультисервисную сеть.

При этом предусматривалось, что за счет «точечного инфраструктурного тюнинга», «прокачки нужных параметров» и закладывания в проект возможностей масштабирования в этой сети можно будет добиться характеристик, идеально соответствующих текущим и перспективным потребностям банка.

Почему новая сеть?

Какие проблемы предполагалось решить построением новой мультисервисной сети Банка России в Московском регионе?

Во-первых, существенно повысить производительность и доступность сетевой инфраструктуры, что необходимо для работы системы платежей в реальном времени, использования новых форм финансовой отчетности и ведения учетнооперационной деятельности в соответствии с международными стандартами.

Во-вторых, объединить ранее не связанные друг с другом сети в Московском регионе, созданные в разное время на основе разных технологий и для разных задач. Новая сеть должна быть способна взаимодействовать с этими сетями, а в дальнейшем заменить или включить в себя некоторые из них.

В-третьих, удовлетворять постоянно растущие потребности в телекоммуникационных сервисах подразделений Банка России на более чем 40 объектах в Московском регионе.

В-четвертых, укрепить информационную безопасность (ИБ). Новая структура должна создавать надежную защиту всех информационных ресурсов, включая разграничение доступа к информации пользователей и обслуживающего персонала, а также единые политики ИБ.

В-пятых, подразумевалось, что управление столь сложной инфраструктурой будет осуществляться из единого центра силами одного подразделения, что должно сократить простои в предоставлении информационных услуг.

В 2009 г. началась работа по технико-экономическому обоснованию выбора варианта построения будущей сети. Разработка концептуальных общесистемных технических решений была поручена ЦНИИС.

Идея проекта

В итоге было выбрано техническое решение, опирающееся на трехуровневую архитектуру, где каждый уровень соответствует используемым технологиям передачи данных (см. рисунок). Будущая сетевая структура получила рабочее название «мультисервисная телекоммуникационная банковская сеть Московского региона» (МТБС).

Первым и базисным (физическим) уровнем предложенной архитектуры стали волоконно-оптические линии связи (ВОЛС). К каждому объекту Банка России уже подведены как минимум две ВОЛС с разных географических направлений. Оптические трассы проложены под землей, в шахтах и коллекторах. Тем не менее служба эксплуатации несколько раз в год фиксирует обрывы ВОЛС вследствие аварий, пожаров и строительных работ в зоне прокладки. С учетом аварийности физического уровня обеспечение надежности связи было вынесено на вышестоящие уровни.

Для транспортного уровня технология передачи данных выбиралась с учетом планируемого развития сети. Определяющим критерием выбора были высокая пропускная способность каналов связи и высокая эффективность использования оптических волокон. Этому критерию в наибольшей степени соответствует технология плотного спектрального мультиплексирования (DWDM, Dense wave division multiplexing), успешно опробованная на некоторых участках магистральных сетей Банка России. При этом DWDM не требует создания дополнительных узлов регенерации сигнала при передаче на значительные расстояния.

Надежность транспортной сети DWDM решено было обеспечивать применением концепции СОМЕТ (Complete Optical Multiservice Edge and Transport), предусматривающей создание сети в виде кольцевых структур. Предполагалось сформировать несколько колец, каждое из которых может состоять не более чем из семи узлов, расположенных на объектах Банка России. Объекты, на которых находятся основные центры обработки информации, соединяются центральным кольцом. Каждое из колец должно пересекаться с центральным на двух общих объектах – опорных узлах.

Такая схема делает возможным телекоммуникационное взаимодействие любых двух узлов в разных кольцах даже при выходе из строя одного из узлов, расположенных на общих объектах сопряженных колец.

Верхний слой логической архитектуры МТБС представляет собой выделенные сети доступа. Эти сети функционально разделены в соответствии с технологиями и протоколами передачи данных. Для уменьшения количества применяемых протоколов и для унификации устанавливаемого оборудования было решено использовать только четыре сети доступа – SDH, IP/ Ethernet, MPLS и SAN. Каждая сеть доступа не зависит от других и ее оборудование напрямую подключается к оборудованию транспортной сети DWDM. Непосредственно к сетям доступа подключаются локальные сети подразделений, комплексы обработки информации и специализированные банковские системы, использующие те или иные информационные сервисы.

Сеть SDH, существовавшая до появления МТБС, выполняет основные транспортные функции в интересах сетей и систем Банка России, территориально разнесенных по всему Московскому региону. В качестве сети доступа МТБС SDH позволит предоставлять пользователям низкоскоростные PDH-сервисы, использующиеся как в традиционной телефонии, так и для подключения арендованных каналов связи к магистральной компоненте Единой телекоммуникационной банковской сети (МК ЕТКБС), которая обеспечивает передачу трафика между пользователями территориальных учреждений и центрального аппарата, а также других подразделений Банка России.

Сеть IP/Ethernet в составе МТБС позволит объединить многочисленные разрозненные локальные сети, расположенные на разных объектах, в единую интегрированную сеть. При этом за счет высокоскоростного транспорта DWDM появится возможность создания единого распределенного логического ядра сети, состоящего из нескольких физических узлов, которые находятся на разных объектах. Такая схема построения IP-сети будет обладать высокой отказоустойчивостью, надежностью и живучестью.

Еще одна сеть уровня доступа – сеть MPLS Московского региона – изначально внедрялась для передачи трафика прикладных систем Банка России, выдвигающих особые требования к скорости передачи данных, качеству обслуживания и обеспечению конфиденциальности канала связи. Эти же функции сохранены за сетью MPLS и в составе МТБС. Трафик, передаваемый по сети MPLS, условно поделен на три класса: трафик стандартных приложений, трафик критичных приложений (например, системы коллективной обработки информации, системы валовых платежей в режиме реального времени, информационно-справочная подсистема платежной системы Банка России) и трафик приложений реального времени (видеоконференцсвязи, охранного видеонаблюдения, IP-телефонии и т.д.).

Сеть SAN до проекта МТБС использовалась для распределенного хранения банковской информации различного назначения на ряде основных объектов Банка России в Московском регионе. В состав МТБС сеть SAN включена как полноценная самостоятельная телекоммуникационная инфраструктура, обеспечивающая доступ пользователей и автоматизированных информационных систем к системам хранения, расположенным в центрах обработки данных, по протоколам Fibre Channel/FICON.

Уникальность проекта построения МТБС заключается в организации сложной транспортной основы, выполняющей функции транзита мультисервисного трафика подключенных сетей доступа и сопряжения оборудования сетей доступа с оборудованием транспортной системы на узлах. Узлы удаленных объектов, не входящих в число объектов транспортных колец, подключаются через сети доступа, осуществляющие передачу данных соответствующих систем.

Повышенная надежность системы достигается как за счет архитектурных принципов резервирования каналов передачи трафика, так и за счет внутреннего резервирования модулей оборудования, поддерживающих «горячую замену». Также предполагается избыточность линий электропитания и возможность проведения работ по обслуживанию ИБП (замена батарей или полная замена устройств) без остановки системы.

Реализация проекта

Проектирование новой инфраструктуры заняло девять месяцев, а весь комплекс работ по оснащению, монтажу и настройке вплоть до проведения испытаний и ввода МТБС в эксплуатацию растянулся на два года. И работа шла практически без выходных.

Чем обусловлены столь длительные сроки? Прежде всего тем, что помимо построения новых участков необходимо было провести модернизацию, реструктуризацию и объединение действующих сетевых сегментов, а это десятки тысяч подключенных пользователей, тысячи выделенных каналов и сервисов и терабиты ежесекундно передаваемой информации.

В ходе строительства МТБС телекоммуникационная инфраструктура Банка России в Московском регионе продолжала функционировать: пользователи имели возможность обращаться к информационным ресурсам, платежные системы работали непрерывно, а ЦОДы были доступны.

Работа по созданию МТБС была разбита на пять этапов. На каждом этапе создавался новый фрагмент будущей структуры, который позволял переключить пользователей из сегмента, условно называемого старым, в новый. При этом простои сервисов были максимально уменьшены или исключены.

Первый этап был самый трудоемким и продолжительным – создавался транспортный «фундамент» будущей мультисервисной инфраструктуры. Эта надежная основа, как и было предложено в техникоэкономическом обосновании проекта, построена в виде системы из пяти сопряженных колец DWDM.

После модернизации оборудования DWDM число поддерживаемых каналов в центральном кольце возросло до 40, были введены в эксплуатацию еще два кольца, позволившие расширить транспортную основу сети и обеспечить подключение новых объектов.

Одновременно с этим появилась техническая возможность организовать единые узлы сопряженных колец на базе одной оптической платформы и за счет этого отказаться от сложных схем с использованием вторичных сетей при транзите трафика между кольцами.

Как только транспортная основа была построена, на ее высокоскоростные «рельсы» стали переводиться сети доступа. Как уже упоминалось, необходимо было обеспечить непрерывность сервисов платежных и информационных систем и заранее согласовывать перерывы отдельных сервисов с каждым из зависимых подразделений. Вся работа заняла без малого год (напомним, что на реализацию всего проекта ушло два года), столь велико было количество работающих систем и подключенных к ним пользователей.

Сеть SDH – одна из самых старых и консервативных сетей Банка России в Московском регионе – вписалась в новую систему колец DWDM без серьезных затруднений. Отчасти так произошло потому, что в этих технологиях используются схожие механизмы резервирования каналов передачи данных. Перевод на новые «рельсы» прошел относительно просто, несмотря на то, что необходимо было «подружить» оборудование разных производителей – Cisco и Alcatel-Lucent. Это удалось благодаря тому, что оба вендора поддерживают жесткие промышленные стандарты в области оптических технологий передачи.

Сеть IP/Ethernet тоже достаточно консервативна

Она была построена на решениях Cisco. Интеграция в новую структуру далась нелегко, поскольку от работоспособности именно этой сети, объединяющей множество сравнительно небольших ЛВС, зависит работа огромного количества пользователей. В сеть IP/ Ethernet в итоге вошло порядка тысячи виртуальных сетей (VLAN), а количество ее пользователей стало исчисляться десятками тысяч.

Сеть MPLS, построенная на решениях компании AlcatelLucent, относительно нова, но передает огромные объемы информации сложных ресурсоемких банковских систем. Первое время ее взаимодействие с транспортной сетью DWDM проходило непросто. Например, у используемых в проекте оптических платформ Cisco ONS 15454 MSTP стандартное время переключения оборудования DWDM с основных каналов на резервные составляет 50 мс. При переключении DWDM сеть MPLS автоматически рассчитывает новые маршруты. Но если к моменту окончания перестроения маршрутов в сети MPLS (что происходит за весьма короткое время) система DWDM уже предоставляла готовый основной канал, который не соответствовал новой схеме маршрутизации MPLS, то запускался очередной процесс расчета маршрутов. Иногда это вызывало целый «шторм» последовательных перестроений, который охватывал всю сеть MPLS и мог быть завершен только принудительно, с привлечением администраторов системы. Были и другие проблемы, но методом проб и ошибок удалось добиться приемлемого уровня взаимодействия двух сетей.

Наименее сложным оказался процесс наложения сети SAN на транспортную основу DWDM. Трафик FC/ FICON, как и других протоколов передачи данных, без изменений передается через каналы DWDM, где происходит лишь проверка целостности за счет контроля определенных битов. Благодаря высокой пропускной способности каналов DWDM появилась возможность увеличить скорость взаимодействия пользователей, объединенных в логические сегменты VSAN, и хранилищ данных ЦОДов.

Для ряда объектов в силу их особенностей развертывать полноценную сеть DWDM было нецелесообразно и пришлось использовать технологию передачи данных одних наложенных сетей доступа через другие сети доступа. Для этих целей была выбрана сеть SDH как прародитель существующей транспортной сети.

Передача данных сетей IP/Ethernet и MPLS была организована с помощью технологии Ethernet over SDH.

Управление мультисервисной сетью

Теперь необходимо рассказать, как управляется этот многослойный «бутерброд», который представляет собой мультисервисная сеть Банка России в Московском регионе.

Интеграция сетей и сетевых сегментов в общую структуру дала возможность организовать единую точку управления и контроля за состоянием оборудования и предоставляемых сервисов, а также за соблюдением политик информационной безопасности.

В Банке России понимали, что создание качественной системы управления и мониторинга позволит в значительной степени упредить возможную деградацию уровня предоставления услуг, своевременно информировать об отказах оборудования и простоях сервисов, а также своевременно и эффективно выделять и перераспределять сетевые ресурсы в интересах пользователей.

В рамках проекта создания МТБС были модернизированы ранее установленные автономные системы управления отдельными сетевыми сегментами. Более того, они были выведены на новый качественный уровень и интегрированы на уровне сетевого управления.

Перед исполнителем проекта была поставлена задача разработать систему управления и мониторинга более высокого уровня, способную обрабатывать данные, поступающие от автономных систем управления сетями доступа, отображать информацию о состоянии сетей в едином поле событий, графически показывать статус сетевого оборудования и сервисов, а также коррелировать сетевые события друг с другом. В результате была предложена интеллектуальная «зонтичная» система управления (СУ), которая собирает потоки событий или сообщений из различных источников и предоставляет единый интегрированный взгляд на текущее состояние всех систем, находящихся под ее контролем. Автономные системы управления транспортной сетью и сетями доступа собирают и хранят детальную информацию о событиях в сети и передают ее на обработку в «зонтичную» систему. Таким образом, единая система управления представляет собой обобщенную точку мониторинга разнообразных систем сетевого управления, приложений и протоколов. Но она не заменяет их, а дополняет, обеспечивая сбор информации и обобщенное представление о событиях, отказах и состоянии сервисов в масштабах всей сети. Масштабируемость СУ позволяет регулярно обрабатывать миллионы сигналов в сутки, используя базовые механизмы корреляции и удаления дублей, уменьшая при этом количество аварийных сигналов, подлежащих обработке, в 10–100 раз. Кроме того, блок анализа влияния помогает определить первопричину проблемы и приоритет ее устранения.

Подобные «зонтичные» системы предлагают многие крупные вендоры, в том числе Cisco, HP, IBM. Для системы управления МТБС было выбрано решение компании Cisco.

СУ МТБС располагается в едином центре управления, созданном на базе Главного центра связи Банка России.

Итак,

чего удалось достичь, реализовав проект построения МТБС? В Московском регионе создана современная инфраструктура, которая за счет надежных и качественных информационных услуг обеспечит выполнение основных бизнес-задач Банка России в ближайшем будущем.

Предоставление информационных сервисов в интересах профильных подразделений Банка России вышло на новый качественный уровень. Теперь каждый пользователь МТБС в Московском регионе имеет доступ к полному набору требуемых сервисов от «голоса» и передачи данных до услуг ЦОДов и видеоконференцсвязи. При этом сами сервисы стали быстрее и надежнее, а возможность повышения их производительности будет сохраняться ближайшие несколько лет.

Удалось добиться преемственности поколений. «Старые» сети были включены в состав новой инфраструктуры в доработанном виде, сохранив важнейшие принципы построения, что позволило снизить совокупную стоимость системы.

Были проведены необходимые изменения в технологии передачи данных, а также унификация оборудования и интерфейсов, упрощающие последующую модернизацию системы.

Существовавшие ранее сети Московского региона были интегрированы в единую консолидированную систему, благодаря чему был сформирован единый объект управления и мониторинга с новой эффективной системой управления. Выделение сетевых ресурсов, обработка запросов по отказам в предоставлении сервисов, устранение инцидентов в работе сетевого оборудования теперь осуществляются из единого центра, созданного на базе Главного центра связи Банка России, в режиме 24×365. При этом время устранения простоев в предоставлении информационных услуг существенно снизилось.

Успешен ли данный проект? Достигнуты ли желаемые результаты? Однозначный ответ – да. Практика это доказала.

Что это значит – эксплуатация многоуровневой мультисервисной корпоративной сети, читайте в следующих номерах «ИКС».