• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Эксплуатация мультисервисных сетей. Сбылись ли предсказания?

Десятилетие назад ожидалось, что для службы эксплуатации мультисервисные сети станут своего рода пороховым погребом, вызвав серьезные трудности. Однако в Банке России модернизированная до уровня мультисервисной магистральная компонента Единой телекоммуникационной банковской сети успешно эксплуатируется.

Статус кво

Магистральная компонента Единой телекоммуникационной банковской сети (МК ЕТКБС) представляет собой магистральную сеть, обеспечивающую передачу трафика различных систем и сетей между пользователями территориальных учреждений и центрального аппарата, а также других подразделений Банка России. Узлы МК ЕТКБС расположены во всех 78 регионах России от Калининграда до Анадыря. Сеть построена по схеме «звезда» с центральным узлом (ЦУ ЕТКБС) в Москве и рокадными связями между некоторыми узлами региональных сегментов (ЦУ РС ЕТКБС) (рис. 1). (В Московском регионе пользователи Банка России доступ к МК ЕТКБС получают через мультисервисную телекоммуникационную банковскую сеть, подробнее о которой см. «ИКС» № 8–9’2013, с. 62. – Прим. ред.)

МК ЕТКБС была введена в эксплуатацию в 2000 г. и до сих пор успешно функционирует. Технологически она представляет собой классическую сеть с разделением голосового трафика (протокол ISDN) и трафика данных (связка протоколов IP/Frame Relay). При всех достоинствах такой архитектуры – статистическом мультиплексировании, гарантирующем эффективное использование пропускной способности канала, простоте и отработанности технологии с малой протокольной избыточностью и т.д. – со временем стали все более выпукло проявляться ее недостатки:

1. Наличие единой точки отказа – магистральное оборудование в территориальных учреждениях Банка России размещалось только на одной площадке. Этот недостаток был не так заметен при распределенной обработке информации, но сделался очевидным при централизации банковских процессов. На момент создания первой версии МК ЕТКБС требования к доступности сервисов были более мягкими.

2. Невозможность динамического перераспределения пропускной способности магистральных каналов связи между голосовым трафиком и трафиком передачи данных, так как полосы пропускания закрепляются за протоколами Frame Relay и ISDN при настройке каждого тракта.

3. Ограниченность функций управления потоками данных. Для каждого виртуального соединения в сети FR устанавливается параметр CIR – гарантированная информационная скорость, которую сеть «обязуется» поддерживать по этому соединению. Если кадры поступают со скоростью, превышающей CIR, то при наличии свободных ресурсов они передаются с установленным битом DE (discard eligibility), разрешающим сети их сброс в случае перегрузки. При этом в случае нехватки свободных ресурсов неизбежно происходит потеря кадров, после чего требуется их повторная передача, которая из-за отсутствия в протоколе IP механизмов гарантированной доставки возлагается на протокол транспортного уровня TCP. Все, что может сеть FR сделать в данной ситуации, – это отправить в направлении приема и передачи биты уведомления о перегрузке FECN/BECN, заставляющие оконечное оборудование Frame Relay снизить скорость отправки информации.

 4. Ограниченность функций обеспечения качества обслуживания (QoS). Так, являясь протоколом канального (второго в модели OSI) уровня, Frame Relay не имеет средств обмена служебной информацией с протоколами вышележащих уровней. Поэтому в сети FR отсутствует возможность классификации трафика по типам – real time, business critical, best effort и т.д. Единственный способ разделить эти потоки данных – использовать для каждого из них свое виртуальное соединение и назначить соответствующие параметры и приоритеты. Но внутри каждого такого виртуального канала все приложения все равно будут обслуживаться одинаково, по принципу «первый пришел, первый ушел».

Требуется модернизация

Можно констатировать: транспортная сеть МК ЕТКБС, построенная на технологии FR/ISDN, долгое время справлялась со своими задачами передачи информации, обеспечивая достаточную эффективность сетей связи Банка России. Но к 2010 г., в связи с переходом Банка России на централизованную обработку информации и внедрением системы платежей в реальном времени требования к пропускной способности ЕТКБС, качеству услуг связи и их доступности серьезно выросли. Это поставило вопрос о замене технологии FR на более современную и эффективную, а также об изменении архитектуры МК ЕТКБС.

На первый взгляд, заменить FR/ISDN призвана технология АТМ (Asynchronous Transfer Mode), сформировавшаяся как расширение протокола ISDN – Broadband ISDN, B-ISDN. Протокол Frame Relay также был создан на основе ISDN, только за счет уменьшения функциональности. В АТМ мультисервисность заложили изначально, были предусмотрены гибкие средства управления потоками данных и обеспечения качества обслуживания, мощная 20-байтная адресация. Казалось бы, для триумфа АТМ было сделано все, и этот триумф состоялся бы... но побеждать надо было не «старичка» FR. На арену вышел протокол IP, который завоевал весь мир в качестве универсальной телекоммуникационной технологии. Сети АТМ столкнулись с необходимостью передачи IP-трафика, но особенности протокола IP коренным образом расходятся с идеологией АТМ. Главное – АТМ ориентирована на установление соединений, протокол IP работает без установления соединения. Вторая проблема – маршрутизация IP-пакетов по сетям АТМ. Созданный для интеграции с IP-сетями ATM adaptation level 5 (AAL5) слишком нерационально использовал полосу пропускания вследствие больших накладных расходов. А механизм взаимного преобразования адресов оказался слишком сложным. В результате технология АТМ постепенно утратила свои позиции, несмотря на гораздо более широкую функциональность по сравнению с протоколами FR и ISDN.

В московском сегменте ЕТКБС подсеть АТМ относительно успешно функционировала в течение 11 лет. Использовалась она исключительно в качестве базового транспорта для передачи данных, как посредством выделенных VP-туннелей, так и по протоколу LANE (LAN Emulation), весьма сложному в части настройки и диагностики отказов. Но вследствие описанных выше сложностей сеть АТМ не получила дальнейшего развития и в 2011 г. была окончательно выведена из эксплуатации.

А что же взамен? Наиболее достойный кандидат – и практически единственный! – технология мультипротокольной коммутации по меткам (Multi Protocol Label Switching, MPLS). Выбор ее в качестве базовой при построении перспективной МК ЕТКБС основывался на проведенных в 2003–2008 гг. в Банке России экспериментальных работах.

В 2007 г. в Москве, Вологде, Орле и Перми был создан опытный участок, который в дальнейшем стал ядром новой магистральной сети. На этом участке с использованием как имитаторов полезной нагрузки, так и реального информационного трафика Банка России были проведены нагрузочные испытания, в целом показавшие эффективность технологии MPLS, полную ее совместимость с оборудованием других подсистем МК ЕТКБС и соответствие всем требованиям, которые бизнес-процессы Банка России предъявляют к магистральной сети связи.

Новая магистральная компонента

В 2009–2011 гг. в Москве и 78 территориальных учреждениях Банка России на основе технологии MPLS была создана новая магистральная компонента ЕТКБС, лишенная недостатков сетей FR/ISDN. За счет организации в регионах резервных площадок была также повышена отказоустойчивость (рис. 2).

Благодаря применению универсального транспорта IP/MPLS в новой сети была достигнута полная интеграция сервисов и реализовано динамическое перераспределение пропускной способности магистральных каналов связи.

Использование технологий IP/MPLS позволяет комбинировать разные модели обеспечения сквозного качества обслуживания – IntServ (Integrated Services Model) и DiffServ (Differentiated Services Model). Модель IntServ поддерживает QoS на основе резервирования полосы пропускания и управления потоками данных. При этом протокол MPLS предоставляет больше, чем FR, возможностей инжиниринга трафика. Модель DiffServ обеспечивает QoS на основе классификации и маркировки трафика на границах сети.

Изначально в концепции развития МК ЕТКБС было предусмотрено три класса трафика:

• приложения реального времени (аналог класса real time);

• критические приложения (аналог класса business critical);

• стандартные приложения (аналог класса best effort).

К первому классу были отнесены сервисы сети ведомственной телефонной связи и видеоконференц-связи, ко второму – приложения платежной сети, к третьему – приложения информационной сети (электронная почта, интранет-порталы, электронный документооборот и др.). Однако банковская деятельность при всей своей регламентированности весьма разнообразна, и трафик используемых в Банке России приложений в прокрустово ложе трех классов уложить сложно. Именно сочетание технологий IP и MPLS придало ИТ-инфраструктуре Банка России необходимую гибкость, обеспечило требуемое качество и высокую доступность сервисов.

Но подобная гибкость имеет свою цену, любые преимущества сопровождаются вытекающими из них недостатками. Так, дополнительная протокольная избыточность привела к тому, что в старой магистральной сети один телефонный вызов занимает полосу 8 кбит/с, в новой – около 30 кбит/с. Но это неизбежная и осознанная плата за мультисервисность.

Взорвалось или нет?

Внимательный читатель непременно спросит – хорошо, новые сети построены на основе «самого свежего пороха» технологий мультисервисных сетей, а дальше?

Следует признать, что корпоративная сеть Банка России – ЕТКБС – за восемь лет претерпела радикальные изменения. Но принимая во внимание, что основной бизнес-процесс Банка России – это поддержание бесперебойного функционирования платежной системы страны, «взрыва» допустить было никак нельзя. Мировой опыт создания подобных систем и собственный опыт эксплуатации были учтены, изменения проводились постепенно, без прерывания критически важных сервисов и без ослабления эксплуатационного контроля. Платежный трафик в настоящее время по-прежнему передает старая магистральная сеть, на новую переведены пока только голос, видеоконференцсвязь и информационный трафик. Миграцию всех сервисов на новую сеть планируется завершить в 2015 г. Несомненно, это заставляет Банк России нести дополнительные расходы по поддержке двух магистральных сетей, но если посчитать, во сколько может обойтись лишь один час простоя системы платежей в масштабах всей страны, то торопливость и надежда на «авось» явно неуместны. Тем более что в перспективе переход на новые технологии позволит существенно снизить издержки.

Итак, «взрывных» проблем не возникло. Но глубокое влияние мультисервисности на систему эксплуатации, безусловно, отрицать нельзя. Корень всех проблем любой мультисервисной сети – это многопараметричность, превосходящая все известные технологии.

Действительно, реализация принципа мультисервисности влечет за собой усложнение телекоммуникационных технологий, количество независимых параметров описания систем связи неизбежно растет.

Под «зонтиком»

Первое важное следствие многопараметричности мультисервисных сетей – значительное усложнение мониторинга и управления.

Наличие систем управления во всех подсистемах было одним из основных требований при создании новой магистральной сети Банка России, и оно было реализовано в полной мере. И системы управления, и оборудование обладают развитыми встроенными средствами диагностики, в необходимости которых служба эксплуатации убеждалась не раз. Но переход на новые технологии и усложнение структуры магистральной сети показали, что прежний, ресурсный подход к эксплуатации в целом и диагностике сложных проблем в частности себя уже не оправдывает. Неоднократно приходилось сталкиваться с ситуациями, когда на каждом уровне в отдельности системы управления показывают отсутствие проблем, а пользователи все равно жалуются на качество сервисов.

Общие недостатки штатных систем управления (СУ), поставляемых вместе с оборудованием, – наличие только пассивных средств мониторинга и слабые возможности взаимной интеграции. Каждая СУ видит только свой «огород» и практически ничего не знает о смежных системах. Анализировать корреляцию событий в отдельных подсистемах приходится вручную силами ведущих специалистов, что приводит к дополнительным потерям времени.

Один из возможных путей выхода из сложившейся ситуации – создание «зонтичной» системы-гипервизора, обеспечивающей объединение информации от всех систем управления в единое поле событий с развитыми средствами интеллектуального анализа. Создание именно такой системы управления и было инициировано службой эксплуатации ЕТКБС. Эта система разрабатывается как классическая «зонтичная» OSS (Operational Support System), основное назначение которой – поддержка службы эксплуатации и сквозной контроль функционирования сервисов.

SLA – для своих

Второе важное следствие многопараметричности мультисервисной сети – сложность контроля качества сервисов. В этой ситуации понятиями системы эксплуатации являются QoS и SLA (Service Level Agreement).

При подключении к магистральной сети пользователи сервисов в большинстве случаев затрудняются сформулировать конкретные требования, но, как правило, стремятся получить ресурс с большим запасом. В результате, если просуммировать все такие запросы, то пропускная способность МК ЕТКБС должна быть в четыре раза выше имеющейся. А при возникновении претензий к качеству сервисов описание проблемы обычно звучит весьма расплывчато – «приложение плохо работает», «выросла очередь на отправку сообщений». Причем ответственность за снижение качества работы приложения пользователь пытается возложить в первую очередь на магистральную сеть, несмотря на наличие нескольких промежуточных систем.

Так что заключение соглашений о качестве сервиса между подразделениями одной организации, особенно такой крупной и территориально распределенной, как Банк России, в последнее время становится все важнее. Поэтому модернизация системы эксплуатации корпоративной сети Банка России включает и внедрение концепции SLA. Только после создания соответствующих соглашений на всех уровнях вопрос качества сервисов из области абстрактных рассуждений переходит в сугубо практическую плоскость. Тем более что новая магистральная сеть обладает всеми средствами для обеспечения сквозного QoS.

Но внедрить SLA мало, нужно еще контролировать выполнение соглашений. Причем средствам контроля должны доверять обе стороны – и пользователь, и провайдер. Одним из перспективных направлений деятельности службы эксплуатации МК ЕТКБС является разработка системы контроля качества сервисов. Помимо мониторинга соблюдения SLA одно из требований к данной системе – это возможность активного тестирования качества сервисов с помощью как встроенных средств оборудования, так и специальных пробников, образующих распределенную контрольно-измерительную сеть. Кроме того, система контроля качества сервисов должна быть интегрирована в СУ ЕТКБС.

Повышение эффективной пропускной способности

Еще одно перспективное направление исследований – оптимизация трафика банковских приложений. Технологии оптимизации передачи данных по территориально распределенным сетям (WAN) ускоряют работу приложений, используя интегрированный подход к повышению производительности при работе через глобальные сети. Решения по оптимизации трафика особенно интересны в случае перехода на централизованную обработку данных, так как повышают быстродействие приложений при работе с ЦОДом, сокращают нагрузку на магистральные каналы связи и время передачи файлов в глобальных сетях. Для этого используется комплекс технологий:

• оптимизация (дедупликация) передаваемых данных – сведение к минимуму объема повторно передаваемых данных за счет устранения повторяющихся комбинаций байтов и компрессии;

• оптимизация транспортировки данных за счет уменьшения количества ТСР-пакетов для того же объема данных, благодаря чему повышается эффективность работы в глобальных сетях;

• оптимизация приложений – сокращение времени ожидания и загрузки каналов связи за счет минимизации служебного трафика, генерируемого приложениями, включая опережающее считывание, локальную обработку обращений и кэширование данных.

В 2012 г. на опытном участке МК ЕТКБС Москва – Пермь была проведена проверка эффективности решений оптимизации трафика WAN применительно к задачам Банка России. Результат проверки оказался весьма оптимистичным – объем трафика, переданного устройством оптимизации в магистральную сеть за время эксперимента, оказался на 73% меньше объема, полученного для передачи, что позволяет говорить об увеличении эффективной пропускной способности канала связи в 3,7 раза. На 2013 г. запланированы сравнительные испытания, целью которых будет окончательный выбор технического решения.

  

Обладая значительными преимуществами, мультисервисные сети существенно сложнее традиционных сетей, их эксплуатация для любой организации – серьезный вызов. Модернизировав свою корпоративную сеть до уровня мультисервисной, Банк России создал внушительный технологический задел на достаточно длительную перспективу. Накопленный опыт помогает службе эксплуатации ЕТКБС успешно справляться со всеми сложностями мультисервисности, но тем не менее она не перестает разрабатывать и внедрять новые методы обеспечения высокой доступности и качества сервисов.