Пионеры ЦОДостроения. Московская биржа

Московская биржа, тогда Московская межбанковская валютная биржа (ММВБ), была учреждена в январе 1992 г. Поначалу торги валютой проходили в «ручном» режиме, а компьютеры применялись лишь для ведения протоколов, по сути, как пишущие машинки.

Большой электронный проект на бирже стартовал в начале 1993 г. в связи с необходи­мостью обеспечить проведение аукционов и торгов по ГКО – государственным краткосрочным бескупонным облигациям. Для организации первого вычислительного центра (термина «дата-центр» тогда еще не существовало) было выбрано здание «РИА Новости» на Зубовском бульваре. В этом здании, построенном в расчете на Олимпиаду-80, был стандартный по меркам конца 70-х годов прошлого века вычислительный центр. 

«Мы сняли сначала одно помещение, потом рядом – второе. Начинали с четырех RISC-машин – двух больших серверов (НР 9000/890 Emerald), двух малых (НР Н20) и рабочей станции. В том же помещении установили ИБП», – вспоминает Сергей Мещерин, ныне директор по информационным технологиям Московской биржи. – Электричество брали от существующего ВЦ. Как была устроена система электроснабжения с внешней стороны, мы не знали, но считалось, что ВЦ «РИА Новости» запитан правильно». 

На биржу пришли специалисты главным образом из ВПК, с большим опытом в области промышленных технологий обработки данных. Они постарались реализовать все лучшие наработки в сфере обеспечения надежности и построения отказоустойчивых систем. 

Резервировать инженерные системы стали сразу. Использовали два ввода электропитания (правда, оба от ВЦ «РИА Новости»), ИБП тоже установили два (2N). Система кондиционирования, хоть и строилась на бытовых «сплитах», но была резервирована по схеме 3N: в помещении стояли три кондиционера, а для нормальной работы хватало одного. Был организован контур безопасности (дополнительные двери, СКУД), чтобы в комнаты с ИТ-оборудованием биржи не проник посторонний. Все было сделано просто, но надежно.

В 1995 г. ММВБ стала активно развивать удаленную инфраструктуру, сначала в Москве, а потом и в регионах России. На рубеже 1996 г., когда формирование региональных структур было, по сути, завершено, большая часть пользователей подключалась к ИТ-сис­теме удаленно.

К тому моменту вполне созрело понимание того, что для повышения надежности системы торгов, как, впрочем, и иных систем обработки данных биржи, необходимо удаленное резервирование вычислительной среды, понемногу сложилась модель двух вычислительных центров, дублирующих друг друга. Руководство организации поддержало эту идею и приняло решение о создании второй ИТ-площадки. У биржи был офис в высотном здании в районе станции метро «Красные Ворота», в нем-то, на 12-м этаже, и было решено создать второй вычислительный центр.

К этому времени появился собственный опыт эксплуатации объекта, стали очевидными пути его совершенствования. Все они лежали в области использования промышленных подходов. При проектировании большое внимание было уделено организации системы гарантированного и бесперебойного электропитания. Для нового ВЦ были задействованы два ввода из города: один от трансформаторной подстанции, обслуживающей метрополитен, другой – от подстанции троллейбусной сети. Такие ТП считаются весьма надежными. Кроме того, для нового ВЦ был установлен дизель-генератор – его разместили в гараже под зданием и организовали специальный выхлоп. Для ИБП и батарей выделили специальные отдельные комнаты, откуда гарантированное бесперебойное электропитание подавалось в машинный зал.

Сам зал был небольшим – около 60 кв. м. В отличие от ВЦ на Зубовском, на новом объекте уже была установлена промышленная система кондиционирования – с резервированием 2N. Выгораживать холодные коридоры не требовалось, поскольку кондиционер отлично охлаждал все помещение. Также система кондиционирования охватывала помещения ИБП. На объекте были реализованы промышленные системы противопожарной сигнализации, автоматического газового пожаротушения, безопасности, видеонаблюдения – все как делается сегодня, в современных ЦОДах. Заметим – шла середина 90-х годов…

Новый объект запустили в эксплуатацию в 1997 г. Некоторое время он рассматривался в качестве резервного. После того, как специалисты биржи убедились в надежности новой площадки, ВЦ на Красных Воротах стал основным, а на Зубовском – получил статус резервного. Торговая система использовала главный сервер (engine) и серверы доступа (gateway). Серверы доступа стояли как в основном, так и в резервном ВЦ. Они работали постоянно, но подключались только к главному серверу, размещенному в основном ВЦ. Второй главный сервер находился в «холодном» резерве.

В дополнение к торговому залу на Зубовском в здании на Красных Воротах развернули еще два зала. Проблем с удаленной работой не возникало, поскольку задержка в каналах связи не имела в то время большого значения – трейдеры набирали данные на клавиатуре, а скорость набора была существенно ниже скорости обработки запросов.

 

В какой-то момент специалисты биржи поняли, что для надежной связи между площадками мало обычных каналов связи – нужна своя оптика. Проблемы были не в пропускной способности используемых каналов, а в их надежности. Телекоммуникации тогда только развивались, поэтому надежность каналов, арендуемых у провайдеров, оставляла желать лучшего. Появилась идея – проложить «темное» оптоволокно между двумя вычислительными центрами для обеспечения их надежной связи друг с другом. Однако реализовать ее удалось позднее, в рамках строительства следующего объекта. Впоследствии для всех новых объектов биржи (не только ЦОДов, но и офисных зданий) стали сразу прокладывать свою оптику, экспериментируя при этом с моделью владения – собственная линия или аренда. Как считают специалисты биржи, этот подход многократно оправдал вложенные в него средства, много раз выручал в процессе развития и совершенствования промышленных технологий обработки данных организации.

Биржа активно развивалась, открывались новые рынки, совершенствовались технологии торгов и расчетов, появлялись иные виды обслуживания, повышались требования к его качеству. Со временем ВЦ на Зубовском перестал удовлетворять возросшим потребностям. Было принято решение постепенно от него отказаться. Опять встала задача поиска второй площадки, так как было понятно, что модель двух ЦОДов является ключевой для обеспечения требуемой надежности.

Во второй половине 90-х биржа приобрела комплекс зданий в Большом Кисловском переулке, и именно там началось строительство нового ЦОДа. Капитальный ремонт здания проводился уже с учетом того, что на одном из этажей будет размещаться ИТ-комплекс. Были сделаны более вместительные вертикальные шахты, больше места было выделено под воздуховоды.

«Здесь, в новом здании, все старались делать капитально, с возможностью дальнейшей модернизации. ИБП, батареи и дизель разместили в специальных помещениях в подвале. Максимально грамотно сделали выхлоп, учтя некоторые ошибки, допущенные при создании ВЦ на Красных Воротах. Все магистрали заранее спланировали и проложили. А со временем, как и положено, выделили и оборудовали холодные коридоры в машинном зале», – рассказывает С. Мещерин.

Новый ЦОД с машинным залом площадью 192 кв. м был запущен в эксплуатацию в конце 1999 г. В него были переведены системы с Зубовского бульвара. Поначалу ЦОД казался полупустым – в машзале стояло менее десятка стоек с ИТ-оборудованием. 

«Мы построили ЦОД с большим запасом. И это не раз нас выручало. Сегодня в том же помещении, с той же инженерной инфраструктурой размещаются уже 65 стоек, и всё хорошо работает. Например, чиллеры, которые ставили с помощью вертолетов на крышу, служат нам до сих пор. Работает и установленный в подвале динамический ИБП с дизелем», – рассказывает Сергей Кобзев, начальник управления развития и эксплуатации ЦОД Московской биржи.

Следует отметить, что в ЦОДе в Большом Кисловском переулке был обеспечен очень высокий уровень надежности. Например, для системы бесперебойного питания была реализована схема 4N. «В интересах ЦОДа использовались две пары статических ИБП. Можно было работать при выходе из строя трех ИБП из четырех и проводить регламентные работы без отключения электропитания оборудования. Система ИБП для питания офиса строилась отдельно. Более того, напряжение на вход статических ИБП поступало с маховика динамического ИБП. Постепенно мы ушли от такой сложной схемы резервирования, отдав предпочтение классической схеме 2N», – делится опытом С. Кобзев.

Потребность в серверах стремительно росла, и новый ЦОД стал быстро заполняться. В машинный зал устанавливали все новые и новые системы, в том числе и те, которые изначально являлись офисными и не были критически важными для работы биржи. Так, внутренняя почта дала толчок к созданию системы электронного документооборота. Значимость этой системы существенно выше, чем обычной почты. Ей понадобились резервные серверы и надежная инфраструктура ЦОДа. И таких систем становилось все больше.

Быстро развивалась и телекоммуникационная составляющая как самого ЦОДа, так и организации в целом. Сначала биржа использовала услуги всего двух провайдеров телекоммуникационных услуг: основного и резервного. Но затем клиенты попросили увеличить число провайдеров, поскольку на их объектах присутствовали свои операторы связи – в то время чужих провайдеров в здания, как правило, не пускали. С ростом числа провайдеров и расширением сети биржи в ЦОДе росло и число телекоммуникационных стоек.

 

Что касается статуса нового ЦОДа, то здесь повторилась история с площадкой на Красных Воротах: в какой-то момент он поменялся с резервного на основной. В такой конфигурации биржа «жила» до 2007 г. Тогда владельцам здания на Красных Воротах потребовались помещения, занимаемые биржей, и они попросили съехать. Опять возникла задача поиска резервного ЦОДа…

К тому моменту в России стали появляться коммерческие ЦОДы. «Мы увидели, что рождается совершенно новое направление обслуживания клиентов – предоставление места в коммерческом ЦОДе в качестве услуги. Некая организация строит ЦОД, а потом сдает его ресурсы другим компаниям. Сначала это выглядело странно, доверие – нулевое. Что у них там, как сделано? Кабели, ИБП, кондиционеры еще можно увидеть. А как организована служба эксплуатации и поддержки как самого объекта, так и пользователей?», – перечисляет опасения С. Мещерин.

Перед биржей встал важный вопрос: строить самим или арендовать. «И сейчас мы от этого вопроса не ушли. Он периодически поднимается, просчитываются варианты. Понимаем, что строить самим – хлопотно и дорого. Да и считать можно по-разному. Если брать пятилетнюю модель – одна экономика, десять лет – совсем другая. Все зависит от горизонта планирования. Мы стараемся бережно относиться к нашим финансовым ресурсам, поэтому раз за разом просчитываем возможные варианты», – продолжает директор по ИТ Московской биржи.

Тогда, в середине 2000-х, на строительство своего ЦОДа времени просто не было. Жизнь заставила идти в коммерческий ЦОД, и этот вариант впоследствии себя оправдал. В то время выбор был небольшой – две-три площадки. Была выбрана самая на тот момент новая – ЦОД «Стек Телеком» на площадке М1. По сути, этот провайдер оказался единственным, кто смог предоставить сервис нужного качества и объема (порядка 40 стоек). 

Как вспоминают на бирже, переезду предшествовали серьезные работы по совершенствованию провайдером своей площадки, отработке регламентных процедур. «У нас коэффициент доступности основных систем – 99,97, значит, ЦОД должен иметь соответствующий показатель – минимум 99,99. Мы пришли к провайдеру услуг ЦОДа с такими требованиями и дополнительными пожеланиями по обеспечению физической безопасности. Изначально у него не было опыта предоставления сервиса подобного уровня доступности. Компания с энтузиазмом подошла к выполнению наших весьма жестких требований, они сами многому научились, внедрили в практику своей деятельности некоторые принципиально новые инженерные и организационные подходы. Это была совместная сложная, но интересная работа, которая дала весомые плоды обеим организациям», – говорит С. Мещерин.

В сентябре 2007 г. биржа «встала» в коммерческий ЦОД «Стек Телеком». Между М1 и ЦОДом в Большом Кисловском переулке сразу была проложена «темная» оптика в виде кольца, реализовано «горячее» резервирование. Сначала площадку на М1 использовали как резервный ЦОД. Впоследствии история повторилась в третий раз: новая площадка стала основной. «Впрочем, в нашем случае понятия "основной" и "резервный ЦОД" немного условны. Для одних систем основные серверы стояли на М1, резервные – в Кисловском. Для других – наоборот», – отмечает С. Кобзев. 

Число единиц серверного оборудования, используемого биржей, подскочило при переходе с RISC-машин на серверы x86. «В какой-то степени нас «подвела» ИТ-индустрия. Мы начинали с RISC-серверов, больших мощных надежных машин. Но рынок потребовал перехода на принципы высокочастотного трейдинга (High-Frequency Trading, HFT), а это, в свою очередь, заставило намного увеличить скорость обработки данных. Оказалось, что RISC-серверы просто «не тянут». Их операционные системы работали медленно. Мы вынуждены были с UNIX перейти на Linux, а с RISC-машин – на обычные серверы x86. Поначалу переход с точки зрения утилизации ресурсов ЦОДа нам казался простым. Но при использовании серверов x86 резко увеличилось их количество, число сетевых соединений, потребовались дополнительные средства обеспечения безопасности и мониторинга, и, как следствие, выросла потребность в стоечном пространстве, усложнилась модель использования ЦОДа. Количество перешло в качество», – продолжает С. Мещерин.

В 2011 г. состоялось объединение двух крупнейших российских бирж – ММВБ и РТС. Единая структура получила название «Московская биржа». Встала задача интегрировать ИТ-системы организаций, а для этого надо было перевести ИТ-ресурсы РТС с ее площадок в общие ЦОДы. Сначала их переместили в ЦОД в Большом Кисловском переулке. Но вскоре стало понятно, что емкости двух имеющихся площадок уже не хватает. Необходимо было искать третью.

К тому времени доверие к коммерческим ЦОДам выросло, на рынке появились новые серьезные игроки. Поэтому новую площадку искали на базе одного из коммерческих дата-центров. А поскольку выросли и требования регулятора к качеству организации торгов, и требования клиентов к уровню обслуживания, главным критерием стала максимальная надежность. В тот момент в Москве появилась первая площадка, которая строилась строго по стандартам, – DataSpace.

«Этот объект мы вели долго. Ведь строился первый в России ЦОД Tier III. Конечно, с технической точки зрения разместить свои ресурсы в таком ЦОДе было весьма привлекательно. Строился он по всем правилам. Все думали, сделают или нет. Сделали! Ну и формальности были соблюдены – ЦОД первым получил все три сертификата Uptime Institute», – говорит С. Мещерин. Вопрос выбора площадки обсуждался на всех уровнях руководства биржи, оценивались все за и против. Выбор был сделан в пользу DataSpace.

ЦОД биржи на площадке DataSpace был запущен в эксплуатацию в 2015 г. В нем два зала по 72 стойки: один зал биржа использует для своих нужд, второй – для размещения оборудования клиентов. «Мы видели много разных объектов. Считаем, что наш зал образцовый. Была возможность все сделать правильно, и мы ее не упустили, – вспоминает С. Кобзев. – С площадкой М1 так красиво не получилось. Заезжали с одним оборудованием, потом устанавливали другое. Технологии развивались, менялись, пришлось заменить стойки, выгородку, трудно было изначально заложить правильные коридоры».

В конце нулевых годов ужесточились требования к задержкам при работе с торговыми системами биржи. Связано это было с развитием высокочастотного трейдинга, который сегодня является основной формой алгоритмической торговли на финансовых рынках. Когда торговали люди, компьютер трейдера мог располагаться где угодно, задержка не имела большого значения. В HFT используются специальные торговые стратегии и алгоритмы, при работе которых величина задержки критически важна. Когда появилась HFT-торговля, особо умные трейдеры стали размещать свои серверы максимально близко к серверам торговой системы. Началось это в те времена, когда главный сервер торговой системы находился на М1. Трейдеры вставали в разных залах ЦОДа М1, поэтому условия доступа могли быть неравными, а обеспечение равных условий доступа – одна из основных обязанностей биржи. Чтобы уравнять условия, специалистам биржи пришлось применять определенные технические решения. В дальнейшем в рамках площадки М1 появился зал colocation, где устанавливали свое оборудование клиенты биржи, работающие в модели HFT. После перевода главного сервера в ЦОД DataSpace специалистам биржи стало проще решать эту задачу. Специальный зал с серверами клиентов расположен рядом с машинным залом самой биржи, и у всех одинаковые возможности – разница в несколько метров не играет большой роли.

Необходимость обеспечить равные условия доступа не позволила бирже реализовать модель единого вычислительного пространства, когда неважно, в каком ЦОДе запущена основная система. «Для торговой системы трудно обеспечить равные условия доступа с точки зрения задержек – счет идет на микросекунды. Если бы не эта специфическая черта, мы бы реализовали такую модель, которая является более гибкой, дает больше простора для маневрирования вычислительными ресурсами, в особенности в нештатных ситуациях, – полагает С.  Мещерин. – Сегодня зона колокации с оборудованием трейдеров размещена только в основном ЦОДе. Наверное, этот факт можно считать определенным недостатком нынешней инфраструктуры биржи, но строить зал колокации в резервном ЦОДе – удовольствие дорогое, как для биржи, так и для ее клиентов». 

В настоящее время основной ЦОД Московской биржи размещен на площадке DataSpace. Там находится ядро торговых систем, а также зал colocation с оборудованием клиентов. При этом существуют системы, основные серверы которых располагаются на площадке М1 с резервированием в ЦОДе DataSpace.

Собственный ЦОД в Большом Кисловском переулке используется и сегодня, в основном для тестовых систем. «Сначала мы разместили тестовый сегмент в дата-центре DataSpace. Но быстро поняли, что держать тестовые системы в дорогом ЦОДе неправильно. А здесь, на Кисловском, все рядом, и это удобно для тех, кто работает с тестовыми системами», – отмечает С. Кобзев.

Принято считать, что время активной жизни ЦОДа – 10 лет. ЦОД биржи в Большом Кисловском переулке «живет» уже 20 лет. Построен он был очень грамотно, продумана возможность замены отдельных элементов (ИБП, кондиционеров и пр.) без остановки работы. Но нет ничего вечного, концепции меняются, совершенствуются. «Если уж мы двигаемся вперед, оценивая сделанное, учитывая передовой международный опыт, то следует признать, что в современных условиях ЦОД в центре города – не самая правильная вещь. Большая фура не подъедет, сложно подвозить топливо, оборудование. Большой запас топлива не создать – мы с уважением относимся к правилам противопожарной безопасности. Коммуникационные колодцы заполнены почти до отказа, – делится опытом С. Мещерин. – Да и совмещать центральный офис и ЦОД, как показала практика, – не самое лучшее решение». 

Сейчас Московская биржа просчитывает различные варианты будущего своей ИТ-ин­фраструктуры. И сомневаться не приходится, специалисты с огромным опытом, которые успешно развивают систему ЦОДов уже более четверти века, найдут оптимальное решение.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>