Как построить ЦОД с нуля
Компания «РТП-Медиа» (входит в ГК «Столичные кабельные сети»), закончившая недавно строительство собственного ЦОДа, который использует как для собственных нужд в сфере телеком-услуг, так и в коммерческих целях, делится накопленным в ходе этого проекта опытом.
Потребность в новом ЦОДе была обусловлена рядом причин. Во-первых, возрос объем предоставляемых услуг: когда компания в 2002 году только начинала работать на рынке кабельного телевидения, наши абоненты могли смотреть лишь шесть ТВ-каналов, сегодня же в сети доступно порядка 60 каналов в аналоговом формате и более 150 каналов – в цифровом, в том числе HD, Ultra HD и 4К. Покрытие сети также расширяется с каждым годом. Первоочередная задача оператора КТВ – обеспечить надежность передачи сигнала, высокое качество изображения и безопасное хранение большого объема данных. Наша прежняя серверная уже не справлялась с этой задачей, оборудование морально и физически устарело. Требовалась серьезная модернизация.
Во-вторых, компания диверсифицировала свои услуги, и помимо предоставления телевизионного сигнала мы начали оказывать услуги медиалогистики контента (работа с самим сигналом: прием, обработка, доставка и пр.). Для этого необходимо новое современное оборудование, другие производственные мощности.
В-третьих, с точки зрения безопасности гораздо лучше, если все оборудование установлено в одном месте и имеет централизованную систему управления и мониторинга под собственным контролем компании.
Строить или арендовать?
В первую очередь нужно было определить: что выгоднее, строить ЦОД самим или обратиться к услугам уже действующих дата-центров. Однозначного ответа на этот вопрос нет. Все зависит от потребностей компании и ее возможностей. Решение строить собственный ЦОД с нуля далось не легко. Тщательно взвешивались все «за» и «против», строились оптимистичные и пессимистичные планы развития. Просчитывались расходы на строительство и возможные доходы в будущем, сотни часов были затрачены на проработку концепции ЦОДа.
В среднем оснащение и оборудование 1 кв. м современного дата-центра, по оценке специалистов, могут обойтись в более чем 250 тыс. руб. С другой стороны, издержки при использовании ресурсов коммерческих ЦОДов тоже немалые. Они включают в себя как разовые, так и ежемесячные платежи: подключение, аренда юнитов или стоек, организация перемычек и стыков, затраты на медиалогистику: доставку и обработку сигнала и пр. Также необходимо помнить о возможном росте цен на услуги ЦОДов со временем. Приведем ориентировочную стоимость таких услуг в Москве от разных компаний (табл. 1).
Таблица 1. Стоимость некоторых услуг коммерческих ЦОДов в Москве
Услуга
|
Стоимость, тыс. руб.
|
Инсталляция
(согласование проекта, ввод кабеля), разовая услуга
|
40–90
|
Услуги с ежемесячной оплатой
|
|
Аренда
места под кабель
|
10–50
|
Аренда
юнита
|
2–5
|
Аренда
стойко-места
|
40–125
|
Кроссировка
(перемычки)
|
3–15
|
Медиалогистика:
- энкодирование из SDI в IP
- масштабирование
изображения до более высокого/низкого разрешения
- автоматическая
доставка контента (playout)
|
15–30
10–20
40–100
|
В целом затраты на услуги коммерческих ЦОДов могут составлять от нескольких сотен тысяч до миллиона рублей ежемесячно в зависимости от потребностей клиента.
Строительство же собственного дата-центра открывает возможность получения дополнительной прибыли от использования свободных мощностей ЦОДа, коммерциализации услуг работы с сигналами и потоками, кодирования, конвертации сигнала, мультиплексирования, размещение плейаутов и перегона контента; позволяет оказывать услуги колокации партнерам. Таким образом, если сравнить затраты на строительство собственного ЦОДа (порядка 100–150 млн руб. для небольшого дата-центра площадью около 100 кв. м) и экономию на услугах стороннего ЦОДа (до 10 млн руб. в год), а также возможность получения дополнительной выручки за счет арендаторов (если у вас 10 клиентов, то сумма может составить порядка 40 млн руб. в год), то срок окупаемости проекта составит около трех лет, а дальше уже пойдет получение прибыли.
Совет 1. Поскольку отрасль ИТ быстро развивается и претерпевает значительные изменения в короткое время, то при реализации проекта нужно смотреть в будущее: учитывать новые запросы и требования клиентов, возможность дальнейшего масштабирования ЦОДа, увеличение нагрузки на оборудование, повышение энергоемкости и энергобезопасности, теплоотдачи, использование помещения в долгосрочной перспективе. Необходимо заложить резерв на дополнительное оснащение электроэнергией помещения, кондиционирование и пр. Оборудование должно быть рассчитано на долгий срок эксплуатации, с высоким уровнем запаса мощности без быстрого морального износа. |
После принятия решения начинается самое сложное – его реализация.
Первый наш опыт построения серверной (много лет назад) был не самым удачным. Не все детали и элементы структуры мы проработали и допустили ряд ошибок. В результате даже незначительные действия (кто-то задел проводок или отсоединился патч-корд) приводили к большим проблемам. Был случай соединения электропитания под фальшполом через сетевой фильтр, который перегорел, а мы долго искали, где разрыв цепи.
Рис. 1. Прежняя серверная
Поэтому к строительству нового ЦОДа наша команда подошла с полным осознанием того, что нужно тщательно прорабатывать каждый этап.
На стадии проекта
Первый этап – это грамотное составление технического задания, в котором определяются технические характеристики, архитектура ЦОДа, показатели качества и технико-экономические требования. В разработке ТЗ принимали участие многие наши специалисты: технический директор, руководитель службы эксплуатации, ИT-инженер и инженеры-проектировщики, генеральное руководство компании и представители подрядных организаций. Самое сложное в этом процессе – достичь согласованности и высокого уровня координации между структурами, чтобы избежать ошибок на этапе проектирования, дублирования или реализации ненужных функций, сократить и оптимизировать бюджет проекта.
Совет 2. Разработку технического задания необходимо проводить консолидированно, с перекрестной проверкой каждого раздела всеми заинтересованными службами. Необходимо иметь технического специалиста, отвечающего за выпуск финального документа, – архитектора решения. Важно также до начала составления технического задания четко разграничить зоны компетенции всех подразделений – соавторов документа и назначить ответственного исполнителя. |
После составления ТЗ можно переходить к следующему этапу – проектированию и формированию технической документации – на котором разрабатывается эскизный проект дата-центра, определяются конструктивные и архитектурные особенности, предварительная планировка, перечень и номиналы необходимого инженерного оборудования.
Совет 3. На этапе проектирования важно привлекать специалистов, у которых есть опыт участия в строительстве и эксплуатации дата-центров, начиная от устранения протечки крыши и коротких замыканий в цепи электропитания и заканчивая установкой и обслуживанием систем вентиляции и других звеньев функциональных структур. |
Поскольку нормативных актов по проектированию и строительству ЦОДа в нашей стране практически нет, мы руководствовались не только требованиями действующего законодательства, но и рядом международных стандартов (в частности, Uptime Institute Tier Standard: Topology, ISO/IEC 30134 и др.).
В процессе проектирования ЦОДа и разработки комплекта проектной и рабочей документации должны быть решены следующие задачи:
- формулирование общей концепции ЦОДа, планирование инфраструктуры. Составление эскизов размещения оборудования, выбор оптимальных путей прокладки кабельных трасс, расчет параметров потребляемой мощности и отводимого тепла;
- проектирование структурированных кабельных систем, связывающих между собой компоненты дата-центра, с учетом заданных параметров и пожеланий заказчика;
- учет требований пожарной безопасности;
- выбор источников бесперебойного питания;
- проектирование эффективных систем кондиционирования, позволяющих создать необходимый для оборудования микроклимат.
После проектирования можно приступать непосредственно к строительству дата-центра. Для выполнения комплекса строительных работ требуется штат сотрудников, обладающих глубокими знаниями и большим практическим опытом в сфере создания дата-центров.
После завершения собственно строительства остается выполнить еще ряд работ:
- расстановку серверных стоек и шкафов, монтаж патч-панелей, заведение основных магистралей и подключение питания;
- размещение серверного и другого активного оборудования;
- обеспечение безопасности объекта с помощью установки видеонаблюдения и систем контроля доступа.
Совет 4. Проектирование и создание таких специализированных систем, как пожаротушение, кондиционирование и пр., лучше поручить профильным организациям. |
Готовый объект
Помещение дата-центра
Рис. 2. Общая схема основного помещения ЦОДа
Наш центр обработки данных расположен на шестом (и последнем) этаже офисного здания, в максимальной близости к антенному посту. Он занимает помещение общей площадью 100 кв. м правильной прямоугольной формы с допусками не более 1 см. Состоит из следующих зон: главной зоны с оборудованием (серверная), горизонтальной распределительной системы (трассы для слаботочных систем) и зоны для оборудования пожаротушения. Основное оборудование размещено в комнате без окон, где имеется фальшпол высотой 0,5 м от уровня основного пола.
Система электроснабжения
Рис. 3. Оборудование системы электроснабжения
Обеспечение постоянного и бесперебойного энергоснабжения – основная задача при создании ЦОДа. Наш ЦОД отвечает всем требованиям уровня Tier II, а по ряду характеристик соответствует уровню Tier III. Электропитание осуществляется от двух независимых вводов от городской сети и подается одновременно на два комплекта ИБП (для основной и инженерной нагрузок). Каждый комплект ИБП подключен к отдельному ДГУ, рассчитанному на восьмичасовое отключение от основного источника электропитания. Чтобы не перегружать перекрытия здания, ИБП расположены на первом этаже здания, а ДГУ – в подвале. Кабельные линии ВОЛС и электропитания проложены по двум вертикальным стоякам в разных концах здания. В каждой стойке предусмотрены два PDU для бесперебойной работы оборудования с двумя блоками питания.
Системы кондиционирования и климата
Для создания необходимых условий работы дата-центра требуется поддерживать в нем заданную влажность, температуру и подвижность воздуха (табл. 2). Достичь «идеальных» показателей не так просто.
Таблица 2. Значение предельных климатических показателей для ЦОДов
Показатель
|
Значение в пределах нормы
|
Температура
воздуха в помещении
|
+18–25°С
|
Влажность
воздуха
|
40–55%
|
Скорость
изменения влажности
|
Не
более 6% в час
|
Запыленность
|
Не
более 0,0001 г/ куб. м
|
Для нашего ЦОДа мы выбрали систему охлаждения на уровне зала (четыре прецизионных кондиционера Schneider Electric) с подачей холодного воздуха в пространство фальшпола. В помещении поддерживается температура воздуха +22°С.
Рис. 4. Блоки системы охлаждения
При помощи двух промышленных увлажнителей Carel серии HumiSteam X-Plus относительная влажность воздуха поддерживается в пределах 45%. С целью предотвращения запыленности помещения приток воздуха из системы вентиляции регулируется таким образом, чтобы он был сильнее, чем мощность вытяжки, и тем самым «прибивал» пыль к полу. Кроме того, фальшпол оснащен специальным антистатическим покрытием, препятствующим накоплению на поверхности статического электрического заряда (блуждающих статических токов), что способствует уменьшению пылеобразования. Ежедневно в помещении проводится влажная уборка. Все сотрудники при посещении ЦОДа надевают бахилы.
Система пожаротушения
Сохранность информации в дата-центрах во многом зависит от принятых мер пожарной безопасности, применяемых методов и средств пожаротушения. Системы пожаротушения для ЦОДа проектируются с учетом требований пожарной безопасности для данной категории помещений. Существует несколько типов систем пожаротушения (табл. 3).
Таблица 3. Основные типы систем пожаротушения и их характеристики
Система
|
Аэрозольная/Порошковая
|
Газовая
|
На основе тонкораспыленной воды высокого
давления
|
Гипоксическая
|
Принцип
действия
|
Распыление
огнетушащего порошка или аэрозоля, образующих пленку, предотвращающую
проникновение кислорода
|
Ввод
в помещение специального газа, снижающего содержание кислорода и препятствующего
процессу горения
|
Распыление
на область горения мелкодисперсной водяной пыли, что приводит к местному снижению
содержания кислорода и охлаждает зону возникновения огня
|
Создание
и поддержание в помещении атмосферы, в которой пожар не может возникнуть (содержание
кислорода менее 14%), путем введения азота
|
Рыночная
стоимость для помещения 2,6 тыс. куб. м, млн руб.
|
0,2–0,5
|
6,5–11,8
|
15,9–16
|
≈20
|
Опасность
для оборудования
|
Есть, проявляется со временем
|
Нет
|
Нет
|
Нет
|
Опасность
для человека и окружающей среды
|
Есть
|
Есть
|
Нет
|
Нет
|
Последствия
ложного срабатывания
|
Небольшие убытки, замена сработавших
модулей
|
Огромные убытки, перезаправка всей
системы
|
Минимум
|
–
|
Шанс
ложного срабатывания
|
Есть
|
Есть
|
Есть
|
Нет
|
Особые
требования к помещению
|
Нет
|
Есть
|
Нет
|
Есть
|
В своем ЦОДе мы установили газовую систему пожаротушения с удвоенным объемом баллонов (основные и резервные). Используемый тип огнетушащего вещества – Novec 1230 (фторкетон ФК-5-1-12).
Рис. 5. Оборудование системы пожаротушения
Система безопасности и контроля доступа
Для обеспечения безопасности нашего ЦОДа мы используем:
1. Современную систему видеонаблюдения, не имеющую «слепых» зон и передающую информацию в режиме реального времени на панель видеонаблюдения службы безопасности дежурному сотруднику. Вся информация хранится на защищенных серверах службы безопасности в течение месяца. В машинном зале в дополнение к охранной системе видеонаблюдения установлены камеры технического видеонаблюдения, которое охватывает каждую стойку, для контроля работоспособности оборудования и удаленной технической помощи дежурному персоналу. Эта информация хранится не менее шести месяцев.
2. СКУД – многофункциональную отечественную систему Parsec для регулирования санкционированного входа/выхода сотрудников ЦОДа и учета рабочего времени каждого сотрудника. Помимо общей системы контроля и управления доступом в помещениях ЦОДа и на прилегающих территориях развернута система видеоверификации. В ближайшее время будет осуществлена интеграция системы биометрического доступа в наиболее ответственные помещения. На каждой двери на вход и выход установлены контроллеры доступа с ИБП и передачей информации по IP. Даже при возникновении чрезвычайной ситуации доступ в технические помещения имеет только сертифицированный персонал с правом доступа, поскольку ЦОД оснащен современной системой автоматического пожаротушения, не нуждающейся в присутствии человека. В дневное время доступ на территорию объекта осуществляется через пункт охраны с обязательной проверкой личности. В ночное время доступ в ЦОД имеют только дежурные технические службы.
3. Систему пожарной сигнализации, интегрированную с системой газового пожаротушения. Также в нашем ЦОДе развернута система оповещения о перегреве силовых кабелей как часть системы пожарной сигнализации. Это система предварительного оповещения о возможной проблеме. Перегрев кабеля питания может свидетельствовать об излишней нагрузке на нем, о проблеме оборудования или контактов, о повышенной плотности прокладки силовых линий на каком-либо участке или же о локальном перегреве и возгорании. Термокабель проложен так, чтобы по схеме было понятно, какой силовой кабель и на каком участке перегревается и требует внимания. В пожарном щите установлены приемно-контрольные модули для термокабеля, с которых сигнал передается в общую систему управления и мониторинга пожарной сигнализации.
Рис. 6. Оборудование системы пожарной сигнализации
4. Собственную сертифицированную систему молниезащиты, причем каждый кабельный спуск от антенного поста защищен оборудованием УЗИП.
Рис. 7. Оборудование УЗИП
В настоящее время в нашем ЦОДе установлены 20 шкафов и 18 открытых стоек для собственных нужд и предоставления услуг колокации.
Рис. 8. Машинный зал ЦОДа
Как уже говорилось, сам ЦОД находится в непосредственной близости к собственному антенному посту. Антенны позволяют принимать с высоким качеством сигналы со всех орбитальных позиций, доступных для Москвы. ЦОД соединен с ММТС-9, ММТС-10 собственными волоконно-оптическими линиями связи, что позволяет нам, помимо традиционной передачи данных, передавать сигналы КТВ и заниматься медиалогистикой. Более того, из нашего ЦОДа есть выход к любому оператору спутникового телевидения, у нас агрегируется большинство телеканалов в формате SDI.
Итак, создание ЦОДа – далеко не дешевый (сотни миллионов рублей) и очень трудозатратный проект, выполнение всех работ может занять до года. Однако, если грамотно ко всему подойти и заложить возможности развития на перспективу, то в результате можно получить современный ИКТ-объект, который позволит его владельцу не только упрочить свои позиции на рынке, но и получать хорошую прибыль!
Александр Лебедев, директор по стратегическому планированию, ГК «Столичные кабельные
сети»
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!