| Рубрикатор |  |
 |
| Статьи |  |
ИКС № 09-10 2015 | |
|
| Петр РОНЖИН | 10 ноября 2015 |
Эксплуатация системы холодоснабжения крупного ЦОДа. Постпроектные проблемы
Ошибки проектирования, недостаток информации об особенностях работы инженерных систем и неучтенные влияния деталей их конструкции – вот неполный перечень факторов, затрудняющих эксплуатацию дата-центра.
В теории
Принципы эксплуатации инженерных систем центров обработки данных должны закладываться еще на этапе подготовки технического задания на проектирование. Именно в этот период заказчик совместно с проектировщиками определяет эксплуатационные параметры инженерной инфраструктуры, например, годовой уровень доступности дата-центра, что, в свою очередь, задает требования к уровню резервирования оборудования и регламентам технического обслуживания.
В идеальном случае руководители службы эксплуатации ЦОДа должны активно участвовать в обсуждении технических решений на всех этапах проектирования, поскольку именно им в дальнейшем придется обеспечивать работоспособность систем. Такая совместная работа с проектировщиками позволяет, с одной стороны, лучше понять новые идеи и разработки, закладываемые в проект, а с другой – не отрываться от действительности и использовать практические эксплуатационные знания и навыки. При проектировании крупных дата-центров разрабатываются не только рабочие чертежи инженерных систем. Проектировщик обязан выпустить комплект эксплуатационной документации по всем системам, включающий регламенты технического обслуживания и перечни необходимых запасных частей и инструментов. В это же время определяются места размещения запчастей и расходных материалов, логистика и периодичность закупок.
После того как были приняты и детально проработаны основные технические решения, следует тщательно составить документ под названием «Программа и методика испытаний инженерных систем». В соответствии с этим документом служба эксплуатации будет проверять работоспособность инженерной инфраструктуры и принимать объект в эксплуатацию.
К сожалению, описанная система взаимодействия проектировщиков и эксплуатационников на большинстве российских объектов не работает. Проектные организации действуют сами по себе, а служба эксплуатации, не имея нормальной эксплуатационной документации, обеспечивает работоспособность объекта своими методами, которые часто далеки от оптимальных.
| Взаимодействие проектировщиков и служб эксплуатации ЦОДа: идеал и реальность |
Алексей НИКИШИН, руководитель отдела сопровождения продаж, OOO «АМДтехнологии», канд. техн. наук  При эксплуатации ЦОДа важную роль играет взаимодействие проектировщиков со службами эксплуатации и ремонтно-сервисными службами. Причем взаимодействие с ремонтно-сервисными службами даже важнее, поскольку в российской практике службы эксплуатации зачастую на объектах сами ничего не ремонтируют, а лишь фиксируют неисправность или аварию и вызывают ремонтно-сервисную службу. Кроме того, проект нередко заказывается одной компании, монтаж – другой, а для ремонта и обслуживания приглашается третья компания. При такой схеме о каком-либо продуктивном взаимодействии перечисленных сторон говорить, согласитесь, сложно. Выход тут такой: контроль проекта со стороны заказчика, если у него есть для этого соответствующие специалисты, или проведение независимой экспертизы проекта, которое, однако, повышает его стоимость. С точки зрения приближения к идеалу наиболее разумным представляется подход, при котором разработка проекта поручается компании, имеющей в своем составе, помимо проектного отдела, подразделения, занимающиеся монтажом и сервисом. Тогда проект на разных стадиях разработки будет проходить своего рода внутренний аудит, что, несомненно, положительно скажется на качестве и самого проекта, и его реализации, и эксплуатации построенного объекта. К сожалению, в России заказчики часто даже не задумываются о контроле качества проекта по ходу его выполнения, слепо полагаясь на квалификацию проектировщиков. Вне зависимости от вышеприведенных схем остается верной общеизвестная истина: проектировщики должны чаще посещать строящиеся по их проектам объекты, а в дальнейшем встречаться с службами эксплуатации, ремонта и сервиса действующих ЦОДов. Второе случается совсем уж нечасто, но такова, увы, российская реальность. Справедливости ради отметим, что оформление доступа для посещения действующих ЦОДов, как правило, сопряжено с большими сложностями, что тоже можно отнести к реалиям, причем не только к российским.  Сокращается ли разрыв между идеалом и реальностью со временем? Чтобы не показаться пессимистами, скажем так: хотелось бы верить, что да, сокращается. Поскольку в этом заинтересованы по большому счету все участвующие в процессе стороны. |
Конкретный пример
Какие же проблемы могут возникнуть при эксплуатации крупного дата-центра? Рассмотрим их на примере систем кондиционирования и холодоснабжения ЦОДа с мощностью ИТ-оборудования порядка 8 МВт.
Холодоснабжение ЦОДа построено на базе трех абсорбционных бромисто-литиевых холодильных машин с потенциальной холодопроизводительностью 4 МВт каждая. Холодильные машины (чиллеры) охлаждают воду для систем кондиционирования, сжигая природный газ, поступающий по газопроводу, а в случае перебоев в газоснабжении переходят на дизельное топливо, запасы которого имеются на объекте. Каждый чиллер работает совместно со своей градирней открытого типа. Чиллеры, циркуляционные насосы потребителей, циркуляционные насосы градирен и шкафы автоматики системы холодоснабжения располагаются внутри здания в помещении центральной холодильной станции (ЦХС). ЦХС также оснащена системами приточно-вытяжной вентиляции, системами пожарной сигнализации и пожаротушения, обнаружения утечек газа. По проекту циркуляцию воды через испаритель и генератор абсорбционного чиллера обеспечивают с каждой стороны по три насоса, два из которых являются рабочими, а третий – резервным. Охлажденная вода подается к потребителям по кольцевому трубопроводу, разделенному с помощью запорной арматуры на участки, которые могут отсекаться для проведения ремонта и технического обслуживания. Отвод от потребителей нагретой воды также осуществляется по кольцевому трубопроводу, конструкция которого аналогична подающему.
Система кондиционирования машинных залов ЦОДа выполнена с использованием приточных установок (центральных кондиционеров) и вытяжных вентиляторов. Центральные кондиционеры в своем составе имеют воздушные клапаны на входе и выходе, воздушную смесительную камеру, фильтры грубой и тонкой очистки воздуха, теплообменник-воздухоохладитель с узлом регулирования, центробежные вентиляторы. В теплое время года воздух, поступающий в машинные залы с ИТ-оборудованием, охлаждается в приточных установках. Система кондиционирования может работать в двух режимах:
- режиме продува, когда наружный воздух обрабатывается в приточной установке и подается на охлаждение стоек, а потом выбрасывается наружу вытяжными вентиляторами. Таким образом осуществляется полный или частичный fresh air cooling;
- режиме рециркуляции, когда воздух циркулирует по замкнутому контуру «приточная установка – стойки – приточная установка». Охлаждение при этом на 100% происходит за счет работы холодильных машин.
Объем воздуха, перекачиваемый за час всеми установками дата-центра превышает миллион кубометров. На каждый ИТ-кластер работают несколько приточно-вытяжных установок, обеспечивая резервирование не ниже N + 1.
В целом решения, использованные в системах кондиционирования и холодоснабжения, являются энергосберегающими и позволяют в условиях реальной эксплуатации получать весьма низкий среднегодовой коэффициент использования энергии PUE. По этому показателю описываемый дата-центр входит в число самых энергоэффективных ЦОДов в России. С чем же пришлось столкнуться на практике?
Ошибки проектирования
Прежде всего стали проявляться проектные ошибки. На момент разработки проектной документации реального опыта проектирования абсорбционных холодильных станций и систем прямого воздушного фрикулинга для дата-центров у российских проектировщиков не было. Недостаток проектного опыта, а также отсутствие полной информации об особенностях работы абсорбционных чиллеров привели к тому, что система холодоснабжения работала нестабильно и не обеспечивала проектных показателей холодопроизводительности и температуры холодоносителя. К сожалению, процессы пусконаладки и выведения на режим абсорбционных холодильных машин, которые были известны и широко использовались в СССР еще во времена Хрущева, сейчас для российских специалистов – тайна за семью печатями. Заказчик потратил немало времени, пока нашел людей, которые действительно способны проводить диагностику, обслуживание и ремонт такой техники.
В абсорбционных чиллерах используется тепло газовых горелок, соответственно для организации регламентных работ потребовалось привлечь специализированную компанию, обладающую необходимой компетенцией и лицензией. Персоналу службы эксплуатации также пришлось пройти обучение по пожарной безопасности. Особое место в регламентах ежедневного и периодических осмотров занимает проверка герметичности газового трубопровода и арматуры.
Важной особенностью эксплуатации таких больших систем холодоснабжения, о которой не знал проектировщик, является поддержание необходимых проводимости и жесткости воды. В результате после двух лет эксплуатации часть шаровых кранов большого диаметра (200–500 мм) потеряла подвижность из-за отложения солей кальция на рабочих поверхностях, что привело к невозможности отключения в процессе работы отдельных участков трубопроводов. Служба эксплуатации приложила много усилий для приведения системы водоподготовки в рабочее состояние, а также заменила вышедшую из строя арматуру на более подходящие для таких условий дисковые затворы.
По мере роста ИТ-нагрузки ЦОДа и увеличения тепловой нагрузки на систему холодоснабжения стало заметно, что холодильные машины не развивают проектную мощность. Детальное изучение вопроса выявило несоответствие производительности чиллеров и открытых градирен, а также недостаток расхода воды в контуре испарителя и генератора абсорбционных машин, т. е. снова выявились проектные ошибки. Специалистам пришлось производить тонкую настройку чиллеров и градирен, чтобы обеспечить их совместимость друг с другом. Проблему недостаточного расхода воды решили изменением схемы резервирования насосных групп: вместо двух рабочих плюс один резервный насос на каждой стороне стало три рабочих. Это несколько снизило устойчивость холодильного центра, но позволило иметь в резерве один полный комплект чиллер – градирня – насосы.
После лечения «детских болезней» системы холодоснабжения служба эксплуатации перешла в штатный режим работы, выполняя периодические регламентные работы.
 |
 |
 |
Самой серьезной ошибкой стал неправильный расчет сечений воздуховодов – они были занижены. В момент запуска дата-центра в эксплуатацию нагрузки были невелики, для охлаждения стоек требовалось мало воздуха, и система кондиционирования справлялась со своими задачами. Когда нагрузка ИТ-кластеров подошла к проектным значениям, скорости движения воздуха по воздуховодам существенно выросли и в некоторых местах превысили допустимые СНИПом в несколько раз! Особенно серьезно это сказалось на работе вытяжных систем, где проектировщики применили вентиляторы осевого исполнения. Такие вентиляторы не являются напорными, они служат для перемещения большого количества воздуха. Но в условиях «зажатых» воздуховодов для преодоления повышенного сопротивления воздушного тракта потребовалось раскручивать их на высокие обороты, выводя на максимально возможный для них напор. В результате работы в таких нештатных режимах за два года вышло из строя 90% всех вытяжных вентиляторов. Чтобы покончить с этим бедствием, служба эксплуатации в течение года без остановки дата-центра модернизировала воздуховоды, «расшивая» узкие места.
Помимо вентиляторов оказалось необходимым поменять и воздушные клапаны на вытяжных воздуховодах, которые под действием высоких скоростей воздуха стали буквально рассыпаться от знакопеременных нагрузок в турбулентном потоке воздуха.
Понадобилось повозиться и с приточными установками – впускные и смесительные клапаны были заменены на более надежные по конструкции. Эти работы также выполняли на действующем ЦОДе, останавливая одну из установок и включая резервную.
Неучтенные мелочи
Система кондиционирования большую часть времени работает в режиме либо полного, либо частичного воздушного фрикулинга. В этом случае через приточные установки проходит наружный воздух, который необходимо фильтровать. Установки оборудованы фильтрами предварительной и тонкой очистки. В качестве фильтров тонкой очистки вначале устанавливались фильтры класса F7, но в связи с тем, что за фильтровальной секцией расположены вентиляторы с ременным приводом, который сам является источником пыли (ремень трется о шкивы), использование фильтров данного класса было признано нецелесообразным и их заменили фильтрами М5. В последующих системах вентиляции применяются вентиляторы с прямым приводом, у которых отсутствуют приводные ремни и шкивы, а значит, отсутствуют проблемы с их истиранием.
При обслуживании системы вентиляции служба эксплуатации уделяет большое внимание контролю загрязненности фильтров. Загрязнение определяется не на глазок, а по перепаду давления на фильтре. Сигналом к замене служит перепад давления в 200 Па. В текущих условиях эксплуатации фильтры грубой очистки требуют замены в среднем раз в квартал, фильтры тонкой очистки – раз в полгода. Вопреки пессимистическим мнениям некоторых экспертов отрасли ЦОДов затраты на приобретение новых фильтров не являются обременительными, особенно если использовать продукцию российских производителей.
Во время технического обслуживания приточных установок осматриваются подшипниковые узлы, проверяются лифты, наличие смазки, отсутствие посторонних шумов и вибраций. Также проверяется состояние воздушных клапанов и их приводов. В узлах обвязки теплообменников-воздухоохладителей проверяется герметичность теплообменника и трубопровода, состояние арматуры и циркуляционных насосов. В вытяжных установках работы по техническому обслуживанию аналогичны работам с приточными установками.
Руководству службы эксплуатации приходится уделять немало времени организации работ, чтобы обслуживание и ремонт на разных участках инженерной инфраструктуры не мешали друг другу и не снижали доступность ИТ-сервисов ЦОДа. Тем не менее сочетание досконального знания технических вопросов и грамотное планирование дают уверенность, что заявленные показатели доступности сервисов достижимы.
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3