Реконструкция ЦОДа: CAPEX, OPEX и здравый смысл

Объем данных, хранимых в ЦОДах всего мира, по оценкам портала Statista, только за период с 2016 по 2019 гг. вырос втрое. Всеобщая вовлеченность в цифровую жизнь требует все больше и больше вычислительных мощностей, и дата-центры за последние годы сильно изменились: увеличились нагрузка на стойку и плотность размещения стоек, стоимость ресурсов и возможности подключения и т.п.

Все это мы учитываем при проектировании новых ЦОДов, но как быть со старыми, уже действующими? Строительные конструкции и коммуникации можно эксплуатировать десятки лет, в то время как жизненный цикл серверного оборудования, даже при соблюдении всех требований производителя, составляет от трех до восьми лет (в соответствии с ASHRAE TC9.9 2016). Иными словами, ИТ-оборудование устаревает значительно быстрее, чем здание ЦОДа. Поэтому грамотная реконструкция отдельных систем с учетом особенностей существующего здания и коммуникаций будет наиболее рациональным решением. 

Количество ЦОДов, нуждающихся в реконструкции, растет с каждым годом. Например, по статистике, в Германии в 2016 г. доля затрат на модернизацию дата-центров увеличилась на 33%, в то время как доля затрат на перенос данных в облака уменьшилась на 12% (рис. 1). В 2019 г. рост доли затрат на реконструкцию, согласно различным источникам, составил от 47 до 53%.

Итак, вы решили модернизировать свой старый ЦОД в соответствии с потребностями времени. Иными словами, заполнить его машзалы гораздо более высоко нагруженными стойками, по возможности сохранив действующие сис­темы. Очевидно, что чем больше систем вы оставите без изменения, тем ниже будет CAPEX проекта. К сожалению, не со всеми сис­темами можно так поступить. Одной из систем, сохранить которую в первоначальном виде, скорее всего, не удастся, является система холодоснабжения.

Конечно, первым возникает вопрос: менять старую систему на что-либо или дооснащать? При дооснащении капитальные затраты невелики, вероятно, даже остановки ЦОДа не потребуется. Но, пообщавшись со своей службой эксплуатации, вы понимаете, что спасать уже, собственно, нечего. Техника устарела, такие модели больше не выпускают, запчастей и автоматики не найти. Значит, нужно идти на рынок.

Вы отправляетесь на отраслевой форум, семинар именитого поставщика или конференцию дистрибьютора многих поставщиков. После второго-третьего рекламного выступления, в котором вам рассказывают, что вендор Х, У или Z лучше всех и каждый из них – мировой лидер, у вас складывается впечатление, что все они одинаковы, и пропадает желание слушать остальных производителей. 

Другое дело – волшебный мир новых для вас инженерных решений. Тут и фрикулинг, безусловно позволяющий экономить электроэнергию, и охлаждение при помощи систем вентиляции, и бесчиллерные системы, и стена из воздухоохлаждающих приборов, и… глаза разбегаются. Что выбрать?

Вы начинаете расспрашивать знакомых, тех, кто недавно строил или реконструировал ЦОД. В большинстве случаев приобретенным опытом, зачастую очень полезным, они охотно делятся, особенно на фуршете. Обогащенные этим опытом, вы уходите с чувством, что теперь точно знаете, что делать.

Подвох кроется в том, что система холодоснабжения, которая прекрасно показала себя в одном ЦОДе, может совершенно не подойти другому. Просто потому, что у него меньшие электрические мощности без возможности их увеличения; другой климат; нет воды для прекрасной системы испарительного охлаждения или места для размещения отличных наружных и/или внутренних систем; недостаточная высота фальшпола, потолка или венткамеры и многое, многое другое.

Хорошо, если еще вы не успели потратить время и деньги на разработку бесполезной концепции и одумались сразу. Обиднее, когда приложили усилия, пытаясь приспособить чужую систему к своему ЦОДу, а она все равно не подходит.

На этом этапе вам скорее всего захочется все бросить и отказаться от идеи. Снести старое здание и построить на его месте новый современный центр обработки данных. Или вообще мигрировать в облака.

Но на самом деле реконструкция – весьма выгодное с экономической точки зрения мероприятие. Нужно только подойти к ней с нужной стороны.

Реконструкция ЦОДа отличается от нового строительства, по сути, только тем, что у нас уже есть здание, к которому проложены коммуникации, и известен объем ресурсов, таких как электроэнергия, которыми можно располагать. И эти особенности нужно учесть при разработке проектного решения. 

Пожалуй, первое, что нужно сделать, – оценить перспективы роста мощности в течение следующих 3–8 лет. Далее необходимо проанализировать реализованные в мире решения и провести тщательный технический аудит имеющейся у вас инженерной инфраструктуры. В результате аудита вы сможете понять, что от старого ЦОДа останется в новом, а что непременно придется менять. 

Наиболее трудоемкое дело – замена существующих коммуникаций. Если их пропускной способности достаточно для увеличенной мощности ЦОДа, то коммуникации лучше не трогать, как и систему пожаротушения. Хотя это и ограничит возможности изменения конфигурации залов.

А вот систему холодоснабжения, как мы уже говорили, вероятнее всего, необходимо будет менять и/или дооснащать. В России реконструкция ЦОДа осуществляется, как правило, спустя 10–15 лет после ввода его в эксплуатацию (иными словами, через 15–20 лет после начала проектирования).

Менять функционирующую систему, даже устаревшую, никому не хочется. Пусть она имеет свои недостатки, но об этих недостатках все известно, и с ними научились мириться. Но именно здесь допускается основная ошибка: при реконструкции в первую очередь рассматривают вариант замены компонентов существующей системы на новые и более производительные. 

Подход в корне неверный. Вспомним о том, что увеличение ИТ-нагрузки влечет за собой совершенно естественное увеличение мощности отдельных компонентов системы и, как следствие, увеличение потребления и габаритов. Да, вы, безусловно, экономите на CAPEX; OPEX хотя и возрастает, но, как правило, лишь на величину энергопотребления. При стоимости электричества 1,5 руб. и даже 5 руб. за 1 кВт*ч на фоне всех остальных расходов увеличение операционных затрат на электроэнергию покажется вам незначительным.

Однако перед тем, как убедить себя в том, что найдено замечательное недорогое решение, прислушайтесь к здравому смыслу. Что вы будете делать, если не хватает электрической мощности и/или площади для установки, например, кондиционеров большего размера? Сокращать количество ИТ-оборудования для реализации устаревшего подхода к системе охлаждения? В чем тогда был смысл реконструкции?

Несмотря на то что в вашем случае стоимость электроэнергии, возможно, низкая, энергосбережение – это не способ сэкономить средства, а способ перенаправить имеющийся ресурс на получение дополнительной прибыли посредством размещения дополнительных стоек. 

Обратимся к опыту Европы, США и ряда других стран, где строительство и эксплуатация ЦОДов имеют более долгую историю. Сегодня в мире функционируют ЦОДы с PUE 1,12, а среднеотраслевой PUE составляет 1,67 (по данным Uptime Institute за май 2019 г.). Существует масса решений, которые работают уже не один год и максимально реализуют потенциал энерго­сбережения за счет использования возобновляемых источников энергии, жидкостного охлаждения серверов, прямого или косвенного свободного охлаждения, переноса холодильного центра в подвальные помещения и пр. Среди этих решений наверняка можно найти одно или несколько, подходящих вам идеально либо требующих незначительных доработок.

При поиске решения, на которое вы будете опираться, разрабатывая свою концепцию, необходимо обратить внимание на такие параметры, как используемые ресурсы, климат внутри машинного зала, климат в регионе, в котором функционирует выбранный вами ЦОД-образец, на протяжении нескольких лет. Чем ближе эти параметры будут к вашим, тем больше у вас шансов получить схожие показатели работы в своем ЦОДе.

У энергоэффективных систем, например прецизионных кондиционеров на фреоне, СAPEX зачастую гораздо выше, чем у традиционных. Но зато вы получите отличный OPEX. А если вы решите обратиться к возобновляемым источникам энергии, то станете почти независимы от энергосбытовых компаний и стоимость электричества для вас будет минимальна. Но капитальные затраты такого проекта очень высоки. 

При использовании прямого или косвенного фрикулинга важен температурный режим в машинном зале. Чем больше разница между температурой в машинном зале и температурой наружного воздуха (температурный напор), тем меньше CAPEX решения ввиду того, что необходимо совершить меньшую работу по переносу теплоты. Чем меньше температурный напор, тем большая работа требуется для охлаждения машинного зала, а это означает увеличение энергопотребления или площади теплообменной поверхности. Если мы совершаем работу за счет электроэнергии, то растет OPEX системы. Если увеличиваем теплообменную поверхность, то растет металлоемкость оборудования, т.е. CAPEX.

Рассматривая фрикулинг, особенно теперь, когда в европейской части России уже который год зима отнюдь не «русская», а «европейская», просто необходимо включать здравый смысл. Фрикулинг – это всегда высокий CAPEX, и окупается он только тогда, когда OPEX становится намного ниже. Иными словами, окупаемость такого проекта не должна превышать четырех-пяти лет. Если же вы приобрели систему с фрикулингом, который начинается с 0°C или даже с отрицательных температур, то это дорогое решение, которым вы сможете пользоваться короткий промежуток времени либо не сможете пользоваться вообще. В таком случае ваша система не окупится и за 10 лет.

Кроме климата и ресурсов при реконструкции ЦОДа нужно учитывать и другие ограничивающие факторы. Прежде всего необходимо понять, каковы возможности для размещения оборудования системы охлаждения именно на вашем объекте. Какой смысл рассматривать, например, систему прямого охлаждения, если существующие вентиляционные шахты не в состоянии пропускать необходимый объем воздуха?

Таких примеров можно привести множество. В нашей работе по реконструкции объектов разной сложности мы сталкивались с целым рядом ограничивающих факторов. Вот наиболее типовые из них: несущая способность крыши; места установки компонентов холодильных систем, в которые новое оборудование можно занести, лишь разобрав часть здания; невозможность увеличения пропускной способности фальшпола и/или вентиляционных шахт; отсутствие либо недостаточные площади смежных помещений.

Зачастую выношенную красивую концепцию приходится оперативно менять исключительно из-за этих и им подобных факторов. Именно поэтому мы советуем не влюбляться сразу в одну концепцию, а остановиться на ряде понравившихся вам и подходящих по другим параметрам мировых образцов и затем незамедлительно провести аудит здания.

В вопросе о том, на каком оборудовании реализовывать выбранное решение, снова вступают в игру три важных фактора: CAPEX, OPEX и здравый смысл. Как мы выяснили ранее, увеличение мощностей на OPEX повлияет незначительно, ведь зачастую более современные решения одновременно и более энергосберегающие. И вполне может получиться так, что по операционным затратам новая система от старой не отличается либо отличается незначительно.

Чего нельзя сказать о CAPEX. Не хочется сейчас пускаться в доказательства того, что энергоэффективные решения не всегда дорогие. Поговорим лучше о том, что цена одного и того же решения может сильно различаться в зависимости от выбранного оборудования.

Не секрет, что все оборудование, в том числе компоненты системы охлаждения (в рамках данной статьи мы говорим именно о ней), можно условно разделить на четыре класса: очень дешевое, дешевое, среднее и премиум-сегмент. Можно сколько угодно утверждать, что в стоимость дорогих брендов заложены расходы на маркетинг и поддержание имиджа бренда. Но давайте вспомним о том, что имидж – это отражение качества бренда. И в большинстве случаев премиальная цена все-таки означает премиальное качество.

Раньше в мире ЦОДостроения первые два класса оборудования не рассматривались, их использовали в сегментах так называемого общегражданского строительства, где кратковременные отклонения от допустимых температурных режимов в 5°C, а то и 10°C не считаются критичными. Но затянувшийся экономический кризис, к сожалению, открыл для такого оборудования и сегмент центров обработки данных.

CAPEX системы на премиум-брендах может отличаться от CAPEX системы на дешевом или очень дешевом оборудовании на 30 и даже на 40%. Безусловно, такое процентное соотношение, переведенное в монетарное, всегда возбуждает желание «купить подешевле». Но именно в этот момент мы советуем обратиться к здравому смыслу.

Вспомните физику: для того чтобы получить работу, нужно затратить энергию. Для того чтобы изготовить более дешевое изделие, нужно на чем-то выгадать. Как производители компонентов систем охлаждения мы можем с уверенностью сказать: в стоимости климатического оборудования доля рабочей силы, задействованной непосредственно в производстве (в подсчет не входит гонорар работников отделов научных разработок и продаж), очень мала – не более 10% (рис. 2). Еще порядка 5% идут от известности бренда. Основную же часть стоимости изделия составляют вложенный в него интеллектуальный труд, методы испытаний и используемые при его создании материалы/комплектующие. Всего лишь урезав испытания на заводе, например, тестируя оборудование не по европейским нормам (EN), а по нормам ассоциации Eurovent, можно удешевить его на 5%. Доля материалов/комплектующих самая большая и составляет более 50% стоимости оборудования. Производители низкокачественных комплектующих появляются и исчезают каждые два-три года. Представляете, сколько можно выгадать на материалах/комплектующих? При этом затрат на научные разработки у дешевых и очень дешевых брендов почти нет. Производители этого сегмента не утруждают себя внедрением современных технологий, скопировать старое и утвердившееся на рынке гораздо дешевле.

Посмотрите на рис. 3: это фотографии оборудования премиум-класса и дешевого бренда (не самого дешевого), проработавшего в промышленной зоне со сходной картиной выбросов порядка трех лет. Правда, разница бросается в глаза?

Однако различная цена решений на премиум- и на дешевых брендах зачастую обусловлена не только качеством выбранных материалов, но и точностью и честностью инженерных расчетов.

Сколько бы эксперты рынка с трибун различных конференций ни говорили о том, что заявленные у многих производителей в технических листах параметры не всегда соответствуют реальности, соблазн «купить подешевле» часто толкает нас в пропасть нерабочих решений. Что мы имеем в виду? Не углубляясь в анализ термодинамических параметров (это тема отдельной статьи), поделимся своим опытом.

Заказчики любят сталкивать на тендере производителей лбами и часто предлагают «проанализировать» оборудование конкурента. Основная тенденция, которую мы замечаем в рамках такого анализа, – дешевые и очень дешевые производители в большинстве случаев лукавят с параметрами. Например, занизив температуру окружающего воздуха всего лишь на несколько градусов, можно предложить оборудование на 5–10% дешевле. А если такое «лукавство» затрагивает сразу несколько параметров, появляется возможность предложить на тендер оборудование, цена которого значительно более «конкурентная». А потом просто надеяться на то, что лето будет не слишком жарким, а зима не слишком холодной. Ведь по законодательству Российской Федерации гарантийный срок на оборудование составляет не более 18 месяцев, а его монтаж и пусконаладка зачастую начинаются не ранее года после изготовления. И дальнейшие проблемы с оборудованием легко можно свалить на другие компоненты системы, плохое хранение и прочие факторы.

Единственная позиция, на которой можно получить экономию порядка 5–10%, не теряя при этом в качестве, – это оптимизация логистики.

Оградить себя от недобросовестности можно, включив здравый смысл. Причем желательно делать это еще на этапе разработки концепции. Вспомните о том, что у вас есть собственная служба эксплуатации, а у ее сотрудников – огромный практический опыт. Пообщайтесь с ними, с другими участниками рынка. Не бойтесь задавать вопросы и потратить дополнительное время на анализ, это окупится сторицей бесперебойной работой вашего модернизированного ЦОДа. 

Дальше дело за малым – нужно реализовать кропотливо разработанную концепцию. Но это уже другая история…

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>