| Рубрикатор |  |
 |
| Статьи |  |
ИКС № 11 2011 | |
|
| Дмитрий САХАРОВ | 09 ноября 2011 |
Как построить идеальный ЦОД
О том, какие условия и требования должны выполняться при построении современных дата-центров, чтобы обеспечить высокую надежность работы его ИТ-инфраструктуры, доступность данных и приложений, зарубежные и российские компании рассказали на 6-й Международной конференции «ЦОД-2011», организованной журналом «ИКС».
 |
 |
 |
 |
 |
Заказчики, создающие ЦОДы, по-прежнему стремятся использовать решения, с помощью которых можно существенно сократить как инвестиции в расширение ИТ-инфраструктуры, так и операционные затраты на ее администрирование и обслуживание. Как подчеркнул Леонид Шишлов, менеджер по развитию ЦОД компании Intel, основные пути достижения этих целей таковы: замена серверного оборудования на более современные системы, что позволяет консолидировать серверные ресурсы и одновременно снизить расходы на энергопотребление; виртуализация серверов и СХД, повышающая в несколько раз уровни загрузки серверов и ЦОДа в целом; и наконец, использование более эффективных систем энергообеспечения и охлаждения, что также помогает снизить операционные расходы ЦОДа.
Александр Мартынюк, генеральный директор компании «Ди Си Квадрат», считает, что заказчики в России преодолели базовый уровень понимания, что именно они строят в виде ЦОДа, а теперь переходят к более эффективным решениям и пытаются их оптимизировать: «Идут процессы консолидации небольших серверных систем и строительство крупных ЦОДов на больших площадках, что положительно сказывается как на операционных затратах, так и на потенциале развития дата-центров». Требования к производительности, надежности, энергоэффективности ЦОДа, подчеркивает он, теперь прописываются в техзадания заказчиков.
По мнению А. Мартынюка, появились новые тенденции в применении инженерных решений для инфраструктуры и четко обозначились приоритеты при создании ЦОДов коммерческими и корпоративными заказчиками: «Коммерсанты готовы вложить деньги в энергоэффективное решение, но такие решения должны быть обоснованы – экономия на операционных расходах должна соотноситься с грамотными расходами на капитальное строительство. Компании, создающие или трансформирующие свой корпоративный ЦОД, ставят очень высокие требования к уровню надежности, производительности и энергоэффективности, и в большинстве крупных проектов требуется сертификация Uptime Institute как гарантия того, что заказчик получает инженерное решение, соответствующее лучшим мировым практикам».
Требования заказчиков определяются бизнесом
В компании «РЖД» для решения задач управления пассажирскими перевозками, движением поездов и всей инфраструктурой отрасли еще в 2000-х гг. началось создание разветвленной ИТ-инфраструктуры, рассказал Игорь Бессонов, главный инженер Московского ИВЦ – структурного подразделения ГВЦ ОАО «РЖД». К настоящему времени она насчитывает более 250 тыс. подключенных к ней хостов и 20 тыс. управляемых узлов в сети передачи данных. Кроме ГВЦ, который существует 50 лет, в системе действовали 17 дорожных ИВЦ, каждый из которых представлял собой ЦОД.
В компании реализована вертикально интегрированная структура управления, и ИТ-инфраструктура формировалась подобным же образом. Однако в 2007 г. началось преобразование ИТ-инфраструктуры отрасли в направлении консолидации ее ресурсов – в ней будут всего три крупных ЦОДа и 14 дорожных ИВЦ, которым остаются лишь задачи линейной эксплуатации. При этом ГВЦ превращается в управляющую компанию, а обработка информации для решения основных задач отрасли возлагается на Московский ЦОД (1 МВт, более 300 стоек серверов, 5 мейнфреймов, 12 систем IBM p-серии, 8–10 блейд-систем, 3 дизельные электростанции, 2 холодильные машины, около 20 кондиционеров), Санкт-Петербургский и Екатеринбургский ЦОДы.
Важнейшими показателями трансформируемой ИТ-инфраструктуры отрасли являются обеспечение ее катастрофоустойчивости и высокой доступности. Поэтому в дополнение к существующим зданиям каждого из трех основных ЦОДов строятся новые, в которых будут размещаться резервные ЦОДы, выполняющие синхронную репликацию данных, а между тремя ЦОДами городов будет реализована асинхронная репликация данных. «Это обеспечит переключение нагрузки в случае локальной аварии (катастрофы) ЦОДа в каждом городе, а также позволит переключать нагрузку в случае региональной аварии (катастрофы). Например, у системы «Экспресс» для продажи билетов в кассах допустимое время простоя составляет 1 час, и увеличение этого времени приводит к весьма серьезным негативным социальным последствиям», – подчеркнул И. Бессонов.
Иные требования к проектам создания ЦОДа предъявляют контент-провайдеры. Как пояснил Павел Завьялов, заместитель технического директора Mail.Ru, в ИТ-инфраструктуре компании насчитывается 9 тыс. серверов, из них 420 в собственном ЦОДе, остальные – в арендуемых центрах. При этом Mail.Ru выступает и как оператор связи, и как поставщик ресурсов Интернета, поддерживая взаимодействие со всем, что существует в российском сегменте Сети.
По мнению П. Завьялова, рынок ЦОДов в Москве для контент-провайдеров ограничен. «Если вы банк, у вас есть бизнес-задача и вам нужно десять стоек, то вы всегда найдете стойки в имеющихся ЦОДах. Но для Mail.Ru нет смысла арендовать меньше 100 стоек по причине подвода оптической связи к большому количеству точек, где они будут размещаться, а также по причинам административным. И когда я жалуюсь на то, что не могу найти нужное количество арендуемых стоек, то это означает, что я не могу спланировать свою жизнь на три года вперед», – посетовал он.
При этом П. Завьялов утверждает, что владеть собственным ЦОДом экономически очень эффективно – честно пересчитанная экономистами стоимость владения стойкой в своем дата-центре существенно меньше, чем та, которую можно получить на рынке Москвы. В то же время строить ЦОД в Москве крайне дорого по причине высоких цен на недвижимость, а также проблем с энергоснабжением. «Электричества в Москве почти нет и оно очень дорогое. Как показывает практика, в Москве можно получить подключение к электроэнергии по 1-й особой категории, но та же практика показывает, что цена этого подключения равна нулю – обязательства, на которые готов подписаться оператор, по факту не выполняются, – сказал он. – Для Mail.Ru проблема безотказного энергоснабжения – это проблема номер один, и ее можно решить только за счет использования дизель-генераторов. Падение электричества – это огромные материальные потери, вызванные простоем, и заметные потери, связанные с тем, что, когда оборудования много, обратно включается не все. Та же проблема с кондиционированием, поскольку сбои в кондиционировании повышают износ оборудования. Это два требования, которые мы предъявляем к инфраструктуре ЦОДа».
Казалось бы, для Mail.Ru реальным выходом из ситуации, когда потребность компании в серверных мощностях быстро растет, является создание собственного ЦОДа за пределами Москвы. Но по ряду причин реализовать подобный проект в настоящее время трудно. Во-первых, придется перестраивать работу инженерных служб, что для компании представляет определенный риск. Во-вторых, логика развития Интернета в стране, в особенности в регионах, приводит к тому, что консолидировать серверные мощности поставщика контента можно только в Москве. «В любом регионе могут быть корпоративные ЦОДы, и понятно, на каких условиях можно договориться об аренде мощностей, но никто не понесет сотни стоек в регионы, потому что нести трафик обратно будет стоить дороже самих стоек в силу транзитных тарифов, – говорит П. Завьялов. – В большей части мы свой трафик должны будем направлять обратно в Москву, а гнать его по региональным тарифам, в 10 раз более высоким, экономически невыгодно. Наконец, я пока не видел предложений от региональных ЦОДов с качеством и с экономикой, которая нас устраивает».
Иной подход к развитию инфраструктуры ИТ и требования к построению собственных ЦОДов демонстрирует компания «МегаФон». Как рассказал Алексей Семеняка, руководитель группы услуг пакетных сетей ЦОД этой компании, в период 2005–2009 гг. потребности в площадях ЦОДов увеличивались в полтора раза ежегодно. В конце 2009 г. был построен – с соблюдением требований Tier III – ЦОД в Новосибирске, крупнейший за Уралом. В 2010 г. «МегаФон» купил компанию «Синтерра», ЦОДы которой вошли в состав ИТ-инфраструктуры оператора, и в октябре того же года был открыт крупнейший в России ЦОД в Самаре, впервые в стране сертифицированный по классу надежности Tier III.
«Нашей компанией запланировано создание крупнейшей в России сети ЦОДов, с тем чтобы охватить максимальную территорию и большее число абонентов. Мы подготовили программу строительства «больших ЦОДов», которые кроме Самары и Новосибирска будут созданы в Москве, Петербурге, Краснодаре и на Дальнем Востоке, – заявил А. Семеняка. – Это будут универсальные ЦОДы, которые компания будет использовать как для собственных нужд, так и предоставляя коммерческие сервисы: аренду площадей, стоек, физических и виртуальных серверов, а также сервисы инфраструктуры, платформ, ПО (*aaS)».
В то же время А. Семеняка подчеркнул, что большие инвестиции невозможны без детальной оценки и получения ответов на следующие вопросы: сколько ЦОДов требуется компании, какими должны быть параметры отдельного ЦОДа и каковы критерии выбора площадок для строительства. «Это многопараметрическая задача, включающая такие показатели: стоимость электроэнергии, возможность построения эффективного охлаждения в данном климате при заданном показателе энергоэффективности PUE, наличие поблизости магистрали ВОЛС, наличие трудовых ресурсов и др. Все эти измеримые деньгами параметры позволяют в каждом отдельном случае определять оптимальные характеристики ЦОДа», – считает он. При этом компания должна учитывать, что увеличение числа площадок проекта повышает катастрофоустойчивость, но делает невозможными мгновенную перестройку и рост существующей инфраструктуры. Сокращение числа площадок при консолидации ресурсов решает эти проблемы, но требует повышения производительности сети и перехода на новые технологии, что увеличивает стоимость проекта. И эта ситуация характерна для любого заказчика, планирующего создавать свои ЦОДы.
А. Семеняка также отметил общие подходы к построению современного ЦОДа: это универсальность, которой удается добиться за счет возможности изменения доли оборудования, выполняющего разные функции, гибкость благодаря модульной структуре ЦОДа и достижение максимально возможной энергоэффективности при значении показателя PUE = 1,3.
Почему так важна энергоэффективность?
В современном ЦОДе, как объяснил Алексей Мелешенко, директор по ИT-инфраструктурным решениям компании «Ситроникс», не менее 50% операционных затрат приходится на стоимость потребленной электроэнергии, а удельное энергопотребление составляет не менее 2 кВт на квадратный метр полезной площади. Поэтому при среднем сроке жизни ЦОДа около 10 лет стоимость потребленной электроэнергии приближается к 50% совокупной стоимости владения (TCO), т.е. даже превышает капитальные затраты на строительство. «Если удастся сэкономить всего 10% от этого количества электроэнергии, годовая экономия может составить весьма значительную величину. По данным конференции AFCOM за 2008 г., в типичном ЦОДе 50% электроэнергии тратится на оборудование ИТ, 37% потребляет система охлаждения и кондиционирования воздуха, 10% – потери в системе бесперебойного электроснабжения и энергораспределения. Так как ИБП достигли предельных показателей эффективности, то можно попытаться сократить расходы на систему охлаждения», – считает А. Мелешенко.
Если в ЦОДах предыдущих поколений обычно используют холодильники, охлаждающие воздух, то «Ситроникс» предлагает применять технологию свободного охлаждения (free cooling), считая, что для наших широт вполне естественно использовать холодный наружный воздух для охлаждения ИТ-обору-дования в ЦОДе. Но А. Мелешенко отметил, что практически сделать это в существующих ЦОДах сложно – они не проектировались для подачи больших количеств наружного воздуха непосредственно к ИТ-оборудованию, а в системах охлаждения применяется охлажденная вода, которая подается в машинный зал. И ее закачка насосами вносит заметный вклад в снижение энергоэффективности ЦОДа.
Л. Шишлов, отмечая аналогичную ситуацию в существующих ЦОДах, привел такие данные. В стандартных дата-центрах, где используемая мощность не превышает 2–4 кВт на стойку, системы кондиционирования, как правило, работают неэффективно – горячий воздух от серверов перетекает в «холодный коридор», где смешивается с холодным воздухом, что приводит к дополнительному расходу энергии и денег. Поэтому Intel предлагает перестраивать существующие ЦОДы, применяя вытяжные шкафы и системы герметизации горячего воздуха, которые могут одновременно использоваться в одном ЦОДе. Вытяжные серверные стойки делают весь ЦОД «холодным коридором», и при этом появляется возможность более глубокой консолидации оборудования в серверных стойках, которые могут потреблять более 25 кВт на стойку.
Такой конструктивный подход к трансформации ЦОДа дал возможность Л. Шишлову заявить: «Лучший ЦОД – это тот, что не надо строить!».
Стандарты, которым стоит следовать
При трансформации или строительстве ЦОДа проектировщики все чаще стремятся сертифицировать свое решение по одному из уровней (Tier), предложенных Uptime Institute.
Как рассказал Марк Эктон, директор сети Uptime Institute в регионе EMEA, в 1992 г. была разработана базовая топология инженерной инфраструктуры ЦОДа, которая завоевала признание в отрасли. Правда, он подчеркнул, что в 2009 г. Uptime пересмотрела многие документы, выпущенные ею ранее: «Сейчас мы говорим о топологии как о плане, позволяющем достичь того уровня готовности, отказоустойчивости, бесперебойности в работе ЦОДа, который требуется заказчикам. Предлагаемые нами уровни – от Tier I (базовый) до Tier IV (наивысший) – отражают соответствие независимым стандартам. На основании этих стандартов мы представляем поставщиков, говорим о надежности, о доступности данных, устойчивости, предлагаем разные показатели, позволяющие сравнивать ЦОДы с точки зрения как поставщиков, так и заказчиков. Кроме того, мы стимулируем инновационное проектирование и конструирование ЦОДов».
М. Эктон объяснил, что консультационный комитет Uptime Institute оказывает помощь операторам ЦОДов, заказчикам, пользователям. Но при этом Uptime – независимая от вендоров организация, ее консультанты не предлагают и не рекомендуют никакого конкретного оборудования клиентам, они используют объективный подход для оценки проектов ЦОДа и сертификации построенных центров. Для этого на первом этапе проверяется документация проекта, из которой делается вывод о том, какого уровня ЦОД можно построить. Затем оцениваются процессы развертывания и строительства ЦОДа, чтобы понять, насколько они соответствуют первоначальному проекту. Наконец, консультанты Uptime проверяют физическую инженерную инфраструктуру созданного ЦОДа и сертифицируют его по определенному уровню (Tier) надежности, бесперебойности, отказоустойчивости. В настоящее время консультанты Uptime работают в 40 странах мира и уже участвовали в обследовании и сертификации более 110 ЦОДов.
Естественно, что в ЦОДе, сертифицированном по уровню Tier IV, за счет резервирования всех систем и мониторинга их состояния обеспечена высокая бесперебойность: если возникает отказ, ЦОД автоматически реагирует на него за считаные минуты. Хотя, как заметил М. Эктон, далеко не всем заказчикам требуется ЦОД, сертифицированный по уровням Tier III или IV: «Для них было бы достаточно ЦОДа уровня Tier II, однако в нем рано или поздно может выйти из строя участок инфраструктуры (единой сети электропитания, единой системы охлаждения и т.д.), что нарушит работу центра в целом».
Компания «МегаФон» отметила, что ЦОДы, построенные в Самаре и Новосибирске, были сертифицированы по уровню Tier III. Пример трансформации дата-центра в Москве привел Дэвид Хамнер, президент DataSpace – российской компании, которая в сотрудничестве с Uptime Institute занимается строительством и перестройкой ЦОДа уровня Tier III. В его здании в районе Таганки общей площадью 6000 кв. м создано 12 машинных залов, каждый около 230 кв. м, и заново выстроена вся инженерная инфраструктура. По рекомендации консультантов Uptime в проект в ходе строительства были внесены определенные изменения, повысившие отказоустойчивость ЦОДа: например, замена имеющихся скоростных переключателей нагрузки в разы увеличила надежность.
Когда стандарты бессильны
Компания ADM Partnership, как рассказал ее генеральный директор Максим Иванов, реализовала для Сбербанка РФ проект ЦОДа, который стал одним из первых в России, сертифицированных по Tier IV. При этом М. Иванов отметил, что такие параметры, как уровни надежности и доступности по стандартам Tier или энергоэффективность PUE, должны рассматриваться с точки зрения целевого назначения ЦОДа – в корпоративном дата-центре скорее всего будет более важен уровень функциональности и надежности, а не PUE. Должна учитываться стоимость электроэнергии в регионе, где строится ЦОД, – если стоимость киловатт-часа мала, то можно затратить меньше денег на строительство, получая не только абстрактную, но и коммерческую эффективность. Наконец, необходимо обращать внимание на качество реализации решения: по проекту оно может относиться к уровню Tier III, но некачественный монтаж приведет к потерям, – а также на соблюдение определенных условий эксплуатации ЦОДа: например, если зимой открывают двери, то тратится больше энергии на обогрев, и затраты растут.
И в этом с М. Ивановым целиком согласен М. Эктон: «Наш опыт показывает, что недостаточно построить самый лучший ЦОД, так как если его не обслуживать должным образом, ничего не выйдет. Большая часть – 73% – проблем, возникающих в ЦОДе, связана с человеческим фактором. Ведь по какому бы уровню ЦОД не был сертифицирован, главное, чтобы он эксплуатировался эффективно, чтобы его сотрудники были специалистами высочайшей квалификации, чтобы они работали ответственно, чтобы они были мотивированы. Поэтому мы пытаемся разработать стандарт операционной устойчивости, который помог бы компаниям, эксплуатирующим ЦОДы, подняться выше уровня физической инфраструктуры».
От генподряда до сопровождения эксплуатации ЦОДа
Компания НР известна в России как поставщик компьютерных систем и технологических решений для построения ИТ-инфраструктуры. Но на конференции «ЦОД-2011» она предстала в новой роли – поставщика услуг полного цикла проектирования и строительства ЦОДа.
Как отметил Александр Зайцев, менеджер по развитию ЦОД подразделения CFS HP Россия, еще в 1972 г. в США была создана компания Einhorn Yaffee Prescott (EYP), которая начала предлагать услуги оптимального проектирования ЦОДов. После того как в течение 2004–2007 гг. EYP консолидировала более 87 ЦОДов и полученная заказчиками экономия оказалась весьма значительной, Hewlett-Packard решила приобрести эту компанию, создав в своей структуре подразделение по оказанию услуг HP Critical Facilities Services (CFS).
В настоящее время подразделение HP CFS предлагает заказчикам, в том числе российским, услуги, относимые к четырем группам: Critical Facilities Consulting (консультации и технологическое планирование ЦОДов), Critical Facilities Design (проектирование инженерных систем, технологической инфраструктуры, планирование и оценка стоимости), Critical Facilities Assurance (разработка стратегии функционирования, тестирование и ввод ЦОДа в эксплуатацию), Critical Facilities Implementation (проектирование и строительство ЦОДов «под ключ»). Кроме того, это подразделение НР проводит работы по анализу энергоэффективности, состояния и возможностей инфраструктур, термическому анализу, оценивает операционные риски и оказывает услуги по выбору строительной площадки (Critical Facilities Standardized Services).
Создаваемые ранее ЦОДы, отметил А. Зайцев, как правило, имели монолитную конструкцию, где в машинных залах не разделялись зоны оборудования, обрабатывающие задачи разного уровня критичности для заказчика. НР предлагает переходить к «гибридным» конструкциям, где уровень Tier в отдельных машинных залах будет адекватен задачам, что сэкономит не только деньги, но и физическую площадь. В России есть примеры реализации проектов «гибридных» ЦОДов, отвечающих уровню Tier III.
На основе «гибридной» концепции НР разработала типовой проект ЦОД «Бабочка» – сборную конструкцию из пяти модулей. Модуль для размещения ИТ-оборудования рассчитан на 160 стоек и 800 кВт энергопотребления; он обслуживается модулями охлаждения, генератора и управления параметрами питания. Все модули собираются на заводе в США (в Европе пока нет), затем привозятся на площадку и в течение шести месяцев собираются, что существенно сокращает затраты средств и времени. Но в России, признал А. Зайцев, примеров реализации подобных проектов пока нет.
Контейнерные ЦОДы – это экономия
Дополнительную возможность ускорить построение современного ЦОДа НР видит в использовании мобильных комплексов HP POD и HP EcoPOD. Фактически эти комплексы представляют собой законченные ЦОДы «в контейнере», в состав которых, кроме стоек для размещения ИТ-оборудования, входят системы энергоснабжения, охлаждения и мониторинга электропитания и состояния всех инженерных инфраструктурных систем.
А. Мелешенко, в свою очередь, представил разработанные «Ситроникс» мобильные «контейнерные» ЦОДы Daterium-2 (обеспечивает уровень доступности Tier II) и Daterium-3 (Tier III). Он подчеркнул, что такие контейнерные ЦОДы, вмещающие 6–7 стоек для установки ИТ-оборудования, позволяют достаточно легко реализовать систему охлаждения free cooling, которая оказывается на 3–4 порядка более производительной, чем система вентиляции в большинстве существующих стационарных ЦОДов, и увеличивают срок службы кондиционеров (на широте Москвы примерно в три раза). Кроме того, «контейнерные» ЦОДы Daterium можно устанавливать на неподготовленную площадку.
«В результате эксплуатации Daterium-3, работавшего с использованием системы охлаждения free cooling, мы получили среднегодовое значение показателя энергоэффективности PUE, равное 1,28, в то время как в существующих ЦОДах этот показатель достигает величины 2,0!», – заявил А. Мелешенко.
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3