Инженерная инфраструктура ЦОДа: слагаемые эффективности

Число российских ЦОДов, имеющих сертификаты Uptime Institute, медленно, но верно растет. Насколько готовы поставщики инженерного оборудования помочь защитить инвестиции компаний в дорогостоящие объекты, показала 7-я международная конференция «ЦОД-2012», организованная журналом «ИКС».

Как известно, вклад инженерной инфраструктуры дата-центра в его себестоимость достигает 70%. По оценкам Константина Зиновьева, технического директора центра инженерных систем IBS, доли различных подсистем в бюджете «инженерки» ЦОДа распределяются следующим образом: 34,4% приходится на систему бесперебойного и гарантированного электропитания (СБГЭП), 21,3% – на системы кондиционирования. Еще 23,2% – это затраты на архитектуру самого здания ЦОДа, 6,6% – на СКС, 6,5% – на шкафную инфраструктуру, 3,6% – на системы газового пожаротушения и 1,3% – на системы безопасности. Таким образом, большая часть расходов приходится на первые три системы, и потому при оптимальном их выборе и компоновке можно добиться значительной экономии.

Роль главной статьи оптимизации К. Зиновьев отвел СБГЭП. Он посоветовал критически подойти к определению требуемой мощности ЦОДа, озаботиться компактной расстановкой оборудования в серверных с тем, чтобы максимально приблизить ИБП к нагрузке, а также сделать выбор уровня резервирования в пользу схемы 2N. По его мнению, стоит задуматься над тем, какую продолжительность автономной работы должны обеспечивать батареи при наличии ДГУ, которая запускается за 1,5 мин. Существенную экономию можно получить за счет отказа от промежуточных щитов и размещения всех ИБП рядом с главным распределительным щитом.

С гораздо большей осторожностью эксперт говорил о возможности сэкономить на создании систем кондиционирования: средств на эти цели в проектах часто выделяется меньше, чем требуется. И потому он посоветовал не экономить на организации холодных и горячих коридоров и на рекуперации тепла – тепловые насосы можно использовать, например, для обогрева здания.

Что касается экономии на шкафной инфраструктуре и на системах безопасности и мониторинга, то К. Зиновьев назвал ее неоправданной и даже вредной.

Классические статические

Традиционно главную роль в системах бесперебойного электропитания ЦОДов играют статические ИБП с двойным преобразованием электроэнергии, новые модели которых стали еще мощнее, умнее и эффективней. Достоинство ИБП этого класса в том, что они обеспечивают высокое качество напряжения, требуемое ИТ-оборудованию, хотя дается это качество ценой потерь энергии на каждом этапе преобразования тока. Однако современные разработки в этой достаточно консервативной сфере позволили обеспечить высокую эффективность и гибкость решений.

Таковы, например, источники бесперебойного питания уровня предприятия Chloride Trinergy, использующиеся в проекте МегаЦОДа Сбербанка РФ. Компания Chloride (с 2010 г. входящая в состав корпорации Emerson Network Power) производит их мощностью от 200 кВт до 9,6 МВт, их КПД в режиме двойного преобразования (VFI) достигает 95%, а в экономичном режиме (VFD) возрастает до 97,8%. Экономить ресурсы помогает и функционал циклической избыточности: при неполной загрузке ЦОДа ИБП Trinergy переводит в режим «сна» все незадействованные модули, периодически чередуя их, чтобы обеспечить одинаковую наработку на отказ. Для подбора конфигурации, соответствующей потребностям заказчика системы, в ее архитектуру заложены три типа модульности: вертикальная – для упрощения сервисного обслуживания, горизонтальная – для наращивания мощности системы из одного ИБП до 1,2 MВА и ортогональная – для параллельного подключения нескольких систем, состоящих, возможно, из разного количества модулей.

Экономичный режим предусмотрен и в SG eBoost – третьей модификации трансформаторных источников бесперебойного питания серии SG, выпущенной компанией GE Digital Energy нынешней весной. Эти устройства мощностью от 160 до 500 кВА обеспечивают КПД на уровне 98–99% за счет питания нагрузки через дроссель и статический байпас и снижения потерь электроэнергии, связанных с ИБП, с 12 до 4%. При отклонениях напряжения от номинального системы электропитания, построенные на ИПБ серии SG eBoost, переходят с байпаса на инвертор менее чем за 2 мс. Параметры качества электроэнергии, которые поддерживают источники бесперебойного питания серии SG в экорежиме, полностью соответствуют требованиям ассоциации CBEMA (Computer and Business Equipment Manufacturers Association).

Благодаря применению энергосберегающих технологий до 99% довела КПД своих ИБП серии Powerware PW 9395 корпорация Eaton, которая позиционирует себя как комплексного поставщика продуктов и решений для ЦОДов. ИБП PW 9395 имеют мощность от 225 до 1100 кВА (с выходным коэффициентом мощности 0,9), а запатентованная вендором технология HotSync позволяет подключать параллельно до пяти устройств. Учитывает производитель и современный «виртуальный» тренд – его программное обеспечение для защиты и управления Intelligent Power Software полностью совместимо со всеми средами виртуализации и дает возможность осуществлять управление ИБП и прочими установленными в ЦОДе устройствами Eaton через веб-браузер или через консоль VMware vCenter. В случае неизбежности потери питания на одном сервере ПО обеспечивает безопасное перемещение виртуальных машин на тот физический сервер, питание которого в норме, с гарантией целостности данных и отсутствия простоя.

Альтернативные постоянные

Принципиально иной подход к организации электропитания в ЦОДах активно развивает и продвигает компания Emerson Network Power, убежденная в том, что решить проблему повышения эффективности можно, сделав выбор в пользу топологии, основанной на применении установок электропитания постоянного тока.

Применение высоковольтных (400 В) систем постоянного тока позволяет сократить – с четырех до двух – количество этапов, на которых в дата-центрах происходит преобразование переменного тока в постоянный и обратно, а значит, уменьшить количество точек потери электроэнергии. Упрощение архитектуры повышает доступность электропитания в ЦОДах, надежность и отказоустойчивость. Хенрик Нилен, руководитель отдела систем питания постоянного тока Emerson Network Power привел результаты испытаний таких решений в компании France Telecom. Замена классических ИБП высоковольтными системами постоянного тока с напряжением 400 В обеспечила оператору сокращение потерь электроэнергии на 18% и повышение энергоэффективности более чем на 10%. Похожие результаты были достигнуты и при тестировании решений Emerson Network Power в Китае у операторов China Mobile и China Telecom. В настоящее время доступна для тестирования (правда, пока не в России) высоковольтная распределительная система Emerson NetSure 4015 мощностью 30 кВт. Продолжаются работы над созданием более «тяжелых» решений – мощностью 120 кВт.

В этом же направлении активно работает сегодня другой производитель силового оборудования низкого, среднего и высокого напряжения, продуктов и технологий автоматизации – группа АBB. В мае 2012 г. она объявила об открытии в Цюрихе центра обработки данных для компании Green, ведущего в Швейцарии поставщика инфокоммуникационных услуг, электропитание в котором обеспечивают системы постоянного тока ABB. По мнению Умберто Саллустио, ведущего специалиста центра обучения и специалиста группы отраслевой инициативы ЦОД компании ABB, использование в дата-центрах системы распределения питания постоянного тока – это возможность не только повысить их эффективность и надежность, но и снизить совокупную стоимость владения и облегчить интеграцию возобновляемых или альтернативных источников энергии.

Высокоэффективные и экономичные

динамические ИБП тоже не остались без внимания участников конференции.

Двадцатилетний опыт проектирования систем электропитания в крупных ЦОДах инженерной компании ИНЭЛТ, как считает Сергей Ермаков, ее технический директор, позволяет философски смотреть на возможные варианты выбора тех или иных решений. На рынке сегодня представлены источники бесперебойного питания двух типов – статические (с аккумуляторными батареями) и динамические, которые устанавливаются на одной оси с дизельным двигателем. У динамических ИБП масса преимуществ: они требуют меньше капитальных вложений, дешевле в эксплуатации за счет высокого КПД и отсутствия необходимости менять аккумуляторные батареи. В свою очередь, статические источники бесперебойного питания обеспечивают более длительное время автономной работы, не издают шума и потому могут устанавливаться рядом с ИТ-нагрузкой. Вот почему перспективным С. Ермаков считает подход, который заключается в применении гибридных схем, объединяющих преимущества и тех и других решений для обеспечения требуемого уровня надежности и снижения стоимости владения. По его мнению, поиск баланса между динамическими и статическими технологиями на данный момент и является главной задачей при проектировании систем гарантированного бесперебойного электропитания для ЦОДов.

По убеждению Рене Лацины, руководителя по международным продажам компании Hitec Power Protection, динамические, или дизель-роторные (в терминологии вендора), ИБП как нельзя лучше подходят для проектов уровня мегаЦОДов, мощность которых превышает 1 МВА. Схема гарантированного электропитания ЦОДа уровня Tier III и IV при включении в нее дизель-роторного источника бесперебойного питания выглядит намного проще, чем если бы она строилась на статических ИБП. Поскольку все основные энергетические элементы – синхронный генератор, ротор накопителя энергии и дизель – собраны на одной раме и соединены простой механической связью, то не нужны внутренние силовые электрические соединения и коммутационное оборудование. Малое число составляющих и связей в дизель-роторном ИБП обеспечивает его высокую надежность. На сегодняшний день электрическими машинами (динамическими ИБП, генераторами и накопителями) производства Hitec Power Protection оснащено 230 дата-центров, в которых работает в общей сложности 1700 таких агрегатов (из них порядка 35 систем эксплуатируется в России).

Стоящие на первом рубеже резервирования

Как бы ни была высока надежность единичной системы электропитания, ограничиваться только ею нельзя – ведь уже для ЦОДов уровня Tier III резервирование всех систем жизнеобеспечения обязательно. За последние годы количество запросов на резервное энергоснабжение удесятерилось, отмечает Оксана Кузьмина, технический эксперт по дизельным электростанциям Gesan Groupos ELECTROGENOS компании «Абитех», причем запрашиваемая мощность систем выросла с сотен киловатт до мегаватт и даже десятков мегаватт.

Сегодня почти все технические задания на построение энергетического комплекса ЦОДа содержат запросы на создание параллельных систем дизельных электростанций для резервирования мощных вводов. Если учесть, что наибольшая мощность дизельных электростанций Gesan, предлагаемых компанией «Абитех» (каждая электростанция может быть оснащена двигателями Perkins, Volvo-Penta, MTU европейской сборки и синхронными генераторами Leroy Somer, Mecc Alte или ABB), составляет 3300 кВА, а контроллер позволяет объединить в параллельную систему до 32 агрегатов, то понятно, что у заказчика появляется возможность зарезервировать ввод мощностью 100 МВА.

Использующийся специалистами «Абитех» в таких системах контроллер параллельной работы DSE 8610 имеет вводы, присоединенные к общей шине для получения информации с нее, а также выходы контроля напряжения, тока и частоты. Все контроллеры соединены CAN-шиной, благодаря чему имеют информацию о состоянии общей шины, своей электростанции и о распределении мощности в системе. Другие обязательные элементы параллельной системы – автоматический выключатель с мотором-приводом и средства, позволяющие отработать управляющее воздействие контроллера: электронный блок управления и электронный регулятор напряжения.

Естественно охлаждающие

Системы кондиционирования и охлаждения известны как самые «голодные» потребители поступающей в ЦОДы электроэнергии. Поэтому неудивительно, что сегодня у заказчиков крупных проектов сформировался спрос на решения с функцией фрикулинга, использующие для охлаждения серверных помещений холодный наружный воздух.

В число таковых входит система прямого фрикулинга DFC2 компании STULZ. При температуре наружного воздуха выше +25°C система DFC2 работает как стандартная фреоновая система прецизионного кондиционирования, при температуре в диапазоне +19–24°C переходит в смешанный режим: забирает воздух снаружи помещения ЦОДа, частично подмешивая к нему воздух изнутри, и подводит его к стойкам с оборудованием, а затем выбрасывает нагретый воздух на улицу через сеть специальных клапанов. Когда температура за окном равна +18°C, компрессоры отключаются и система переходит в режим 100%-ного фрикулинга. При температуре +17°C снова происходит переход в смешанный режим. И, наконец, если столбик уличного термометра опускается ниже нуля, система вступает в борьбу с обмерзанием заслонок: начинает подачу горячего воздуха в фильтрующие секции для обогрева. Если учесть, что рекомендации ASHRAE (TC 9.9-2008) допускают забор серверами воздуха с температурой +18–27°C, то получится, что ЦОД, расположенный в Москве и использующий систему DFC2, в течение года может работать в режиме фрикулинга 7805 часов, т.е. 89% времени.

Преимуществ у такой системы охлаждения несколько: во-первых, из-за отсутствия необходимости в промежуточных теплообменниках у нее высокая эффективность при низком энергопотреблении; во-вторых, в отличие от систем охлаждения на воде, DFC2  не требует установки чиллеров определенного объема и потому может использоваться в ЦОДах, имеющих планы наращивания мощности. В-третьих, система требует меньше инвестиций, чем решения побочного естественного охлаждения. Правда, при использовании DFC2 нужно подбирать ИT-оборудование, приспособленное к работе в условиях влажности от 20 до 80%. Кроме того, ее экономически нецелесообразно устанавливать в ЦОДах, расположенных вблизи автомагистралей и химических производств, чтобы избежать слишком больших затрат на фильтры.

Секреты построения системы кондиционирования ЦОДа на основе свободного охлаждения и абсорбционных холодильных машин (АБХМ), опираясь на опыт реализованного компанией «Аякс-Инжиниринг» проекта, раскрыл Руслан Котвицкий, его технический директор. Проект был реализован в центре обработки данных мощностью 10,15 МВт с кластерной архитектурой (по четыре серверные в составе одного кластера, по 32 сервера в серверной). Средняя нагрузка стойки составляет 15 кВт, а максимальная – 20 кВт. Перепад температур на стойке – 20°C. В качестве источника холода в проекте была использована АБХМ прямого горения. Всего в составе холодильного центра три АБХМ, одна из которых резервная.

Большую часть – до 95% – времени в году система работает в режиме фрикулинга и частичной рециркуляции. Если температура «за бортом» ЦОДа ниже + 25°C, то наружный воздух забирается, смешивается с рециркуляционным воздухом и подается в систему. Поддержание температуры осуществляется за счет изменения положения клапанов. Затем подготовленный воздух подхватывается вентиляторами и переносится внутрь серверной. После этого в горячем коллекторе часть воздуха подхватывается вытяжными вентиляторами, другая часть подается на смешение. Таким образом контур замыкается. При этом температура воздуха в холодном коридоре серверной составляет +25°C, в горячем – +45°C. Если температура наружного воздуха поднимается выше +25°C, система переходит в режим прямотока с охлаждением и в дело вступает охладитель воздуха – встроенная в приточную систему охлаждающая установка, позволяющая довести температуру до требуемых значений. В третий режим, самый непродолжительный, – полной рециркуляции – система вступает тогда, когда влажность наружного воздуха превышает значение 18 г/кг, а значит, влажность внутри серверной может превысить 80%. В этом случае перекрывается клапан наружного воздуха, вытяжные вентиляторы тоже не работают. Согласно расчетам проектировщиков, благодаря найденным инженерным решениям им удалось довести среднегодовой показатель PUE на объекте до значения 1,14.

Цодостроителям постоянно приходится искать баланс между нестандартными и типовыми решениями, принципиально отличающимися между собой и по цене, и по характеристикам. Уравнение баланса, найденное компанией Schroff, по словам Игоря Михальчука, руководителя ее направления телекоммуникаций, выглядит так: «Проверенные гибкие стандартные платформы плюс возможность модификации на производстве дают соответствие запросам заказчиков плюс соблюдение сроков реализации проекта». Вендор выпускает решения и для модернизации уже имеющегося у заказчика оборудования. Примером может служить Rear Door Cooling Unit – радиатор, который устанавливается на заднюю дверь серверного шкафа и позволяет отвести от него от 2 до 44 кВт тепла. Решение следующего уровня – теплообменники LHX, которые могут как использоваться в контейнерных ЦОДах, так и адаптироваться к установке на шкафы сторонних производителей. Если же изолированных шкафных систем для охлаждения ИT-оборудования окажется недостаточно, Schroff предлагает вариант с изоляцией коридоров, также адаптируемый под проект заказчика и обеспечивающий последовательное разделение холодного и горячего воздуха без температурного расслоения внутри коридора и переохлаждения. Поскольку предлагаемая изоляция коридоров механическая, она имеет низкую стоимость и не требует обслуживания.

Оптимизированный и соответствующий стандартам

Очевидно, что оптимизация расходов на создание и эксплуатацию ЦОДа должна начинаться как минимум на этапе проектирования, а еще лучше – на этапе формирования концепции. На этом же этапе, когда продумываются способы обеспечения отказоустойчивости и рассматриваются количество вводов электропитания, время автономной работы, по мнению Сергея Двойнова, исполнительного директора бизнес-направления «Решения в энергетике» компании «Хайтед», закладывается возможность успешного прохождения центром обработки данных сертификации на соответствие стандартам Uptime Institute. Тем, кто только задумывается о создании ЦОДа, он также порекомендовал на этапе подбора оборудования следить, чтобы все его характеристики согласовывались между собой и с требованиями стандарта. И напомнил, что при определении масштабируемости дата-центра нельзя упускать из виду кабельные трассы, системы автоматики, трансформаторные подстанции и т.п.

Однако построенный в полном соответствии с требованиями стандарта ЦОД не имеет смысла без качественного обслуживания: его надежность зависит от знаний, умений и навыков персонала. Даже хорошо подготовленным специалистам нужна поддержка в виде систем мониторинга и управления, позволяющих контролировать работу всех компонентов инженерной инфраструктуры объекта в реальном времени и быстро реагировать на возникновение нештатных ситуаций. Одной из таких систем является разработанный компанией «Хайтед» программно-аппаратный комплекс RedPine@ЦОД – единый центр мониторинга и управления инженерной инфраструктурой.

Подводя итог, отметим, что сегодня над развитием технологий и их воплощением в оборудование и в законченные решения, способные обеспечить заказчикам той или иной подсистемы инженерной инфраструктуры дата-центров экономию капитальных и операционных затрат, а также оптимальную совокупную стоимость владения, работают и ведущие зарубежные поставщики, и российские инжиниринговые компании. Так что у корпораций, планирующих строительство мегаЦОДов и их последующую сертификацию, – богатый выбор.