Дешевая надежность

Опыт строительства ЦОДов последних лет показал, что крупные компании вместо одного дата-центра высочайшего уровня надежности зачастую предпочитают иметь несколько менее надежных объектов. При таком подходе фактически резервируются не отдельные системы в рамках одного дата-центра, а дата-центры как таковые. Тогда на первых план выходят простые по исполнению и доступные по цене способы повышения надежности. Именно о них речь и пойдет ниже, и в первую очередь будут рассмотрены системы энергоснабжения и охлаждения ЦОДа.

 

Грамотное резервирование фрикулинга

 

Сегодня число проектов с использованием технологии свободного охлаждения неуклонно растет, однако эти системы, как и любые другие, должны быть зарезервированы. Резервировать фрикулинг еще одним фрикулингом нет смысла, так как это не решает проблему зависимости от наружных условий. В результате параллельно с фрикулингом устанавливают классическую систему охлаждения на базе чиллеров или фреоновых кондиционеров. И здесь возникает вопрос оптимизации капитальных затрат.

 

Первоначально система свободного охлаждения резервировалась классической системой кондиционирования той же мощности. Делалось это не столько для резервирования, сколько для снятия теплоизбытков на объекте в жаркие летние дни, когда для охлаждения ЦОДа одного фрикулинга недостаточно.

 

Впоследствии появились установки свободного охлаждения, включающие фреоновый контур для снятия пиковых теплоизбытков. Эти установки способны поддерживать заданную температуру в машинном зале ЦОДа круглый год, но резервировать их такими же установками оказалось невыгодно, поскольку они с учетом воздуховодов занимают очень много места. Решением стало применение данных установок в качестве основного источника холода и фреоновых кондиционеров – в качестве резервных.

 

Предлагаемая оптимизация заключается в том, чтобы зарезервировать фреоновыми кондиционерами только одну установку свободного охлаждения, фактически обеспечив схему резервирования N + 1, пусть и охладителями разного типа. 

 

Отметим, что при такой схеме установки свободного охлаждения должны работать на единый воздушный коллектор, из которого воздух поступает в холодные коридоры ЦОДа. Впрочем, это требование и так очевидно, поскольку позволяет повысить надежность системы в целом.

 

В качестве примера рассмотрим ЦОД мощностью 2400 кВт, имеющий три машинных зала по 800 кВт. В штатном режиме каждый зал обслуживают две установки свободного охлаждения мощностью 400 кВт каждая. Вместо создания еще одной установки свободного охлаждения предлагается использовать фреоновые кондиционеры общей мощностью 400 кВт – точно в соответствии с мощностью одной установки свободного охлаждения.

 

Для равномерного распределения холодильных мощностей фрикулинга и фреоновых кондиционеров последние следует распределить по всем машинным залам. Таким образом, необходимо установить три фреоновых кондиционера мощностью 135 кВт каждый. Столь мощных блоков на рынке нет, поэтому в каждом машинном зале может быть установлено по два кондиционера мощностью 70 кВт или в двух залах – по одному кондиционеру мощностью 100 кВт, а в третьем зале – два таких кондиционера (рис. 1).

 

В любом случае при выходе из строя одной из установок свободного охлаждения недостающие 400 кВт холода будут генерировать фреоновые кондиционеры. Размещение кондиционеров в разных машинных залах позволяет сохранить равномерную работу «оставшихся в живых» установок свободного охлаждения, а в самом худшем случае при крахе всей системы фрикулинга обеспечить хоть какое-то охлаждение в каждом из машинных залов.

 

Экономия на инверторных кондиционерах

 

Отрасль ЦОДов – одна из редких сфер, где применение инверторных фреоновых кондиционеров вызывает определенные сомнения. На обычных объектах в каждом помещении размещают один кондиционер, и от степени его регулируемости зависит его энергоэффективность. В машинных залах ЦОДов, как правило, устанавливают несколько (нередко до 10) кондиционеров. При таком количестве кондиционеров плавность регулировки системы в целом обеспечивается простым включением и отключением отдельных блоков.

 

Рассмотрим все тот же ЦОД мощностью 2400 кВт с тремя машинными залами по 800 кВт, в каждом из которых установлено восемь рабочих и один резервный кондиционер мощностью 100 кВт. Если все кондиционеры являются инверторными с диапазоном регулирования 10–100%, то в масштабах машинного зала обеспечивается диапазон регулирования 1,3–100% (10–800 кВт).

 

Если же в машинном зале установить кондиционеры неиверторного типа, каждый из которых может иметь два состояния – выключен (0% холодопроизводительности) и включен (100% холодопроизводительности), то в масштабах машинного зала диапазон регулирования будет варьироваться от 12,5% (включен только один кондиционер) до 100% (включены все кондиционеры) с шагом 12,5%. Очевидно, что такая схема регулирования ненамного хуже вышеописанной «идеальной» схемы.

 

Наконец, если полученная погрешность в точности регулирования холодильной мощности системы в размере 6,25% (половина шага 12,5%) не устроит заказчика, то в числе восьми кондиционеров можно установить один или два инверторных. В этом случае неиверторные кондиционеры обеспечат некую базовую холодильную мощность, а инверторные доведут ее до точной величины фактических теплоизбытков. Такая система обеспечит ровно ту же «идеальную» схему регулирования и надежность системы в целом за меньшие деньги.

 

Схема дробного резервирования

 

Как известно, основными схемами резервирования в системах электроснабжения являются N + 1 и 2N. В первом случае на N рабочих ИБП приходится один резервный. При этом нагрузка в каждый конкретный момент питается или от одного ИБП, или от второго. То есть каждый ИБП либо загружен на 100%, либо не загружен вовсе. Во втором случае на каждый рабочий ИБП приходится один резервный, и нагрузка в каждый конкретный момент питается поровну от каждого из них. Таким образом, каждый ИБП загружен на 50% номинальной мощности.

 

Дробное резервирование предполагает такое количество ИБП, чтобы покрыть ИТ-нагрузку с запасом, запитывая ее от разных групп ИБП.

 

Снова обратимся к ЦОДу мощностью 2400 кВт (3000 кВА) с тремя машинными залами по 800 кВт (1000 кВА). При дробном резервировании ИБП будут разбиты на три блока по 1500 кВА, причем каждый блок будет отдавать 500 кВА мощности на один машинный зал и 500 кВА мощности на другой машинный зал (рис. 2, а). В результате каждый машинный зал будет запитан одновременно от двух блоков ИБП, а нагрузка на ИБП в каждый конкретный момент составит 66,7%. Такая схема резервирования носит название 3/2N.

 

 

Важно отметить следующее свойство схемы дробного резервирования. При необходимости (например, при ремонте одной из питающих трасс) каждый машинный зал может быть переведен в режим питания от второго блока ИБП, к которому он подключен. Действительно, как было сказано выше, машинный зал мощностью 1000 кВА получает по 500 кВА от первого и второго блоков ИБП. Между тем блоки ИБП имеют номинальную мощность 1500 кВА, а фактически вырабатывают только 1000 кВА. При отключении машинного зала от первого блока ИБП недостающие 500 кВА он получит от второго блока ИБП, загрузив его на полную мощность (рис. 2, б).

 

Итак, схема дробного резервирования позволяет обеспечить практически столь же надежное питание, как и схема резервирования 2N, но при меньших затратах.

 

Еще более выгодной такая схема становится при наличии в дата-центре четырех машинных залов. Пусть в том же ЦОДе мощностью 2400 кВт (3000 кВА) будут четыре машинных зала по 600 кВт (750 кВА) и четыре группы ИБП по 1000 кВА, каждый из которых будет обслуживать три машинных зала, отдавая мощность 250 кВА каждому из них. Итоговая схема резервирования – 4/3N. Однако ее применение следует проанализировать на предмет затрат на кабельные трассы и общую сложность системы. По этим причинам схемы 5/4N, 6/5N… для ЦОДов фактически непригодны.

 

Кольцевая схема трубопроводов холодоснабжения

 

При устройстве системы охлаждения ЦОДа на базе чиллеров и водяных кондиционеров часто забывают о резервировании трубопроводов. Однако трубопровод – это такой же элемент системы, и он тоже может выйти из строя.

 

Один из простых способов резервирования трубопроводов на объекте – применение кольцевой схемы раздачи холодоносителя. В этом случае от центрального коллектора отходят магистральные трубопроводы сразу в две стороны – к первому и последнему кондиционеру соответственно (рис. 3).

 

При кольцевой схеме трубопроводов любой участок и любой кондиционер могут быть выведены из эксплуатации без остановки системы в целом. Важный момент при создании кольцевой схемы – правильная обвязка каждого из кондиционеров. Она должна позволять изолировать как конкретный участок трубы, так и блок кондиционера. Для этого до и после отвода на кондиционер устанавливают подряд два отсечных крана. Между кондиционерами образуется труба с четырьмя кранами – два после первого кондиционера, потом участок трубы и два крана перед вторым кондиционером. Это дает возможность изолировать как участок трубы, так и кондиционер, а также каждый из кранов.

 

Оборудование с двумя вводами

 

Применение оборудования с двумя вводами (особенно это касается двух вводов электропитания) позволяет сэкономить на резервной единице оборудования. В конце концов наиболее частая ситуация, с которой приходится сталкиваться на объектах, – это временное отключение или перебои электроснабжения, а не поломка того или иного оборудования.

 

Рассмотрим этот способ на примере системы кондиционирования. Защита от перебоев в электроснабжении может быть выполнена как установкой двух кондиционеров, подключенных к разным источникам, так и установкой одного кондиционера с двумя вводами электропитания. Учитывая, что проблемы с электропитанием, как правило, возникают чаще, чем с самими кондиционерами, второй подход позволяет повысить надежность системы, не прибегая к покупке второго кондиционера и не занимая лишнее место в машинном зале ЦОДа.

 

Централизация резерва

 

В крупных дата-центрах может быть применена технология централизации резерва, однако ее экономичность и отказоустойчивость зависят от масштаба и архитектуры объекта.

 

Как известно, крупные ЦОДы состоят из нескольких машинных залов, на каждый из которых приходится собственная линия электроснабжения и кондиционирования. Суть подхода централизации резерва заключается в установке резервного оборудования не на каждый машинный зал, а на ЦОД в целом.

 

Для более детального изучения предлагаемого решения вновь прибегнем к нашему ЦОДу мощностью 2400 кВт (3000 кВА), состоящему из трех машинных залов по 800 кВт (1000 кВА). Допустим, что на объекте применяются ИБП мощностью 200 кВА. «Классика жанра» предполагает установку шести таких ИБП в каждый машинный зал – пять рабочих устройств и одно резервное. 

 

Принцип централизации резерва предлагает использовать один резервный ИБП на все машинные залы ЦОДа. Такой подход, очевидно, позволяет сэкономить на покупке двух мощных ИБП из 18 возможных – более 10%!

 

Обоснование схемы централизации резерва основано на предположении, что поломка двух ИБП одновременно маловероятна и на сервисное обслуживание не будут выводиться несколько ИБП сразу. В обоих случаях неработающий ИБП какого-либо машзала будет заменен резервным блоком, чего вполне достаточно для большинства дата-центров.

 

К недостаткам схемы централизации резерва следует отнести дополнительные кабельные трассы и их электрическую обвязку.

 

Так же можно сэкономить на покупке чиллеров, если предусмотреть единую систему холодоснабжения ЦОДа с одним общим резервным чиллером вместо раздельных систем и трех резервных чиллеров – на каждый машинный зал по одной единице. Однако в случае системы холодоснабжения экономия будет менее существенной.

 

Действительно, в нашем «примерном» ЦОДе для каждого машинного зала было бы логично предусмотреть по три чиллера мощностью 400 кВт (два рабочих и один резервный). В общей сложности на объекте будет три резервных чиллера по 400 кВт.

 

При централизованном холодоснабжении «городить» систему из множества маленьких чиллеров неразумно. Целесообразнее установить четыре чиллера (3 + 1) по 800 кВт или три чиллера (2 + 1) по 1200 кВт. Соответственно в резерве будет находиться или один чиллер мощностью 800 кВт, или один чиллер мощностью 1200 кВт. Как видно, экономия в мощностном эквиваленте не столь существенна, как в случае ИБП. Тем не менее экономическая выгода налицо, поскольку один киловатт холода тем дешевле, чем более мощные чиллеры применяются на объекте.

 

Как и в случае системы энергоснабжения, централизация резерва потребует усложненной обвязки системы холодоснабжения, и соответственно дополнительных капитальных и эксплуатационных затрат, что «съест» часть сэкономленных средств. Именно поэтому централизация резерва хоть и дает положительный экономический эффект, но должна просчитываться индивидуально для каждого объекта.

 

Изоляция кондиционеров от машинного зала

 

Наконец, внимания заслуживает практика выноса шкафных кондиционеров из машинных залов ЦОДа и их установка в прилегающих к ним венткамерах. Это позволяет проводить обслуживание и визуальный мониторинг климатического оборудования без риска задеть или повредить серверное оборудование дата-центра.

 

Расположение кондиционеров в венткамере и схема воздушных потоков ничем не отличаются от классического случая, когда кондиционеры размещаются в машинном зале, разве что между стойками и кондиционерами возникает перегородка. Фальшполы и фальшпотолоки, как правило, выполняются общие на каждую пару помещений «машзал – венткамера».

 

Организация венткамер требует монтажа лишней перегородки и занимает дополнительное место на объекте, что также можно отнести к косвенным затратам на реализацию решения. Однако наличие венткамер позволяет в некоторой степени повысить безопасность эксплуатации дата-центра и разделить зоны влияния специалистов по инженерной и вычислительной инфраструктурам.

 

* * *

 

Все дата-центры можно условно разделить на две группы – те, которым нужна сертификация по уровням надежности, и те, которым она не нужна. Ко второй группе относятся, как правило, корпоративные дата-центры, задача которых заключается в том, чтобы оптимальным способом удовлетворять внутренние нужды компании. Иными словами, на первое место в таких объектах выходит практичность, а не помпезность. И здесь становится важным обеспечить максимальную реальную надежность ЦОДа при минимальных затратах.

 

Приведенные выше рекомендации призваны решить эту задачу. Они позволяют достичь того же или несколько меньшего, но разумного и достаточного уровня надежности при заметно меньшем бюджете.