Как сэкономить при строительстве ЦОДа. Практические советы

ИКС № 03-04 2016

Андрей ПАВЛОВ, генеральный директор компании «Датадом»

Дмитрий БАСИСТЫЙ, член правления Ассоциации участников отрасли ЦОД; директор департамента развития и поддержки ИТ, КМГ Глобал Солюшнс Б.В.

С наступлением и усилением экономического кризиса цодостроение стало испытывать затруднения с введением в строй новых мощностей из-за существенного роста капитальных затрат. Помочь их снизить могут грамотные технические решения. 

К сожалению, за долгие годы хозяйствования на капиталистический манер российские предприниматели и правительство не озадачились широкомасштабными действиями по импортозамещению, в том числе сложного инженерного оборудования. Несмотря на определенные шаги в этом направлении, например локализацию производства электроустановочных изделий и кабельной продукции, более 50% стоимости инженерной инфраструктуры центров обработки данных составляет оборудование именно импортного производства (например, источники бесперебойного питания, дизель-генераторные установки и системы кондиционирования).

Валютные курсы очень подвели российскую экономику, и капитальные затраты на строительство ЦОДа выросли более чем на 50–70% в рублевом эквиваленте. Это заставило собственников ЦОДов в очередной раз задуматься о вариантах оптимизации капитальных затрат.

Рассматривая оптимизацию капзатрат при создании ЦОДов широко, целесообразно искать возможности экономии в следующих областях:

• разработке проектно-сметной документации;
• технических решениях;
• процессе строительства.

В этой статье мы сосредоточимся на экономии за счет технических решений для инженерной инфраструктуры ЦОДа.

Оптимизация топологии

Как показывает практика строительства и эксплуатации дата-центров, надежность и безотказность работы инженерных систем ЦОДа зависит не столько от качества установленного оборудования и его производителя, сколько от выбранной заказчиком топологии резервирования и простоты применяемых технических решений.

Исходя из этой логики и общепризнанных лучших практик, наиболее надежной топологией будет являться схема 2N, т.е. двойное резервирование всех компонентов критических инженерных систем, описанное, в частности, для уровня надежности Tier IV по классификации одного из стандартов частной консультационной компании Uptime Institute.

К данной схеме даже в «тучные» годы прибегали не часто по причине существенно более высоких капитальных вложений по сравнению с более простой схемой N + 1. Но бизнес-процессы некоторых компаний не позволяют выбирать компромиссный уровень надежности ЦОДа, и они вынуждены применять схемы с максимальным резервированием.

Именно для таких случаев оптимальным способом экономии может стать использование схемы 3/2N, которую иногда называют «звездой», «треугольником» или «пилой». Рассмотрим эту схему (она показана на рисунке) применительно к резервированию системы энергораспределения и ИБП.

Основное отличие схемы 3/2N от варианта с полным резервированием – задействование ИБП меньшей мощности при сохранении возможности использования двух активных лучей энергоснабжения. При выходе из строя любого из ИБП оставшиеся в «горячем» резерве источники подхватывают активную нагрузку без перерыва в питании.

Экономия капитальных вложений на системе бесперебойного питания при этой схеме по сравнению со схемой 2N достигает 25%. Загрузка ИБП в рабочем режиме составит 67% в отличие от 50% в схеме 2N. К тому же КПД ИБП в режиме работы по схеме «звезда» в общем случае будет несколько выше (не революционно, но выше).

Оптимизация за счет выбора модели оборудования

При строительстве среднего и крупного ЦОДа перед компанией зачастую встает задача определения эффективного шага масштабирования инженерной инфраструктуры для оптимизации капитальных вложений на этапе старта проекта и возможности плавного наращивания мощности дата-центра в ходе коммерческой эксплуатации. Помимо оптимизации капзатрат, не стоит забывать о том, что вследствие нелинейности КПД и операционные расходы при высокой загрузке оборудования будут существенно ниже, чем при недогруженном оборудовании.

Например, для системы бесперебойного питания мощностью 1200 кВА с резервированием N + 1 есть множество вариантов реализации: 13 ИБП по 100 кВА, 11 ИБП по 120 кВА, девять ИБП по 150 кВА, семь ИБП по 200 кВА, шесть ИБП по 250 кВА, пять ИБП по 300 кВА, четыре ИБП по 400 кВА, три ИБП по 600 кВА и, наконец, два ИБП по 1200 кВА.

При выборе конкретного решения необходимо оценить прогнозируемые сроки ввода в эксплуатацию мощностей дата-центра, затраты на электрощитовое оборудование, на тепловые потери источников, габаритные размеры и, естественно, стоимость самого оборудования.

В зависимости от конкретного производителя и его модельного ряда может оказаться, что система из четырех ИБП по 400 кВА дешевле, чем система из пяти ИБП по 300 кВА, но дороже, чем система из шести ИБП по 250 кВА.

Однако не следует упускать из виду, что применимость того или иного технического решения зависит и от количества энерговводов и общей схемотехники системы электроснабжения, к которой будет подключена система бесперебойного питания.

Аналогичная ситуация сложилась на рынке холодильного оборудования. Именно поэтому мы рекомендуем не отдавать выбор моделей оборудования на откуп проектным организациям, а, прислушавшись к их рекомендациям, очертить как можно больший круг возможных проектных решений и аккуратно взвесить все за и против.

Оптимизация за счет правильного выбора поставщика

Также имеет смысл формализовать процедуру выбора конкретной модели оборудования каждой из инженерных систем. Рассмотрим снова систему бесперебойного питания. Например, мы выяснили, что у большинства вендоров наиболее привлекательны по стоимости системы из пяти ИБП по 300 кВА или четырех ИБП по 400 кВА. При взаимодействии с проектировщиком перед выбором конкретной марки и модели оборудования и выпуском проектной документации необходимо разработать детальную карту подбора источника бесперебойного питания, включающую в себя требования и ограничения по габаритным размерам, весу, КПД, функционалу и прочим критичным характеристикам.

При отсутствии подобной карты подбора производитель зачастую предлагает заказчику черный ящик, параметры которого в лучшем случае подтверждаются буклетными характеристиками, не всегда отражающими реальность.

При запросе детальных технико-коммерческих предложений следует требовать у поставщика официальное письмо-подтверждение производителя о соответствии предлагаемого оборудования требованиям заказчика. Не лишней будет и официальная техническая документация, содержащая подтверждение запрошенных характеристик.

Также можно запрашивать систему с требуемыми характеристиками целиком. То есть поставщик сам принимает решение, из каких конкретных моделей собрать ту или иную конфигурацию в рамках укрупненного технического задания. Этот способ также имеет право на существование, но нужно понимать, что сравнение технических характеристик систем целиком – значительно более сложная задача, которая может привести к ошибкам при принятии решения.

Оптимизирующая диверсификация закупки

Практически ни один производитель ИБП (исключая оборудование, построенное по модульному принципу) не производит собственные аккумуляторные батареи, а предлагает батареи и стеллажи под них от сторонних организаций-партнеров. Казалось бы, цены на батареи у поставщиков, закупающих их по оптовым ценам, должны быть вполне приемлемыми для конечного потребителя, но на деле это далеко не так. Дотошный заказчик после небольшого и не слишком утомительного маркетингового исследования всегда сможет найти более выгодные предложения по данному виду оборудования или его аналогам.

Этот прием работает и для других инженерных систем. Скажем, при наличии детального проекта электроснабжения электрощитовое оборудование можно заказать не в той организации, которую планируется привлечь для монтажа системы, а непосредственно на сборочном предприятии. Но обязательно нужно учитывать, что в такой схеме все риски, связанные с гарантийным обслуживанием оборудования, ложатся на ваши плечи.

Безусловно, не стоит чрезмерно детализировать закупочную деятельность и стараться приобрести все оборудование и материалы у производителей. Это может обернуться существенным ростом собственных накладных расходов и увеличением числа ошибок при заказах (не говоря уже о времени, потраченном на исследования и сложную логистику). Чтобы найти золотую середину, трезво оцените свою экспертизу в области инженерных систем, строительства и рынка поставщиков.

Оптимизация системы пожаротушения

Если в ЦОДе планируется несколько машинных залов, схожих по размеру, то одним из наиболее простых и логичных способов уменьшения стоимости системы газового пожаротушения станет организация централизованной станции, обслуживающей все машинные залы, вместо модульных установок на каждый зал.

Подобная схема позволит сократить количество баллонов с огнетушащим веществом до объема, необходимого для защиты только одного машинного зала. При этом может несколько усложниться трубная разводка, а также добавятся клапаны автоматического выбора направления тушения. Но несмотря на все изменения схемы трубопроводов и автоматики, общая стоимость системы за счет уменьшения количества газовых баллонов может сократиться в несколько раз.

Например, в ЦОДе с двумя машинными залами высотой 4 м и площадью около 100 кв. м каждый экономия при использовании данной технологии может достигать 1,5–3 млн руб. в зависимости от конфигурации здания, марки и модели пожарной сигнализации и применяемого газового огнетушащего вещества.

Для машинных залов больших размеров экономия будет еще выше, причем расти она будет нелинейно.

Оптимизация за счет правильного выбора системы кондиционирования

С ростом курса доллара и евро рублевая разница в стоимости обычных фреоновых шкафов и высоко­энергоэффективных чиллеров с фрикулингом и прочих «зеленых» решений также выросла более чем вдвое. А тарифы на электроэнергию повышаются согласно заданным правительством темпам, т.е. есть приблизительно на 10% в год. И если при дешевой валюте «зеленые» технологии окупались за два с половиной – три года, то в новой экономической ситуации этот срок с учетом дисконтирования может достигать семи лет.

Это обстоятельство становится одним из решающих при выборе технологии системы кондиционирования для малых и средних ЦОДов. В крупных дата-центрах ситуация несколько иная, и сложность эксплуатации и технического обслуживания большого количества фреоновых машин может перевесить первоначальные затраты на строительство системы.

Безусловно, существуют ограничения на длину трассы фреонопровода, которая в недавнем прошлом не должна была превышать 30–40 м, после чего холодильная эффективность оборудования резко снижалась. Но сегодня, с появлением новых моделей кондиционеров и широким распространением фреона R410 данное ограничение стало менее жестким. Некоторые производители гарантируют эффективную работу оборудования с трассами до 100 м. Это расширяет горизонт применимости фреоновых систем.

* * *

Мы рассмотрели далеко не все технические решения, помогающие уменьшить капитальные затраты на строительство ЦОДа, а только наиболее, на наш взгляд, эффективные. Надеемся, что, руководствуясь этими примерами, читатели смогут найти собственные оптимизационные подходы. Ведь любая копейка рубль бережет.