Дата-центры: экономика на всех этапах

ИКС № 06-07 2014

Автор: Евгения ВОЛЫНКИНА , обозреватель, Журнал "ИКС"

В создании экономически эффективного дата-центра важно продумать все – и электропитание, и охлаждение, и ИТ-оборудование, и кабельное хозяйство, и системы мониторинга, и даже заглушки на серверных стойках. Все инновации вендоров оцениваются сейчас с экономической точки зрения.

Любой дата-центр – это по сути большой калькулятор, с помощью которого компания должна зарабатывать деньги. Компоненты этого калькулятора, особенности его проектирования, сборки и настройки стали предметами обсуждения на 2-й международной конференции Data Center Design & Engineering (DCDE), организованной журналом «ИКС» (также см. "Гегемоны ЦОД").

Товар лицом

Проектирование и строительство дата-центра – дело непростое не только из-за сложности самого объекта, но и из-за большого числа участников этого процесса: консультантов, проектировщиков, подрядчиков, заказчиков и инвесторов. И все они должны иметь максимально полную информацию не только о своем участке проекта и своих системах, но и о том, что делают «смежники». Это позволит и минимизировать ошибки «на стыках», и создать гармоничный проект, имеющий заявленные характеристики. Понятно, что все участники проекта не могут быть специалистами и по архитектуре, и по строительству, и по инженерным системам. Для заказчиков дата-центров, как отмечает Александр Овчинников («АДМ Партнершип»), проектная документация часто выглядит грудой чертежей с непонятными символами. А от заказчика зависит судьба всего проекта, так что в интересах проектировщика представить свой продукт в максимально наглядной форме. Современные системы автоматизированного проектирования в принципе имеют функции, позволяющие выполнять качественную визуализацию всех конструкций в 3D, по которой заказчик может понять, что же в итоге он получит – корпуса с проездами и дорогами, фасады зданий, внутренние помещения с инженерными системами, ИТ-оборудованием и коммуникациями. А инженерам-проектировщикам эта 3D-картина поможет определить, не совершили ли они каких-то ошибок, не пересеклись ли где-то воздуховоды и лотки для кабелей, пройдет ли трубопровод через отверстие в перекрытии и т.д. По мнению специалистов, подробная объемная модель здания позволяет на 90% уменьшить количество ошибок, возникающих на этапах создания рабочей документации и начала строительства.

Системы визуализации разрабатывают под свои нужды и производители оборудования для дата-центров. Такая система создана, например, компанией Panduit, которая специализируется на построении СКС. Как объяснил Александр Андреев (Panduit), это ПО нельзя назвать полноценной системой промышленного моделирования, его задача – создать предварительный трехмерный дизайн дата-центра на основе самых общих данных о параметрах будущего ЦОДа, полученных от заказчика. Тем не менее, система позволяет сэкономить немало времени: в одной комнате у компьютера могут собраться представители пяти-шести поставщиков отдельных систем и буквально за два-три часа согласовать проект дата-центра с размещением шкафов, серверов, коммутационного оборудования, кондиционеров, трубопроводов, кабелей, лотков и пр., после чего каждый поставщик может заняться подробной разработкой своей части проекта (в «обычной» жизни на согласование такого проекта может уйти несколько месяцев).

Модульная мода

Однако сейчас вендоры все чаще предлагают заказчикам «нарисовать» ЦОД из готовых кубиков-модулей. Причем эти модули делаются не только из легких каркасных конструкций, но и из железобетона – такие, например, предлагает компания M+W Group. По внешнему виду такой модульный ЦОД сложно отличить от «капитального». Во всем остальном эти модули имеют те же преимущества, что и их легкие собратья: стандартные размеры и комплектацию, заводское производство, быстрое проектирование, доставку на место, установку и ввод в эксплуатацию, возможности масштабирования и по горизонтали, и по вертикали. Причем, несмотря на железобетонное исполнение, модуль M+W Group по своим весу и размерам позволяет доставлять его на место обычным грузовым транспортом. Есть уже инсталляции, где из таких модулей собран дата-центр общей площадью 1000 кв. м.

За крупные модульные ЦОДы берется и компания Emerson Network Power. Ею разработаны 10 типовых решений модульных дата-центров SmartMod с разными вариантами систем охлаждения от фреоновых до адиабатических. Заявленный коэффициент PUE не превышает 1,5. Самый маленький SmartMod с четырьмя серверными стойками мощностью 7,5 кВт каждая помещается в контейнере размером 2900 Ч 2300 Ч 6100 мм. Более крупный его собрат размером 3000 Ч 3300 Ч 12500 мм, в котором установлены семь стоек по 8 кВт, уже работает в Санкт-Петербурге в интересах «Газпрома». Есть и модели, предназначенные для систем высокой плотности, вплоть до 30 кВт на стойку. А самый большой объект, собранный из контейнеров SmartMod, сейчас возводится в Швеции, его общая потребляемая мощность составляет 15 МВт.

Свое слово на уже довольно тесном рынке модульных ЦОДов собирается сказать и российская компания Green MDC. Как заявил ее генеральный директор Федор Клименко, в своих разработках Green MDC постаралась использовать плюсы и исключить минусы решений других вендоров. К последним он относит высокую удельную стоимость и большие сроки поставки для классических модульных ЦОДов, неудобство эксплуатации и низкую энергоэффективность контейнерных дата-центров. Поэтому поставка модульного Green MDC осуществляется за 12 недель, перед транспортировкой его можно разобрать на компоненты, а в его начинке используются давно проверенные решения. Есть варианты для установки в помещениях и на улице, с 12 и 24 стойками, с разными системами охлаждения, в том числе с использованием фрикулинга. И по энергоэффективности модули Green MDC выглядят вполне достойно: заявленный среднегодовой PUE составляет 1,24.

Модульный принцип давно взят на вооружение и производителями систем ИБП для ЦОДов. При относительно малых мощностях они обходятся дороже, чем моноблочные, но на уровне 500 кВт ценовая разница уже невелика. Например, конек компании АВВ – модульные системы ИБП с децентрализованной параллельной архитектурой. Если централизованная архитектура предполагает наличие общих блоков – центрального процессора, панели управления, статического байпаса, батарей, – то в децентрализованной каждый модуль системы – законченный ИБП, а общим элементом является только силовой шкаф. Благодаря такой конструкции в системе нет единой точки отказа, ее легко обслуживать, потому что сами модули легкие и их можно менять в горячем режиме. Реализовано все это во флагманской модульной системе Conceptpower DPA 500 с максимальной мощностью стойки 500 кВт и модулями по 100 кВт каждый. Всего можно установить в параллель до шести таких стоек, получив систему мощностью 3 МВт. Системы семейства Conceptpower DPA могут оснащаться также модулями мощностью 24, 32 и 40 кВт.

Модульные ИБП для дата-центров выпускает и компания Entel. Как рассказал Валерий Суханов («Гулливер»), компактные модульные системы Entel IPX, мощность которых может варьироваться от 15 до 120 кВА с шагом 15 кВА, уже установлены в России в нескольких корпоративных ЦОДах. Причем в одной из инсталляций выбор заказчика был обусловлен сильными ограничениями на площадь, выделенную под ИБП. Около полугода назад на рынке появились гибко масштабируемые системы Entel IPS-M, мощность которых можно наращивать от 3 до 480 кВА с помощью модулей мощностью 3, 5, 6, 10, 15 и 20 кВА. А самой последней разработкой компании является ИБП Entel IPC с силовыми модулями мощностью 33,5 кВА, из которых можно собрать систему с максимальной мощностью 600 кВА при резервировании N+3.

Динамика vs статика ИБП

Долгое время создатели ЦОДов смотрели на динамические ИБП как на экзотику, потому что они были экономически оправданы лишь при высоких мощностях, до которых не дотягивали многие российские дата-центры. Но когда среди ЦОДов появились достаточно мощные объекты, ДИБП стали реально востребованы. Например, компания «Евро-Дизель» недавно выпустила новую серию ДИБП NO-BREAK KS7e мощностью от 2250 до 2750 кВА, которые фактически имеют 100%-ю доступность. Достигается это за счет автоматической смазки всех подшипников без полной остановки системы, использования необслуживаемого электромагнитного сцепления и отсутствия необходимости в проверке соосности благодаря моноблочной конструкции. Кроме того, производитель гарантирует 100%-й пуск дизельного двигателя этого ДИБП, потому что двигатель предварительно прогрет и смазан и, кроме того, проходит регулярное тестирование по заданному пользователем расписанию. При нагрузке 30% КПД ДИБП NO-BREAK KS7e составляет 92%. Можно также отметить компактный дизайн этой системы: ее размеры – 9,3 Ч 2 Ч 2 м, тогда как системы предыдущего поколения имели длину от 9,95 м. При равной мощности ДИБП NO-BREAK KS7е занимают на 40–60% меньше места, чем статические ИБП.

На компактность, надежность и простоту обслуживания своих дизельно-роторных ИБП (ДРИБП) обращает внимание и компания Hitec Power Protection. ДРИБП Hitec сейчас имеют мощность от 300 до 3000 кВА, что позволяет использовать их в самых разных ЦОДах. Таких объектов в России уже 10, и мощность самого крупного – 10 МВт. Как отметил Рене Лацина (Hitec), при использовании классических систем с ДГУ и статическими ИБП упомянутые компоненты обычно поставляются разными производителями, и это часто создает определенные проблемы, в частности необходимость согласовать выбор ДГУ не только с нагрузкой, но и со статическими ИБП. Кроме того, такая система имеет много переключателей и модулей управления, функционирование которых зависит друг от друга, а в ДРИБП Hitec все основные энергетические элементы собраны на одной раме и соединены простой соосной механической связью. Большим достоинством ДРИБП является их способность поддерживать одновременно работу и ИТ-нагрузки, и системы охлаждения. Причем, в ДРИБП вероятность запуска двигателя равна фактически 100%, т.к. в случае проблем с аккумулятором стартера сигнал на запуск приходит с резервной батареи или напрямую от кинетического модуля, который работает всегда.

Столь же высокая надежность требуется системам бесперебойного электроснабжения, работающим на ответственных объектах и мероприятиях, таких, например, как недавние Олимпийские игры в Сочи. Ситуация – как в ЦОДе: заказчик требует 100%-й доступности. Как рассказал Василий Лапшин («Абитех»), в Сочи–2014 для обеспечения электропитания всей инфраструктуры (учитывая ИТ- и телекоммуникационную нагрузки) на 32 объектах горного и прибрежного кластера, главном вокзале Сочи и в аэропорту Адлер были задействованы около 1500 ИБП производства GE мощностью от 700 ВА до 500 кВА. Общая суммарная мощность всех систем бесперебойного электропитания составила более 16 МВА – как у крупного дата-центра. Только одних аккумуляторных батарей в их составе было более 5500 штук. Конечно, уследить за таким хозяйством можно только с помощью системы мониторинга, которая круглосуточно каждые 60 секунд производила опрос более 300 критичных ИБП. Всего за время игр было зарегистрировано 1137 аварийных ситуаций, но ни одной потери нагрузки не было. В таком режиме, но только месяцами и годами, приходится работать системам электропитания многих ЦОДов.

Фрикулинг и не только

Ну а в секторе систем охлаждения вендоры активно продвигают системы фрикулинга, которые, по сути, уже стали массовыми. В разряде экзотики пока находятся только системы с адиабатическим охлаждением воздуха. Примером такого решения является новая система адиабатического прецизионного кондиционирования Mirage компании NordVent, которая, по словам генерального директора ее российского представительства Андрея Миляева, является первым в мире серийным образцом решения, работающего на эффекте охлаждения воздуха за счет адиабатического охлаждения воды. Система Mirage позволяет работать в режиме фрикулинга до температуры +29°С на улице, т.е. включать резервную систему компрессорного охлаждения придется крайне редко. Уже есть инсталляция восьми таких систем мощностью 125 кВт каждая в ЦОДе в Амстердаме, где потребляемая мощность ИТ-нагрузки составляет 750 кВт. По подсчетам NordVent, система Mirage такой мощности должна окупаться за три года.

Более многочисленными инсталляциями могут похвастать системы прямого свободного охлаждения для дата-центров AMD 2000 CWU-D компании Stulz. Компания HTS, которая является официальным поставщиком прецизионного оборудования Stulz в России, уже имеет целый список реализованных проектов в дата-центрах мощностью от 200 до 900 кВт. Правда, у системы AMD 2000 не столь широкий диапазон работы в режиме фрикулинга – до +24°С, но в российском климате это означает достаточно эпизодическое включение компрессорных холодильных машин.

Однако в стремлении использовать передовые решения не стоит забывать о мерах, которые не требуют больших затрат, но позволяют заметно повысить эффективность любой системы охлаждения дата-центра за счет разных технологий оптимизации воздушных потоков. Максимальный эффект дает предотвращение перемешивания воздуха из холодных и горячих коридоров с помощью заглушек и уплотнений. Компанией Minkels разработаны специальные пластиковые заглушки для серверных и телекоммуникационных шкафов, а также пенные уплотнители для кабельных вводов, позволяющие обеспечить комфортную работу оборудования внутри стоек. По словам Константина Кондобы (Minkels), комплекс всех этих мер часто позволяет повысить КПД системы охлаждения на 80–90%(!).

От мониторинга до управления

Безотказные системы электропитания и высокоэффективные системы охлаждения, конечно, необходимы в ЦОДах, но чтобы все это оборудование работало с заявленными характеристиками, необходимы системы мониторинга и управления. От нештатных ситуаций никто не гарантирован, но чтобы минимизировать последствия, важно вовремя заметить небольшие изменения в работе оборудования, которые могут рано или поздно привести к его выходу из строя. В современных крупных ЦОДах, где много потенциальных точек отказа, необходима централизованная система мониторинга. Как отметил Александр Нилов (Rittal), в одной 19-дюймовой стойке нужно контролировать влажность и температуру воздуха, фиксировать появление огня, дыма, открытие двери, попытки взлома или порчи. А если таких стоек сотни и тысячи? С их мониторингом должна справиться предлагаемая Rittal система СМС III с шиной обмена данными CAN-Bus, которая поддерживает используемые в ЦОДах разнородные датчики. Данные системы мониторинга СМС III можно использовать в высокоуровневом ПО для управления всей ИТ-инфраструктурой дата-центра RiZone.

Отдельной системы мониторинга требует кабельная инфраструктура ЦОДа. Схемы коммутации оборудования в дата-центрах очень сложны и «склонны к измене», поскольку в любом ЦОДе периодически появляется новое оборудование и убирается старое. Все это отражается на кабельных подключениях, информацию о которых нужно поддерживать в актуальном состоянии, что, учитывая количество кабелей в ЦОДе, очень непросто. Штрихкоды на оборудовании уже давно используются в дата-центрах, а для аналогичной маркировки кабельных разъемов компания TE Connectivity предлагает использовать технологию CPID (Connection Point Identificator): в вилку каждого соединителя встраивается чип, в котором записана вся информация о данном кабеле. Благодаря этим чипам программно-аппаратный комплекс Quareo в реальном времени фиксирует все изменения в СКС ЦОДа, что упрощает и модернизацию, и обслуживание сети.

Еще одна система, которая должна быть в любом дата-центре, – система обнаружения пожара. Но, как отметил Геннадий Бахмутский («Пожтехника»), лучше выявлять не сам пожар, а его самые ранние предпосылки – тогда убытки от простоя, потери оборудования и данных могут оказаться нулевыми. Однако традиционные системы обнаружения пожара из-за низкой чувствительности оптических камер зачастую начинают бить тревогу, когда пожар уже разгорелся. Поэтому «Пожтехника» предлагает использовать в ЦОДах аспирационные системы нового поколения VESDA-E, которые по своей чувствительности в 1000 раз превосходят традиционные датчики. Они могут обнаружить даже слабые выделения дыма при перегреве электронных плат и кабелей. На этом этапе проблему сможет решить ИТ-администратор, просто заменив кабель, плату или сервер.

Ну а в крупном ЦОДе уместна будет комплексная система управления инфраструктурой DCIM (Data Center Infrastructure Management). Например, в DCIM-систему StruxureWare for DC компании Schneider Electric входит система мониторинга окружающей рабочей среды и энергосистем с видеонаблюдением и сбором соответствующих данных, инструменты управления электроснабжением, ИТ-оборудованием и его конфигурациями, средства бизнес-планирования дата-центра для отслеживания изменения его нагрузки и понимания дальнейшего развития, инструменты динамической оптимизации охлаждения и компьютерного моделирования воздушных потоков, которые позволяют выявить горячие зоны в серверном зале и потенциальные проблемы в ЦОДе. Зарубежные аналитики считают, что мировой рынок DCIM-систем в ближайшие годы будет расти со скоростью как минимум 40% в год, но, по мнению Андрея Ивашова (Schneider Electric), на российском рынке таких темпов ждать не приходится, потому что большинство наших заказчиков пока при расчете бюджетов обращают внимание только на критически важные для ЦОДа системы электропитания, охлаждения и контроля доступа. Однако для владельцев крупных дата-центров важно не только построить свои площадки, но и эффективно эксплуатировать их в течение достаточно длительного времени, и со временем они должны понять, что правильное управление ЦОДом мощностью 1МВт позволит сэкономить в год столько средств, что хватит на зарплату всему персоналу дата-центра.

Своя версия DCIM-системы есть и у компании RiT Technologies. Ее комплекс CenterMind контролирует параметры окружающей среды и работу системы электроснабжения, автоматически определяет топологию сети, идентифицирует в ней все сетевые устройства и контролирует соединения между ними, отслеживает все события, происходящие в СКС, в том числе обнаруживает подключение к корпоративной сети неавторизованных устройств, автоматизирует процессы перемещения, добавления или изменения всех доступных ресурсов сети. Стоит отметить возможность использования системы CenterMind для мониторинга и управления не только ЦОДа, а вообще ИТ-инфраструктуры предприятия, включая распределенные корпоративные ИТ-среды компаний, имеющих удаленные филиалы.

Последние штрихи

После внедрения DCIM-системы наступает время задуматься о том, как наиболее эффективно распорядиться имеющимися ИТ-ресурсами для обслуживания пользователей. Компания KEMP Technologies считает, что помогут в этом ее аппаратные и виртуальные устройства балансировки нагрузки KEMP LoadMaster, которые обеспечивают высокий уровень доступности, масштабируемость и оптимизацию доставки приложений. По словам руководителя представительства компании в России и СНГКирилла Зигизмунда, для решения проблем доступности приложений, работающих в ЦОДе, использование этого балансировщика более экономически выгодно, чем установка дополнительных серверов. LoadMaster может распределять нагрузку между несколькими ЦОДами, он отправляет запросы пользователя только на доступные серверы и приложения, уменьшает сетевые задержки и даже выполняет некоторые функции системы предотвращения вторжений. Что немаловажно, настройку этого балансировщика может выполнить любой администратор. В свете постоянных жалоб наших компаний на дефицит квалифицированных ИТ-кадров такой подход может только приветствоваться.

  

Таким образом, для построения дата-центров всех видов и размеров, их оснащения вполне передовой инженерной и ИТ-инфраструктурой, последующей ее эксплуатации и эффективного использования на благо своего бизнеса и бизнеса клиентов на рынке есть все необходимое. Это явный рынок покупателя, так что последнему нужно только не лениться: разбираться в предложениях вендоров, сравнивать и считать предстоящие затраты, и желательно не на один год вперед.