Экономика инфраструктуры

ИКС № 06-07 2013

Автор: Евгения ВОЛЫНКИНА, обозреватель журнала "ИКС"

Строить надежные дата-центры в России научились – что подтверждено уже шестью сертификатами Uptime Institute на проекты ЦОДов и тремя сертификатами на готовые площадки. Надежность не означает автоматически экономической эффективности объекта, но эти две категории вполне могут дополнять друг друга.

В том, как с умом потратить деньги на строительство, оснащение оборудованием, модернизацию и организацию эксплуатации дата-центра, пытались разобраться участники международной конференции Data Center Design & Engineering, организованной журналом «ИКС».

У истоков эффективности

Начинать проектирование ЦОДа надо с формулирования требований бизнеса, так как только они позволяют определить все технические характеристики будущего дата-центра, в том числе его доступность, масштабируемость, уровни безопасности и резервирования, энергоэффективность, операционную устойчивость. Вроде бы ЦОДы во всем мире строятся далеко не первый год, но до сих пор, как рассказал управляющий партнер подразделения инжиниринга и консалтинга ЦОД компании Edarat Group Адель Ризк, встречаются заказчики, которые просят построить дата-центр уровня Tier IV, но при этом на вопрос о допустимом для их бизнеса времени простоя ИТ-сервисов отвечают: два дня. Конечно, такой недалекий заказчик, если его финансовая состоятельность действительно соответствует заявленному уровню Tier IV, позволит исполнителю хорошо заработать, но вряд ли последнему стоит строить стратегию своего бизнеса на неинформированности клиентов.

Как раз с точки зрения стратегии лучше помочь заказчику понять его собственные цели и задачи и соотнести их с его возможностями. Заявление о том, что каждый проект ЦОДа уникален, – не просто красивые слова, потому что проект должен зависеть от очень многих параметров: от назначения дата-центра (корпоративный или коммерческий, и если коммерческий, то на каких клиентов рассчитан), услуг, которые он будет предоставлять, местоположения (и связанных с этим особенностей климата, природных и рукотворных рисков и угроз, доступности дорог, электричества, топлива, воды и т.п., наличия нужных специалистов, в конце концов), от местного законодательства и регуляторных ограничений, бюджета, срока возврата инвестиций, требований к непрерывности бизнеса, срокам восстановления работоспособности ИТ-систем после аварии и общей стоимости владения, от наличия или отсутствия унаследованного оборудования и приложений, планов дальнейшего развития и т.д. и т.п. Во всяком случае, зарубежные компании, которые стараются закрепиться на перспективном российском рынке дата-центров, уже вовсю предлагают (как, например, M+W Group и уже упомянутая Edarat Group) полный пакет работ по созданию ЦОДа «под ключ» – от помощи заказчику в разработке концепции будущего дата-центра до выбора площадки, проектирования, получения всех разрешений, строительства, запуска готового объекта в эксплуатацию и его сертификации в Uptime Institute.

Однако есть у нас уже заказчики, которых и заказчиками-то сложно назвать, это вполне самодостаточные компании, которые, подобно Google или Facebook, выстраивают свои дата-центры, их инженерную и ИТ-инфраструктуру в соответствии с особенностями своих вычислительных задач, требованиями бизнеса и стратегией его развития. Возможно, кому-то технологический уровень инженерной инфраструктуры их дата-центров покажется недостаточно высоким, а PUE – недостаточно низким, однако такие компании интересует прежде всего финансовая эффективность дата-центра. По мнению руководителя проектов строительства ЦОД «Яндекса» Николая Иванова, энергоэффективность и надежность систем дата-центров нельзя рассматривать в отрыве от капитальных и операционных затрат и только при тесном взаимодействии инженеров и финансистов компании можно получить действительно эффективное решение. Причем на его эффективность влияет не только грамотное проектирование и активная «работа» с поставщиками оборудования, но и качество электропитания. К сожалению, далеко не все владельцы дата-центров имеют возможность, как «Яндекс», построить собственную подстанцию и подключиться к сетям ФСК ЕЭС, обеспечивающей практически стопроцентную надежность электропитания при напряжении как минимум 110 кВ (да и цена электричества у ФСК ЕЭС ниже, чем у региональных и ведомственных поставщиков). Но знание реальных параметров качества потребляемой электроэнергии в любом случае позволит более грамотно и без лишних затрат построить систему резервирования электропитания ЦОДа.

Greenfield и модернизация

О создании ЦОДа с чистого листа российским цодостроителям приходится только мечтать, гораздо чаще стоит задача модернизации уже имеющегося дата-центра. Нарастить вычислительную мощность серверных стоек относительно легко, а вот модернизация инженерной инфраструктуры – куда более сложная задача, и, по большому счету, такая возможность должна закладываться еще на этапе проектирования дата-центра. Как отметил директор по развитию бизнеса консалтинговой группы «Борлас» Владимир Иванов, это предполагает прежде всего модульный принцип построения всех инженерных систем и повышение уровня их надежности за счет организации резервирования по схеме 2N (да, при схеме N+1 начальные затраты будут ниже, но такое резервирование сильно осложнит не только будущую модернизацию, но и текущее регламентное техническое обслуживание). Кроме того, необходимо обеспечить возможность прокладки дополнительных кабелей питания и установки дополнительных систем охлаждения без проведения каких-либо строительных работ. Как показывает практика, изначально грамотное проектирование инженерной инф-раструктуры позволяет наращивать системы электропитания и кондиционирования даже в совсем небольших ЦОДах, где на счету каждый квадратный метр. Очень способствуют повышению эффективности использования имеющейся инфраструктуры развитые системы автоматизации, диспетчеризации и мониторинга всех систем дата-центра.

Масштабный проект модернизации и реконструкции действующих площадок идет сейчас в «Ростелекоме». В частности, ведутся работы в ММТС-9, где базируется самая крупная в России точка обмена интернет-трафиком MSK-IX и установлено оборудование более 300 операторов связи, которое нельзя отключить даже временно, и это очень сильно усложняет решение поставленной задачи – создания новых технологических помещений и кратного увеличения числа серверных стоек. В такой ситуации, по словам директора проекта ЕРЦОД «Ростелекома» Александра Мартынюка, главным правилом является принцип «не навреди». Подобный проект прежде всего требует тщательного обследования объекта, которое занимает 3–5 месяцев, а результатом его может оказаться решение о нецелесообразности модернизации и реконструкции данной площадки при имеющемся износе здания и инфраструктуры, требуемых конструктивных изменениях и бюджетных ограничениях. Но это тот случай, когда отрицательный результат – тоже результат: даже дорогое обследование гораздо дешевле строительства сомнительного в техническом отношении объекта.

К эксплуатации готовьсь!

Но вот здание подготовлено, коммуникации подведены, стойки расставлены… Теперь все это хозяйство нужно вводить в эксплуатацию. Проблема в том, что проектировщики, строители и ИТ-отдел понимают этот процесс по-разному. Если делать все по правилам, ре-комендуемым Uptime Institute, то это будет серьезная программа тестирования всего оборудования дата-центра на пределе возможностей его работы. Как выразился исполнительный директор Uptime Institute Джулиан Кудрицки, во время ввода в эксплуатацию нужно попытаться сломать ЦОД. Причем делать это можно совершенно свободно, потому что бояться нечего – официально дата-центр еще не работает, т.е. никаких финансовых последствий для бизнеса не будет (ну не считать же большими расходами оплату дизельного топлива, которое все равно нужно периодически менять), к тому же все оборудование еще находится на гарантии производителя. По данным Uptime Institute, большинство отказов в работе ЦОДов (70%) обусловлены человеческими ошибками, а процесс ввода в эксплуатацию – это важный этап обучения команды, которая будет управлять дата-центром. К запуску ЦОДа в эксплуатацию должно быть готово не только оборудование, но и команда «эксплуататоров» (даже Uptime считает, что профессиональная служба эксплуатации важнее резервирования), а также описание процессов, выполнение которых должно обеспечить нормальную эксплуатацию оборудования дата-центра. Проверить соответствие этих процессов стандартам можно с помощью операционного аудита. Как заявил руководитель подразделения профессиональных сервисов IT Business Schneider Electric Александр Мироненко, этот, уже довольно распространенный в мире сервис, скоро должен появиться и в России. Предполагается, что он заинтересует тех владельцев ЦОДов, которые не собираются сертифицировать свою службу эксплуатации в Uptime Institute, но хотели бы минимизировать риски отказа оборудования, которые так или иначе связаны с человеческим фактором.

Вопрос о том, как сделать эксплуатацию ЦОДа недорогой и эффективной, встает, наверное, перед владельцем любого дата-центра – и корпоративного, и коммерческого. Держать в штате высококвалифицированных специалистов по всем инженерным системам ЦОДа слишком накладно, привлекать для всех работ специализированные сервисные компании не всегда разумно. Например, компания Mail.Ru, построив собственный крупный ЦОД, поначалу возложила функции наблюдения за работой инженерного оборудования на смену ИТ-инженеров, заключив договоры на обслуживание этого оборудования со сторонними сервисными организациями. Однако, вкусив реалий российского аутсорсинга, решила модернизировать систему мониторинга и диспетчеризации и завести более серьезную службу эксплуатации. Теперь в ЦОДе есть свой главный инженер-электрик с круглосуточной службой дежурных электриков и инженеры по системам кондиционирования и вентиляции, которые, по словам технического директора ЦОДа Mail.Ru Сергея Кубасова, настолько качественно выполняют все плановые регламентные работы, что представитель сервисной организации, приезжающий для аудита раз в полгода, зачастую не находит повода для замечаний. С одной стороны, затраты компании на персонал ЦОДа возросли, но с другой – снизились затраты на оплату работы сервисной организации, на закупки ЗИПа и расходных материалов. При этом время реакции на проблему сократилось с 2 и более часов до 5 мин, и это, наверное, главный плюс организации собственной службы эксплуатации для компании, у которой ЦОД является одним из основных элементов бизнеса.

База экономии

Свой вклад в экономику инфраструктуры дата-центров вносят, конечно, и производители оборудования. Не первый год в стане производителей ИБП идет борьба за дополнительные доли процентов КПД, которые, несмотря на их кажущуюся ничтожность, все же реально снижают счета за электроэнергию и затраты на обслуживание ИБП. Но общая эффективность работы системы бесперебойного питания ЦОДа зависит не только от КПД, но и от загрузки. Минимизировать излишки мощности при сохранении гибкости масштабирования позволяет модульная архитектура. В качестве примера можно привести ИБП серии Liebert APM 30–150 кВА компании Emerson Network Power: его мощность варьируется в диапазоне от 30 до 150 кВА с шагом 30 кВА, причем «шаг» представляет собой совершенно независимый ИБП со своей системой управления. Этот трехфазный ИБП с возможностью «горячей» замены и силовых, и батарейных модулей работает в режиме двойного преобразования с КПД 96%. Допускается установка в параллель до четырех таких ИБП, т. е. максимальная мощность системы достигает 600 кВА.

Уже не первый год Emerson продвигает на рынок мощную модульную систему Liebert Trinergy с возможностью интеллектуального выбора режима работы (режим двойного преобразования, онлайновый и офлайновый). Своя технология переключения режима работы под названием eBoost есть и у компании General Electric (GE). Она реализована, например, в новой модификации ИБП серии SG 160–500 кВА (их инсталляции уже есть в России). Технология eBoost позволяет быстро – время переключения не превышает 2 мс – изменять режим работы ИБП из энергоэффективного в режим двойного преобразования и обратно в зависимости от качества внешнего электропитания. Даже если пользователь отключает возможность такого переключения, система eBoost все равно будет вести мониторинг качества работы электросети и накапливать соответствующую статистику. Так что эксплуатационщики через некоторое время смогут уже со знанием дела принять решение об активизации этой технологии или отказе от нее. Не забыта в GE и традиционная борьба за КПД. Как рассказал начальник отдела технической экспертизы компании «Абитех» Константин Соколов, совсем недавно на российском рынке появился бестрансформаторный ИБП GE TLE series, имеющий в режиме двойного преобразования КПД 96,5%, что подтверждено независимыми испытаниями (в энергоэффективном режиме eBoost его КПД достигает 99%).

Динамика и статика

Свои преимущества – у динамических дизельно-роторных ИБП (ДР ИБП), которые их производители позиционируют как эконо-мичнoe и энергоэффективное решение для бесперебойного и гарантированного электроснабжения ЦОДов мощностью выше 1 МВА. Кроме того, в соответствии с рекомендациями Uptime Institute ДР ИБП, объединяя в себе функции ДГУ и ИБП, упрощают систему электропитания ЦОДа, одновременно повысив ее надежность. По словам руководителя Hitec Power Protection по международным продажам Рене Лацины, ДР ИБП компании установлены сейчас на семи объектах в России, четыре из которых уже запущены в эксплуатацию. Причем «процесс пошел» только три года назад, когда у нас начали строить крупные мегаваттные ЦОДы.

Однако создатели даже мультимегаваттных ЦОДов далеко не всегда выбирают динамические дизельные ИБП. Например, в дата-центре в Алабушево (Зеленоградская ОЭЗ) с заявленным энергопотреблением 21 МВт в системе электропитания будут использоваться традиционные статические ИБП AEG Protect Blue общим числом 108 штук по 250 кВА каждый. Коммерческий характер данного ЦОДа предполагает его поэтапный запуск (всего запланировано 27 залов) и довольно длительный период работы с неполной загрузкой. Поэтому, как объяснила директор по развитию бизнеса компании RadiusGroup Марина Карпунина, чтобы получить максимально эффективное с экономической точки зрения решение, важно было выбрать компактный, хорошо масштабируемый ИБП с высоким КПД при минимальных нагрузках. Новый ИБП AEG Protect Blue, появившийся на рынке осенью 2012 г., имеет КПД 96% даже при нагрузке, составляющей 25% от номинальной. он допускает установку в параллель до 16 силовых блоков по 250 кВА, что в сумме дает 4 МВА. При таких мощностях даже десятые доли процента КПД дают немалую прямую экономию электроэнергии, но высокий КПД позволяет получить и косвенную экономию: чем он выше, тем меньше тепловыделение, а значит, можно снизить мощность системы кондиционирования.

Литий-ионные перспективы

Решения, о которых шла речь выше, при всей их технологической продвинутости, нельзя назвать прорывом. Тем не менее предпосылки некого подобия революции в сфере ИБП уже просматриваются: это может случиться, когда на рынок массово выйдут литий-ионные аккумуляторные батареи. Они втрое легче нынешних традиционных свинцово-кислотных батарей, занимают как минимум вдвое меньшую площадь, очень долго держат напряжение, а срок их службы составляет 20–25 лет (и это доказано испытаниями). Как отметил технический директор компании Engross Сергей Ермаков, былые проблемы с пожароопасностью литий-ионных батарей уже решены; кроме того, их можно устанавливать в современные серийно выпускаемые ИБП без серьезной переделки последних. Они обладают высоким КПД (97–99%) и работают в диапазоне температур от 0 до 40°С без деградации емкости и срока службы, т.е. их можно установить вместе с ИБП в общем щитовом помещении и отказаться от специальной системы кондиционирования. Существенными достоинствами являются также высокая скорость заряда и возможность поэлементной замены, что еще больше снижает общую стоимость владения. Правда, такие батареи пока дороже, чем свинцово-кислотные, но прямое сравнение цен нельзя признать корректным, поскольку сроки их службы сильно различаются.

Эффективный холод

Революций в системах охлаждения тоже ждать пока не приходится, зато имеет место поступательное движение в сторону более энергоэффективных и экономичных решений, и спрос на российском рынке уже начинает смещаться от традиционных DX-систем в сторону фрикулинга. По мнению коммерческого директора HTS Михаила Андреева, на ситуацию явно повлиял пример «Яндекса», еще несколько лет назад начавшего эксперименты с внедрением новых технологий свободного охлаждения. Сама же компания HTS реализует сейчас в России первый проект с использованием системы прямого фрикулинга DFC 2 (Direct Free Cooling), у которой в зависимости от температуры забортного воздуха предусмотрено пять режимов работы – с разными сочетаниями технологий DX-охлаждения, фрикулинга и циркуляции воздуха. О том, сколько эта установка, рассчитанная на отвод 1 МВт тепла, позволит сэкономить в российских условиях, говорить пока рано: впереди монтаж и первая зимняя эксплуатация.

В направлении использования наружного воздуха в максимально широком диапазоне температур работает и компания NordVent, открывшая в этом году представительство в России. Как рассказал его генеральный директор Андрей Миляев, в системах NordVent Mirage с роторными и гибридными кондиционерами применяются технологии фрикулинга и адиабатического охлаждения наружного воздуха, которые по сравнению с системами механического охлаждения имеют существенно более низкое энергопотребление. Правда, рабочий диапазон температур для установленных в системе роторных и гибридных кондиционеров Mirage RT и rT+ простирается от –10 до +30°С, и за его пределами нужно будет использовать системы механического охлаждения. Но в нашем климате б'ольшую часть года этого делать не придется, так что суммарное энергопотребление системы, по заявлению А. Миляева, будет в несколько раз ниже, чем у традиционных DX-систем.

В российских условиях энергоэффективные решения зачастую применяют не из экологических со-ображений, а из необходимости вписаться в имеющиеся лимиты энергопотребления. А если сюда добавляется проблема нехватки площадей, то задача становится очень нетривиальной. Например, в проекте строительства четвертой очереди ЦОДа Stack M1 требовалось отвести 1875 кВт тепла, но места для установки внешнего оборудования системы охлаждения на крыше или снаружи здания не было. Поэтому специалисты инженерной компании «Гулливер» приняли решение использовать вместо чиллеров воздушные конденсаторы фирмы LU-VE, имеющие оптимальное для данной задачи соотношение габаритов и производительности, и разместить их на стене здания на специально оборудованной эстакаде. Выглядит все это не очень эстетично, но, наверное, безупречное с архитектурной точки зрения решение может получиться только при постройке ЦОДа с нуля,  а это, как уже говорилось выше, в российских условиях пока очень большая редкость.

Защитить созданное

Все эти – энергоэффективные и не очень – решения для электропитания и охлаждения дата-центров, а также их ИТ-оборудование нуждаются в защите. Затраты на нее, конечно, влияют на экономику всего объекта, но это тот случай, когда экономия может выйти боком, поэтому задача построения физически безопасного ЦОДа представляется очень актуальной. При выборе площадки для дата-центра нужно учитывать и вероятность природных катаклизмов в данной местности, и возможность рукотворных инцидентов, но главными рисками являются огонь и вода, и они часто идут рядом. Конечно, любой ЦОД должен быть оснащен системами пожарообнаружения и пожаротушения, но, как напоминает менеджер по продукции для ИТ-инфраструктуры компании Rittal Александр Нилов, по статистике только 20% пожаров возникают внутри ЦОДа, а 80% – снаружи. При этом ущерб от внешнего пожара может быть катастрофическим: при нагреве вода, содержащаяся в бетонных стенах, начинает быстро испаряться с образованием горячего агрессивного пара, присутствие которого в серверных помещениях недопустимо. Поэтому Rittal предлагает строить внутри машинных залов модули безопасности. Такая конструкция, защищающая оборудование от огня, воды и несанкционированного доступа, имеет модульную структуру, и ее размеры при необходимости можно увеличить. В ней размещается и ИТ-оборудование, и обеспечивающая его работу инженерная инфраструктура. Согласно результатам тестов по европейскому стандарту такая конструкция выдерживает внешнюю температуру 1100°С в течение 60 мин, при этом внутри защищенного помещения температура не превысит 70°С, а влажность – 85%, т.е. ЦОД продолжит нормальную работу.

Но, конечно, до такого пожара дело лучше не доводить. А наиболее безопасным для персонала и оборудования дата-центра противопожарным решением являются системы, использующие газовое огнетушащее вещество Novec 1230. Эта бесцветная диэлектрическая жидкость совершенно нетоксична, а по своим тушащим свойствам намного превосходит системы с хладоном. Кстати, противопожарной системой с Novec 1230 оснащен дата-центр DataSpace 1, который первым в России получил сертификат Tier III Facility от Uptime Institute. оснащенных подобными системами российских ЦОДов с каждым годом становится все больше, а недавно их поставщик компания «Пожтехника» выпустила мини-вариант такого противопожарного решения – устройство R-LINE, предназначенное для тушения отдельных стоек. Само оно размещается в той же 19-дюймовой стойке и занимает отсек высотой 2U. По заверениям производителя, несанкционированное срабатывание системы не пробьет брешь в бюджете заказчика, поскольку проблема решается заменой баллона, содержащего всего 1 кг Novec 1230.

ххххх

В общем, оборудование, позволяющее строить не только надежные, но и экономически эффективные решения для дата-центров, в арсенале вендоров уже есть и постоянно появляется новое. Дело за информированными заказчиками и грамотными системными интеграторами.