Эффективность и скорость, от проекта до ликвидации аварии

Мы привыкли слышать ставшие уже стандартными слова о том, что каждый российский дата-центр является уникальным проектом. Однако, как показала 4-я международная конференция Data Center Design & Engineering, уникальность эта - лишь в совокупности всех характеристик, а довольно крупные составные части ЦОДов стали унифицированными, то есть они не требуют много времени для индивидуального проектирования и производства, но при этом позволяют создавать эффективные масштабируемые решения. Правда, сроки проектирования и качество общего проекта для дата-центра могут сильно зависеть от заказчика. С одной стороны, подрядчики с удовлетворением отмечают возросшую компетентность клиентов, но с другой - жалуются, что из-за «чересчур умного» заказчика сроки проектирования зачастую сильно затягиваются. При этом у самих заказчиков представления о сроках проектирования тоже не всегда адекватные. Как отметил генеральный директор компании DataDome Андрей Павлов, разумный срок проектирования ЦОДа обычно в 2-3 раза превышает тот, который считает правильным заказчик. Причем заказчики в последнее время все активнее стали заниматься самостоятельным выбором технологий и оборудования, а проектировщик у них работает как бы на подхвате. Бывают и такие «чересчур умные» заказчики, которые сначала покупают оборудование для дата-центра и только потом заказывают проект, и даже бывает, что изготовленный таким способом ЦОД получается вполне качественным. 

 

Рисунок ЦОДа

 

Средства для сокращения сроков проектирования у российских проектировщиков в принципе есть. Как отметил руководитель проекта ADM Partnership Александр Овчинников, несколько лет назад компания перешла на 3D-моделирование, а с 2012 г. использует в работе следующее поколение технологий проектирования - информационное моделирование зданий BIM (Building information modeling). Моделирование по технологии BIM позволяет воспроизвести в цифровом виде полную копию будущего здания со всеми установленными в нем системами, элементами конструкций этих систем и их характеристиками. Несомненным плюсом BIM является то, что эта технология позволяет автоматически фиксировать пересечения конструкций на чертеже, то есть, не придется на объекте тратить деньги и время на исправление ошибок проектировщика. За время работы по новой технологии компания уже накопила достаточно большую базу моделей, которые теперь можно использовать в следующих проектах, сокращая время на проектирование. Эта технология также предоставляет удобные средства для внесения любых изменений и в модели, и во все конструкции объекта. Еще одним достоинством BIM является то, что эта технология предоставляет возможность управления проектом здания не только в пространственных координатах, но также во времени и в деньгах, что в нынешние времена оптимизации затрат представляется довольно актуальным. Однако, предупреждает А. Овчинников, надо понимать что BIM - это не волшебная палочка и спроектировать с ее помощью здание в два клика мыши не получится. Моделирование имеет довольно серьезные отличия от традиционного проектирования, это не черчение линий, а создание полноценных объектов, которые встраиваются в проектируемое здание. Кроме того, технология BIM предъявляет серьезные системные требования к компьютерам, так что проектировщикам, которые захотят ее использовать, скорее всего, придется обновить графические станции. Она также требует определенных навыков в организации совместной работы команды проектировщиков. Как и все остальное ПО для проектирования BIM это импортный продукт, в котором используются спецификации, отличные от российских, и проектировщики должны это учитывать. Они также должны учитывать, что производители оборудования пока не делают моделей своих изделий для BIM-моделирования, поэтому модели приходится создавать самим. Но все это, в общем-то, проблемы роста, которые должны со временем разрешиться.

 

Модульная скорость

 

Организовывать совместную работу в ходе проекта создания сколько-нибудь крупного дата-центра приходится не только в команде проектировщиков. Компании Emerson Network Power довелось получить опыт совместной работы в международном масштабе на интересном проекте по построению довольно крупного ЦОДа в очень сжатые сроки - первая очередь из 156 серверных стоек с ИТ-нагрузкой в 1 МВт и подведенной электрической мощностью 7 МВт построена за 12 месяцев. Речь идет о дата-центре beCloud под Минском, для которого в силу жестких сроков было выбрано модульное решение от Emerson. Как рассказал технический директор Emerson Network Power Евгений Журавлев, над проектом работали локальные команды инженеров компаний Emerson и Softline, а также инженеры проектного офиса и завода Emerson в Хорватии. На последнем как раз и изготавливались модули для ЦОДа beCloud. Заказ на производство был размещен в начале апреля прошлого года, одновременно шла доработка проектной документации и закупалось оборудование, в июне на заводе Emerson Network Power под Загребом началось изготовление первого модуля, а в сентябре состоялись производственные испытания всех 12 модулей первой очереди в сборе с проверкой совместной работы всех инженерных систем в присутствии представителей заказчика. Затем конструкцию опять разобрали на отдельные модули и отправили на фурах в Минск. В начале мая 2015 г. на площадке будущего ЦОДа были поле и лес, а в сентябре там стояло почти достроенное офисное здание, подведены электричество, вода и канализация. В декабре 2015 г. все строительные работы по созданию первой очереди дата-центра были завершены и был получен сертификат Uptime Institute Tier III Design на проектную документацию, а в мае 2016 г. - сертификат Tier III Facility на готовую площадку. 

 

Обойтись без 01

 

Стоит отметить, что все-таки не все элементы этого модульного ЦОДа производились и собирались на заводе. Системы видеонаблюдания и диспетчеризации, а также систему пожаротушения проектировали и изготавливали на месте. Локальное производство системы пожаротушения является обычной практикой, поскольку национальные стандарты у пожарников везде разные. В ЦОДе beCloud используется система газового пожаротушения с достаточно современным огнетушащим веществом Novec-1230, которое безопасно и для людей, и для компьютерного оборудования. Правда, традиционные противопожарные системы борются с уже возникшим пожаром, а лучше бы его вовсе не допускать. Например, компания Wagner предлагает за счет снижения концентрации кислорода в атмосфере помещений ЦОДа создавать условия, при которых возгорания попросту не происходит. В обычном атмосферном воздухе содержание кислорода составляет 21%, а азота - 78%. Если снизить содержание кислорода до 15%, а содержание азота повысить до 84%, то возгорания не произойдет даже в случае короткого замыкания, будет только задымление, которое зафиксирует детектор дыма. Как отметил генеральный директор Wagner Ru Владимир Афанасьев, при такой концентрации кислорода человек чувствует себя как если бы он находился на высоте 2700 м над уровнем моря, то есть работать в ЦОДе, в том числе ликвидировать причину задымления, он может (по санитарным нормам в атмосфере с содержанием кислорода 15% человек может находиться 4 часа). Предлагаемая компанией система OxyReduct содержит генератор азота, который вырабатывает его непосредственно из окружающего воздуха. Эта система может работать в четырех режимах: постоянно поддерживать в помещении пониженную до 15% концентрацию кислорода; временно понижать концентрацию кислорода в зависимости от времени суток (в рабочее время - на уровне 17%, при котором почти ничего не горит и нет никаких ограничений на пребывание людей, а ночью - опускать до уровня 15%); быстро снижать концентрацию кислорода до 15% в случае пожарной тревоги; или делать это в два этапа - сначала при обнаружении дыма - до 16%, а если выделение дыма продолжается, то до 15%, когда горение становится полностью невозможным. Таким образом ущерб от пожара или от ложного срабатывания системы оповещения сводится к нулю.

 

Но, конечно, для продвинутой противопожарной системы нужна столь же продвинутая система детекции дыма. Как предупреждает В. Афанасьев, традиционные датчики дыма, которые устанавливают на потолке в офисах, в дата-центрах бесполезны. Wagner предлагает использовать в ЦОДах аспирационные дымовые извещатели Titanus и трубную разводку, которая позволяет детектировать дым там, где он действительно может появиться в ЦОДе. Самое оптимальное решение - это детекция дыма непосредственно в стойках, в этом случае до пожара дело даже не дойдет: получив сигнал извещателя, к стойке, в которой зафиксирован дым, придет специалист службы эксплуатации и примет меры, тушить ничего и не придется. Организация трубной разводки по всем остальным помещениям и системам дата-центра для быстрого обнаружения дыма требует индивидуального проекта. Причем чувствительность аспирационных извещателей можно настроить так, чтобы не было ложных срабатываний. Кроме того, центральная система интеллектуальной обработки сигналов умеет подстраиваться под уровень фона и включает сигнал тревоги только тогда, когда динамика показаний извещателей соответствует динамике развития пожара, то есть, ситуация, когда дымным летом 2010 г. в Москве извещатели, фиксирующие абсолютный уровень содержания дыма в воздухе, включали системы газового пожаротушения в отсутствие пожара, невозможна. 

 

В мире сейчас работает более 700 установок активного предотвращения пожара OxyReduct, официально разрешено их применение и у нас в стране (к тому же осенью 2016 г. в России будет запущено локальное производство аспирационных пожарных извещателей от Wagner). Такую систему планирует, например, использовать в своем коммерческом дата-центре компания КРОК. Как отметил эксперт по комплексным системам безопасности КРОК Дмитрий Шипелов, ответственность коммерческого ЦОДа перед заказчиками выше, чем у корпоративного, поэтому в интересах провайдера использовать самые современные противопожарные системы, которые позволяют не допустить никаких перерывов в предоставлении ИТ-сервисов и обеспечивают круглосуточный доступ персонала в защищаемое помещение. Правда, подсчеты капитальных затрат и операционных расходов для ЦОДа на 240 стоек показывают проигрыш OxyReduct по «цене вопроса» по сравнению с традиционными системами пожаротушения. В частности большой разрыв наблюдается в операционных расходах, поскольку энергопотребление у системы генерации азота в десятки раз выше, чем у традиционных противопожарных систем. Однако весь этот «проигрыш» имеет место быть буквально до первого инцидента. Если коммерческий ЦОД с уровнем надежности Tier III простоит из-за возгорания или задымления максимально разрешенные для данного уровня 96 минут в год, то, по подсчетам Д. Шипелова, ущерб как минимум вдвое превысит все затраты на покупку, установку и эксплуатацию системы OxyReduct.

 

Качественное электричество для больших

 

Динамические роторные ИБП новыми и революционными не назовешь, но в российских дата-центрах они появились только с увеличением мощности этих объектов как минимум до 1-2 МВт. До этого уровня ДРИБП себя не оправдывают, а новые системы от компании Hitec серии PowerPRO вообще имеют мощность 3000 кВА. Рене Лацина, директор по продажам Hitec в Центральной и Восточной Европе, подчеркивает, что эти интегрированные системы, предназначенные для обеспечения гарантированного бесперебойного электропитания, решают проблемы не только с отключением электричества, но и с качеством сигнала в электросети, поскольку содержат в своем составе ДГУ, кинетический модуль и синхронный генератор. Кроме того, их использование в крупном дата-центре позволяет упростить всю схему его электроснабжения, а это само по себе немало. В числе достоинств ДИБП PowerPRO указываются также надежность защиты всех типов критически-важных для заказчика нагрузок, высокая операционная эффективность, низкая стоимость владения. Эти системы не требуют частого обслуживания, в них реализована технология автоматической смазки подшипников, а ремонтировать их можно раз в 10 лет. Чтобы минимизировать количество случаев запуска и отключения дизель-генератора при кратковременных отключениях электропитания, есть возможность установить задержку старта дизеля на промежуток времени до 2 секунд. Это позволяет сэкономить и дизельное топливо и ресурс работы двигателя. Хотя все ДИБП имеют довольно внушительные размеры и вес, но среди систем разных производителей есть «монстры» более и менее компактные. В отношение ДРИБП серии PowerPRO можно говорить о некой компактности: система занимает площадь 14,2 кв. м, а весит 25 тонн (по сравнению с ближайшими конкурентами выигрыш по площади составляет 5-10%, а по массе - 1 тонну). Добавим еще, что в России первые системы ДРИБП Hitec оказались в 2010 г., и за это время их было поставлено 90 штук на 16 объектов, из них уже запущены в эксплуатацию 49 установок на 12 объектах, а остальные пока находятся в стадии монтажа или на этапе пусконаладочных работ. ДРИБП от Hitec уже работают в ЦОДах КРОКа, Яндекса, DataPro, Cloud DC, на очереди крупный дата-центр в Лыткарино и другие объекты.

 

В известном ЦОДе «Вымпелкома» в Ярославле ДРИБП нет, обошлись обычными ДГУ, но решение по организации электроснабжения там довольно интересное. Как рассказал старший инженер по работе с проектными организациями компании Schneider Electeric Павел Мурзакаев, концепция схемы электроснабжения этого ЦОДа, которая состоит из двух распределительных пунктов и шести трансформаторных подстанций возникла из географического расположения и архитектуры отдельно стоящего здания этого дата-центра. Электропитание ЦОДа осуществляется по четырем лучам от двух независимых источников, что позволило получить систему электроснабжения с резервированием 2N, минимизировав при этом количество кабелей и распределительных модулей. Наличие шести трансформаторных подстанций потребовало организации автоматизированной системы оперативно-диспетчерского управления электроснабжения. Она необходима и службе главного энергетика для управления выключателями трансформаторных подстанций, отображения текущего состояния электрической схемы, диагностики электрораспределительного оборудования, обработки и вывода на монитор диспетчера информации о событиях в электросети ЦОДа, и службе эксплуатации инженерных систем для управления электроснабжением оборудования конечных пользователей. В дата-центре «Вымпелкома» автоматизированы все распределительные пункты и подстанции, на которых установлены шкафы телемеханическими системами, где собираются данные о всех выключателях распределительных устройств, об энергопотреблении каждой единицы оборудования, о состоянии дверей шкафов, температуре и т. п. Из этих данных формируются отчеты, которые, по заявлению П. Мурзакаева, позволяют удаленно идентифицировать место аварии и даже устранить ее за считанные секунды. В этой автоматизированной системе управления используются компактные модульные распределительные устройства Premset от Schneider, которые производятся на заводе в Екатеринбурге, и интеллектуальные распределительные щиты Smart Panel, позволяющие получать информацию об энергопотреблении всего оборудования и управлять им через локальную Ethernet-сеть.

 

Ethernet-технологии используются и в СКС, объединяющих ИТ оборудование ЦОДа, причем скорости передачи данных, обеспечиваемые этими кабелями с каждым годом растут. Как рассказал технический директор Brand-Rex Тони Бен, еще в 2008 г. в дата-центрах присутствовали только кабели Gigabit Ethernet, а сейчас их доля не превышает половины, 40% приходится 10-гигабитные соединения, а 10% - на 40-гигабитные, в 2018 г. в ЦОДах появятся порты 50 Gigabit Ethernet, а в 2020 г. обычным явлением станут 100-гигабитные. В принципе скорости 100 Гбит/с в лабораторных условиях удалось добиться еще в 2015 г. с использованием 4 оптических волокон по 25 Гбит/с в каждом волокне. Сейчас это можно сделать на одном оптоволокне, но с использованием 4 разных длин волн, то есть эффективность СКС можно повысить в разы без больших затрат.

 

И огород в придачу

 

Идут по пути повышения эффективности и системы охлаждения для дата-центров. Так компания Climaveneta в 2016 г. выпустила новый модельный ряд модульных межстоечных охладителей Multidensity, которые допускают подключение к одному внешнему компрессорно-конденсаторному блоку (ККБ) до 10 таких охладителей, что позволяет сократить капитальные затраты на этапе запуска нового ЦОДа. Далеко не всегда дата-центр сразу работает на полную мощность, поэтому поначалу можно подключить к каждому ККБ по два или три охладителя, а через год-полтора с ростом загрузки ЦОДа увеличить их количество. Кроме того, недавно в каталоге компании появился новый чиллер TECS-FC с функцией фрикулинга с хладопроизводительностью в зависимости от модели от 200 до 1700 кВт. В нем компрессоры включаются при наружной температуре от -5 до +40 град С, то есть, зимой он работает в режиме фрикулинга. Примечательны и его скоростные характеристики: после отключения питания и перехода на аварийный источник электроснабжения компрессор перезапускается через 26 сек, а мощности 1 МВт машина достигает за 6,5 минут после старта, что позволяет использовать чиллер в высоконадежных ЦОДах. Ну а верхом эффективности представляется серия чилеров Climaveneta с производством горячей воды (50-60 град С) с новой системой рекуперации тепла Climaveneta Smart Thermal Energy Management, которая позволяет совместить систему холодоснабжения дата-центра с системой отопления здания. По подсчетам компании, при использовании такой системы дата-центр мощностью 1 МВт сможет отапливать до 60 тыс. кв. м жилых и офисных зданий или обогревать теплицы площадью до 1,5 га. И тогда коэффициент PUE, посчитанный в деньгах, опустится ниже единицы. В российских условиях это пока звучит как анекдот, но чем черт не шутит, может и у нас через некоторое время у каждого ЦОДа появится фермер-компаньон.