ЦОД от концепции до модернизации

Взросление отрасли отразилось и в характере контента ее основного форума, организованной «ИКС-Медиа» конференции «ЦОД», прошедшей в этом году уже в 16-й раз. Если в предшествующие годы большую часть выступлений составляли продуктовые доклады вендоров, то в нынешнем году фокус сместился на обсуждение актуальных проблем отрасли и обмен опытом и наилучшими практиками для всех этапов жизненного цикла дата-центра – от идеи и концепции до эксплуатации и модернизации. Это стало наиболее ценной составляющей форума. 

 

 

ЦОД, как и положено любому серьезному проекту, начинается с идеи. Ее слагаемые, как считает Евгений Колосков, технический директор компании «Свободные Технологии Инжиниринг», – это целевые показатели: количество ИТ-стоек, средняя мощность одной стойки, резерв мощности, требования к доступности и отказо­устойчивости (например, соответствие уровню Tier II, III, IV или что-либо иное), а также бюджет проекта. Кроме того, желательно уже на этом этапе определить целевые уровни энергоэффективности (PUE) и экологичности (LEED, BREAM) будущего объекта, его внешний облик и учесть особые требования со стороны информационных систем.

 

Переходя к этапу концепции, выбирают площадку и привязывают идею к ее особенностям. Затем вырабатывают архитектурно-планировочные решения, принципиальные схемы инженерных систем, проводят укрупненную оценку бюджета проекта, эксплуатационных затрат, формируют финансовую модель, график реализации проекта и как итог – техническое задание.

 

При разработке концепции важно учесть все ограничения площадки. «Площадка может выглядеть привлекательно – чистое поле с минимумом ограничений, но все равно надо провести максимально полный аудит», – рекомендует Е. Колосков. Необходимо учесть вид разрешенного использования (ВРИ может не включать строительство ЦОДа, а на его изменение требуется время); доступность нужных ЦОДу ресурсов (электричества, воды и т.д.); наличие неудобных соседей (опасных производств, жилых объектов и т.п.). Даже если на момент выбора площадки таковые отсутствуют, лучше проверить, не планируется ли их строительство в будущем.

 

Обязательно нужно проанализировать геоподоснову. «Важно выяснить, что находится в земле, какие сети проложены на данной территории. Нередко переносить такие сети сложно или дорого, – делится опытом эксперт компании «Свободные Технологии Инжиниринг». – Могут также возникнуть ограничения, связанные с объектами культурного наследия, социально-защитными и экологическими нормами».

 

Именно на этапе концепции следует рассмотреть все возможные варианты и пожелания заказчика в плане выбора технологий и построения инженерных систем. «Если заказчик хочет попробовать ту или иную технологию, то изучить ее применимость надо именно на данном этапе, – советует Е. Колосков. – Пройдя этап концепции, возвращаться к пересмотру каких-либо решений весьма накладно. “Убегут” сроки реализации, или вы потеряете деньги».

 

«Лучше избегать уникальных решений – имеются в виду не различные уникальные схемы (они могут быть эффективными), а применение в этих схемных решениях компонентов, которые невозможно заменить другими, – продолжает он. – Уникальные решения от одного производителя могут завести проект в узкое горлышко: если впоследствии этот производитель, например, перестанет поставлять продукты на рынок, вы будете вынуждены пересматривать концепцию».

 

Неприятие безальтернативности – похоже, главный принцип компании «Свободные Технологии Инжиниринг». Ее генеральный директор Евгений Вирцер считает, что этим принципом надо руководствоваться на всех этапах создания ЦОДа, причем в отношении выбора как поставщиков, так и подрядчиков. «Мы как-то попали в ситуацию, когда в проекте был безальтернативный исполнитель. В один прекрасный момент у него начались серьезные проблемы из-за других объектов, а мы остались связанными по рукам и ногам. Никакой замены подобрать не могли. Сроки строительства сдвинулись на два месяца. Если бы могли заменить поставщика или подрядчика, задержка была бы всего на неделю», – рассказывает он.

 

 

Этап концептуального проектирования Е. Колосков сравнивает с движением по извилистой дороге со множеством развилок, на которой ищешь правильный путь, то сворачивая, то возвращаясь обратно. А вот последующая разработка проектной документации – это, по его мнению, прямолинейное движение с выверенной скоростью, поскольку процедуры на этом этапе сильно формализованы. Регламентированы и процедуры ее сдачи в органы экспертизы. Если проектировщики хорошо знают нормы и правила, то данный этап можно пройти достаточно быстро и безболезненно.

 

Но и при проектировании есть ряд важных моментов, которым надо уделить внимание. Один из них – использование систем класса BIM, которые считают обязательными подавляющее большинство экспертов.

 

«ЦОДы – огромные объекты, но на практике места всегда не хватает. Когда мы использовали 2D-проектирование с типовыми строительными допусками, постоянно возникали нестыковки. Поняли, что надо с 2D переходить на проектирование в 3D. Сейчас модели оборудования закладываем в BIM и вписываем их в здание с точностью до миллиметра, – рассказывает Алексей Солдатов, генеральный директор компании DataPro. – Без BIM-проектирования сегодня сложно построить что-либо высокоплотное и насыщенное инженерными системами, когда требуются минимальные допуски».

 

Следует также учесть, что трехмерные изображения хорошо понимают даже строители не самой высокой квалификации. А вот в 2D-чертежах порой сложно разобраться, их надо уметь читать.

 

Само проектирование в BIM может оказаться дороже (по оценке А. Солдатова, примерно в полтора раза), но поскольку стоимость проектирования составляет около 1–2% стоимости ЦОДа, точность и удобство работы с лихвой компенсируют эти дополнительные расходы. А в целом, как утверждает Е. Вирцер, проектирование в BIM обходится даже дешевле – с учетом расходов на переделки, которые постоянно возникают в 2D-проектах. На счету компании «Свободные Технологии Инжиниринг» уже десятки проектов, сделанных с использованием BIM. DataPro четыре своих ЦОДа также проектировала с помощью этой технологии.

 

Следующий этап – подготовка рабочей документации. На этом этапе проектные документы детализируются до уровня рабочих чертежей, которые используются при строительстве. Рабочую документацию также целесообразно готовить в системе BIM.

Как правило, описываемые этапы накладываются друг на друга. «Надо быть готовым к тому, что стройка начнется еще во время подготовки проектной документации, – говорит Е. Колосков. – В идеале проектный офис должен находиться на объекте, постоянно взаимодействовать с генподрядчиком, заказчиком и строителями. Если рабочая документация выполнена правильно, генподрядчик выбран профессиональный, то задача построить объект в срок, с должным качеством и уложиться в бюджет вполне решаема».

 

При выборе наилучшей практики для использования в ходе строительства опять встают вопросы, связанные с BIM. «Зачастую BIM “умирает” на этапе проектирования – дальше строители работают с бумагой или электронными документами в формате pdf, – рассказывает Е. Колосков. – Но есть много инструментов, которые позволяют эффективно сопровождать строительство с помощью BIM, создавать облачную среду, в которой можно вносить изменения в документацию, поддерживать ее в актуальном состоянии». 

 

Производители оборудования также активно используют преимущества BIM. Так, компания SME предлагает на базе BIM моделировать выпускаемые ею модульные ЦОДы FlexSize. С помощью этого инструментария заказчик может внести необходимые изменения, например, переставить блоки бесперебойного питания в другое место ЦОДа и т.д. Затем модульный ЦОД изготавливается по получившейся BIM-модели.

 

 

«Чем раньше служба эксплуатации включится в работу над проектом, в идеале – с этапа концепции, тем лучше, – считает Е. Колосков. – Участие специалистов по эксплуатации в принятии проектных решений, согласовании изменений помогает не только быстро ввести объект в строй, но и качественно его эксплуатировать».

 

Цифровизация и использование современных систем мониторинга радикально меняют подходы к эксплуатации инфраструктуры ЦОДов. «Если раньше ремонт проводили, когда что-нибудь ломалось, то сейчас благодаря внедрению систем мониторинга можно делать это по состоянию оборудования, не доводя до крупных поломок, стоимость устранения которых существенно выше, – рассказывает Юлия Балицкая, директор по операционному маркетингу сервисных услуг компании Schneider Electric. – То же самое с техническим обслуживанием. Можно перейти от регламентного обслуживания к обслуживанию предиктивному. Это позволяет уменьшить объем ТО, сократить расходы». Можно увеличить период между ТО, если системы находятся в хорошем состоянии. Например, заменять АКБ на основе оценки их состояния и расчета остаточного ресурса.

 

Примером современных цифровых систем, помогающих эксплуатировать ЦОДы, может служить семейство облачных платформ предиктивной аналитики Adviser. Эти системы содержат цифровые модели инженерных систем как самой Schneider Electric, так и других производителей. Собираемые с реальных систем данные анализируются на основе алгоритмов искусственного интеллекта и мнений экспертов, которые подключаются к принятию решений. (Пока общий объем накопленных данных недостаточно велик, поэтому эксперты необходимы.) На выходе – отчеты о состоянии систем, их эффективности, рекомендации о необходимости тех или иных действий и т.д.

 

«Цифровые инструменты и сервисы позволяют снизить стоимость обслуживания, – утверждает Ю. Балицкая. – Так, в новых ЦОДах мощ­ностью от 100 кВА стоимость ТО будет составлять 3–5% стоимости оборудования. Это гораздо меньше, чем несколько лет назад».

 

Одна из болевых точек процесса эксплуатации ЦОДов – кадровый вопрос. «За 30 лет работы мы реализовали сотни проектов, в том числе на удаленных объектах, – рассказывает Ирина Арепина, заместитель генерального директора компании Hosser Telecom Solutions (HTS). – И постоянно сталкиваемся с тем, что инженеры в удаленных точках не готовы работать со сложным оборудованием. Кондиционеры либо совсем не обслуживают, либо просто протирают тряпочкой». Понятно, что без должного сервисного обслуживания надежность работы оборудования резко снижается, а в случае поломки завод может отказать в гарантийном ремонте.

 

Чтобы повысить квалификацию сервисных инженеров, HTS предложила виртуальный тренажер SmartService для задач техобслуживания инженерного оборудования ЦОДов (рис. 1). «Пилотов ведь никто не допускает за штурвал, пока они не научатся управлять самолетом на тренажере», – замечает И. Арепина. Система основана на использовании шлема виртуальной реальности и позволяет инженерам отработать все действия как при штатном сервисном обслуживании, так и в нештатных ситуациях. Первый опыт применения этого решения оказался позитивным.

 

 

 

Принцип учета состояния оборудования подходит и для модернизации ЦОДов. Современные системы мониторинга и анализа собираемых данных позволяют спрогнозировать необходимость модернизации в зависимости от состояния систем, а также приоритизировать процедуру модернизации, определив, что нужно менять в первую очередь.

 

Интересный проект модернизации системы бесперебойного питания представила ГК «Темпесто». В 2019 г. для провайдера «АКАДО Телеком» ее специалисты заменили 15 ИБП (общей мощностью 3 МВт) в работающем ЦОДе без отключения нагрузки. Столь важная операция требовала серьезной подготовки. Как рассказал Леонид Гаврилов, основатель и основной бенефициар ГК «Темпесто», действия были расписаны посекундно, а ДГУ включали максимум на 30 мин при проведении критических переключений. После такой замены (были установлены устройства DPH 500 кВА производства Delta) площадь, занимаемая ИБП, уменьшилась на 60%. Вслед за этим подобные проекты «Темпесто» выполнила еще на двух объектах, а сейчас меняет ИБП в одном из московских ЦОДов.

 

 

Несмотря на разработку новых технологических и организационных подходов, позволяющих сократить сроки реализации проектов ЦОДов, пока на ввод в строй объектов емкостью от 1 тыс. стоек уходит полтора-два года. Новые игроки, выходящие на рынок, полны оптимизма сократить эти сроки до года. Именно такую цель – построить мегаЦОД за один год – преследует компания DC development, входящая в «ПНК Груп». Этот крупный девелопер индустриальной недвижимости ввел в строй уже более 5 млн кв. м различных промышленных объектов.

 

Опыт и наработки девелопера должны помочь «ПНК Груп» ускорить процессы строительства (рис. 2). «Обычно поиск участка для ЦОДа – один из самых сложных этапов, который занимает шесть месяцев и более, – рассказывает Александр Прибытков, управляющий директор DC development. – У нас ситуация другая: даже если мы не владеем участком, то у нас на примете много других участков, которые можно оперативно приобрести». На получение всей разрешительной документации уходит от четырех до шести месяцев. Как только она получена, «ПНК Груп» начинает изготовление на своих заводах (их у нее пять) конструктивных элементов для здания. Сборка конструктива объекта площадью 10–20 тыс. кв. м занимает 2–2,5 месяца. «Поскольку строим много, мы постоянно размещаем заказы на большой объем инженерного оборудования. Поэтому, когда приступаем к монтажу оборудования, оно уже все консолидировано на складе. Сейчас это особенно важно, поскольку некоторые заказы, например, на ДГУ, могут доставляться до девяти месяцев», – поясняет А. Прибытков.

 

Первым объектом, на котором DC development обкатывает свой подход, станет ЦОД DC One в Медведково. Это семиэтажное здание вместимостью до 4 тыс. коммерческих стоек и общей площадью более 24 тыс. кв. м. Проектная мощность – 36 МВт. Решения применяются классические (чиллерная система охлаждения), но эффективные, что должно помочь обеспечить PUE на уровне 1,2. В состав комплекса входят как технологическая зона, так и офисная часть. DC development серьезно подходит не только к технологии создания ЦОДа, но и к презентабельности своих объектов. Как сообщил А. Прибытков, над дизайном здания работало европейское бюро (рис. 3).

 

Второй объект – DC Two – готовое мультифункциональное (логистическое) здание, которое адаптируется для ЦОДа. Его емкость 8,5 тыс. стоек: 4 тыс. стоек – второй этаж, 4,5 тыс. – первый. Развитие планируется в течение трех лет. 

 

 

Интересную идею о том, как система электропитания ЦОДа позволит его владельцу заработать, выдвинул Олег Иванов, руководитель инженерно-технического отдела компании Eaton. По его данным, сейчас ЦОДы используют 1–2% общемирового количества генерируемого электричества, но к 2030 г. этот показатель может увеличиться до 10%.

 

ЦОДы становятся все более заметными участниками электроэнергетического рынка. Вместе с тем, как показывает опыт Европы, стабильность работы электросетей из-за активного внедрения систем альтернативной энергетики снижается. ЦОДы, являясь энергоемкими объектами, могут помочь эту стабильность повысить, поскольку их огромная запроектированная мощность обычно потребляется не полностью. «Энергия, накопленная в АКБ, может отдаваться не только в нагрузку, но и в сеть, стабилизуя отклонения частоты», – считает эксперт Eaton. При этом гибкое управление потоками электроэнергии позволяет всегда использовать полную мощность системы ИБП с учетом резервирования – и для обеспечения работы критической нагрузки, и для поддержки энергораспределительной сети (рис. 4).

 

Это не умозрительная идея. Необходимая для ее претворения в жизнь технология Energy­Aware уже реализована в ИБП Eaton (Eaton 93PM, Power Xpert 9395P). Более того, она используется в штаб-квартире Eaton в Ирландии, а также в ряде ЦОДов в Финляндии, Швеции и Норвегии. В США совместно с Microsoft проводится пилотное тестирование. АКБ в такую систему могут устанавливаться как свинцово-кислотные, так и литий-ионные.

 

«Раньше электроэнергия была товаром и считалась потребленной сразу после поставки – продали и забыли. Сегодня возможности хранения и использования электроэнергии между максимумами потребления превращают ее в актив. Хранилища электроэнергии помогают системе быть более гибкой, – рассуждает О. Иванов. – В будущем энергосистемы зданий и ЦОДов, быстро отвечающие на инциденты в распределительной сети, будут служить активами для внедрения технологий генерации возо­б­новляемой энергии».

 

Идею использования энергетических систем ЦОДов для внешних электросетей развивает Евгений Чурдалёв, старший менеджер по продажам газопоршневых двигателей компании INNIO Jenbacher. При многочисленных преимуществах систем генерации на базе таких двигателей – высокой надежности, сниженных выбросах, низкой себестоимости вырабатываемой энергии – стоят они дороже традиционных ДГУ. Поэтому, считает эксперт INNIO Jenbacher, держать их только в качестве резервных генераторов для дата-центра невыгодно. Один из вариантов – задействовать в качестве основного источника энергии ЦОДа, другой – в качестве резервного, но при этом включать в периоды пиковых нагрузок (два раза в будний день примерно по часу) для подачи электричества во внешнюю сеть. 

 

Как утверждает Е. Чурдалёв, российское правовое поле позволяет станциям с установленной мощностью до 25 МВт работать в полупиковом режиме на розничном рынке электроэнергии. Такой режим уже используют более десятка заказчиков INNIO Jenbacher. По оценкам, которые приводит Е. Чурдалёв, станция мощностью 10 МВт будет приносить ЦОДу ежегодный доход не менее 140 млн руб.

 

Главная особенность систем INNIO Jenbacher, позволяющая эффективно использовать их в подобных сценариях, – высокая скорость запуска в работу (до 45 с). Естественно, что приоритет такой системы в ЦОДе – это надежное электропитание критической нагрузки объекта. Дополнительным преимуществом является возможность оснащения станций абсорбционными чиллерами, которые за счет сбрасываемого тепла будут генерировать необходимый ЦОДам холод (рис. 5).

 

Понятно, что в России использование обратной генерации ставит ряд нормативных вопросов. Кроме того, далеко не все владельцы ЦОДов согласятся на то, чтобы ресурсы их энергосистемы задействовались для внешних потребителей. Но в целом идеи, предложенные Eaton и INNIO Jenbacher, достойны внимания и детального изучения.

 

Подробнее о новинках, представленных на форуме «ЦОД», рассказывается в материалах «Курс на комплексные решения»  и «В центре внимания – охлаждение» .