Вместе с заказчиком найти оптимальное техническое решение

Коммерческие дата-центры редко пускаются в эксперименты с технологическими новшествами при создании своих площадок. Но и из стандартных компонентов можно построить решение с почти рекордными характеристиками.

Из продукции компании Schneider Electric, которая участвует в проектах строительства дата-центров по всему миру, можно собрать примерно 70% инженерной инфраструктуры любого ЦОДа. Компания накопила большой опыт создания этих сложных инженерных объектов и при необходимости с удовольствием делится своим опытом с заказчиками. В России оборудование Schneider Electric установлено во многих ЦОДах, как коммерческих, так и корпоративных. Кроме того, компания имеет в России мощное техническое подразделение. В его составе работают, в частности, опытные инженеры-проектировщики, которые специализируются именно на технических решениях для ЦОДов. Среди них есть и проектировщики дата-центров, аккредитованные Uptime Institute (ATD, Accredited Tier Designer). Такие технические подразделения есть во многих странах присутствия Schneider Electric, и работающие в них инженеры образуют собственное глобальное онлайновое сообщество, в котором они обмениваются информацией о проектах и обсуждают новинки и интересные технические решения. То есть наши российские специалисты могут пользоваться всеми наработками компании и лучшими практиками создания ЦОДов в США, Европе, Южной Америке и Азии. Более того, у них всегда есть возможность поехать на место и своими глазами посмотреть, как эти новшества реализованы в железе, стекле, бетоне и пр. Причем поехать и посмотреть они могут не только сами, но и вместе с заказчиками.

В поисках новизны и надежности

Именно так случилось при запуске проекта строительства нового дата-центра компании DataLine, с которой мы сотрудничаем уже много лет. В ЦОДах DataLine установлены наши источники бесперебойного питания MGE Galaxy, стойки NetShelter, кондиционеры Uniflair, распределительные щиты Prisma, шинопроводы Canalis и другое оборудование. Но при создании дата-центра Nord-4 наше сотрудничество перешло в иную плоскость. До недавних пор компания DataLine строила относительно небольшие ЦОДы, и у нее сформировался некий корпоративный стандарт создания таких объектов. Однако новый дата-центр должен был стать существенно крупнее всех предыдущих – более 2000 стоек на площади около 12 тыс. кв. м, 20 МВА подведенной электрической мощности. Понятно, что вследствие эволюции технических решений для ЦОДов инженерные задачи для объектов сходных размеров, возводимых даже с разницей в один год, приходится пересматривать. Что уж тут говорить о ситуации, когда новый дата-центр по масштабам в разы превосходит предыдущие площадки! Вполне логично, что заказчик решил построить максимально эффективное и с технической, и с экономической точки зрения решение, использующее эффект масштаба нового ЦОДа. В разработке проекта этого решения и принимала участие компания Schneider Electric.

Особо нужно отметить, что заказчик по вполне понятным причинам не хотел рисковать при переходе на новую технологию: для коммерческого дата-центра очень важна имиджевая составляющая, а любой технический сбой и тем более остановка в предоставлении сервисов клиентам – это сильный удар по репутации с серьезными финансовыми последствиями. Поэтому все новшества, несмотря на свою новизну, должны быть надежными и проверенными.

Наши специалисты предложили заказчику несколько вариантов системы охлаждения, использующих стандартные чиллеры и внутренние блоки системы кондиционирования, но при этом обладающих достаточно высокой энергоэффективностью. Один из этих вариантов уже был реализован специалистами Schneider Electric в одном из коммерческих дата-центров в Нидерландах, который к тому времени успешно работал больше полугода. Если в традиционных системах охлаждения на основе чиллеров частичный коэффициент энергоэффективности PUE составляет порядка 1,3–1,35, то в «голландской» системе удалось добиться его снижения до 1,21. Именно это значение частичного коэффициента PUE было принято в качестве целевого для системы охлаждения в проекте ЦОДа DataLine Nord-4. При подведенной мощности 20 МВт разница в PUE даже в одну десятую дает серьезную экономию при эксплуатации.

Рост энергоэффективности в данном случае был достигнут за счет использования чиллерной системы охлаждения с фрикулингом на так называемой теплой воде (повышение температуры холодоносителя позволяет удлинить период фрикулинга). Эта система охлаждения имеет два контура. Во внешнем контуре температура холодоносителя, которым является этиленгликоль, составляет от 16 до 22°С. Во внутреннем контуре циркулирует теплая вода, имеющая температуру от 18 до 24°С. При этом в машинном зале температура должна поддерживаться на уровне 22–24°С. Эта система должна работать в режиме полного фрикулинга, когда на улице прохладнее +14°С, а в режиме частичного фрикулинга – при температурах от +14 до +20°С, что в условиях московского климата означает больше 90% времени в году.

Но теоретических выкладок, конечно же, было мало для принятия столь ответственного решения. Необходимо было удостовериться, что предлагаемая система действительно работает в заявленных режимах в функционирующем ЦОДе, получить практические характеристики ее работы, поговорить не только с проектировщиками, но и со специалистами, которые ее теперь эксплуатируют, и т.п. Поэтому вместе с заказчиком было принято решение о поездке в вышеупомянутый дата-центр в Нидерландах. Делегация состояла из технического эксперта Schneider Electric, который непосредственно строил эту голландскую систему, специалистов нашего технического подразделения и, конечно же, руководителей и инженеров компании DataLine. И наши проектировщики, и специалисты заказчика смогли лично осмотреть дата-центр и его систему охлаждения, выяснить все нюансы ее работы, оценить все плюсы и минусы. Именно этот визит позволил нам окончательно убедить заказчика в правильности выбора технического решения. Наша команда инженеров адаптировала это решение к российским стандартам и правилам, к нашим погодным условиям (ведь температурные режимы в Москве и в Нидерландах разные) и «вписала» его в площадку заказчика. Контракт также предусматривал подготовку проектной документации для прохождения сертификации Uptime Institute Tier III Design, и в итоге соответствующий сертификат был успешно получен.

Оптимизация инфраструктуры

Стоит также отметить, что при создании системы охлаждения в ЦОДе DataLine было реализовано еще одно интересное решение, которое до сих пор не имеет аналогов в России. Речь идет о построении специального технического этажа для части оборудования системы охлаждения. Чиллеры традиционно установлены на крыше, а все насосы, запорно-регулирующую арматуру, промежуточные теплообменники и трубную разводку двух контуров системы охлаждения (внешнего с этиленгликолем и внутреннего с водой) специалисты Schneider Electric предложили разместить на отдельном этаже над серверными залами. При этом внутренний контур соединяется с внутренними блоками системы охлаждения с помощью специальных стояков. Документация на здание была утверждена задолго до проектирования системы охлаждения, поэтому изначально в проекте дата-центра технологический этаж предусмотрен не был. Однако предложенное нами решение настолько понравилось заказчику, что проект решено было подкорректировать. Правда, пространство для маневра было весьма ограниченным. Проектировщикам пришлось бороться буквально за каждый сантиметр высоты технического этажа, ведь под ним располагаются залы с ИТ-оборудованием, которые тоже требуют высоких потолков. Для минимизации объема, занимаемого хладоцентрами, активно использовались не только оригинальные проектные решения по составу и геометрии их оборудования, но и технологии 3D-проектирования и моделирования, позволившие оптимизировать диаметр трубопроводов и топологию трубопроводной сети.

Зато новая конфигурация позволила упростить управление запорной арматурой, заметно разгрузить этажи с ИТ-оборудованием и серьезно снизить риск протечек в серверных залах. Конечно, на всех перекрытиях правильно построенных дата-центров всегда делается гидроизоляция, а серверные залы представляют собой пожарозащищенные и гидроизолированные комнаты для ИТ-оборудования, но дополнительный этаж в любом случае повышает уровень физической защиты ЦОДа от внешних воздействий.

Отдельную благодарность хотелось бы выразить специалистам компании DataLine, участвовавшим в этом проекте. В России редко можно найти инженеров такой высокой квалификации. Проектировщиков обычно упрекают в том, что они слабо представляют особенности эксплуатации проектируемых ими систем и вообще не задумываются об удобстве их эксплуатации. Это ни в коей мере не относится к инженерам нашего заказчика: они могут не только спроектировать разные инженерные системы дата-центра, но и знают, как происходят их монтаж, наладка и последующая эксплуатация. Поэтому объединенная команда специалистов Schneider Electric и DataLine, несмотря на ограниченный численный состав, смогла достаточно оперативно решить все технические проблемы.

Проект этот продолжает жить и развиваться: две очереди по два зала суммарной емкостью 1008 стоек уже запущены в эксплуатацию, и на подходе следующие две очереди.

Александр АНОСОВ, директор по работе с ключевыми заказчиками подразделения IT Division, Schneider Electric