Голубой ангел для дата-центра

Знак «Голубой ангел» получают ЦОДы, применяющие альтернативные энергоэффективные системы охлаждения, в первую очередь на основе использования грунтовых вод.

 

Мы постоянно говорим о том, как велика доля ЦОДов в общемировом потреблении электроэнергии, пытаемся всячески увеличить время фрикулинга, тешим себя надеждами на холодное лето или невероятную степень увлажнения воздуха при помощи адиабатики. И понимаем, что как бы ни был хорош фрикулинг, если мы хотим получить не более +24°C в холодном бассейне и при этом сертифицировать ЦОД по одной из категорий TIER, то с определенной температуры ЦОДу потребуется другой вид охлаждения. Традиционно с этой целью используется компрессорное охлаждение.

 

А дальше – необходимость резервной системы, обеспечивающей работу комплекса холодоснабжения даже в случае отключения электроэнергии. Однако ее стоимость в большинстве случаев значительно превышает стоимость самой системы охлаждения...

 

Благодаря пандемии и изменениям в общемировой культуре бизнеса инвесторы снова обратили на ЦОДы пристальное внимание. Но срок окупаемости такого инвестиционного объекта с классической системой холодоснабжения в местах с развитой инфраструктурой сегодня в лучшем случае составляет 10–15 лет, что превращает ЦОД в далеко не самый привлекательный инвестпроект.

 

 

Ситуация, казалось бы, безнадежная. Между тем удешевить ЦОД, значительно сократить сроки его окупаемости и при этом воспользоваться всеми преимуществами развитой инфраструктуры, которую предлагает цивилизация, можно. Решение лежит у нас буквально под ногами: грунт. На глубине 10–100 м его температура не меняется в течение года и составляет в зависимости от местности 8–12°C (по данным de.climate-data.org). Опыт показывает, что в течение года температура грунта может колебаться в пределах 2 К. Этот аспект обязательно нужно учитывать при проектировании системы.

 

Есть две технологии теплообмена с грунтами: отдача тепла непосредственно грунтовым водам и с использованием грунтовых теплообменников.

 

Первая технология позволяет напрямую отдавать тепло грунтовой воде без каких-либо промежуточных элементов. Возможность ее применения зависит от наличия грунтовых вод. При этом специальной водоподготовки грунтовая вода, как правило, не требует, только фильтрации. Важно, чтобы грунтовые воды находились на глубине не менее 5 м (иначе их температура будет сильно колебаться в зависимости от времени года) и не более 15 м, иначе задействовать их становится экономически невыгодно.

 

С экологической точки зрения использование грунтовых вод безвредно, поскольку вся забираемая из подземного потока вода возвращается обратно. Загрязнения грунтовых вод легко можно избежать с помощью системы фильтров. Если же грунтовая вода циркулирует во вторичном контуре, загрязнить ее практически невозможно. Незначительный нагрев грунтовой воды при небольшом ее количестве можно считать несущественным.

 

При использовании второй технологии, на основе грунтовых теплообменников, теплоноситель отдает тепло грунту через стенки помещенных в него труб. Эффективность данной системы сильно зависит от типа грунта и наличия грунтовых вод – она тем выше, чем лучше теплоотдача окружающего теплообменник грунта.

 

Решающее преимущество обеих технологий охлаждения – наиболее низкое по сравнению со всеми существующими системами охлаждения энергопотребление. Постоянная температура грунта, не зависящая от внешних условий, делает компрессорное охлаждение излишним.

 

Принцип действия системы на основе использования грунтовых вод очень прост. В машинном зале устанавливается система водо-воздушных теплообменников, которые и охлаждают воздух. Внутри этих теплообменников протекают грунтовые воды, нагнетаемые насосом из заборной скважины. Нагретая на 5–10°C за счет охлаждения воздуха вода сбрасывается затем в сливную скважину или водоем, расположенные на значительном расстоянии от места забора грунтовых вод, обязательно по направлению потока (рис. 1). 

 

 

Энергия в данном случае тратится в основном на работу насосов и вентиляторов в машзале. Значение PUE такой системы – как среднегодовое, так и пиковое – составляет 1,06–1,08, иными словами, на 100 кВт ИТ-нагрузки будет затрачено 106–108 кВт электроэнергии. Для сравнения: среднегодовой PUE самой современной и энергоэффективной системы механического компрессорного охлаждения в лучшем случае достигнет 1,2, а пиковый – 1,4 и выше. Однако компрессорное охлаждение подразумевает значительные инвестиции в создание инженерной инфраструктуры для обеспечения работы системы при пиковых температурах («летний максимум») и немалые расходы при эксплуатации на оплату счетов за электроэнергию.

 

Абсолютно все водо-воздушные теплообменники, используемые в системах охлаждения, пригодны для систем охлаждения на основе грунтовых вод. Это могут быть и любимые нами холодные стены, и прецизионные кондиционеры, и теплообменники системы вентиляции. При этом размещать теплообменники можно как под фальшполом, так и в стене либо на техническом этаже. Современные теплообменники для ЦОДов подходят для залов любой конфигурации и зачастую не требуют наличия фальшпола или фальшпотолка (рис. 2). Но это уже тема другой статьи. 

 

Теоретически возможно даже прямое охлаждение процессора грунтовыми водами, но практических реализаций таких проектов я пока не встречала.

 

Технология на основе грунтовых теплообменников (геотермальная) немногим отличается от технологии охлаждения с непосредственным использованием грунтовых вод: в этом случае вода системы охлаждения циркулирует по замкнутому контуру, не смешиваясь с грунтовыми водами. Часть трубопроводов/теплообменников находится в грунте или в потоке грунтовых вод, охлаждаясь ими через стенку. С экологической точки зрения этот вариант более «чистый», чем прямое использование грунтовых вод, поэтому не требует столь сложных и длительных согласований. С точки зрения теплообмена мы теряем на охлаждении таким способом 2–4 К, что при современных нормах ASHRAE некритично. Связанное с этим увеличение площади теплообмена внутренних теплообменников инвестиционные затраты повышает незначительно, а на операционных затратах практически не сказывается.

 

 

Мы подошли вплотную к одному из основных вопросов: во сколько обойдется такая система. Оценка стоимости проекта зависит от позиции эксперта («за» или «против» охлаждения грунтовыми водами). Для получения действительно объективной оценки нужно рассматривать не только системы отопления, вентиляции и кондиционирования, а все инженерные системы ЦОДа в совокупности. Позвольте воспользоваться собственным опытом и провести – надеюсь, объективное – сравнение. 

 

Итак, примем, что у нас система охлаждения из двух контуров: в наружном циркулируют грунтовые воды, во внутреннем – рабочая жидкость (тоже вода). Глубина скважин составляет 10 м. Резервирование – N + 1. Количество стоек – 200, средняя нагрузка на стойку – 10 кВт. Необходимо обеспечить климатические параметры в помещениях ЦОДа в соответствии с требованиями ASHRAE TC9.9, Thermal Guidelines for Data Processing Environments, 2011 для оборудования класса А1.

 

Инвестиционные затраты на комплекс инженерной инфраструктуры ЦОДа, охлаждаемого грунтовыми водами, в Германии составят в этом случае порядка 2,5–2,6 млн евро. В стоимость включены и скважины, и все инженерные системы. В качестве теплообменников в машинном зале используются холодные стены нашего производства.

 

Классическая инженерная инфраструктура ЦОДа без фрикулинга в той же Германии обойдется примерно в 5 млн евро. Как видите, «Голубой ангел» для ЦОДа позволяет сэкономить до 50% инвестиций.

 

К сожалению, в России охлаждаемых грунтовыми водами ЦОДов нет и провести корректный расчет инвестиционных затрат не представляется возможным.

 

Помимо существенно более низких CAPEX и OPEX у технологии есть и другие преимущества. К ним можно отнести:

• Простоту монтажа. Самое сложное – пробурить скважины. А дальше реализуется очень простая в монтаже и эксплуатации система.
• Питьевую воду высокого качества. Не секрет, что грунтовые воды чище и экологичнее тех, что вытекают из крана. Если вы бурите скважины, не поленитесь и пробурите еще одну для себя, со стороны забора грунтовых вод. Ведь что может быть лучше в жаркий рабочий день, чем глоток чистой холодной воды?
• Круглогодичный фрикулинг. Да, тот самый, к которому мы все стремимся. И никаких дополнительных сезонных затрат.
• Моновалентность системы. Больше не нужно перестраиваться с контура на контур, круглый год – одна, очень простая, система.
• Место. Система охлаждения на основе грунтовых вод и сопутствующие ей системы весьма компактны. И вы можете установить больше стоек в здании.

 

ЦОД Научно-исследовательского центра BMW Group в Мюнхене. Мюнхен и его окрестности обладают одними из самых богатых запасов грунтовых вод в Германии. Однако их использование в системах охлаждения ЦОДов началось лишь на рубеже нашего тысячелетия.

 

В 2001 г. руководители городской коммунальной компании Stadtwerke München и BMW Group договорились совместно разработать новый экологически безопасный способ охлаждения исследовательского центра BWM Group в Мюнхене в качестве альтернативы обычному компрессорному охлаждению. Таким способом стало охлаждение грунтовыми водами.

 

Грунтовые воды для охлаждения ЦОДа были взяты из водопропускных сооружений, обеспечивающих их отвод мимо линии мюнхенского метро. Первая стадия строительства была закончена в 2004 г. Для снятия 3,5 МВт тепла с 500 ИТ-стоек задействуются 600 куб. м/ч грунтовых вод (по данным Arnold M. Einsatz von Fernkälte aus Grundwasserüberleitungen für ein Rechenzentrum in München, 2006).

 

Вода забирается со стороны притока, затем по трубопроводу длиной 4,6 км достигает исследовательского центра BMW Group. Система охлаждения состоит из двух контуров. Протекающие по первому контуру грунтовые воды, температура которых составляет 12°C, отдают холод внутреннему контуру, нагреваясь до 17°C. После этого возвращаются в цикл подземных вод ниже по течению водоотвода.

 

Система охлаждения грунтовыми водами практически полностью исключает выбросы CO2 и, таким образом, вносит существенный вклад в защиту климата. Кроме того, на эксплуатацию этой системы BMW затрачивает на 90% (!) меньше электроэнергии, чем на традиционное компрессорное охлаждение. Оставшиеся 10% (0,06 кВт*ч) потребляют в основном насосы, перекачивающие грунтовые воды на значительное расстояние.

 

Система охлаждения работает полностью автоматически. Оснащенные частотниками насосы позволяют легко регулировать поток, что дополнительно экономит электроэнергию. По сравнению с компрессорным охлаждением система требует меньших затрат на обслуживание.

 

В 2006 г. Stadtwerke München и BMW Group получили за этот проект приз Баварского правительства «за инновационные достижения в области рационального использования энергии, возобновляемых источников энергии и новых энергетических технологий». Проект оказался настолько успешным, что сегодня Stadtwerke München посредством грунтовых вод охлаждает весь исторический центр Мюнхена. Мало кто из гостей баварской столицы знает, что под знаменитой площадью Карлсплац (Штахус), где летом мы любуемся великолепным фонтаном, а зимой традиционно заливается рождественский каток, находится огромное водохранилище, которое и снабжает холодом весь исторический центр.

 

ЦОД Bechtle GmbH в Золингене, Северный Рейн-Вестфалия. Не только ЦОДы с большой ИТ-нагрузкой выгодно охлаждать при помощи грунтовых вод. Хорошим примером может служить корпоративный ЦОД разработчика программного обеспечения Bechtle GmbH в Золингене. Состоящий всего лишь из шести стоек ЦОД, вернее, «домашняя» ИТ-лаборатория, используется для разработки и тестирования ПО. До 2007 г. серверная потребляла порядка 184 МВт*ч электроэнергии в год. С учетом стоимости электроэнергии в Германии история довольно дорогая.

 

Поэтому в августе 2007 г. было решено модернизировать систему охлаждения, внедрив геотермальную технологию. Одновременно к каждому серверу были добавлены водяные теплообменники (Sidecooler). Насосы с потреблением 500 кВт каждый должны были обеспечить приток грунтовой воды, способный снимать по 10 кВт со стойки. Для такой системы были пробурены три скважины глубиной 8 м каждая на расстоянии 6 м друг от друга. Температура воды в скважинах – +11°C. Расположенные по два на сервер теплообменники должны снабжаться водой с температурой не ниже +14°C. При более низкой температуре на поверхности cерверов начал бы образовываться конденсат. Температура +14°C на входе в теплообменник поддерживается при помощи «умного» регулирования. В отличие от прямого охлаждения грунтовыми водами геотермальная технология не требует специальных разрешений, что позволило запустить новую систему охлаждения уже в 2008 г. И за первый же год эксплуатации потребление энергии сократилось до 72 МВт*ч, т.е. почти втрое. PUE удалось снизить с 1,47 до 1,17. 

 

Опыт Bechtle GmbH показал, что охлаждение с помощью грунтов выгодно применять даже на объектах с незначительной ИТ-нагрузкой и малым количеством стоек. 

 

Но не все ЦОДы с системами охлаждения грунтовыми водами автоматически успешны. Таких ЦОДов в Германии более ста, но среди них есть несколько неудачных, не оправдавших возлагавшихся на них надежд, слишком дорогих, но не слишком энергоэффективных. Как и любая другая система, система охлаждения грунтовыми водами требует умного и рационального подхода.

 

 

Применение этой в большинстве случаев замечательной и недорогой (мы говорим о правильно спроектированной схеме) системы охлаждения зависит, к сожалению, от ряда внешних факторов. Вы можете получить превосходный результат, но до этого нужно все тщательно спланировать и взвесить.

 

Прежде всего необходимо проверить геологические условия на площадке: подземные воды должны находиться на экономически достижимой глубине, в достаточном количестве, с нужной температурой и подземная река должна течь с достаточной скоростью. В качестве первичного ориентира для выбора участка можно принять высоту над уровнем моря и наличие водоемов и/или ручьев и рек в непосредственной близости от участка. 

 

Для того чтобы нагретая вода, возвращаемая в поток, не попадала в систему охлаждения ЦОДа, расстояние между заборной и сливной скважинами должно быть достаточно велико. Иными словами, участок, выбранный под застройку, должен иметь достаточную для реализации этой схемы длину.

 

Власти, со своей стороны, устанавливают дополнительные рамочные условия: концепция водопользования, которая может различаться в зависимости от штата или муниципалитета, должна разрешать применение подземных вод для охлаждения ЦОДа. Такого рода проекты сильно зависят от соседей – существующие уже виды использования или планирование не должны быть затронуты и каким-либо образом ущемлены. Кроме того, процедуры подачи и утверждения заявок для ЦОДа с охлаждением грунтовыми водами значительно более длительны и сложны, чем для обычного ЦОДа. Несмотря на то что в Мюнхене и окрестностях, например, сегодня грунтовыми водами охлаждаются уже более 20 объектов, получение разрешения от местных властей затягивается, как правило, на несколько лет. 

 

Еще один нюанс, который необходимо учитывать, связан с физическими свойствами воды. Как только температура опускается ниже нуля, она замерзает. Это обязательно нужно помнить при проектировании системы, особенно тех ее частей, которые находятся на поверхности или близко к ней. И в любом случае в холодное время года должна быть обеспечена постоянная циркуляция воды.

 

 

И все-таки приложить усилия к разработке решения стоит: скважинная система ЦОДа, охлаждаемого при помощи грунтовых вод, может эксплуатироваться без замены и/или капитального ремонта 30–40 лет, а компрессорная – только около 10 лет. При таком длительном сроке эксплуатации инвестиции в систему охлаждения ЦОДа на основе грунтовых вод становятся еще привлекательнее. Затраты на системы аварийного электроснабжения правильно спроектированного ЦОДа с системой охлаждения грунтовыми водами также до неприличия малы. 

 

Низкие CAPEX и OPEX дадут вам существенное конкурентное преимущество. Вы можете «убить» конкурентов нереально низкими ценами на ваши услуги, вытеснив их с рынка. А можете просто очень хорошо зарабатывать.