 |
18 февраля 2025 года,
Алматы, The Rixos Hotel Almaty |
 |
18.12.2014 Автор: Василий КАЗАКОВ, Петр РОНЖИН  Казалось бы, коэффициент PUE прочно вошел в нашу жизнь. Что здесь может быть нового? Однако горячие обсуждения в кулуарах конференций и на специализированных форумах свидетельствуют о необходимости еще раз обратить внимание на тонкости вычисления этой универсальной метрики и методы получения корректных исходных данных для проектных расчетов. Как показала наша практика, нередко специалисты, работающие в отрасли не один год, имеют весьма приблизительное понятие о показателе использования энергии. В одних случаях PUE рассматривают исключительно в виде всем известной формулы, без учета того, как получаются подставляемые в нее величины, в других – глобальный коэффициент использования энергии подменяется частичным, смешиваются измеряемый и расчетный показатели и т.д. Поэтому – еще раз о PUE с самого начала. Простая формула? PUE – отличный показатель для оценки того, насколько эффективно используется в ЦОДе электроэнергия для работы ИТ-оборудования. Лучше всего его применять, рассматривая влияние различных конструктивных и эксплуатационных решений на соответствующем объекте в течение длительного времени. С момента появления PUE началось сравнение показателей разных центров обработки данных, встают вопросы, как интерпретировать отдельные результаты, как сравнивать разные результаты для одного и того же дата-центра и результаты для разных ЦОДов. Как оказалось, существуют разные способы вычисления PUE, в связи с чем возникла необходимость разработки методологии расчета показателя, которая обеспечивала бы повторяемость публично сообщаемых результатов. Разработчик методологии – организация Green Grid – опубликовала целый ряд документов по этим вопросам, лучшим из которых мы считаем PUE: A Comprehensive Examination of the Metric. Рассмотрим ставшую уже классической формулу для определения PUE. Показатель вычисляется как отношение энергопотребления всего объекта к энергопотреблению ИТ-оборудования: PUE = общее энергопотребление Полное энергопотребление ЦОДа определяется как энергия, переданная исключительно в центр обработки данных (например, измеряется на входном счетчике в ЦОДе или в серверной на многофункциональном объекте). Энергопотребление ИТ-оборудования определяется как энергия, потребляемая оборудованием, которое используется для управления, обработки, хранения или маршрутизации данных в рамках вычислительного пространства. То есть энергия, потребляемая ИТ-оборудованием, включает в себя энергию, которая затрачивается как на вычисления и хранение обрабатываемой ЦОДом информации, так и на работу сетевого и дополнительного оборудования (например, мониторов и рабочих станций/ноутбуков, используемых в дата-центре для контроля и управления). Соответственно, полное энергопотребление ЦОДа – это энергопотребление ИТ-оборудования плюс потребление всего того, что поддерживает его работу, а именно:
Следует обратить внимание, что если дата-центр расположен в офисном здании, то для получения корректной цифры его полного энергопотребления необходимо из полной энергии, используемой офисным зданием, вычесть ту часть энергии, которая используется за пределами ЦОДа. Энергопотребление ИТ-оборудования нужно измерять после всех преобразований питания и коммутации на объекте. Очевидно, что значения PUE могут варьироваться от 1,0 до бесконечности. В идеале PUE, приближающееся к 1, означает 100%-ную эффективность (т.е. вся энергия используется только на ИТ-оборудование). Три уровня измерений Подчеркнем, что Green Grid создала метрику PUE как показатель эффективности, вычисляемый по измеренным данным. Для получения PUE предусмотрен трехуровневый подход, который включает три уровня измерений: базовый, средний и расширенный. На базовом уровне ИТ-нагрузка измеряется на выходе ИБП. Энергопотребление ЦОДа в целом измеряется на входе питания всего электрического и механического оборудования. Измерения рекомендуется проводить как минимум раз в месяц. На среднем уровне ИТ-нагрузка измеряется на выходе блоков PDU. Энергопотребление ЦОДа в целом измеряется так же, как и на первом уровне. Измерения производятся один раз в день. На расширенном уровне ИТ-нагрузка измеряется в каждой отдельной части ИТ-оборудования – на PDU стоек или на уровне розетки или самого ИТ-устройства. Энергопотребление ЦОДа в целом измеряется так же, как и на первых двух уровнях. Измерения осуществляются каждые 15 минут или чаще. На базовом и среднем уровнях измерения рекомендуется проводить примерно в одно и то же время суток, когда нагрузка в дата-центре как можно лучше согласована с результатами предыдущих измерений. Рекомендуемый Green Grid подход для расчета PUE заключается в измерении фактического использования энергии для всего дата-центра и ИТ-оборудования. Это нетривиальная задача, особенно в действующих ЦОДах, которые не имеют адекватного инструментария для сбора данных. Для оценки ожидаемого PUE и рассмотрения альтернатив на этапах проектирования и планирования строительства будущих ЦОДов величины потребления энергии отдельными компонентами, необходимые для заполнения формулы вычисления PUE, можно получить, используя кривые эффективности и расчетные условия по нагрузке. Однако для действующих ЦОДов Green Grid такой подход применять не советует и настаивает на измерении фактического потребления энергии. PUE может испытывать часовые, дневные, недельные, месячные и сезонные колебания. Увеличение частоты измерений обеспечивает более объемный и точный набор данных для анализа. Чтобы по-настоящему понять и успешно управлять эффективностью дата-центра, нужен непрерывный мониторинг в режиме реального времени, который позволит определить тенденции и собрать статистику для анализа, за счет чего можно повысить эффективность. Преимуществом непрерывного мониторинга также является раннее выявление неожиданных изменений, которые могут указывать на наличие неполадок в системе. Измерения не должны проводиться, если в ЦОДе выполняется техническое обслуживание или имеются существенные эксплуатационные нарушения, которые могут оказать негативное влияние на энергопотребление и в конечном счете исказить величину PUE. При представлении значения PUE владельцам ЦОДов целесообразно использовать среднее значение этого показателя, полученное в течение одного года. Откуда энергия? Для вычисления суммарного потребления энергии дата-центром важно учитывать различия в источниках энергии. ЦОДы, которые покупают энергию в разных формах (например, электроэнергию, природный газ, холодную воду), должны правильно оценивать вклад каждой из них. Скажем, если один ЦОД приобретает охлажденную воду у местного коммунального предприятия, а другой, используя электричество, получает охлажденную воду на месте, нужно сравнивать потребление энергии в общих единицах. Поэтому для каждого вида топлива и источника энергии определен свой весовой коэффициент, умножив на который, можно получить значение, пригодное для корректного сравнения с потреблением электроэнергии (поскольку большинство ЦОДов работают преимущественно с этим источником энергии). Таким образом, взвешенная энергия для каждого типа энергии = ежегодное использование энергии × весовой коэффициент источника энергии. Весовой коэффициент источника энергии по своей сути является региональным фактором, так как зависит от преобладающего метода получения электроэнергии конкретной стране (регионе). Некоторые страны опубликовали значения этих коэффициентов пересчета (например, те, которые предусмотрены программой Energy Star Агентства по охране окружающей среды в США). Весовые коэффициенты источников энергии опубликовала и Green Grid (см. таблицу). Они могут быть использованы при сравнении PUE дата-центров в США, Японии или Европе. PUE будущего ЦОДа В последнее время перед проектировщиками достаточно часто ставится задача спроектировать ЦОД с показателем энергоэффективности не выше некоторого заданного значения. Также полезно уметь считать PUE для оценки совокупной стоимости владения (TCO) дата-центром, в котором могут быть применены разные технические решения и инженерное оборудование. Расчет PUE для различных моделей инженерной инфраструктуры ЦОДа позволяет на этапе эскизного проектирования выбрать оптимальную модель построения и эксплуатации дата-центра. Для корректного расчета PUE требуется собрать множество достоверных данных и правильно их использовать. Начинать надо с определения точного места расположения ЦОДа. Нельзя посчитать PUE дата-центра, просто сказав, что он будет находиться в России. Надо знать, где именно он будет расположен, чтобы определить экстремальные параметры наружного воздуха: температуру и относительную влажность. А лучше знать температуры сухого и мокрого термометров. Это сделать относительно легко, так как у нас существуют нормативные документы по климатологии. Кроме того, можно воспользоваться данными Американской ассоциации инженеров по отоплению, вентиляции и кондиционированию (ASHRAE). Опираясь на значения климатических экстремумов, характерных для данной местности, можно сделать предварительный выбор оборудования. Выбрав оборудование, необходимо определить схему резервирования и алгоритм включения резервных единиц. Например, если мы рассматриваем машинный зал с ИТ-оборудованием, для охлаждения которого необходимы 10 кондиционеров и предусматриваются два резервных, то возможны два варианта работы: либо в «горячем» резерве работают все 12 кондиционеров с производительностью 83% каждый, либо со 100%-ной производительностью работают 10 кондиционеров. Несмотря на то, что и в том, и в другом случае они в сумме будут отбирать от стоечного оборудования одно и то же количество тепла, потребляемая ими мощность будет различаться, и это скажется на расчетном показателе PUE. Чаще всего коэффициент PUE рассчитывается для ЦОДа, который загружен на 100%. На практике такой загрузки никогда не бывает, поэтому стоит определиться с более или менее реалистичным значением коэффициента загрузки ИТ-оборудования, характерным для данного типа дата-центра. Следует подчеркнуть, что выбрав, например, коэффициент загрузки, равный 0,8, не нужно заново подбирать оборудование, которое должно быть рассчитано на коэффициент 1,0, т. е. на 100%-ную нагрузку. Просто потребление всего оборудования должно рассчитываться с учетом коэффициента загрузки и схемы резервирования. Поясним на примере. Пусть 100%-ная нагрузка ИТ-оборудования, установленного в зале, составляет 910 кВт. Для отвода тепла используются работающие одновременно 10 рабочих и два резервных кондиционера, запитанных от чиллерной станции. Производительность каждого кондиционера по холоду составляет 83%, при этом каждый вентилятор кондиционера потребляет 2,82 кВт. Таким образом, потребление всех кондиционеров составляет 33,84 кВт. Если бы работали только 10 кондиционеров, но каждый на 100%, то каждый потреблял бы 3,9 кВт, а их суммарное потребление достигло бы 39 кВт. Теперь посчитаем потребляемую мощность при уровне загрузки ИТ-оборудования 80% при тех же 12 работающих кондиционерах. Тепловыделения в этом случае составляют 910 × 0,8 = 728 кВт. Требуемая холодопроизводительность каждого кондиционера составит 60,7 кВт (67%), потребляемая вентиляторами мощность – 1,65 кВт. Общая мощность, потребляемая кондиционерами, будет равна: 1,65 кВт × 12 = 19,8 кВт. Еще раз о климате Если с прецизионными кондиционерами, работающими на охлажденной воде, все понятно – потребляемая ими мощность зависит только от текущей нагрузки и схемы резервирования и практически не зависит от наружных условий, то с другими типами оборудования придется серьезно повозиться. Возьмем те же чиллеры, снабжающие холодоносителем прецизионные кондиционеры. Предположим, для того чтобы снизить общее энергопотребление системы холодоснабжения, мы используем одновременно два рабочих и один резервный чиллер с загрузкой каждого около 67%. При проведении технического обслуживания какого-либо из чиллеров в работе остаются две машины, но они уже должны работать на 100% производительности. Для вычисления энергопотребления этого оборудования помимо двух факторов – нагрузки и схемы резервирования – нужно учитывать третий – температуру наружного воздуха (на рисунке показана зависимость потребляемой чиллером мощности от температуры наружного воздуха на примере моноблочной машины со встроенной системой фрикулинга, работающей на частичной нагрузке). Такие графики надо построить по всем типам оборудования дата-центра. Вполне возможно, у других систем зависимости от температуры наружного воздуха будут менее выраженными, но их надо знать. Понятие климата не ограничивается только температурой, существенную роль играет относительная влажность воздуха. В течение года влажность постоянно меняется, что серьезно сказывается на потреблении энергии пароувлажнителями, системами адиабатического охлаждения/увлажнения, мокрыми градирнями и т.д. Поэтому для правильного расчета энергопотребления совершенно необходимо обладать достоверной информацией по климату в предполагаемом месте строительства ЦОДа. Эта информация должна включать распределение температур сухого и мокрого термометров по времени в течение года. Наилучшие результаты расчетов получаются при использовании статистических данных, собранных с точностью до одного градуса. Однако сложность заключается в том, что данные разных годов могут сильно отличаться друг от друга. И для того чтобы получить корректный результат, в соответствии с рекомендациями ASHRAE следует собрать данные за последние 20 лет и на их основании вывести климатические параметры некоего усредненного года. Это серьезная и кропотливая работа. Основная проблема – получение таких данных, поскольку цифры, приведенные в строительной климатологии и в справочниках ASHRAE, это не измеренные и собранные параметры, а результаты их последующей обработки (вторичная информация). Некоторые интернет-сервисы предоставляют более подробные, но также уже обработанные данные в формате количества часов в год стояния определенной температуры. Эта информация часто не совсем то, что требуется, т.е. может быть получен не средний год за 20 лет, а какой-либо определенный год или средний, например, за 10 лет. Для расчетов нужны температуры воздуха по сухому и по мокрому термометру, измеренные за последние 20 лет через короткий интервал времени (от одного до трех часов). Использование данных с большим интервалом измерений смазывает картину, так как в течение дня температура может резко колебаться и не будет достаточно точно характеризовать период времени, в течение которого она держится. Уменьшение интервала измерения температуры приведет к росту объема обрабатываемой информации, но сильного повышения точности вычисления PUE не даст, так как колебания температуры в течение часа в большинстве случаев минимальны. За статистикой обратиться можно в АНО «Московское метеобюро» или в «Всероссийский научно-исследовательский институт гидрометеорологической информации – мировой центр данных» (ВНИИГМИ – МЦД). Но по нашему опыту, с получением данных у российских гидрометеорологических служб есть определенные сложности. Тщательный поиск информации привел нас к Национальному управлению океанических и атмосферных исследований в структуре Министерства торговли США (National Oceanic and Atmospheric Administration, NOAA). Здесь можно получить данные в течение часа-двух, а служба поддержки работает оперативно. Однако информацию нельзя просто взять и вставить в таблицу для расчета PUE, ведь это просто показания термометров, причем за 20 лет их накапливается 58 440 (при интервале измерения 3 часа) или даже 175 320 (при интервале 1 час). Массив данных нужно обработать с помощью электронных таблиц, перевести температуры из градусов Фаренгейта в градусы Цельсия, отсеять ошибочные измерения, просуммировать измерения для каждого часа, привести к 365 дням в году (для високосных – 366 дням) и вычислить значения для среднего года. Далее уже можно переходить к формированию значений в таблице расчета PUE. Такая таблица состоит из четырех блоков:
Несмотря на простую формулу для расчета PUE, получение достоверного проектного значения показателя энергоэффективности – задача непростая и трудоемкая. Но проделав серьезную работу, проектировщики получат хороший инструмент оптимизации инженерных систем будущего ЦОДа. ИКС |
