 |
18 февраля 2025 года,
Алматы, The Rixos Hotel Almaty |
 |
22.03.2019 Электроснабжение остается самой дорогостоящей и одновременно самой уязвимой составляющей современных ЦОДов.
Поэтому тенденции и новинки в данной области по-прежнему в фокусе внимания профессионалов, занимающихся выбором, инсталляцией и эксплуатацией систем бесперебойного гарантированного электропитания.
Совершенствование систем электропитания, ключевой составляющей инженерной инфраструктуры ЦОДов, определяется тенденциями развития таких объектов в целом: децентрализацией вычислительных мощностей (Edge Computing), сокращением времени развертывания, что стимулирует интерес к модульным и контейнерным решениям, и повышением энергоэффективности.
С переходом концепции Edge Computing в практическую плоскость мир ЦОДов становится все более разнообразным. Надежные системы бесперебойного питания нужны не только мегаваттным площадкам, но и небольшим дата-центрам мощностью 50--100 кВт, а в некоторых случаях и менее мощным. «Процессы централизации и децентрализации вычислительных мощностей диктуют свои требования к уровням надежности, резервирования и времени автономной работы систем электропитания дата-центров», – поясняет Алексей Соловьев, технический директор подразделения Secure Power компании Schneider Electric.
Заказчиков все больше интересуют контейнерные и модульные дата-центры. «Создание инфраструктуры таких ЦОДов, в том числе системы электропитания, -- сложная техническая задача, решение которой требует надежных и компактных элементов, способных работать в широких диапазонах температуры и влажности окружающей среды», – отмечает Михаил Саликов, директор по продажам подразделения «Сегменты» компании Eaton.
В числе основных тенденций в области электропитания ЦОДов Максим Орехов, технический эксперт компании Vertiv, видит постоянную борьбу за повышение энергоэффективности и плотности мощности на единицу площади. Также наблюдается тренд к увеличению блочности и модульности конструкции силового оборудования, что позволяет оптимизировать стоимость производства. Унификация функциональных блоков дает возможность сократить номенклатуру ЗИП на площадке заказчика.
Хотя поставщики активно внедряют энергосберегающие технологии, а при перечислении конкурентных преимуществ своих решений высокий КПД ставят чуть ли не на первое место, для заказчиков энергоэффективность далеко не всегда приоритет номер один. «В российской практике дешевая электроэнергия и дорогие “длинные” деньги не способствуют спросу на современные энергосберегающие технологии», – с сожалением констатирует Bладислав Ротань, менеджер по развитию бизнеса в России и СНГ компании Piller Power Systems. Этими обстоятельствами он объясняет определенные сложности в продвижении динамических ИБП, которые при операционных преимуществах имеют высокий CAPEX.
Вместе с тем все больше заказчиков заинтересованы в контроле энергопотребления для снижения риска аварий в ЦОДах из-за перегрузки. По словам Анатолия Маслова, технического консультанта Tripp Lite, риски аварий повышает, в частности, работа вредоносных хакерских программ для несанкционированного майнинга, приводящего к неконтролируемому «поеданию» ресурсов ЦОДов, в том числе энергетических.
Сегодня идет волна модернизации крупных ЦОДов, созданных во время первого строительного бума таких объектов в 2008--2010 гг. В процессе модернизации важно провести оптимизацию системы электропитания, напоминает М. Саликов. Согласно данным Uptime Institute, оптимизация электротехнического оборудования позволит сэкономить 10--50% электроэнергии, потребляемой дата-центром.
Модернизация ЦОДов, построенных более 10 лет назад, а также потребность современной (цифровой) экономики в новых дата-центрах повышают спрос на системы бесперебойного электропитания, в первую очередь трехфазные ИБП с двойным преобразованием энергии. Причем, как прогнозирует Владислав Солоцкий, руководитель направления по работе с ключевыми клиентами компании Delta Electronics, спрос будет увеличиваться не только на технические решения, но и на услуги. «Заказчикам нужны уже не просто “коробки” или услуги по пусконаладке. Для увеличения энергоэффективности им требуются комплексные аппаратно-программные решения, способные управлять всей инженерной инфраструктурой объекта. Большим спросом будут пользоваться услуги аудита и консалтинга, в рамках которых вендор предлагает клиенту не только продукты, но и свою экспертизу для модернизации существующей инфраструктуры или создания новой», -- считает эксперт.
В. Солоцкий также полагает, что оплата ресурсов на основе их фактического потребления начнет вытеснять традиционные подходы по мере совершенствования моделей предоставления ресурсов в качестве сервиса. Отмечает он и удешевление обсуждаемых решений. «В основном цены снижаются за счет отказа от избыточной функциональности -- экономить на качестве опасно, -- поясняет эксперт. -- Пока эта тенденция только укрепляется: в прошлом году ведущие бренды предлагали среднебюджетные модели в сегменте однофазных ИБП, а сейчас уже дошли и до относительно недорогих трехфазных устройств».
Еще одна тенденция развитых рынков ЦОДов, к которым в полной мере можно отнести и российский, – стремление к снижению эксплуатационных расходов. «В условиях увеличения предложения и удешевления оборудования растет доля расходов на эксплуатацию. Для уменьшения стоимости владения ЦОДом большое значение имеют высокая эффективность, простота обслуживания и меньшая стоимость комплектующих», – отмечает Алексей Морозов, руководитель направления «Маркетинг» российского производителя «Парус электро».
Литий-ионная революция
Поставщики и потребители активно ищут новые технологии для создания резервных средств электропитания взамен свинцово-кислотных аккумуляторных батарей (АКБ), которые имеют много недостатков. Одним из наиболее востребованных решений обещают стать литий-ионные аккумуляторы. Производители этих изделий смогли обеспечить их безопасность и существенно снизить себестоимость, что открыло им двери на рынок систем ИБП. Преимущества литий-ионных аккумуляторов хорошо известны: они легче и компактнее традиционных свинцово-кислотных АКБ, имеют большую энергоемкость и в два-три раза больший ресурс службы, устойчивы к работе при повышенных температурах.
Использование систем на основе литий-ионных АКБ целесообразно, если в расчет берутся не только первоначальные расходы на систему электропитания, но и затраты за весь срок эксплуатации ЦОДа – 10 лет и более. Причем, как указывает А. Соловьев, появление больших трехфазных ИБП с такими аккумуляторами сняло ряд ограничений и существенно повысило привлекательность и окупаемость систем на основе статических ИБП. Но если главным аргументом является размер начальных вложений, то ИБП со свинцово-кислотными АКБ пока остаются выгоднее.
«По цене системы на основе литий-ионных АКБ стали доступнее, чем год или полтора назад, но порог еще не преодолен, – считает Алексей Лобов, директор по развитию направления трехфазных ИБП CyberPower. – Поэтому заказчику по-прежнему нужны какие-то дополнительные аргументы, чтобы эту цену обосновать». По его опыту, такие аргументы обычно находятся сами собой – это могут быть ограничения на площадь или вес установки, а с ростом цен на электричество повышается значимость таких показателей, как скорость зарядки и показатели саморазряда.
Для ЦОДов чрезвычайно важна эффективность использования помещений. Поэтому компактность литий-ионных аккумуляторов – серьезный стимул к их внедрению. По данным, которые приводит В. Солоцкий, такие батареи позволяют сократить занимаемую системой бесперебойного электроснабжения площадь на 50--80%. По его оценкам, благодаря литий-ионным АКБ совокупная стоимость владения за 10 лет (средний срок службы ИБП для ЦОДа) снижается на 39%. «Это оптимистичная оценка, но минимум 10% экономии получить можно в любом случае», -- указывает эксперт Delta Electronics.
ИБП Vertiv с литий-ионными аккумуляторами были недавно установлены в одном из крупнейших российских коммерческих ЦОДов IXcellerate. «Наиболее важными для IXcellerate достоинствами литий-ионных АКБ оказались компактность и соответствующая экономия пространства. Также в пользу выбора литиевых батарей сыграли их более длительный срок эксплуатации, широкий диапазон рабочих температур и сокращение времени простоев из-за замены АКБ по сравнению с традиционными свинцово-кислотными батареями», – рассказывает М. Орехов.
Сегодня замена свинцово-кислотных АКБ на литий-ионные особенно актуальна в виду упоминавшейся выше модернизации ЦОДов. Комментируя ситуацию, А. Маслов отмечает, что заказчики активно присматриваются к решениям на литий-ионных аккумуляторах и тенденция к увеличению их доли на рынке очевидна. «Необходимо просчитать модель использования АКБ обоих типов с учетом CAPEX и OPEX и выбрать более выгодное решение», – указывает он.
Вместе с тем большинство экспертов считают, что до окончательной победы «лития над свинцом» еще далеко. «Пока рано говорить о том, что надо ориентироваться исключительно на литий-ионные системы, – уверен М. Саликов. – У свинцово-кислотных аккумуляторов в определенных условиях эксплуатации есть свои преимущества, и их продолжают выбирать пользователи». «Использование литий-ионных АКБ выгодно на больших временных горизонтах, но капитальные затраты оно увеличивает весьма существенно», – подчеркивает В. Солоцкий.
Анна Давыдова, руководитель направления ИБП в компании Legrand, обращает внимание на то, что еще не наработан успешный мировой опыт использования литий-ионных аккумуляторов в течение времени, соответствующего заявляемому их поставщиками сроку эксплуатации, и говорить о преимуществах рано. «В условиях, когда рост экономических показателей в России отсутствует, говорить о замене кислотно-свинцовых АКБ на литий-ионные не приходится, – добавляет она. – Но Legrand планирует использовать и те и другие аккумуляторы для ИБП в ближайшие годы».
Помимо литий-ионных аккумуляторов, интерес вызывают и другие технические решения для реализации альтернативных источников электропитания, в частности, суперконденсаторы. М. Саликов считает их оптимальными для использования в системах, которым требуется в первую очередь кратковременная защита от перебоев электропитания. Основные достоинства суперконденсаторов заключаются в относительно коротком времени заряда и отсутствии эффекта памяти. Также он отмечает широкий диапазон температур эксплуатации таких устройств (от -40 до +60°C) и продолжительный срок службы, который может достигать 20 лет.
Программная определяемость
Система электропитания – один из самых консервативных элементов инженерной инфраструктуры ЦОДа, но и в этой области появляются новые подходы. Один из них – программное определяемое электропитание (SD-Power). Такое электропитание является органичной частью программно определяемых ЦОДов в целом. «Будущее за полностью программно определяемыми центрами обработки данных, в которых ресурсы и основного ИТ-оборудования, и инженерных подсистем адаптируются к текущим потребностям приложений и бизнес-процессов», – отмечает М. Саликов.
Большинство производителей активно развивают технологии и решения для обеспечения «программной определяемости» электропитания. Например, Power System Manager – один из программных модулей DCIM-комплекса Trellis Enterprise компании Vertiv – способен анализировать энергопотребление как ИТ-, так и инженерного оборудования, формируя отчеты и рекомендации по планированию электропитания ЦОДа. Это решение «умеет» предсказывать возможные узкие места, перегруженные и недогруженные стойки, прогнозировать состояние системы электропитания.
Компания Eaton разработала программное решение Intelligent Power Manager, включающее в себя инструментарий контроля и управления различными устройствами питания в физических и виртуальных средах. Приложение обеспечивает непрерывность бизнес-процессов и гарантирует бесперебойную работу ИТ-оборудования.
Schneider Electric активно развивает решения для Smart Grid, призванные объединить разные по типу потребления, уровню потребляемой мощности и возможностям динамического перераспределения мощностей объекты. ЦОД как энергоемкий объект будет одним из ключевых звеньев этой цепи. С целью снижения энергопотребления объекта и сглаживания пиков потребления компания предлагает на мощных ИБП использовать технологию Peak Shaving, которая позволяет снижать нагрузку на внешние сети за счет частичного использования энергии батарей. Принудительный переход в этот режим может осуществляться по сигналу от программной платформы EcoStruxure Microgrid Advisor. Это решение ориентировано на средние и крупные ЦОДы.
Для небольших ЦОДов формата Edge инженеры Schneider Electric предусмотрели возможность конфигурирования мощности ИБП в режиме on-demand прямо на складе – по защищенному RFID-каналу. Это позволит поставщику хранить ограниченное количество аппаратных конфигураций, «прошивая» ключевые параметры изделия непосредственно перед его отгрузкой, что значительно сократит время поставки и повысит лояльность заказчиков.
А. Маслов из Tripp Lite обращает внимание на внедрение машинного обучения в решения DCIM для анализа и оптимизации работы системы электропитания и перераспределения энергоресурсов, а также для прогнозирования энергопотребления (вероятности увеличения спроса на электроэнергию) и моделирования реакции систем электроснабжения на изменения ИТ-систем (миграцию, добавление, перераспределение).
Перспективы накопителей
Потребление электроэнергии в ЦОДах становится все более неравномерным. Во многом это связано с существенным изменением соотношения энергопотребления серверов в режиме полной мощности и в ждущем режиме. Если 10 лет назад в ждущем режиме серверы потребляли более 50% полной мощности, то сегодня благодаря достижениям разработчиков микросхем этот показатель удалось снизить до 10%. Например, для серверов Dell линейки PowerEdge такие цифры составляют 57% и 11%.
Есть ли возможность выдерживать пиковую нагрузку без увеличения общей мощности системы электропитания и соответственно присоединенной мощности? Конечно, есть. Один из вариантов – использовать накопители энергии, реализованные, например, на базе тех же литий-ионных АКБ или маховиков. «Возможность экономить на мощности за счет накопителей энергии дает заказчикам дополнительную экономическую выгоду и свободу в развитии ЦОДа, – отмечает А. Соловьев. – Подобный функционал работы в режиме «срезания пиков» уже реализован в ИБП Schneider Electric для защиты крупных дата-центров».
«На мировом рынке ЦОДов технологии накопления энергии действительно используются все шире», – констатирует М. Саликов. В продуктовом портфеле компании Eaton такие решения уже представлены – это xStorage и UPS-as-a-Reserve (UPSaaR). Они способны аккумулировать энергию от различных источников и впоследствии расходовать ее в моменты пиковых нагрузок без увеличения общей потребляемой мощности.
Какая технология для реализации накопителей имеет лучшие перспективы: аккумуляторы или маховики? Точка зрения, понятно, во многом определяется тем, какие решения поставляет работодатель эксперта. Как полагает А. Морозов, в накопителях электроэнергии будущее за литий-ионными аккумуляторными батареями, поскольку маховики требуют специализированного обслуживания и предъявляют высокие требования к размещению.
«Заказчики в России пока не слишком привержены к инновационным накопителям энергии, работающим не в буферном режиме, – делится своим опытом М. Орехов. – Даже применение экорежима в ИБП у многих вызывает опасения. Кроме того, возможное время автономии тех же маховиков ограничено десятками секунд».
Сторонники динамических систем, напротив, высказываются в пользу маховиков. «Современные дизель-генераторные установки (ДГУ), в отличие от агрегатов 10--15-летней давности, уверенно стартуют за 2--3 с, что еще больше склоняет пользователей выбирать маховики вместо АКБ», – полагает В. Ротань.
При этом он считает, что пока не появится нормативный акт об оплате 100% присоединенной мощности, большого спроса на накопители для снятия пиковых нагрузок не будет. «Сейчас проще строить инфраструктуру на пиковую мощность на базе дешевого оборудования и работать со средней загрузкой 40%, как многие и делают», -- говорит эксперт Piller.
Хотя массовое использование накопителей энергии в российских ЦОДах -- дело будущего, эксперты планируют дальнейшее развитие этого процесса. «Следующий этап -- снятие пиковых нагрузок в районной электросети, т.е. коммерческое предоставление избыточной мощности инфраструктуры ЦОДа для нужд района, в котором он расположен. Уже существуют и термин “виртуальная электростанция”, и соответствующие проекты», – рассказывает А. Маслов.
Статика, динамика или гибрид
Упоминание маховиков в качестве перспективных накопителей энергии подводит к теме противостояния статических и динамических ИБП. ДИБП уверенно расширяют свое присутствие на российском рынке ЦОДов: если до 2010 г. в нашей стране было не более пяти установок ДИБП, то в 2018 г. их количество превысило 200, а суммарная установленная мощность – 250 МВт. «По этим показателям мы только недавно обогнали Турцию. Но наш рынок ДИБП по насыщенности далеко позади Европы, Великобритании, США и имеет существенный потенциал роста», – считает В. Ротань.
Уже несколько лет в среде профессионалов бытует мнение, что на мегаваттных объектах динамические ИБП выгоднее статических. Однако в основе этого утверждения лежали расчеты, в которых использовались показатели статических ИБП со свинцово-кислотными АКБ. Появление литий-ионных аккумуляторов с их компактностью и 15-летним сроком службы и смена поколения статических ИБП результаты таких расчетов могут изменить.
Применение литий-ионных АКБ позволило повысить энергоэффективность, ремонтопригодность и надежность ИБП – в частности, обеспечить долговременную работу при +40°C с сохранением всех характеристик ИБП, включая перегрузочную способность не хуже, чем у ДИБП. А. Соловьев также предупреждает, что при сравнении статических и динамических ИБП важно принимать во внимание не только прямые затраты, но и косвенные риски, связанные с длительным временем восстановления после аварии большой тяжелой моноблочной конструкции ДИБП.
«Пока нет объективных оснований говорить об “очевидных преимуществах” динамических ИБП в любых условиях, – полагает М. Саликов. – Все определяется конкретной ситуацией. К тому же наши расчеты TCO показали, что решения на суперконденсаторах при мощности до нескольких мегаватт часто выигрывают у систем с динамическими модулями, стоимость обслуживания которых увеличивается в течение срока эксплуатации».
Использование ДИБП, по оценке А. Маслова, становится целесообразным примерно с 2 МВт: «Вопрос выгоды индивидуален для каждого объекта, поэтому необходимо всесторонне оценивать целесообразность применения того или иного решения на начальном этапе проекта». Мнение представителя Tripp Lite особенно интересно, поскольку эта компания поставляет только статические ИБП. К очевидным преимуществам ДИБП он относит более низкий CAPEX и меньшую занимаемую площадь. К недостаткам – высокую стоимость техобслуживания и инфраструктуры для него; более низкий уровень надежности и безопасности (по сравнению со статической системой); малое время автономной работы до запуска ДГУ (отсутствие времени на попытку ручного старта).
При всей компактности и относительно невысокой стоимости ДИБП имеют большую массу, что исключает возможность их повсеместного использования. «Для уменьшения потерь электроэнергии в кабелях ИБП лучше устанавливать в непосредственной близости от питаемой нагрузки», – поясняет А. Лобов. Чаще всего это не является проблемой: обычно основное оборудование ЦОДов (серверы) располагают на минусовых этажах, способных вынести весовую нагрузку динамического ИБП. В тех случаях, когда систему гарантированного питания надо разместить на площадях с ограничениями по весовой нагрузке, проблемы могут возникнуть. Одно из возможных решений – установка не раз упоминавшихся литий-ионных аккумуляторов.
По мнению В. Ротаня, главное преимущество ДИБП – это надежность. Он приводит данные Ponemon Institute, согласно которым наиболее частая причина отказов в ЦОДах – это проблемы с аккумуляторными батареями (55%). Классические ДИБП не имеют АКБ. Кроме того, для получения мощности 1 МВт и выше на базе статических ИБП производители вынужденно идут на параллельное включение IGBT-транзисторов и линеек аккумуляторных батарей. «Теория надежности прямо говорит о том, что параллельное включение n устройств увеличивает количество точек отказа и снижает время наработки на отказ на 1/n», -- напоминает специалист Piller.
В качестве других важных преимуществ ДИБП по сравнению со «статикой» он называет экономию занимаемого пространства (для ЦОДа мощностью 10 МВт динамические ИБП потребуют на 40--60% меньше площади), отсутствие затрат на электроэнергию для охлаждения (например, ДИБП Piller могут работать при температурах до +50°C без систем кондиционирования воздуха) и более высокий КПД в области нагрузок 30--50% (типовой уровень загрузки ЦОДов).
«Доля традиционных решений со свинцово-кислотными АКБ будет постепенно снижаться в пользу динамических ИБП и решений на базе литий-ионных аккумуляторов, – делится своими ожиданиями В. Ротань. – А если тарифы на электроэнергию будут повышаться темпами, опережающими инфляцию, и если потребителей обяжут оплачивать 100% присоединенной мощности, то спрос на эти технологии существенно увеличится».
Нужны ли ДГУ?
Виртуализация ИТ и использование заказчиками нескольких ЦОДов позволяет им оперативно «перекинуть» ИТ-нагрузку, например, путем переноса виртуальных машин с одной площадки на другую. А нужны ли в таком случае дизель-генераторы? Непродолжительные перерывы в электроснабжении смогут брать на себя АКБ или маховики, а при длительных авариях ИТ-нагрузку можно перевести в другие ЦОДы.
К реализации такого сценария подталкивает и увеличение доли облачных ЦОДов, где проще реализуется зеркалирование данных. По данным, которые приводит В. Ротань, уже сейчас в России имеются несколько ЦОДов, которые применяют маховики и не имеют ДГУ.
«Технологически такой сценарий реализуем уже сегодня, однако необходимо понимать: для того чтобы перенести нагрузку в другие ЦОДы, они должны быть построены и заполнены ИТ-оборудованием, что требует существенных затрат, – рассуждает А. Соловьев. – С другой стороны, наличие резервного источника питания, которым в большинстве случаев является ДГУ, – это одно из основных требований стандарта для ЦОДов от Uptime Institute, причем для Tier III и IV помимо наличия резервного электропитания необходим также запас топлива для работы ЦОДа в течение 12 ч. Такие системы трудно реализовать на накопителях энергии при их нынешнем технологическом уровне или же подобные решения экономически невыгодны».
«Далеко не все операторы ЦОДов могут себе позволить перевести нагрузку на другие площадки, – соглашается М. Саликов. – Поэтому вряд ли потребность в ДГУ будет заметно снижаться».
А вот А. Маслов считает, что потребность в классических ДГУ уменьшится. Он связывает это с активной разработкой и внедрением в ЦОДах топливных элементов (ТЭ), а также с заботой об экологии (уменьшении выбросов вредных веществ, шума и вибраций). Топливные элементы (побочный продукт работы которых – вода или углекислый газ в зависимости от типа применяемой химической реакции) могут использоваться на уровне как всего ЦОДа (контейнерные ТЭ вместо ДГУ), так и отдельной стойки (ТЭ в стойке). В ряде регионов продвижение ТЭ-систем осуществляется на государственном уровне, например, ЕЭС запустил пятилетний проект, нацеленный на создание замены дизель-генераторам, широко распространенным сегодня для резервного и временного электроснабжения ЦОДов.
* * *
Похоже, прежде консервативная область систем электропитания ЦОДов находится на пороге серьезных изменений. Литий-ионные АКБ, суперконденсаторы, маховики вкупе с изменившимся ИТ-ландшафтом могут существенно изменить архитектуру этих систем. Программно определяемые системы электропитания, срезая пики энергопотребления, позволят сократить не только эксплуатационные, но и капитальные затраты. И проектировщикам надо быть к этому готовыми.
|
%20%D0%BA%D0%BE%D0%BF%D0%B8%D1%8F.jpg "Система управления батареями BMS CyberPower одинаково хорошо зарекомендовала себя в работе с литий-ионными и свинцово-кислотными массивами")
CyberPower
Legrand
Tripp Lite
