18 февраля 2025 года,
Алматы, The Rixos Hotel Almaty       
 

Новые кабельные решения для ЦОДов

Статьи

08.10.2018   Автор: Николай НОСОВ

Новые кабельные решения для ЦОДов

Новые стандарты для кабельных систем во многом ориентируются на дата-центры и существенно увеличивают скорости передачи данных.

Стоимость СКС составляет 3% стоимости ЦОДа, однако, как сообщил на организованной «ИКС-Медиа» конференции «ЦОД-2018» Сергей Горюнов, менеджер по развитию продаж компании Molex MPN Structured Cabling, кабельные соединения являются причиной 70% инцидентов. А инцидент в ЦОДе -- это потеря денег, репутации и доверия клиентов.
 
Волшебное слово «быстро»!
 
Вложения в кабельную систему -- долгосрочные, ведь средний срок ее эксплуатации составляет 10--15 лет. Поэтому при проектировании СКС следует учитывать перспективу стремительного роста объема передаваемых данных и требований к скорости передачи по каналам связи. Если в офисных СКС по-прежнему встречаются каналы 10 Мбит/с, то в ЦОДах уже используются каналы c пропускной способностью 100 Гбит/c. И это не предел. В декабре 2017 г. официально принят новый стандарт IEEE 802.3bs, предусматривающий увеличение скорости канала до 200 и 400 Гбит/с (см. табл.). 
 
Таблица. Спецификации стандарта IEEE 802.3bs
 

Спецификация

Расстояние, м

Тип волокна*

Примечание

400GBASE-SR16

100

MM

По 16 волокон на прием и передачу

400GBASE-DR4

500

SM

Четыре параллельных волокна в обоих направлениях, 100 Gb на одно волокно

400GBASE-FR8

2000

SM

WDM ( два волокна, одно на прием, другое на передачу)

400GBASE-LR8

10000

SM

То же

200GBASE-DR4

500

SM

Четыре параллельных волокна в обоих направлениях

200GBASE-FR4

2000

SM

WDM (два волокна, одно на прием, другое на передачу)

200GBASE-LR4

10000

SM

То же

*SM – одномодовое, MM -- многомодовое

 

Источник: IEEE

 

Оборудование, отвечающее стандарту IEEE 802.3bs, уже появляется на рынке. Так, в 2018 г. упомянутая Molex начала производить поддерживающие новые стандарты коннекторы высокой плотности, а Mellanox Technolgies, по заявлению системного инженера этой компании Александра Петровского, планирует в следующем году выпустить коммутаторы с портами 400 Гбит/с.
 
Ethernet для СХД
 
Одна из сфер применения кабелей нового стандарта -- Ethernet-фабрики для систем хранения данных (Ethernet Storage Fabric, ESF). Раньше СХД рассматривалась как некая проприетарная система с набором дисков, подключенная к сети хранения данных. Ее было сложно обслуживать и дорого масштабировать. Сейчас, особенно в облачных инфраструктурах, используются программно определяемые хранилища. Для их создания обычные серверы с большим количеством дисков масштабируются горизонтально в виде одного большого пула хранения, а программные решения формируют из них общий кластер. Подключаются серверы друг к другу с помощью высокоскоростной сети. Для этих целей теперь может использоваться технология Ethernet, которая значительно выигрывает в скорости у Fibre Chanel, способной обеспечить производительность не более 32 Гбит/с.
 
Рис. 1. Ethernet-фабрика для СХД
 

Сеть Ethernet-фабрики для хранилища строится в топологии Leaf-Spine (рис. 1). К коммутаторам уровня Leaf подключаются серверы (узлы хранения). Маршрутизация осуществляется с помощью протоколов OSPF/BGP. На уровне агрегации используются протоколы LAG/MLAG (Multi-Chassis Link Aggregation Groups). Хранилище масштабируется стойками -- от одной до тысячи и более. В каждую стойку устанавливаются по два коммутатора, которые подключаются к вышестоящей фабрике. Для подключения служат каналы 40 и 100 Гбит/с, а с внедрением нового стандарта скорости вырастут еще больше. ESF поддерживает широкий набор СХД-протоколов и приложений: iSCSI/iSER, FS/NFSoRDMA, CIFS/SMB Direct, NVMeOF, Ceph, HDFS, Lustre/GPFS/GlusterFS.

Витая пара для ЦОДов

 
Новации в кабельных системах для ЦОДов коснулись не только оптики, но и электропроводных решений. Для связи серверов с коммутаторами в дата-центрах появились кабели восьмой категории (Cat8) на медной витой паре, поддерживающие скорость 25 и 40 Гбит/c. Принятие стандарта категории 8 заняло почти 10 лет: его предшественник, востребованный на практике стандарт категории 6а, был принят еще в 2008 г. Кабели Cat8 отличаются от предшественников частотой (до 2 ГГц, что в четыре раза выше, чем у 6а), длиной тракта (не более 30 м, в то время как у 6а -- 100 м), числом коннекторов (не более двух -- кросс-коннект запрещен), конструкцией кабеля (каждая витая пара в фольге, все вместе в металлической оплетке, а экранирование требует заземления) и коннекторов (существуют две модификации -- 8.1 (RG-45) и 8.2 (Tera, GG45, ARJ)).
 
Новый кабель слишком короткий для прокладки в офисных зданиях, но отлично подходит для организации внутрирядной связи в дата-центрах. Ограничение длины кабелей категории 8 тридцатью метрами не случайно. Таким образом, пояснил директор по продажам компании Leviton Сергей Логинов, достигается оптимальный баланс между мощностью трансиверов и дальностью передачи сигнала, позволяющий снизить энергопотребление и соответствующие операционные издержки. 
 
С помощью кабелей категории 8 для соединения стоек в машзалах ЦОДов можно использовать несколько типов архитектур -- End-of-Row (коммутаторы располагаются в конце ряда стоек), Middle-of-Row (в середине) и Top-of-Rack (коммутаторы размещаются вверху стоек с ИТ-оборудованием) (рис. 2). 
 
 
Рис. 2. Варианты подключения стоек с использование Cat8
 
End-of-Row (EoR) и Middle-of-Row (MoR) предполагают классический подход к построению структурированной кабельной системы, при котором коммутационные шнуры соединяют оборудование через коммутационные панели.
 
При часто используемой в дата-центрах архитектуре Top-of-Rack (ToR) ИТ-оборудование подключается напрямую к расположенным вверху стойки коммутаторам. У каждого такого коммутатора есть оптические порты, соединенные с коммутаторами уровня агрегации. Такая схема не является классической для структурированной кабельной системы, но для 8-й категории просто подключение коммутационным шнуром уже может рассматриваться как СКС.
 
Кабели категории 8 дешевле, чем оптические, обеспечивают обратную совместимость с кабелями категории 6 (разные порты одного коммутатора могут поддерживать разные скорости), так что при их использовании заказчик получает универсальную инфраструктуру, способную работать на скоростях от 1 до 40 Гбит/c.
 
Cat8 – идеальный вариант для малых и средних ЦОДов, в машинных залах которых в одном ряду размещается не более 30 стоек. В крупных ЦОДах, где стоек в рядах более 30 и требуются скорости выше 40 Гбит/c, следует применять оптоволокно.
 

С. Логинов призывает правильно проектировать кабельную систему на основе кабелей категории 6а и использовать архитектуру ToR, тогда для перехода на стандарт Cat8 будет достаточно заменить коммутационные шнуры. При выборе между EoR и MoR следует остановиться на MoR -- это позволит организовать более длинный ряд стоек. Кроме того, предпочтительнее использовать экранированный кабель категории 6а, поскольку наличие заземления облегчит переход на Cat8.
 

СПОНСОРЫ И ПАРТНЕРЫ 2025

Золотой спонсор
Серебряный спонсор
Партнёр выставки