Новые возможности Fibre Channel 16 Гбит/c
Компания Brocade объявила о выходе своих новых продуктов 16Gbps Fibre Channel. Новая продуктовая линейка включает в себя два директора DCX 8510-8 и 8510-4, коммутатор 6510 и адаптеры 1860, которые могут работать как 16 Гбит/с HBA и как карты 10 Гбит/с Ethernet CNA. Крупные производители оборудования уже поддержали инициативу постепенного перехода на новые технологии 16 Гбит/с.
В чем же преимущество предложенных новых технологий и насколько они в данный момент востребованы пользователями? В этой статье мы порассуждаем именно на эти темы, причем основной акцент хотелось бы сделать не на количественных характеристиках: «быстрее, выше, сильнее», – это разумеется само собой, но не всегда является главным аргументом для приобретения новых продуктов, – а на качественно новых их возможностях.
Коммутаторы 16 Гбит/с построены на новых чипах ASIC шестого поколения (табл. 1), которые в продолжение традиции получили название Condor 3.
Важная особенность нового ASIC – использование не классического кодирования 8b/10b, применяемого во всех предыдущих реализациях протокола Fibre Channel, а более экономичного 64b/66b. Международный комитет технологических стандартов T11 постановил, что теперь именно такой способ кодирования сигналов будет стандартом для всех новых протоколов передачи, включая 10G Ethernet и 16G Fibre Channel. Ведь это позволяет снизить накладные расходы на кодирование с 25 до 3%.
Означает ли смена схемы кодирования протокола, что имеющиеся у заказчиков устройства, работающие на скоростях 2; 4 или 8 Гбит/с, будет нельзя подключать к новым коммутаторам? Конечно, не означает, защита инвестиций потребителей является одним из важнейших приоритетов. Condor 3 полнофункционально работает с оконечными устройствами и коммутаторами предыдущих поколений, в этом случае будет использоваться старая схема кодирования 8b/10b.
Таблица 1. Характеристики чипов ASIC в коммутаторах Brocade
| Характеристики | Поколение ASIC | ||||||
|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
| ASIC | Stitch | Loom | Bloom, Bloom-II | Condor/ Goldeneye | Condor 2/ Goldeneye 2 | Condor 3 | ? |
| Кол-во портов ASIC | 2 | 4 | 8 | 32 / 24 | 40 / 24 | 48 | |
| Год выхода | 1997 | 1999 | 2001 | 2004 | 2008 | 2011 | 2014 |
| Кол-во портов | 2 | 4 | 8 | 32 / 24 | 40 / 24 | ||
| Скорость передачи, Гбит/с | 1,063 | 1,063 | 2,126 | 4,252 | 8,5 | 14,025 | 28,05 |
| Кодирование | 8B/10B | 8B/10B | 8B/10B | 8B/10B | 8B/10B | 64B/66B | 64B/66B |
| Теор. макс. пропускная способность, Мбайт/с | 103 | 103 | 206 | 412 | 825 | 1642 | 3284 |
| Реальная макс. пропускная способность, Мбайт/с | 90 | 95 | 190 | 380 | 760 | 1552 | 3104 |
ASIC Condor 3 может выполнять коммутацию 420 млн фреймов в секунду. HBA 16 Гбит/с обеспечивают пропускную способность до 500 тыс. операций ввода вывода в секунду (IOPS). Только вдумайтесь в эти огромные числа! Задержки при коммутации внутри чипа ASIC составляют максимум 0,8 мкс, а между различными ASIC – всего 2,4 мкс. Напомним, что время ожидания считывания данных с жесткого диска минимум на три порядка больше. Так что можно однозначно говорить, что инфраструктура сети передачи данных, построенная на современном оборудовании Brocade, не станет «бутылочным горлышком», ограничивающим количество IOPS или увеличивающим время отклика транзакционных приложений.
Для обеспечения высокой производительности передачи данных между удаленными друг от друга площадками, входящими в катастрофоустойчивый комплекс хранения, чипы Condor 3 имеют более 8 тыс. входных буферов, поддерживающих работу групп из 16 или 24 портов (в 32- и 48-портовых платах соответственно). Для поддержки мультиплексирования трафика 16 Гбит/с внутри каналов DWDM предусмотрен режим работы на скорости 10 Гбит/с.
Специальный режим исправления ошибок FEC (Forward Error Correction) при передаче данных между портами коммутаторов, работающими на скорости 16 или 10 Гбит/с, вносит минимальную задержку 0, 4 мкс.
Чтобы достичь большей гибкости обеспечения качества сервиса (Quality Of Services, QoS), количество виртуальных каналов (Virtual Channels, VC) было увеличено до 40. Появилась и возможность обнаружения и восстановления потерянных буферных кредитов на уровне VC. В ASIC Condor 2 такая функциональность работала только на уровне физических портов.
Чипы Condor 3 совместно с новой версией операционной среды FOS 7.0 предлагают несколько совершенно новых функциональных возможностей. Это компрессия данных при передаче между портами коммутаторов (между E-портами 16 Гбит/с). Алгоритм McLZO, разработанный для достижения максимальной скорости упаковки и распаковки данных, позволяет добиться уровня компрессии 2:1. Данная функциональность особенно актуальна в SAN с узким каналом между удаленными площадками (рис. 2).
Для увеличения уровня безопасности при передаче данных на дальние расстояния совместно с компрессией можно использовать шифрование данных. Шифрование выполняется аппаратным способом прямо «на лету». Применяется криптостойкий алгоритм AES-GCM с 256-битными ключами. Использование возможностей компрессии и шифрования данных вносит совсем незначительную задержку – 6 мкс и потому совершенно не влияет на производительность передачи данных.
Еще в продуктах Brocade 8 Гбит/с появилась возможность объединения до трех директоров DCX или DCX-4S в единую высокопроизводительную фабрику при помощи линков ICL (Inter-Chassis Links). Второе поколение ICL в коммутаторах 16 Гбит/с развивает эту идею. И здесь изменения существенны. Во первых, появилась возможность выбора топологии подключения директоров друг к другу. В относительно простых конфигурациях лучшим решением является объединение до трех директоров в топологию «каждый с каждым» (mesh). В SAN, требующих большого количества портов для подключения оконечных устройств, возможна топология «центр – периферия» (core-edge), объединяющая при помощи линков ICL до шести директоров (рис. 3).
Вместо коротких медных кабелей длиной 2 м в новом решении будут использоваться оптические линки длиной до 50 м. Модули QSFP (Quad SFP) работают с четырьмя линками 16 Гбит/с, идущими к различным ASIC на платах CR (Core Routing blades). Для обеспечения производительности и отказоустойчивости между директорами возможно подключение по меньшей мере четырьмя ICL, что гарантирует минимальную скорость межкоммутаторных соединений 256 Гбит/с. Транкинг позволяет объединить до 4 ICL в единый агрегированный канал, увеличивая не только общую производительность, но и отказоустойчивость соединения.
Применение в качестве соединений коммутаторов не классических каналов ISL (Inter-Switch Link), а линков ICL дает возможность использовать порты директоров только для подключения оконечных устройств. В максимальной конфигурации отказ от iSL позволяет подключить в SAN на треть (33%) больше портов серверов и дисковых массивов.
Для передачи на скорости 16 Гбит/с в новых коммутаторах, естественно, будут использоваться новые оптические модули SFP. И в них Brocade тоже реализовала несколько новых инновационных улучшений.
Скорость передачи возрастает за счет увеличения частоты очень коротких лазерных импульсов, Однако в оптических каналах передачи существует модовая дисперсия, искажающая форму этих импульсов, растягивая их во времени. Идущие друг за другом импульсы начинают накладываться друг на друга, и их уже не удается однозначно детектировать. Именно по этой причине длина оптических кабелей ограничена. При удвоении скорости передачи с 4 до 8 Гбит/с в кабелях OM2 максимальная длина кабеля уменьшилась в целых три раза – со 150 до 50 м (табл. 2).
Таблица 2. Максимальная длина оптических кабелей
| Скорость передачи, Гбит/с | Максимальная длина кабеля, м | |||
|---|---|---|---|---|
| OM1 | OM2 | OM3 | OM4 | |
| 1 | 300 | 500 | 860 | – |
| 2 | 150 | 300 | 500 | – |
| 4 | 50 | 150 | 380 | 400 |
| 8 | 21 | 50 | 150 | 190 |
| 16 | 15 | 35 | 100 | 125 |
В новых SFP 16 Гбит/с используется специальная синхронизирующая схема CDR (Clock and Data Recovery). За счет этого при увеличении скорости передачи с 8 до 16 Гбит/с в кабелях OM3 максимальная длина кабеля уменьшилась всего лишь в 1,5 раза – со 150 до 100 м. Brocade разработала технологию, которая позволила уменьшить размер и стоимость дополнительной схемы CDR, так что и их присутствие в SFP практически не влияет на цену модулей.
Переход на новые SFP 16 Гбит/с позволяет на 25% уменьшить энергопотребление в расчете на переданный бит информации. Один порт 16 Гбит/с потребляет всего 0,75 Вт, в то время как для работы двух портов 8 Гбит/с необходим 1 Вт. Казалось бы, различие не слишком велико, однако в масштабах большого ЦОД такое снижение энергопотребления и соответствующее уменьшение тепловыделения позволит несколько снизить операционные затраты на поддержание работы комплекса. Согласимся, этот параметр не является сколько-нибудь значимым в контексте принятия решения о переходе на новую инфраструктуру 16 Гбит/с, однако все-таки приятен в качестве дополнительного «бонуса».
С увеличением скорости передачи данных даже небольшие дефекты кабелей или коннекторов становятся критичными. Новый диагностический режим работы портов (D_Ports) значительно ускоряет процессы тестирования кабельной системы, а также поиска и устранения неисправностей в фабрике. Тесты работоспособности модулей SFP, измерения длины кабелей, замеры задержек передач и различных метрик производительности выполняются на индивидуальных портах и никак не влияют на работоспособность остальной фабрики. Новая версия FOS 7.0 позволяет запускать тесты как из командной строки, так и применяя графический интерфейс. Расширенные возможности аудита различных событий в логах RASlogs и Audit Logs позволят получать подробную информацию о происходящих в SAN событиях.
Теперь немного о новшествах в администрировании и управлении. И здесь наиболее ярко выделяется появление давно ожидаемой функциональности динамического выделения ресурсов в фабрике (Dynamic Fabric Provisioning, DFP). Она значительно ускоряет и упрощает процесс зонирования и LUN-маскирования новых серверов с 16 Гбит/с HBA и позволяет избежать перенастройки SAN в случае замены оборудования.
Как это работает? Не обошлось, конечно, без виртуализации. Коммутаторы в фабрике генерируют список возможных виртуальных адресов FA-WWN (Fabric-Assigned Port World Wide Names). Один или несколько FA-WWN назначаются конкретным физически портам. Далее адреса FA-WWN можно использовать для зонирования в фабрике или настройки LUN-маскирования на дисковых массивах.
При подключении сервера к физическому порту коммутатора его HBA в процессе соединения с фабрикой (FLOGI) получают и назначают себе в качестве WNN виртуальный FA-WWN. Так как все необходимые настройки были сделаны заранее, ресурсы хранения сразу становятся доступны серверу. При замене HBA новая карта получит старый FA-WWN и будет работать с ним. Соответственно, никакой перенастройки SAN не понадобится.
Преимущества функциональности DFP в администрировании SAN особенно заметны при использовании в сетях с большим количеством блейд-серверов, коммутаторы которых работают в режиме AG (Access Gateway).
Зачем все это?
Мы говорили выше о различных замечательных технических новшествах. Однако сами по себе они вряд ли нужны. В чем же заключаются реальные преимущества использования продуктов 16 Гбит/с в комплексах хранения?
Во первых, это, конечно, большая пропускная способность каналов передачи. Однако здесь сразу следует оговориться: производительность инфраструктуры SAN является важным фактором не для всех типов задач. Так, большинство OLTP баз данных или Web-приложений очень чувствительны к ограничениям количества операций ввода-вывода и задержкам передачи. В то же время суммарные объемы генерируемых ими данных невелики и обычно не загружают даже 4 Гбит/с каналы. Очевидно, что переключение таких серверов на инфраструктуру 16 Гбит/с с точки зрения производительности не даст никаких преимуществ.
В то же время существует ряд задач, которым уже тесно в рамках производительности каналов 8 Гбит/с, используемых в настоящее время. Это, разумеется, резервное копирование и восстановление данных, приложения для интеллектуального анализа данных (data mining), а также задачи потоковой обработки данных, например видеопотоков. Преимущества «широких» каналов 16 Гбит/с очевидны также при миграции данных. К примеру, для переноса 1 Тбайт информации теперь понадобится всего лишь 10 мин. Согласитесь, звучит впечатляюще!
Преимущества централизованного администрирования, управления и гибкой доставки приложений в последнее время сделали очень популярной идею использования инфраструктуры виртуальных рабочих мест (Virtual Desktop Infrastructure, VDI). Однако одновременная загрузка огромного количества пользовательских сессий, например в начале рабочего дня, создает колоссальную нагрузку на SAN. И здесь использование инфраструктуры 16 Гбит/с может существенно снизить время ожидания и общую удовлетворенность пользователей.
Надо отметить, что количество задач, требовательных к полосе пропускания каналов передачи, постоянно растет. Усиливающаяся популярность технологий виртуализации, увеличение многопоточности приложений, использование больших объемов памяти RAM, производительных шин PCIe 3.0 и флэш-накопителей – все это позволяет обрабатывать и передавать огромные потоки данных, что, в свою очередь, требует от сети хранения данных все большей и большей производительности.
Увеличение пропускной способности каналов позволяет объединять коммутаторы в сети с требуемым уровнем переподписки, но меньшим количеством ISL. Особенно это актуально для блейд-серверов, в которых используются внутренние коммутаторы-лезвия. В центрах обработки данных с большим количеством коммутаторов и блейд-серверов переход части инфраструктуры на коммутаторы 16 Гбит/с значительно упростит работу с кабельной системой в целом (то, что называется cable management), а также процедуры поиска и устранения неисправностей в SAN. Меньшее количество требуемых портов снижает общую стоимость владения.
Рискну сделать собственный прогноз. В течение ближайшего года технологии FC 16 Гбит/с органично займут свою нишу в эволюционном развитии сетей хранения данных. Однако старые технологии 4 и 8 Гбит/с сдадут свои позиции не сразу, а будут вытесняться постепенно, с появлением новых задач и ростом нагрузки на каналы передачи данных.
Наступают интересные времена, активное продвижение конвергентных сетей заметно теснит старый добрый Fibre Channel SAN. Актуальная на сегодня задача построения облачных инфраструктур в ближайшие несколько лет подтолкнет потребителей к построению гибридных сетей передачи и хранения данных, включающих в себя как классические FC, так и новые технологии CEE.