Архитектура FAME в серверных решениях

Алексей Борзенко
к. т. н., доцент Рязанской радиотехнической академии

Сложность задач, стоящих сегодня перед крупными коммерческими, государственными и научно-исследовательскими организациями, постоянно возрастает. В соответствии с этими задачами от современных больших серверов требуется достаточная мощность, позволяющая извлекать информацию из больших массивов данных сложной структуры (включающих мультимедиа- и неструктурированные данные), выполнять крупномасштабные расчеты, поддерживать очень большие каталоги с информацией о сотнях тысяч пользователей, которые могут обращаться к онлайновым сервисам через Интернет. Серверы также должны справляться с непредсказуемыми скачками нагрузки, связанными с обработкой транзакций, работать круглосуточно (24 часа в день, 365 дней в году), интегрироваться в полностью гетерогенную среду.

Помимо чисто технологических характеристик, не следует забывать и о технико-экономических показателях. Здесь немалую роль играют следующие факторы:

• соотношение цена/производительность;
• возможность динамически адаптировать аппаратные ресурсы, выделяемые каждому из параллельно работающих на одной системе приложений в зависимости от их загрузки (причем приложения могут работать и под управлением разных операционных систем);
• удобная система администрирования для мониторинга операций и оптимизации ресурсов, выделяемых каждой задаче;
• доступность большого портфеля приложений.

Ведущие производители в ИТ-индустрии тем или иным образом пытаются оптимально
решать задачи подобного рода. Так, осенью прошлого года французская компания
Bull SA (http://www.bull.com) представила
в России свою новейшую разработку — семейство серверов NovaScale на базе 64-разрядных
процессоров Intel. Эти компьютеры предназначены в первую очередь для коммерческих
и научных приложений, связанных с обработкой больших объемов данных, в том числе
для систем ERP и CRM, пакетов САПР, а также для выполнения сложных расчетов.

В основе серверов NovaScale лежат не только 64-разрядные процессоры семейства Intel Itanium 2, но и фирменная архитектура Flexible Architecture for Multiple Environments (FAME). Именно эта концепция позволяет с помощью высокоскоростных коммутаторов создавать SMP-системы и строить кластеры с архитектурой ссNUMA. По мнению разработчиков, во многом благодаря FAME серверы NovaScale отличаются наилучшим соотношением цена/производительность в классе 64-разрядных машин.

Хотя SMP-архитектура с разделяемой памятью остается лучшим решением для многопоточных приложений, для самых требовательных к вычислительной мощности приложений возможностей существующих сегодня больших SMP-систем оказывается недостаточно. Для решения этой проблемы модель многопроцессорной архитектуры с совместно используемой памятью была объединена с программированием обмена сообщениями. Для приложений серверы с архитектурой FAME будут связаны между собой каналами, характеризующимися низкой задержкой и высокой пропускной способностью, что даст возможность строить высокопроизводительные кластеры. Bull уже заключила несколько партнерских соглашений, которые позволят предоставить полное решение в этой области.

Отметим, что проект FAME специалисты Bull ведут совместно с такими крупнейшими корпорациями, как Intel, Microsoft, Oracle, еще с 1997 г. При разработке серии серверов NovaScale большое внимание было уделено стандартизации (до 90% компонентов этих машин — стандартные, используемые в Intel-серверах) и модульности построения, что позволяет снизить затраты на техническое обслуживание, сократить время на восстановление и повысить надежность оборудования.

В этих серверах реализованы такие функции повышения уровня надежности и готовности, как дублирование компонентов, централизованное администрирование системы с помощью Web-терминала, а также горячая замена неисправных элементов. NovaScale способны работать под управлением операционных систем Microsoft Windows Server 2003, Linux (дистрибутивы Red Hat и SuSE) и GCOS, причем на одном сервере могут быть установлены и одновременно запущены в разных физических разделах все три указанные ОС. Возможность работы в системе GCOS, используемой в мэйнфреймах Bull, нужна для поддержки унаследованных приложений. Особое же внимание Bull уделяет Linux.

Технологические успехи Bull не могли остаться незамеченными, в том числе и
в нашей стране. В начале декабря прошлого года российская компания Kraftway
(http://www.kraftway.ru), производитель
компьютерного и серверного оборудования, объявила о выпуске нового семейства
многопроцессорных серверных систем G-Scale. В качестве платформы для создания
G-Scale была выбрана архитектура FAME корпорации Bull, в которой, по мнению
экспертов Kraftway, наилучшим образом реализована технология ccNUMA на процессорах
Intel Itanium 2. Отметим, что на сегодняшний день Kraftway единственная из российских
производственных компаний предлагает системы подобного класса и сложности.

Что дает архитектура FAME

Поскольку архитектура FAME основана на стандартных компонентах, изготавливаемых Intel в больших объемах, это значительно улучшает соотношение цена/производительность. На ее основе разработан и интегрирован ряд функций высокой производительности для построения систем SMP, содержащих от 8 до 32 процессоров. Использование стандартных компонентов гарантирует и доступность множества приложений.

Поскольку серверы класса high-end, как правило, интегрированы в самую стратегически важную среду предприятия, они должны работать непрерывно, без простоев. В архитектуре FAME это гарантируется не только резервированием компонентов, но и возможностью изолировать и заменить дефектный элемент, не прерывая функционирования системы.

Благодаря функции динамических разделов архитектура FAME обеспечивает консолидацию на одном сервере нескольких приложений, работающих под управлением разных ОС — Windows, Linux, GCOS 7 и GCOS 8. В условиях непредсказуемых скачков нагрузки такая возможность позволяет системе динамически адаптироваться к изменениям нагрузки без остановки работы.

Роль Intel

Семейство процессоров Intel Itanium, предназначенное для построения мощных серверов, основано на 64-разрядной архитектуре, реализующей принципиально новую концепцию выполнения программ. Для достижения максимальной производительности в этой концепции применяется тесное взаимодействие компиляторов с архитектурой микропроцессора, что позволяет задействовать дополнительные факторы повышения производительности, помимо повышения тактовой частоты. Более того, ожидается, что развитие архитектуры Itanium в ближайшие годы откроет новые возможности роста мощности. Помимо бизнес-приложений, это семейство процессоров находит применение в высокопроизводительных вычислениях, благодаря чему оборудованные ими системы используются в науке и технике.

По словам разработчиков, выбор в пользу применения этого процессорного семейства совместно с архитектурой FAME был сделан с учетом вышеперечисленных причин. Впрочем, не следует забывать и о технологическом лидерстве Intel и ее возможности делать долгосрочные инвестиции в непрерывное улучшение производительности и функциональности процессоров Itanium.

Кстати, благодаря общности подхода к технологиям и оценки перспектив рынка
Bull и Intel смогли добиться тесного сотрудничества с самого начала создания
архитектуры FAME, включая, в частности, регулярный обмен инженерами между лабораториями
обеих компаний и предоставление прототипов продуктов Bull лабораториям Intel.
Такое сотрудничество обеспечило Bull расширение доступа к разработкам Intel,
использование некоторых компонентов и проектирование в соответствии со спецификациями
Intel. Intel же получила возможность проверки работы ее компонентов в мультипроцессорной
архитектуре и учет в своих перспективных планах развития потребностей больших
серверов.

Основные принципы архитектуры

Как отмечалось выше, концепция FAME основана на архитектуре NUMA (Non Uniform Memory Access), оптимизированной Bull для построения больших SMP-систем из блоков QBB (Quad Brick Block) с четырьмя процессорами Intel Itanium 2 и отдельной памятью. Кроме модулей QBB, система включает модули ввода-вывода IOB (Input Output Boxes). Такой набор компонентов обеспечивает модульность — за счет комбинирования процессоров, памяти и ввода-вывода, что позволяет строить как простейшие системы начального уровня, так и объединенную архитектуру самой высокой мощности с помощью репликации и межсоединений (рис. 1).

Рис. 1. FAME-архитектура серверного кластера.

В основе этой конструкции лежат высокоскоростные межсоединения и разработанная инженерами Bull сложная микросхема FSS (FAME Scalability Switch), обеспечивающая каждому процессору доступ к вводу-выводу и согласованное обращение к общей памяти, которая может достигать 256 Гбайт. Заметим, что эта память формируется путем объединения модулей памяти каждого QBB.

По мнению создателей FAME, основной вклад специалисты Bull сделали в пяти основных областях, которые кратко охарактеризованы ниже.

Межсоединение компонентов с высокой скоростью и малой задержкой. В этом контексте Bull разработала FSS как ядро архитектуры FAME. Устройство FSS, использующее 0,18-мкм технологию КМОП с медными межсоединениями, представляет собой кристалл со стороной 18 мм, состоит из 60 млн транзисторов и имеет 1520 контактов ввода-вывода, — это, безусловно, одна из самых сложных микросхем. FSS обеспечивает единство информации в масштабах всей системы, независимо от того, находится ли эта информация в основной памяти или скопирована в кэш-память процессоров. Таким образом, FSS позволяет построить большую многопроцессорную систему с единым адресным пространством. FSS также оптимизирует трафик между процессорами и синхронизирует передачу данных внутри сервера. Благодаря эффективной оптимизации микросхем и используемых протоколов коэффициент разброса времени доступа к памяти составляет 1:3, в то время как в системах NUMA первого поколения он равнялся 1:15.

Встроенное ПО Platform Administration and Maintenance (PAM). Это ПО управляет системой, включая операции с разделами. Оно играет важную роль в обеспечении высокой доступности модулей. PAM — это также инструмент проактивного администрирования, поскольку все важные события не только записываются, но могут автоматически генерировать корректирующие действия и вызов в центр поддержки. В частности, PAM позволяет с помощью FSS реализовать эффективное управление динамическими разделами системы (процессорами, памятью и вводом-выводом) и инфраструктурой хранения.

Динамические разделы. Система, основанная на архитектуре FAME, может разбиваться на несколько независимых доменов (максимум четыре). В данном контексте под доменом понимается единый набор ресурсов, управляемый одной из ОС, что обеспечивает настоящую физическую изоляцию разных подсистем и независимое параллельное выполнение нескольких ОС на одной системе, при котором сбои в одной ОС не влияют на работу остальных. Конфликты между разделами невозможны, поскольку у них нет общих ресурсов; это улучшает гибкость, производительность и надежность работы.

Данные функции также обеспечивают выделение "мощности по требованию" при непредсказуемых скачках нагрузки, например, при работе с Интернетом, когда необходимо задействовать дополнительные процессоры.

Высокая доступность. Этот параметр обеспечивается благодаря целостности данных (для всех путей передачи данных используется обнаружение и исправление ошибок с помощью контрольных сумм), резервированию всех компонентов системы (отсутствуют единые точки отказа) и горячей их замене без остановки системы (это относится к источникам питания, вентиляторам, платам ввода-вывода и даже платам QBB с процессорами и памятью — при условии, что ОС поддерживает горячую замену).

Плотность компоновки. Для обеспечения высокой общей производительности системы и удобного обслуживания особое внимание уделялось компоновке системы. В результате разработчикам удалось уместить в пространство, равное 1/3 кубометра, модуль из четырех плат QBB (иными словами — 16 процессоров с оперативной памятью), а также две платы ввода-вывода с 22 слотами PCI-X, вентиляторы и источники питания.

Технические характеристики

Ключевой элемент архитектуры FAME — это соединительный процессор FSS, поддерживающий кумулятивную производительность нескольких (до восьми) четырехпроцессорных плат QBB (рис. 2). Таким образом, 32-процессорная система состоит из модулей, каждый из которых содержит два FSS для защиты от сбоев и повышения пропускной способности, до четырех QBB и двух блоков ввода-вывода IOB. Связывание модулей организовано путем соединения FSS каждого модуля через четыре канала XSP (eXtended Scalability Port) с общей пропускной способностью свыше 25 Гбайт/с и тактовой частотой 2,5 ГГц.

Рис. 2. Базовая FAME-архитектура.

Пропускная способность памяти обеспечивается за счет агрегирования контроллеров памяти SNC (Scalability Node Controller), установленных на каждом четырехпроцессорном блоке. У каждого SNC пропускная способность памяти равна 6,4 Гбайт/с и может достигать 25 Гбайт/с для всех его интерфейсов. В максимальной конфигурации архитектура FAME обеспечивает пропускную способность памяти свыше 50 Гбайт/с.

Особое внимание разработчики уделили оптимизации задержек доступа к памяти за счет эффективной организации трафика согласования содержания кэш-памяти. В результате удалось значительно сократить трафик внутри QBB. Так называемый коэффициент NUMA, который обычно оказывается самым слабым звеном в системах, состоящих из "кирпичиков", также значительно улучшился. Он равен 1:2:3 (соответственно время доступа к памяти в том же QBB, в другом QBB в том же модуле и в QBB в другом модуле), поэтому архитектура FAME обеспечивает высокую производительность даже для того ПО, которое не было специально настроено для NUMA.

Подсистема ввода-вывода

Подсистема ввода-вывода FAME разрабатывалась с целью оптимизации доступа к данным и сети. Использование стандартных, доступных на рынке компонентов и мощных функций коммутации позволило легко интегрировать новейшие технологии. Система была настроена в расчете на то, чтобы производительность ввода-вывода соответствовала вычислительной мощности. Так, четверть пропускной способности FSS выделена для ввода-вывода. Будучи архитектурой для больших корпоративных систем, FAME реализует "толстые трубы" с несколькими быстрыми шинами PCI-X (8 на один модуль IOB), что обеспечивает работу высокоскоростных контроллеров (например, FCS/Fibre Channel 2 Гбит/с) без интерференции и с улучшенным исправлением ошибок. Использование сетей хранения данных SAN дает возможность задействовать резервные каналы для эффективной балансировки нагрузки подсистемы ввода-вывода. Более того, эта подсистема обеспечивает очень высокую масштабируемость и производительность: ее пиковая пропускная способность достигает 6 Гбит/с, в установившемся режиме — 2 Гбит/с и 250-300 тыс. операций ввода-вывода в секунду.

Инфраструктура сети хранения данных

Все периферийные и коммуникационные устройства соединяются с IOB через платы
PCI-X. Архитектура FAME включает сеть SAN, которую могут использовать несколько
серверов. Централизованное администрирование обеспечивает единый механизм реконфигурирования
доменов и их путей доступа к системе хранения. Поэтому при перемещении набора
ресурсов (например, два QBB и один IOB) из одного домена в другой необходимо
провести синхронизирующую реконфигурацию сети межсоединений, используя FSS и
сеть Fibre Channel, обеспечивающую доступ к системам хранения. Эта операция
выполняется целиком автоматически. Более того, с одной консоли можно управлять
всеми доменами нескольких серверов, основанных на архитектуре FAME; такая конфигурация
называется расширенной FAME.

Серверы Kraftway G-Scale Модели G-Scale 6008 и 6016 — это SMP-системы, поставляемые в монтажном шкафу высотой 36U. Они поддерживают соответственно до 8 и 16 процессоров и предоставляют возможности кластеризации. В состав каждого сервера входит консоль для централизованного управления системной средой, операционной системой, серверами, устройствами хранения и сетями хранения данных (SAN). Серверы работают под управлением ОС Windows или Linux. Сервер G-Scale. Высокая масштабируемость G-Scale 6008 и 6016 достигается за счет специального коммутатора FSS (FAME Scalability Switch) и НМС Intel E8870, что позволяет создавать 4-, 8-, 12- или 16-процессорные системы на базе процессоров Intel Itanium 2. Кроме того, эти модели совместимы со следующим поколением процессоров семейства Itanium 2. Технические характеристики делают G-Scale 6008 и 6016 реальной альтернативой мощным RISC-системам. Системы G-Scale нацелены на исполнение критически важных бизнес-приложений, высокопроизводительных вычислений и создания катастрофоустойчивых кластерных систем. Они позиционируются прежде всего как центры обработки данных и могут быть востребованы вычислительными центрами федеральных министерств и ведомств, крупными корпорациями (в частности, эксплуатирующими интегрированные управленческие ERP-системы) и научными учреждениями. Дело в том, что благодаря 64-разрядной архитектуре Kraftway G-Scale 6008 и 6016 обеспечивают обработку больших объемов данных при работе ресурсоемких приложений класса Business Intelligence, ERP, CRM и других. Технология EPIC (Explicitly Parallel Instruction Computing) позволяет быстрее обрабатывать сложные команды и операции с плавающей запятой, что важно при решении больших счетных научно-технических и конструкторских задач. На все системы G-Scale предоставляется расширенная 5-летняя гарантия с обслуживанием на месте эксплуатации. Учитывая сложность оборудования, Kraftway включила в стандартный гарантийный пакет ряд дополнительных услуг: проверку готовности помещения и согласование требований заказчика к размещению оборудования с требованиями ТУ, рекомендации по обучению персонала, установку базовых сетевых настроек, инициализацию предустановленной ОС и запуск всех блоков аппаратных средств. Для успешного продвижения систем G-Scale исключительно важно то, что в Kraftway имеется Центр серверных решений, специалисты которого обеспечат поддержку и проведут необходимую экспертизу.