Сверхплотный вычислительный комплекс RSC PetaStream
Группа компаний РСК, разработчик и интегратор решений для сегмента высокопроизводительных вычислений (HPC) и ЦОД, продемонстрировала на выставке SC’13 в Денвере (США) сверхплотное решение RSC PetaStream с прямым жидкостным охлаждением, показав мировой рекорд вычислительной плотности в 1 PFLOPS на стойку при занимаемой площади всего 1 кв.м. Одна стойка RSC PetaStream состоит из 1024 вычислительных узлов и обеспечивает отвод более 400 кВт тепловой мощности.
Решение RSC PetaStream основано на массивно-параллельной архитектуре с самым высоким уровнем интеграции; системная архитектура для высокопроизводительных вычислений разработана специалистами РСК. Каждый узел системы построен на базе 60-ядерного сопроцессора Intel Xeon Phi 5120D с 8 Гбайт скоростной памяти DDR5. Все 1024 вычислительных узла объединены между собой высокоскоростными соединениями на базе технологии Infiniband FDR, обеспечивая сверхплотное высокопроизводительное решение с более чем 250 тыс. потоков в одной стойке на базе архитектуры x86. Это позволило сделать серьезный шаг вперед в направлении создания суперкомпьютеров экзафлопного диапазона, способных обеспечивать миллионы исполняемых вычислительных потоков в одном приложении.
Решение RSC PetaStream на основе архитектуры x86 обеспечивает защиту инвестиций в разработку и оптимизацию ПО. При создании нового ПО для будущих вычислительных систем разработчики смогут применять существующие модели программирования, фактически получая возможность запуска уже существующих приложений на суперкомпьютерах экзафлопного диапазона. Гибкость архитектуры RSC PetaStream позволяет тестировать инновационные модели программирования, которые могут быть более эффективными для экзафлопных вычислений.
В дополнение к производительности приложений, которую обеспечивает RSC PetaStream, новое решение позволяет в два раза сократить расход электроэнергии по сравнению с традиционными кластерными системами, при выполнении задач моделирования с очень высоким уровнем параллелизма.
Для обеспечения максимальной плотности упаковки, высокой пропускной способности ввода-вывода, а также надежности вычислений и управляемости несколько узлов RSC PetaStream группируются в модуль, обеспечивающий узлам жидкостное охлаждение, электропитание и преобразование электроэнергии, а также возможность агрегации узлов в стойку. Модуль RSC PetaStream объединяет до восьми узлов с Intel Xeon Phi, подсистему ввода-вывода, включающую серверную плату Intel S1600JP с процессором Xeon E5-2600 v2, до пяти твердотельных дисков Intel SSD серий S3500 или S3700, и сетевые адаптеры Mellanox Connect-IB или хост-адаптеры Intel True Scale.
В каждую стойку RSC PetaStream может быть установлено до 640 твердотельных накопителей, с управлением ими при помощи масштабируемой файловой системы. При использовании твердотельных дисков Intel SSD серий DC S3700 или DC S3500 емкостью 800 Гбайт совокупная емкость локального файлового хранилища узлов в стойке достигает 0,5 Пбайт при производительности системы в 1 PFLOPS. Применение твердотельных накопителей Intel серий DC S3500 и DC S3700 обусловлено высокими требованиями к отказоустойчивости и ресурсоёмкости системы хранения.
Новое решение РСК предоставляет гибкость при выборе типов интерконнекта за счет подключения различных карт расширения, а также возможность выбора топологии создаваемой сети и широкие опции для построения систем хранения данных в составе суперкомпьютерного комплекса. Базовый модуль RSC PetaStream оснащен двумя слотами PCIe Gen3 x16 для подключения стандартных и нестандартных карт коммуникационных интерфейсов, что обеспечивает по 4 порта Infiniband FDR или QDR, в дополнение к интегрированным 4 портам Gigabit-Ethernet. Каждый модуль обеспечивает высокую пропускную способность во внешнюю сеть, превышающую 200 Гбит/c, в случае использования двухпортового адаптера Mellanox Connect-IB.
Технология высокоэффективного прямого жидкостного охлаждения, разработанная РСК, применяется в проектах с 2009 г. Она обеспечивает высокий уровень энергоэффективности, который демонстрирует и новое решение RSC PetaStream. Как показывают результаты измерений на нескольких эксплуатируемых заказчиками системах РСК, средняя эффективность использования электроэнергии (PUE) составляет 1,06.
Вычислительная плотность в 1 PFLOPS при занимаемом объеме всего в 2,2 куб.м требует высокой эффективности не только от системы охлаждения, но и от подсистемы распределения электропитания. В RSC PetaStream используется система производства Emerson Electric, на базе отраслевого стандарта электропитания постоянного тока с напряжением 400 В. В результате эффективность распределения электроэнергии превышает 90%. Кроме того, применение стандарта электропитания постоянного тока с напряжением 400 В позволяет сократить количество преобразований электроэнергии и число используемых электронных компоненто, что также повышает общую энергоэффективность и надежность работы всего вычислительного комплекса.
В RSC PetaStream обеспечиваются расширенные программно-аппаратные функции мониторинга и управления системой с использованием интегрированного стека ПО «РСК БазИС». В системе используется технология Intel Node Manager для контроля и мониторинга энергопотребления каждого узла, что позволяет суперкомпьютерным центрам реализовывать гибкие политики для оптимизации управления энергопотреблением.
Решение RSC PetaStream поставляется с набором программных инструментов Intel Cluster Studio XE 2013 для ОС Linux, а также с набором оптимизированных библиотек.