Инновационный вычислительный кластер для Росгидромета

Федеральная служба по гидрометеорологии и мониторингу окружающей среды (Росгидромет), группа компаний РСК и корпорация Intel представили новый энергоэффективный высокопроизводительный кластер, созданный на основе процессоров Intel Xeon серии 5600 с использованием жидкостного охлаждения. Группа компаний РСК выступила разработчиком технологического решения и интегратором установки пилотной кластерной системы с пиковой производительностью 15,33 TFLOPS (триллионов операций в секунду) с возможностями дальнейшего расширения. Это решение станет для российских метеорологов инструментом дальнейшего развития оперативных технологий с целью повышения точности, заблаговременности и детализации прогнозов погоды.

В Росгидромете решается широкий спектр сложных задач в области обработки гидрометеорологических данных, моделирования и прогнозирования процессов в атмосфере и океане, требующих больших вычислительных ресурсов и высокой эффективности их использования. Метеорологический центр в Москве, наряду с центрами в Вашингтоне и Мельбурне, является одним из трех мировых центров Всемирной метеорологической организации (ВМО). В рамках ВМО центр в Москве обеспечивает выполнение международных обязательств России по обмену прогностической информацией и данными гидрометеорологических наблюдений.

Введенный в эксплуатацию в марте 2009 г. вычислительный комплекс с суммарной пиковой производительностью 27 TFLOPS позволил ученым Гидрометцентра реализовать накопленный научный потенциал в развитии прогностических моделей. Взрывной характер внедрения в оперативную практику глобальных моделей с шагом 30–40 км и мезомасштабных моделей с шагом 2–7 км в течение двух лет практически исчерпал вычислительные ресурсы прежнего вычислительного кластера.

Для повышения точности и детализации прогнозов погоды требуется увеличение пространственно-временного разрешения моделей и их физического насыщения. Научная обоснованность моделирования процессов в атмосфере позволяет уже сейчас решать данные задачи на вычислительных мощностях с производительностью порядка 0,5 PFLOPS. Отсутствие же вычислительных мощностей сдерживает ученых и практиков Гидрометцентра России. При подготовке следующего этапа модернизации с увеличением вычислительной мощности минимум в 10–15 раз необходимо было найти решение, отвечающее возрастающим требованиям энергоэффективности в условиях существенных ограничений по доступности электроэнергии и необходимости снижения прочих эксплуатационных расходов.

Группа компаний РСК провела глубокую модернизацию поставленного по контракту с ГВЦ Росгидромета оборудования до уровня пилотной системы, обладающей на данный момент пиковой производительностью 15,33 TFLOPS. Новый вычислительный кластер Росгидромета основан на разработанной РСК архитектуре «РСК Торнадо». Это энергоэффективное суперкомпьютерное решение с жидкостным охлаждением для массово доступных стандартных серверных плат на базе процессоров Intel Xeon, изначально создававшихся для традиционных систем с воздушным обдувом электронных компонентов. Архитектура «РСК Торнадо» обеспечивает гибкость конфигурации вычислительных узлов со стандартными интерфейсами и простоту построения решения, высокую ремонтопригодность (простота замены модулей оперативной памяти и увеличения ее объема, обновление на новые модели процессоров), возможность интеграции с любыми внешними изделиями со стандартными интерфейсами (PCI Express).

На текущий момент пилотная кластерная система состоит из 96 вычислительных узлов, каждый из которых содержит по два процессора Intel Xeon 5680 с тактовой частотой 3,33 ГГц (всего 192 процессора). В системе реализован большой объем оперативной памяти на один узел — 48 Гбайт (суммарный объем 4608 Гбайт). Коммуникационная сеть построена на базе высокоскоростного интерфейса Infiniband QDR. Возможно использование ускорителей (архитектуры Intel MIC).

Уже в рамках пилотной системы показатель эффективности использования электроэнергии PUE достигает рекордного для HPC значения 1,06, т.е. на охлаждение всей системы будет расходоваться не более 5,7% энергопотребления. Коэффициент вычислительной эффективности – более 92% на тесте LINPACK. Система также характеризуется высокой вычислительной плотностью и, как следствие, компактностью, высокой масштабируемостью и экономической эффективностью.

В рамках пилотного проекта на основе стандартной архитектуры х86 уже в этом году производительность вычислительного кластера в ГВЦ Росгидромета будет увеличена до 30 TFLOPS без изменения габаритов системы.