Новый суперкомпьютер от «Т-Платформы» в МГУ

По сообщению компании «Т-Платформы», она завершает тестирование и пусконаладку суперкомпьютера производительностью 2,57 PFLOPS для Московского государственного университета им. М.В. Ломоносова. Система заняла 22 место в 44-й редакции мирового суперкомпьютерного рейтинга Тор500 с реальной производительностью 1,84 PFLOPS. Мощности новой мультипетафлопсной системы планируется использовать для наиболее крупных и ресурсоемких расчетов, способных использовать сотни процессоров одновременно.

В основе нового суперкомпьютера МГУ – российские аппаратные разработки. Вычислительная часть системы построена на базе суперкомпьютерных платформ A-Class, которые позволяют размещать до 535 TFLOPS процессорной мощности в одной стойке, что по плотности вычислений превосходит аналоги. A-Class – суперкомпьютер «уровня стойки», где все элементы тесно интегрированы внутри специально разработанного вычислительного шкафа, который охлаждается «горячей водой». 192 таких стойки можно объединить в суперкомпьютер пиковой производительностью более 100 PFLOPS.

В суперкомпьютере всего пять вычислительных стоек с 1280 узлами на базе процессоров Intel Xeon E5-2697 v3 и ускорителей NVIDIA Tesla K40, с общим объемом оперативной памяти более 80 Тбайт. В системе две независимые управляющие сети стандарта Ethernet и две сети FDR InfiniBand. Одна из них используется для MPI-трафика и имеет современную топологию Flattened Butterfly, которая не только лучше масштабируется на системах большого размера, но и позволяет снизить количество используемых сетевых коммутаторов, сокращая стоимость сетевой инфраструктуры до 40% по сравнению с традиционными топологиями. Вторая сеть InfninBand используется для доступа к данным и имеет стандартную топологию Fat Tree с более высокой пропускной способностью. Двухуровневая система хранения включает хранилище расчетных данных объемом 400 Тбайт на базе параллельной файловой системы Lustre и отдельные серверы доступа для более производительной работы с файлами для загрузки и результатами расчетов.

Каждая стойка суперкомпьютера потребляет около 130 кВт и охлаждается водой с температурой 45°С, которая подводится в радиаторы, тесно прилегающие к вычислительным платам. Контур водяного охлаждения построен с применением бескапельных разъемов, а все гидравлические и электрические компоненты разнесены в пространстве и защищены. Помимо более высокой плотности вычислений на стойку и снижения уровня шума в машинном зале, «горячая вода» уменьшает количество потребляемого всем суперкомпьютерным комплексом электричества, а также позволяет круглый год применять режим «свободного охлаждения». Это снижает стоимость инженерной инфраструктуры центра, поскольку вместо холодильных машин суперкомпьютер может охлаждаться обычным воздухом снаружи.

Суперкомпьютер устанавливается в здании Ломоносовского корпуса МГУ рядом с Фундаментальной библиотекой, где уже построена инженерная инфраструктура, рассчитанная на отвод 12 МВт тепла, при этом плотность энергетической мощности на единицу площади – более 12 кВт/кв.м – превышает среднюю по отрасли почти в 3 раза.

Доступа к новому суперкомпьютеру уже ожидают масштабные исследовательские проекты в области медицины (например, моделирование молекулярных процессов в живой клетке), инженерных расчетов (проблемы вихревой аэродинамики и анализа процессов горения), а также астрофизики, материаловедения, энергетики и других областей.