Суперкомпьютерные проекты
Бурный рост числа суперкомпьютеров на базе процессоров Power позволил корпорации IBM (http://www.ibm.com) занять лидирующие позиции в последнем рейтинге суперкомпьютеров Top500 (http://www.top500.org). В 28-й редакции списка самых мощных суперкомпьютеров мира системам корпорации в общей сложности принадлежит 237 позиций и 49,6% совокупной вычислительной мощности. Напомним, что список Top500 составляют и публикуют эксперты по суперкомпьютерам Джек Донгарра (Университет штата Теннесси), Эрих Штромейер и Хорст Саймон (Национальный вычислительный центр энергетических исследований и Национальная лаборатория им. Лоуренса в Беркли), а также Ханс Мейер (Мангеймский университет, Германия).
Последнюю редакцию списка возглавляет разработанная IBM в сотрудничестве с Национальной администрацией по ядерной безопасности при Министерстве энергетики США (NNSA, http://www.nnsa.doe.gov) и установленная в Ливерморской национальной лаборатории им. Лоуренса система IBM Blue Gene/L с производительностью в установившемся режиме 280,6 TFLOPS (триллионов операций с плавающей точкой в секунду). Созданный IBM суперкомпьютер MareNostrum на базе блейд-серверов BladeCenter JS21, установленный в Барселоне, сохранил звание самого мощного суперкомпьютера Европы. По сравнению с предыдущим рейтингом, опубликованным в июне 2006 г., количество систем на базе технологии Power Architecture возросло с 83 до 91.
Суперкомпьютер MareNostrum.
Ведущие позиции корпорации в области производительности обусловлены достижениями ее машин, построенных на разных вычислительных платформах. Так, по сравнению с предыдущим рейтингом Top500 число систем Blue Gene выросло с 24 до 28, число кластеров IBM, объединяющих системы на базе процессоров AMD Opteron, — с 31 до 55, а число систем IBM BladeCenter — с 132 до 145. Системам IBM BladeCenter принадлежит 636 TFLOPS из совокупной вычислительной мощности нынешнего рейтинга. Отметим, что платформа BladeCenter — это инновационное решение с высокой плотностью вычислительной мощности, сочетающее в одной системе серверы, средства хранения данных, сетевое оборудование и ПО.
Помимо суперкомпьютера Blue Gene/L в первую пятерку списка Top500 вошли: система Blue Gene/W — собственный суперкомпьютер IBM с производительностью 91,29 TFLOPS, система ASC Purple Ливерморской лаборатории, имеющая на сегодняшний день производительность 75,76 TFLOPS, и MareNostrum из суперкомпьютерного центра Барселонского университета (Barcelona Supercomputing Center), которая была модернизирована с помощью новых блейд-серверов JS21, в результате чего ее производительность удвоилась и составила 62,63 TFLOPS. Системы Blue Gene/L и ASC Purple используются в проводимой NNSA программе расширенного моделирования и компьютерной обработки (ASC), цель которой — обеспечить сохранность, безопасность и надежность ядерного арсенала США без проведения натурных испытаний.
На долю систем IBM приходится более 1,75 PFLOPS из совокупной производительности входящих в список Top500 суперкомпьютеров (3,527 PFLOPS), что более чем на 1 PFLOPS превышает совокупную производительность систем ее ближайшего соперника, корпорации HP (http://www.hp.com). Системы IBM занимают четыре места в первой десятке рейтинга Top500, а в первой его сотне системам корпорации принадлежат 44 позиции.
Важнейшие достижения IBM в рейтинге Top500
|
В списке Top500 дебютировали четыре новые системы IBM Blue Gene, в том числе суперкомпьютер Гарвардского университета. Таким образом, с того момента, как в ноябре 2004 г. корпорация впервые представила коммерческую версию исследовательского решения IBM System Blue Gene Solution, в рейтинг Top500 вошло рекордное число систем Blue Gene — 28. Основанное на архитектуре IBM Power решение Blue Gene обладает оптимизированной пропускной способностью, масштабируемостью и возможностью обработки больших объемов данных, причем потребляемые при этом энергия и площадь составляют лишь небольшую долю от того, что нужно самым быстродействующим современным системам. IBM и ее партнеры непрерывно расширяют перечень выполняемых с помощью систем Blue Gene высокопроизводительных вычислительных приложений (HPC-приложений) в таких областях, как биологические науки, финансовое моделирование, гидродинамика, квантовая химия, молекулярная динамика, астрономия и космические исследования, моделирование климата и т. д.
Над чем работает Blue Gene
Об очередном этапном достижении Blue Gene IBM и Национальная администрация по ядерной безопасности США объявили в прошлом году. Система установила новый мировой рекорд по скорости выполнения научно-технических приложений, продемонстрировав производительность в установившемся режиме на уровне 207,3 TFLOPS при исполнении программного кода Qbox. Напомним, что суперкомпьютер IBM Blue Gene/L используется для имитационного моделирования электропроводных материалов по программе ASC, проводимой NNSA. Эта программа объединяет вычислительные и интеллектуальные ресурсы трех национальных лабораторий США — Лос-Аламосской, лаборатории Sandia и Ливерморской лаборатории им. Лоуренса.
[Фото]Начинка суперкомпьютера Blue Gene.
Агентство NNSA, созданное по решению Конгресса США в 2000 г. как полуавтономное подразделение Министерства энергетики США (DOE), отвечает за укрепление национальной безопасности посредством применения ядерной физики в военных целях. NNSA занимается поддержанием и улучшением безопасности, защищенности, надежности и боевых характеристик ядерного оружия без проведения натурных испытаний; работает над ослаблением глобальной угрозы от оружия массового уничтожения; снабжает ВМФ США безопасными и эффективными ядерными движителями и участвует в ликвидации последствий ядерных и радиационных инцидентов в США и за рубежом. Сконцентрированные в рамках программы ASC средства компьютерного моделирования позволяют NNSA без подземных ядерных испытаний вести исследования ядерного оружия, необходимые для обеспечения сохранности, безопасности и надежности ядерных арсеналов США (проект Stockpile Stewardship).
Как заявил руководитель программы ASC Дмитрий Кузнецов, данное достижение стало важным шагом на пути к полномасштабному прогнозирующему моделированию ядерных вооружений, которое жизненно необходимо для поддержания безопасности и надежности ядерных арсеналов. Продемонстрированные результаты в очередной раз подтвердили, что архитектура BlueGene/L способна масштабироваться в соответствии с требованиями реальных задач. Высокая скорость выполнения кода Qbox была достигнута благодаря содействию партнеров из IBM, которые помогли оптимизировать работу этого кода в системе Blue Gene с 131 072 процессорами. Здесь стоит отметить, что скорость выполнения по сравнению с предшествующими реализациями увеличилась в значительной степени за счет созданных специалистами IBM новых математических библиотек, которые максимально используют возможности двухъядерной архитектуры Blue Gene. Впервые в истории научно-технический код выполнялся с постоянной скоростью 200 TFLOPS. Это существенно превышает прежний мировой рекорд, также принадлежащий суперкомпьютеру Blue Gene в Ливерморской лаборатории.
Код Qbox, основанный на модели квантовой молекулярной динамики (First-Principles Molecular Dynamics, FPMD), позволяет предсказать поведение металлов при экстремально высоких давлениях и температурах, чего в течение длительного времени не удавалось достичь ученым в таких областях, как материаловедение и физика высоких энергий. Кроме того, коды на основе моделей FPMD применяются при сложном моделировании на атомном уровне в металлургии, физике твердого тела, химии, биологии и нанотехнологиях. Буква «Q» в названии Qbox означает quantum (квант) — фундаментальное понятие квантовой механики, на которой основан данный тип моделирования. Способность точно представлять изменения в электронной структуре атомов отличает модели FPMD от моделей на основе классической молекулярной динамики. Применение кода на основе трехмерной модели, описывающей поведение атомов молибдена под давлением, — лишь один из примеров прогнозирующего научного моделирования, выполняемого на уровне 1000 атомов. Модели классической молекулярной динамики часто оперируют миллиардами атомов, поскольку на таком уровне взаимодействие между атомами сравнительно легко просчитать. С другой стороны, квантовые модели — очень точные, но в то же время и очень сложные — до настоящего времени ограничивались 50 атомами. Переход от 50 к 1000 атомов позволяет исследовать новые классы химических систем, в том числе гетерогенные среды (анализ взаимодействия между молекулами разных веществ) и химию экстремальных состояний (включая химические процессы при ударе). Это имеет важнейшее значение для проекта Stockpile Stewardship, а также для различных исследований биологических систем, включая белки.
Прогнозирующее моделирование позволит изучить поведение сложных физических, химических и биологических систем в течение достаточно длительных промежутков времени (до того можно было получать только короткие «временные срезы» значительно меньшего масштаба). Подобные возможности имеют большое значение для выполняемых NNSA проектов в области национальной безопасности, в ходе которых исследуются процессы старения материалов в ядерном оружии, в частности, в ядерных боеголовках, выслуживших установленные сроки. Более того, высокая производительность кода Qbox, оптимизированного для работы на крупномасштабных платформах класса Blue Gene, может найти применение в решении самых разных научных задач, например, при создании новых материалов.
Blue Gene в Гарварде
IBM и Факультет инженерных и прикладных наук (Division of Engineering and Applied Sciences, DEAS) Гарвардского университета объявили о внедрении системы CrimsonGridBGL, самого мощного в научном сообществе США суперкомпьютера IBM Blue Gene. Эта система, обеспечивающая пиковую производительность в 11 TFLOPS, позволит преподавателям и исследователям изучать методы многомасштабных вычислений и возможности их применения в различных дисциплинах. Помимо прочего, это свидетельствует о расширении сотрудничества IBM с академическим сообществом, в рамках которого, в частности, в 2003 г. была создана инфраструктура grid-вычислений Crimson Grid для поддержки исследований преподавателей и студентов, совместного использования данных и коллективной работы в различных областях, включая медико-биологические, инженерные и прикладные науки.
Первые проекты, в которых будет использоваться платформа Blue Gene, вероятно, будут посвящены моделированию сложных, масштабных систем или событий, таких, как гемодинамическая система человека (циркуляция крови), самосборка клеток и морфогенез тканей, имеющие отношение к фундаментальным процессам, лежащим в основе сердечного органогенеза (развития сердца), поведение вычислительных систем, механические реакции материалов, используемых в современных интегральных схемах, а также история формирования галактик.
Установленная система Blue Gene включает 4096 процессоров PowerPC, размещенных в двух стойках, и занимает менее 3 кв. м. Если сравнивать ее с традиционным кластером на базе эквивалентного количества процессоров, то она занимает в четыре раза меньше пространства и потребляет в пять раз меньше электроэнергии. Для параллельной масштабируемости система Blue Gene использует стандартную основу MPI. Это позволяет проводить сложные вычисления одновременно на тысячах процессоров и соединений с низким уровнем задержки. По мнению ученых, гигантские вычислительные возможности системы Blue Gene позволят выполнять впятеро больше исследовательских проектов одновременно. А существующая grid-инфраструктура, которую можно рассматривать как точку доступа к системе Blue Gene, будет предоставлять согласованную, интегрированную высокоскоростную сеть для управления рабочими процессами. Система CrimsonGridBGL позволит решать сложные вычислительные проблемы не только в науке и инженерном проектировании, но и во множестве других областей, охватывающих весь университет, — от анализа финансовых рисков до эпидемиологии.
Система Blue Gene Гарвардского университета входит в структуру всемирного консорциума пользователей, которые обмениваются технологиями и лучшими методиками, чтобы максимально эффективно задействовать возможности системы. Кроме того, консорциум активно помогает в создании инновационных архитектур и определении динамики внедрения следующих систем Blue Gene.
Суперкомпьютер на базе BladeCenter
Летом прошлого года IBM объявила о развертывании суперкомпьютера, предназначенного для решения задач сейсмического анализа и прогнозирования в компании Compagnie Generale de Geophysique (CGG), одном из крупнейших в мире поставщиков геофизических услуг. Новый суперкомпьютер необходим CGG для удовлетворения растущего спроса со стороны нефтедобывающих компаний разных стран. Согласно оценкам компании, суперкомпьютер существенно сократит время обработки — интервал между получением первичных геофизических данных и моментом, когда эти данные уже можно анализировать в форме сейсмических карт. Кластерная инфраструктура суперкомпьютера, состоящая из серверов IBM BladeCenter JS21 на базе двухъядерных процессоров, обеспечит суммарную производительность всех вычислительных ресурсов компании CGG на уровне 113 TFLOPS (в пиковом режиме), что позволит ей соответствовать крайне высоким требованиям к производительности, предъявляемым нефтедобывающей отраслью.
Приобретение новейшего суперкомпьютера на базе серверов JS21 — часть политики CGG, направленной на непрерывное наращивание вычислительных ресурсов с целью удовлетворения потребностей высококонкурентного рынка и оптимизации качества и скорости выполнения определенных отраслевых приложений. Новая система развертывается одновременно в четырех вычислительных центрах CGG — в Масси (Франция), Лондоне (Великобритания), Куала-Лумпуре (Малайзия) и в штате Техас (США). На первом этапе CGG развернет 2800 узлов JS21 на базе двухъядерных процессоров PowerPC. Для установки узлов будет использовано более 200 шасси BladeCenter H, обеспечивающих высокую скорость обмена данными. Это сочетание гарантирует максимальную производительность в каждом блейд-модуле, сохраняя возможность для будущего наращивания производительности на базе того же шасси.
C учетом производительности, возросшей в три раза по сравнению с предыдущим поколением, IBM BladeCenter JS21 становится ведущим модульным сервером для выполнения 64-разрядных приложений в среде Unix и Linux. Система JS21 — оптимальный модульный блок для построения HPC-кластеров, выполнения биологических и геофизических расчетов, поддержки Web-сервисов, например, в среде IBM WebSphere, и консолидации серверов на базе технологии Advanced POWER Virtualization (опция). В сервере BladeCenter JS21 используется два одноядерных 64-разрядных процессора IBM PowerPC 970MP с тактовой частотой 2,7 ГГц или два двухъядерных процессора с тактовой частотой 2,5 ГГц и кэш-памятью второго уровня объемом 1 Мбайт на каждом ядре. Шасси IBM BladeCenter H комплектуется быстродействующими средствами межсоединения на основе коммутационных матриц 4X InfiniBand или Ethernet 10 Гбит/с, а также системой охлаждения повышенной надежности, что делает его хорошей платформой для создания высокопроизводительных кластеров нового поколения. Шасси BladeCenter H рассчитано на одновременное применение нескольких ОС и процессорных архитектур, что обеспечивает беспрецедентную гибкость развертывания и защиту инвестиций. Это шасси позволяет заказчикам сократить расходы за счет консолидации серверных и сетевых ресурсов, а также упрощенного управления серверами.
В новых высокопроизводительных кластерах будет исполняться разработанное компанией CGG прикладное ПО Geocluster, оптимизированное для поддерживаемого системами JS21 векторного акселератора VMX. Новый суперкомпьютер CGG радикально повысит скорость вычислений, сократит время обработки сейсмических данных и улучшит качество визуализации. Все это позволит добывающим компаниям существенно усовершенствовать управление нефтяными месторождениями. Специалисты из CGG говорят, что всегда рассматривали технологию в качестве самого главного союзника. В значительной степени именно благодаря новым технологиям удалось повысить оперативность и эффективность работы, а значит, завоевать новые рынки. Для поддержания конкурентоспособности вычислительные ресурсы компании следует обновлять через каждые два года; вот почему постоянно ищутся самые новаторские, самые производительные технологии.
Планы развития суперкомпьютерных технологий
Осенью 2006 г. министерство энергетики США объявило о том, что входящее в его состав Управление науки, а также Администрация по ядерной безопасности США и корпорация IBM будут совместно финансировать пятилетнюю научно-исследовательскую и опытно-конструкторскую программу стоимостью 58 млн долл., направленную на расширение возможностей самых быстрых компьютеров в мире. В соответствии с условиями соглашения между вышеперечисленными сторонами, ученые из двух национальных лабораторий министерства энергетики совместно со специалистами IBM будут заниматься дальнейшим развитием суперкомпьютерных технологий, что расширит для США возможности решения сложных научных проблем и обеспечения сохранности национального ядерного арсенала.
По словам министра энергетики США Сэмюэля Бодмана, суперкомпьютерные технологии жизненно необходимы для поддержания и укрепления экономической конкурентоспособности США, а заявленная научно-исследовательская и опытно-конструкторская программа обеспечит новые возможности развития науки и бизнеса с самыми высокими показателями скорости, качества и эффективности. Управление науки министерства энергетики США обеспечивает проведение фундаментальных физических исследований и помогает гарантировать мировое лидерство США в широком диапазоне научных дисциплин. Оно поддерживает проведение самых разных исследований в более чем 300 колледжах и университетах страны, руководит десятью национальными лабораториями мирового уровня с огромными возможностями решения сложных междисциплинарных научных проблем, формирует и применяет крупнейший в мире комплекс научного оборудования и инструментария, которым ежегодно пользуются более 19 тыс. исследователей для расширения границ познания во всех областях науки.
Основная цель этого проекта — создание программной среды, которая позволит проводить научные исследования независимо от вычислительной архитектуры, способной масштабироваться до сотен тысяч процессоров с низким энергопотреблением. В проект включены и другие научные задачи, также имеющие общенациональное значение, а именно:
- моделирование технологий производства ядерной энергии;
- поддержка усилий, направленных на расшифровку генома человека;
- моделирование изменений климата и окружающей среды;
- углубленное изучение генетических и биологических процессов.
Указанные задачи будут решаться силами специалистов Аргоннской и Ливерморской национальных лабораторий министерства энергетики США, которые будут работать совместно с разработчиками аппаратных средств и ПО из IBM. Администрация по ядерной безопасности и Управление науки инвестируют в этот проект по 17,5 млн долл., а IBM — 23 млн долл. Стоит отметить, что, опираясь на достижения ученых, NNSA на протяжении многих лет успешно обеспечивает безопасность, защищенность, надежность и боевые характеристики ядерного оружия без проведения натурных ядерных испытаний, а суперкомпьютеры служат важнейшим инструментом этой программы, позволяя проводить прогнозирующее моделирование.
В число основных задач созданной в 1952 г. Ливерморской национальной лаборатории им. Лоуренса входит обеспечение национальной безопасности и применение научных и технических достижений для преодоления важнейших проблем сегодняшнего дня. Руководство лабораторией осуществляет Калифорнийский университет в интересах Администрации по ядерной безопасности США. В свою очередь, Аргоннская национальная лаборатория, первая в ряду национальных лабораторий США, проводит фундаментальные и прикладные научные исследования в широком диапазоне дисциплин — от физики высоких энергий до климатологии и биотехнологий. Начиная с 1990 г. к ее услугам прибегали более 600 компаний, множество федеральных и других организаций, занимающихся укреплением научного лидерства США. Руководит Аргоннской национальной лабораторией компания с ограниченной ответственностью UChicago Argonne в интересах Управления науки министерства энергетики США.
Суперкомпьютер в метеорологии
Национальный центр атмосферных исследований США (NCAR) в ноябре 2006 г. установил у себя новый суперкомпьютер IBM, известный под кодовым наименованием Blueice, в результате чего мощность вычислительных ресурсов NCAR в установившемся режиме возросла в три раза. Новый суперкомпьютер с пиковой производительностью 12 TFLOPS позволит ученым увеличить детальность и сложность применяемых геофизических моделей, углубить исследования в области погоды и климата, а также повысить точность данных, используемых при принятии решений. Суперкомпьютер Blueice — первая очередь системы ICESS (Integrated Computing Environment for Scientific Simulation); ввод его в эксплуатацию запланирован на февраль 2008 г. В том же году будет развернута и вторая очередь системы ICESS, предназначенная для поддержки геофизических исследований вплоть до середины 2011 г.
Специалисты из NCAR отмечают, что высокая производительность системы Blueice позволит перевести вычислительные проекты на новый уровень. Ученые смогут исследовать сложные проблемы турбулентности атмосферы, повысить точность моделирования регионального климата и прогнозировать погоду в близком к реальному масштабе времени. Кроме того, они смогут адаптировать программный код для решения более масштабных задач и работать с более сложными физическими моделями. Национальный центр атмосферных исследований стремится внедрять все более мощные вычислительные системы, позволяющие лучше понять процессы, влияющие на климат и погоду Земли.
Первая очередь ICESS представляет собой суперкомпьютерный кластер, состоящий из SMP-узлов IBM System p5 575 на базе процессоров POWER5+. Система укомплектована процессорами с тактовой частотой 1,9 ГГц, оперативной памятью объемом 4 Тбайт и системой хранения данных FASTt DS4800 емкостью 150 Тбайт. Кроме того, в системе установлен двухканальный коммутатор IBM High Performance Switch — специализированное сетевое устройство, оптимизированное для поддержки высокоскоростных межузловых коммуникаций, которые необходимы для эффективного выполнения программного кода для научно-технических исследований. И, наконец, в кластере будет использоваться решение IBM Rear Door Heat eXchanger — «охлаждающая дверца» толщиной 5 дюймов, которая с помощью холодной воды отбирает тепло, отводимое через заднюю стенку вычислительной системы. Решение Rear Door Heat eXchanger оптимизирует энергопотребление, охлаждение и управление всей ИТ-инфраструктурой вычислительного центра.
Ожидается, что при пиковой производительности 12 TFLOPS суперкомпьютер Blueice в установившемся режиме обеспечит производительность на уровне 2 TFLOPS. Показатель производительности в установившемся режиме, с помощью которого оценивается вычислительная мощность системы при решении таких задач, как построение атмосферных, океанических и других геофизических моделей, наилучшим образом характеризует применимость системы. Blueice будет первым суперкомпьютером в центре NCAR, сумевшим преодолеть важнейший рубеж производительности в установившемся режиме — 1 TFLOPS. Во второй очереди ICESS будут использованы системы на базе готовящихся к выпуску процессоров IBM POWER6. Кроме того, будут расширены возможности установленного коммутатора High Performance Switch, подсистемы хранения данных и программных средств кластеризации.
Кластерное решение
Недавно IBM представила новый ассортимент компонентов для своих кластерных решений System Cluster 1350: системы и блейд-серверы на базе процессоров нового поколения, высокоскоростные средства сетевого соединения и сопроцессоры для ускорения математических вычислений. Благодаря улучшенным возможностям работы в широком диапазоне прикладных сред и способности масштабироваться до 1024 узлов решение System Cluster 1350 становится оптимальным вариантом для построения суперкомпьютерных систем в самых разных отраслях, включая финансовые услуги, промышленное производство, нефтехимию и медико-биологические исследования.
По мнению экспертов, решение IBM System Cluster 1350 предоставляет заказчикам обширный арсенал технологий для успешного выполнения высокопроизводительных вычислений, одновременно упрощая ИТ-инфраструктуру и снижая риски при конфигурировании, развертывании и применении Linux-кластеров. Благодаря сотрудничеству с ведущими производителями процессоров, математических акселераторов и сетевых устройств IBM обеспечивает заказчикам высокую скорость вычислений, широкий выбор конфигураций и гибкость решения. Так, в университете штата Индиана на базе решения System Cluster 1350 развернули систему Big Red, которая сразу же заняла 23-е место в списке самых мощных суперкомпьютеров мира. Новая система будет использоваться при проведении исследований в таких областях, как медико-биологические науки, астрономия, информатика, вычислительная физика и гуманитарные науки. Эта система способна выполнять более 20,4 трлн арифметических операций в секунду. С точки зрения региональных и общенациональных научных сообществ важнейшее достоинство суперкомпьютера Big Red — интеграция его вычислительной мощи в киберинфраструктуру университета, что обеспечивает поддержку вычислительных исследовательских проектов, а также возможность доступа ученых всей страны к системе Big Red через распределенную инфраструктуру TeraGrid (http://www.teragrid.org).
А вот биофармацевтическая компания Telik использует решение System Cluster 1350 в поиске новых препаратов для лечения раковых заболеваний. По данным компании Telik, использование этой кластерной технологии в 50 раз повысило вычислительную мощность, применяемую в научных исследованиях.
В решении IBM System Cluster 1350 могут использоваться следующие компоненты:
- системы на базе процессоров AMD Opteron (в том числе IBM System x3455, x3655, x3755, BladeCenter LS21 и LS41);
- системы на базе процессоров Intel Xeon (в том числе IBM System x3550 и x3650 и BladeCenter HS21);
- системы на базе процессоров IBM Power (в том числе IBM System p5 505/505Q, 510/510Q, 550/550Q, а также BladeCenter JS21);
- системы на базе процессоров IBM Cell Broadband Engine (в том числе IBM BladeCenter QS20).
Для передачи информации между системами новый продукт IBM System Cluster 1350 располагает широким ассортиментом сетевых средств, основанных на технологиях межсоединений Ethernet, Infiniband и Myrinet. В настоящее время IBM активно работает с ведущими поставщиками сетевых технологий над реализацией технологии Autobahn в решении System Cluster 1350. Как известно, в системах на базе процессоров AMD Opteron применяется технология HyperTransport (HTx) — шина с высокой пропускной способностью и низкими задержками. System Cluster 1350 — одна из первых систем в отрасли, поддерживающая адаптеры Qlogic/PathScale HTx для подключения новых серверов. Эта возможность в сочетании с технологией HyperTransport и другими ключевыми особенностями данных серверов делает их хорошим решением для выполнения ресурсоемких научно-технических и бизнес-задач с интенсивным использованием памяти, скорость выполнения которых ранее ограничивалась пропускной способностью канала процессор — память и подсистемы ввода-вывода. Высокопроизводительные сетевые продукты Cisco на базе технологий Ethernet и Infiniband и продукты семейства BladeCenter, в том числе коммутационный блейд-модуль BladeCenter H Infiniband 10 Гбит/с, повышают управляемость, улучшают условия выполнения различных HPC-приложений и гарантируют проверенную совместимость с другими продуктами семейства IBM 1350.
В обновленном продукте Cluster 1350 ассортимент используемых Ethernet-решений расширен за счет коммутаторов компании Force10, обеспечивающих гибкость структуры кластерных систем. Адаптеры и коммутаторы Myri-10G (10 Гбит/с) компании Myricom гарантируют высокую скорость и низкие задержки сетевых соединений. В Ethernet-режиме адаптеры Myri-10G могут применяться совместно с серийными коммутаторами Ethernet 10 Гбит/с и при использовании протоколов TCP/IP и UDP/IP способны работать почти на скорости среды передачи данных. Заказчики могут увеличить пропускную способность сетевых коммуникаций с 10 до 20 Гбит/с с помощью новых адаптеров и коммутаторов 4x Infiniband от компании Voltaire Infiniband. Новинка — проходной блейд-модуль Voltaire InfiniBand — позволяет отказаться от использования промежуточных коммутаторов и обеспечивает без потери производительности прямое соединение с мощными коммутаторами уровня ядра, которые могут находиться на больших расстояниях от системы BladeCenter.
В решении IBM System Cluster 1350 будут также использоваться ускорительные платы ClearSpeed Advance, расширяющие возможности гибридных кластерных архитектур. Эти платы, выполненные в виде адаптеров PCI-X, повышают скорость выполнения рабочих нагрузок, требующих интенсивных вычислений, благодаря перенаправлению процедур из математических библиотек на ускорительную плату ClearSpeed. Этот процесс происходит незаметно для пользователя и приложений — за исключением того, что увеличивается скорость вычислений.
Суперкомпьютер на базе Cell
Администрация по ядерной безопасности США заключила с IBM контракт на проектирование и постройку первого в мире суперкомпьютера на базе процессора Cell Broadband Engine (Cell BE), который сможет выполнять в установившемся режиме порядка триллиона операций с плавающей запятой в секунду (1 PFLOPS). Этот «гибридный» суперкомпьютер под кодовым обозначением Roadrunner будет установлен в Лос-Аламосской национальной лаборатории. Процессорные кристаллы Cell BE — разработанные для игровых компьютерных платформ — будут работать совместно с серверами на базе процессоров архитектуры x86 производства корпорации AMD (http://www.amd.com). Напомним, что процессор Cell BE, в основе которого лежит архитектура Power Architecture, разработан совместно корпорациями IBM, Sony, Sony Computer Entertainment и Toshiba.
Новый суперкомпьютер, ориентированный на выполнение широкого спектра научных и коммерческих приложений, будет использовать новые, самые современные программные средства для организации совместной работы более 16 тыс. процессорных ядер AMD Opteron и более 16 тыс. процессоров Cell BE при решении сложных научных и технических задач. Пиковая производительность этого суперкомпьютера превысит 1,6 PFLOPS. Интересно, что суперкомпьютер, создаваемый исключительно из коммерческих аппаратных компонентов, будет работать под управлением ОС Linux. Серверы IBM System x 3755 на базе процессоров AMD Opteron будут развернуты совместно с системами IBM BladeCenter H на базе процессоров Cell BE. Каждая используемая в суперкомпьютере система проектировалась в расчете на применение в высокопроизводительных вычислительных средах.
При проектировании суперкомпьютера большое внимание уделялось сокращению занимаемой площади и энергопотребления. Система, использующая передовые технологии охлаждения и энергосбережения, будет занимать всего 1115 кв. м полезной площади (что эквивалентно трем баскетбольным площадкам). Для суперкомпьютера Roadrunner потребуется создание специальных программных средств «гибридного программирования» (Hybrid Programming), которые будут управлять совместной работой систем на базе процессоров Cell BE и AMD Opteron. Это ПО откроет новую эру гетерогенных технологий в секторе суперкомпьютеров. Программные средства, разрабатываемые совместно инженерами IBM и Лос-Аламосской национальной лаборатории, позволят создавать на базе смешанных технологий системы для компаний любого размера и для широкого диапазона отраслей, включая медико-биологические исследования, финансовые услуги, автомобилестроение, проектирование аэрокосмической техники и т. д.
Гибридная организация системы дает возможность сегментировать сложные математические выражения таким образом, чтобы каждый сегмент выполнялся именно тем компонентом, который способен сделать это максимально эффективно. Типовые процессы, операции ввода-вывода файлов и коммуникационные функции будут возлжены на процессоры AMD Opteron. Более сложные и многократно повторяющиеся элементы — традиционно потребляющие основную часть суперкомпьютерных ресурсов — будут направляться на процессоры Cell BE. Предполагается, что именно Cell BE, разрабатывавшийся для игровых платформ, важнейшие требования к которым — это высокая графическая производительность и работа в реальном времени, станет оптимальным решением для выполнения сложных математических задач в системе Roadrunner.
Как говорят эксперты из Лос-Аламосской национальной лаборатории, новый суперкомпьютер демонстрирует, какие впечатляющие результаты могут быть получены отраслевыми лидерами при совместном создании инновационных решений на основе открытой платформы. Сотрудничество IBM и AMD и совместное применении процессоров AMD Opteron и Cell BE позволило создать мощную систему для выполнения весьма специфических рабочих нагрузок. Это прекрасная демонстрация архитектуры Torrenza в действии — сочетание преимуществ процессоров AMD Opteron в производительности (и в производительности на единицу потребляемой мощности) с технологией HyperTransport, которая позволяет системам на базе различных процессорных платформ эффективно взаимодействовать друг с другом при решении самых сложных вычислительных задач.
HP и Intel объединяют усилия
Альянс, объединяющий Галисийский центр суперкомпьютерных расчетов (Centro de Supercomputacion de Galicia, CESGA), корпорации HP (http://www.hp.com) и Intel (http://www.intel.com), анонсировал программу сотрудничества с организацией Xunta de Galicia и Высшим советом научных исследований (Consejo Superior de Investigaciones Cientificas, CSIC), в рамках которой будет создан суперкомпьютер с самым большим объемом общей памяти в Европе. Центр CESGA (http://www.cesga.es) был создан с целью совершенствования эффективных вычислительных и коммуникационных сервисов и их популяризации в научных сообществах Галисии и CSIC, а также среди нуждающихся в них компаний и учреждений. Он специализируется на проведении исследований и выполнении высокопроизводительных вычислений. Начиная с 1993 г. Центр предоставляет ресурсы для научных вычислений, высокоскоростной коммуникации и реализации современных сервисов. CESGA вносит значительный вклад в развитие инновационных технологий и повышение конкурентоспособности испанских компаний.
Новый суперкомпьютер, названный Finis Terrae, будет развернут в CESGA в городе Сантьяго де Компостела. Благодаря высокой вычислительной мощности и большой емкости подсистемы хранения данных испанские ученые получат возможность реализовать самые амбициозные научные проекты. Суперкомпьютер Finis Terrae повысит эффективность практического воплощения научных инициатив в Испании и во всей Европе, создав оптимальные условия для сотрудничества международных исследовательских групп.
Решение о создании эталонного вычислительного центра было принято в ответ на усложнение научно-исследовательских и опытно-конструкторских проектов, реализуемых исследовательскими группами из университетов Галисии и организации CSIC в сфере высокопроизводительных вычислений. Как Центр CESGA, так и корпорации HP и Intel заинтересованы в проектах, относящихся к таким областям, как проектирование, разработка и оптимизация научных приложений и специфического ПО для SMP-систем, разработка и совершенствование новых архитектур вычислительных систем, адаптация и оптимизация свободно распространяемых научных приложений с учетом особенностей SMP-систем. Кроме того, в создаваемом вычислительном центре будет проводиться тестирование производительности приложений и бета-тестирование новых систем.
Высокопроизводительный суперкомпьютер Finis Terrae, разработанный для центра CESGA на базе процессоров Intel Itanium 2, будет содержать в общей сложности более 2500 процессорных ядер и иметь общую память объемом более 19 Тбайт, а передача данных будет происходить по высокоскоростной сети Infiniband. Суперкомпьютер сможет поддерживать свободно распространяемое ПО (Linux, Lustre, Globus), объем его иерархической подсистемы хранения данных на жестких дисках составит 390 Тбайт, а объем автоматизированной ленточной библиотеки — 1 Пбайт.
В состав системы Finis Terrae войдут 142 узла, содержащих по 16 процессорных ядер Intel Itanium 2 и 128 Гбайт памяти. Кроме того, система будет включать два узла, имеющих по 128 процессорных ядер (один с объемом памяти 384 Гбайт, второй — 1024 Гбайт). Процессоры, на основе которых будет создан суперкомпьютер, представляют собой новое поколение процессоров семейства Intel Itanium 2, прекрасно справляющихся с научными и исследовательскими задачами благодаря достаточной скорости выполнения операций с числами с плавающей точкой, высокой пропускной способности подсистемы памяти и эффективному управлению большими объемами данных. Занимаемая суперкомпьютером площадь составит 140 кв. м, а его масса — примерно 33 500 кг. Представители Intel отмечают, что система Finis Terrae расширит имеющиеся у испанских ученых возможности для суперкомпьютерных расчетов и будет интегрирована во всемирную сеть исследовательских центров, охватывающую более 20 стран. Кроме того, эта инфраструктура станет самой крупной средой численного моделирования, доступной испанским ученым из организации CSIC.
Расходы на оборудование, которое будет установлено в новой среде, превысят 60 млн евро и будут распределены между всеми участниками проекта. Центр CESGA возьмет на себя реализацию инфраструктуры, операций и средств управления, обслуживание первого уровня и координацию научно-исследовательских и опытно-конструкторских проектов. Intel и HP предоставят аппаратные компоненты и программные инструменты, а также примут участие в реализации научно-исследовательских проектов, проведении программ тренинга и развертывании эталонного центра суперкомпьютерных расчетов. Высокая вычислительная мощность и огромная емкость подсистемы хранения данных суперкомпьютера Finis Terrae позволят успешно претворять в жизнь самые амбициозные научные проекты, относящиеся к таким важным областям, как инженерное дело, физика, химия, биомедицина, здравоохранение, астрофизика, метеорология и климатология.
«СКИФ Cyberia»
В середине февраля российская компания «Т-Платформы» (http://www.t-platforms.ru), Институт программных систем РАН (ИПС РАН), корпорации Intel и Microsoft (http://www.microsoft.com) объявили о завершении строительства Регионального центра коллективного пользования высокопроизводительными вычислительными ресурсами Томского государственного университета (ТГУ). Этот старейший университет Сибири и Дальнего Востока стал первым российским вузом, оснащенным суперкомпьютерным центром мирового уровня: сегодня он входит в число 15 самых современных и производительных вычислительных центров в мировой системе образования. ТГУ получил возможность создать суперкомпьютерный центр как один из победителей Всероссийского конкурса инновационных образовательных программ, проведенного в рамках Национального проекта «Образование» в 2006 г.
Вычислительный центр ТГУ оснащен суперкомпьютером «СКИФ Cyberia» на базе 566 двухъядерных процессоров Intel Xeon серии 5150 — самым мощным вычислительным комплексом на территории России, СНГ и Восточной Европы, а также одним из ста мощнейших компьютеров мира. Пиковая производительность системы достигает 12 TFLOPS; предварительный ее результат в стандартном тесте Linpack составил 7,82 TFLOPS. «СКИФ Cyberia» построен на базе последних технологических достижений мировой суперкомпьютерной отрасли.
Суперкомпьютер ТГУ, созданный силами компании «Т-Платформы» при активной поддержке и участии специалистов ИПС РАН, — это отечественная разработка, не использующая готовые платформенные решения от ведущих мировых производителей. Сегодняшний успех российских разработчиков — результат их участия в российско-белорусской государственной суперкомпьютерной программе «СКИФ», осуществленной в 2000—2004 гг. и завершившейся строительством 288-узлового кластера «СКИФ К-1000». Основу суперкомпьютерного комплекса «СКИФ Cyberia» составляет вычислительный кластер на базе 282 вычислительных и одного управляющего узла в конструктиве 1U. Благодаря технологиям Intel мощность нового «СКИФ» по сравнению со «СКИФ К-1000» выросла в пять раз, причем количество использованных вычислительных узлов и энергопотребление кластера остались на прежнем уровне.
При разработке платформы для вычислительного узла «СКИФ Cyberia» инженеры «Т-Платформы» использовали технологии термодизайна, полученные в ходе реализации программы «СКИФ» и доказавшие свою надежность. Вычислительный узел базируется на специально модифицированной по заказу разработчиков системной плате. Чтобы добиться наилучшей производительности в вычислительных задачах, стандартный серверный набор микросхем заменили на НМС Intel 5000x, обычно используемый в графических станциях. Высокий уровень производительности приложений призваны обеспечить и впервые примененные в России технологии системной сети QLogic InfiniPath и системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.
Система хранения данных «СКИФ Cyberia», разработанная специально для кластерных систем, обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. Особенность выбранного решения — высокая масштабируемость. При подключении новых модулей хранения возрастает не только объем хранилища, но и пропускная способность всей системы. Удобство мониторинга и управления кластером обеспечивает сервисная сеть СКИФ ServNet разработки ИПС РАН.
Помимо стандартного набора управляющего и системного ПО «СКИФ Cyberia» использует ОС Microsoft Windows Compute Cluster Server 2003. Привычная среда разработки новой ОС и легкость интеграции с существующей инфраструктурой и приложениями призваны ускорить процесс создания приложений для высокопроизводительных вычислений.
Комплексное решение «Т-Платформы» для ТГУ стало первым в России коммерческим проектом в области высокопроизводительных вычислений, включавшим не только поставку вычислительной системы, но и организацию всей инфраструктуры суперкомпьютерного центра «под ключ». Система бесперебойного электропитания «СКИФ Cyberia» с максимальной мощностью 160 кВт обеспечивает подачу напряжения с заданными характеристиками на все компоненты вычислительной системы, а также защиту от сбоев в подаче электропитания. Она способна обеспечить работу суперкомпьютера в течение 10 мин после отключения электропитания, что гарантирует сохранность пользовательских данных в аварийной ситуации. Модульное строение системы позволяет применить внутреннее резервирование и горячую замену компонентов в процессе работы.
Уникальные для российской суперкомпьютерной отрасли технологии были использованы для строительства системы охлаждения «СКИФ Cyberia». Применение традиционного воздушного охлаждения оказалось невозможным в силу небольшой площади помещения вычислительного центра ТГУ. Для надежной работы оборудования в таких условиях инженеры компании «Т-Платформы» спроектировали смешанную воздушно-водяную систему охлаждения с уровнем резервирования N+1 на всех уровнях. Блоки кондиционеров, расположенные в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем горячий воздух охлаждается водой в теплообменниках и уже холодным подается с передней стороны вычислительных стоек. Нагретая вода охлаждается фреоном в холодильных установках, конденсаторы которых расположены на крыше вычислительного центра.
Комплексный экологический мониторинг атмосферы и гидросферы, контроль за разливом рек и распространением пожаров и эпидемий, рациональное использование лесных и минеральных ресурсов, новые конкурентоспособные методы разведки нефтегазовых месторождений, восстановление загрязненных почв, проектирование ракетно-космической техники и безопасного шахтного оборудования, создание новых видов ракетного топлива и сверхтвердых покрытий с помощью нанотехнологий — вот лишь малая часть сложнейших задач, которые ученые ТГУ будут решать с помощью «СКИФ Cyberia» в тесном сотрудничестве с предприятиями региона. Исследования в области применения параллельных вычислений ведутся в университете с 1992 г.; «СКИФ Cyberia» позволит вывести их на новый уровень.