Тензорный акселератор AMD Instinct MI325X и планы развития ИИ-чипов

Компания AMD представила на выставке Computex 2024 обновленные планы по выпуску ИИ-акселераторов Instinct, а также анонсировала новый флагманский ИИ-ускоритель Instinct MI325X. Чипы предназначены главным образом для задач генеративного ИИ (generative AI) и создания и использования больших языковых моделей (LLM).

Ранее компания выпустила ускорители MI300A. На первый взгляд, новый MI325X основан на той же архитектуре CDNA 3 и использует ту же комбинацию из 5- и 6-нм чипов. Однако новинка представляет собой весьма существенное развитие. Дело в том, что в данном ускорителе применена более производительная память HBM3e, специально разработанная для решений ИИ.

В Instinct MI325X 288 Гбайт памяти HBM3, что на 96 Гбайт больше, чем у чипа-предшественника. Использование новой памяти HBM3e обеспечило повышение пропускной способности до 6,0 Тбайт/с – на 700 Гбайт/с больше, чем у MI300X с HBM3. В результате переход на новую память обеспечит MI325X в 1,3 раза более высокую производительность инференса и генерации токенов по сравнению с флагманом Nvidia H200.

AMD также предварительно анонсировала ускоритель Instinct MI350X, который будет построен на чипе с новой архитектурой CDNA 4, с переходом уже на 3-нм техпроцесс. Переход на эту архитектуру обещает примерно 35-кратный прирост общей производительности в работе обученной нейросети по сравнению с актуальной CDNA 3. Чипы будут выпускаться в форм-факторе Open Accelerator Module (OAM).

Источник изображения: AnandTech

AMD не скрывает, что с переходом к передовой архитектуре CDNA 4 собирается подвинуть с пьедестала NVidia c ее ИИ-ускорителями.