HBM – оперативная память для искусственного интеллекта

Работа приложений искусственного интеллекта связана с обменом огромными объемами данных между графическими ускорителями (GPU), центральными процессорами и оперативной памятью компьютера, однако даже самая высокопроизводительная на сегодняшний день стандартная память DDR5 не обеспечивает необходимую для ИИ пропускную способность.

Для решения этой проблемы в середине прошлого десятилетия была разработана технология памяти High Bandwidth Memory (HBM), которая не только значительно увеличивает полосу пропускания по сравнению с DDR, но и уменьшает энергопотребление оперативной памяти. Это достигается за счет так называемого 3D-стекирования, когда несколько слоев чипов памяти DRAM (Dynamic Random Access Memory) размещаются вертикально один над другим  (в стандартной DDR эти чипы размещаются горизонтальным слоем) и соединяются с помощью каналов TSV (Through-Silicon Via). В результате такого стекирования резко увеличивается плотность размещения чипов памяти и уменьшается расстояние, которые данные должны пройти при передаче от памяти до процессора, а вместе с этим и количество энергии, затрачиваемое на такую передачу. HBM поддерживает каналы TSV шириной до 1024 битов, в то время как стандартной DRAM для доступа к памяти можно использовать только 32- или 64-битные интерфейсы.

Кроме того, более плотная упаковка DRAM позволяет увеличить максимальный объем оперативной памяти, что очень важно для серверов и рабочих станций, используемых для задач машинного обучения, ИИ и обработки цифрового видео. Это преимущество HBM по сравнению со стандартной DDR также позволит существенно увеличить объем оперативной памяти, которой снабжаются мобильные устройства (ноутбуки, планшеты и смартфоны), не меняя их размеры.

В настоящее время на подходе уже расширенная версия третьего поколения HBM, известная как HBM3E. В начале марта компания SK hynix объявила о завершении разработки памяти HBM3E и начале поставок ее крупнейшему поставщику графических ускорителей Nvidia и другим поставщикам систем ИИ.

Основные характеристики всех поколений высокопропускной памяти HBM приведены в таблице.

Как ожидается, в ближайшие месяцы свои продукты HBM3E выпустят и два других ведущих разработчика HBM3 – корпорации Micron и Samsung.