HBM – оперативная память для искусственного интеллекта

Работа приложений искусственного интеллекта связана с обменом огромными объемами данных между графическими ускорителями (GPU), центральными процессорами и оперативной памятью компьютера, однако даже самая высокопроизводительная на сегодняшний день стандартная память DDR5 не обеспечивает необходимую для ИИ пропускную способность.

Для решения этой проблемы в середине прошлого десятилетия была разработана технология памяти High Bandwidth Memory (HBM), которая не только значительно увеличивает полосу пропускания по сравнению с DDR, но и уменьшает энергопотребление оперативной памяти. Это достигается за счет так называемого 3D-стекирования, когда несколько слоев чипов памяти DRAM (Dynamic Random Access Memory) размещаются вертикально один над другим  (в стандартной DDR эти чипы размещаются горизонтальным слоем) и соединяются с помощью каналов TSV (Through-Silicon Via). В результате такого стекирования резко увеличивается плотность размещения чипов памяти и уменьшается расстояние, которые данные должны пройти при передаче от памяти до процессора, а вместе с этим и количество энергии, затрачиваемое на такую передачу. HBM поддерживает каналы TSV шириной до 1024 битов, в то время как стандартной DRAM для доступа к памяти можно использовать только 32- или 64-битные интерфейсы.

Кроме того, более плотная упаковка DRAM позволяет увеличить максимальный объем оперативной памяти, что очень важно для серверов и рабочих станций, используемых для задач машинного обучения, ИИ и обработки цифрового видео. Это преимущество HBM по сравнению со стандартной DDR также позволит существенно увеличить объем оперативной памяти, которой снабжаются мобильные устройства (ноутбуки, планшеты и смартфоны), не меняя их размеры.

В настоящее время на подходе уже расширенная версия третьего поколения HBM, известная как HBM3E. В начале марта компания SK hynix объявила о завершении разработки памяти HBM3E и начале поставок ее крупнейшему поставщику графических ускорителей Nvidia и другим поставщикам систем ИИ.

Основные характеристики всех поколений высокопропускной памяти HBM приведены в таблице.

Поколение	Скорость передачи данных, Гбайт/с	Пропускная способность устройства, Гбайт/с	Высота стека в чипах	Макс. емкость DRAM, Гбайт	Макс. емкость устройства, Гбайт
HBM	1,0	128	8	16	16
HBM2	2,0	256	8	16	16
HBM2E	3,6	461	12	24	36
HBM3	6,4	819	16	32	64
HBM3E	9,6	1229	16	32	64

Как ожидается, в ближайшие месяцы свои продукты HBM3E выпустят и два других ведущих разработчика HBM3 – корпорации Micron и Samsung.