Технологии Fujitsu для ускорения глубинного обучения
Компания Fujitsu объявила о разработке программной технологии, которая объединяет несколько графических процессоров (GPU) для реализации преимуществ высокоскоростного глубинного обучения.
Технология глубинного обучения демонстрирует гораздо более высокий уровень точности распознавания по сравнению с предыдущими разработками. Но для обеспечения такой точности требуется постоянный анализ больших массивов данных. Для этого использовались графические процессоры, которые лучше подходят для высокоскоростных операций по сравнению с обычными центральными процессорами.
Как правило, для ускорения глубинного обучения требуется несколько компьютеров с мощными GPU, которые объединены в сеть и работают параллельно. Но при объединении более 10 вычислительных машин увеличивается время обмена данными между компьютерами, и все труднее добиться эффекта параллелизма.
В Fujitsu заново разработали технологию параллелизации, которая обеспечивает эффективный и быстрый обмен данными между компьютерами. Новая технология была протестирована для платформы глубинного обучения Caffe. В рамках теста, измеряющего время обучения с помощью AlexNet1 и сети компьютеров с 64 GPU, новая разработка продемонстрировала скорость обучения в 27 раз выше, чем при работе одного компьютера с одним GPU. По сравнению с результатами без использования новой технологии скорость обучения увеличилась на 46% для сети с 16 GPU и на 71% для 64 GPU. Таким образом, с помощью новой технологии задачи машинного обучения, для выполнения которых раньше требовался месяц, теперь можно выполнить примерно за день в параллельном режиме работы 64 GPU.
Скорость обработки данных при глубинном обучении увеличена за счет внедрения двух новых технологий. Первая из них, технология установки очередности обмена данными, автоматически контролирует приоритет обмена для того, чтобы данные, необходимые для начала следующей сессии обучения, обменивались между несколькими компьютерами заблаговременно. В существующих технологиях обработка задач обмена данными первого уровня, которые нужны для начала следующего процесса обучения, выполняется последней, что увеличивает задержку. В новой технологии время ожидания сокращается за счет выполнения обработки задач по обмену данными первого уровня во время обработки задач по обмену данными второго уровня.
Вторая разработка – технология обработки данных, которая оптимизирует рабочие операции в соответствии с размером данных. Если при обработке данных результаты операций передаются всем компьютерам и изначальный объем данных небольшой, каждый компьютер обменивается данными и затем выполняет ту же операцию, таким образом не требуется время для передачи и получения результатов. Когда объем данных большой, обработка распределяется, и результаты обработки передаются другим компьютерам для последующих операций. За счет автоматического выбора оптимального метода на основе размера данных эта технология увеличивает общую скорость работы.
С помощью новой технологии можно сократить время исследований и разработок в области глубинного обучения, включая разработку моделей нейронной сети для автоматизированного управления роботами, автомобилями и пр. Кроме того, преимущества новой разработки можно применить в сфере финансов и здравоохранения, включая задачи классификации патологий и прогнозирование биржевых курсов. Fujitsu планирует уже в этом году начать извлекать коммерческую выгоду из новой разработки в рамках проекта искусственного интеллекта Human Centric AI Zinrai.