AI в новой версии очков Microsoft HoloLens

По сообщению Microsoft, очки смешанной реальности Hololens 2.0 получат собственный процессор на базе искусственного интеллекта. Он обеспечит гарнитуре возможность автономной работы и обработки огромного массива постоянно поступающих данных без подключения к внешним мощностям.

Первая версия HoloLens имеет собственный уникальный мультипроцессор Holographic Processing Unit (HPU). Он обрабатывает информацию со всех встроенных сенсоров, включая датчик глубины реального времени, камеры для отслеживания положения головы пользователя, сенсоры блока измерения инерции (IMU) и инфракрасную камеру.

Вторая версия HPU, над которой сейчас работают в Microsoft Research, будет дополнена ИИ-сопроцессором, который позволит органично и гибко использовать технологии глубоких нейронных сетей. Он сможет постоянно работать от батареи, установленной в HoloLens, и будет поддерживать широкий спектр слоев, полностью поддающихся программированию.

На практике новый мультипроцессор HoloLens сможет не просто показывать картинку, а в реальном времени анализировать все, что видит и слышит пользователь, и выполнять действия на основе полученных данных. По мнению разработчиков, это значительно улучшит некоторые функции шлема смешанной реальности Microsoft, например, обеспечит более сложное отслеживание рук и распознавание голоса, без необходимости отправки данных на обработку в удаленном облаке.