5G-платформа расширенной реальности Qualcomm
Компания Qualcomm представила 5G-платформу расширенной реальности Snapdragon XR2, в которой инновации Qualcomm Technologies в области 5G-связи и искусственного интеллекта объединены с собственной XR-технологией. Функционал платформы охватывает дополненную реальность AR, виртуальную реальность VR и смешанную реальность MR.
Платформа Snapdragon XR2, как отмечают в компании, существенно доработана в сравнении с применяемой в настоящее время платформой XR. Вдвое выросла производительность CPU и GPU, вчетверо расширилась полоса пропускания видео, в 6 раз увеличилось разрешение и в 11 – производительность ИИ. По заявлению Qualcomm, Snapdragon XR2 – первая XR-платформа, поддерживающая семь камер одновременно плюс специализированный процессор компьютерного зрения и первая XR-платформа, обеспечивающая истинно смешанную реальность благодаря камере с низкой задержкой в режиме прозрачности. Это дает возможность пользователю с VR-гарнитурой создавать гибрид виртуального и реального миров, видеть его и взаимодействовать с ним. Чтобы удовлетворять требованиям действительно иммерсивной смешанной реальности, на платформе реализованы специализированные визуальные, интерактивные и аудиотехнологии, использующие ИИ и возможности 5G-связи.
Чтобы повысить реалистичность XR, нужно стереть видимые границы между реальным и виртуальным мирами, для чего требуется современный дисплей и высокое качество графики. Графический процессор на платформе Snapdragon XR2 для отрисовки графики поддерживает в полтора раза большую скорость обработки пикселей и в три раза – текселей. Такие XR-функции, как фовеальный рендеринг с отслеживанием движений глаз и улучшенная технология шейдинга с переменной скоростью для более плавного обновления кадров ускоряют рендеринг тяжелых рабочих нагрузок, сохраняя при этом низкое энергопотребление. Дисплейная панель Snapdragon XR2 имеет разрешение 3×3K для каждого глаза при частоте 90 кадров в секунду. Фотореалистичность визуальных эффектов при стриминге и локальном воспроизведении обеспечивает впервые реализованная на XR-платформе поддержка видео в формате 8K 360° при частоте 60 кадров в секунду. Чтобы уменьшить общесистемные задержки и поддерживать эффект AR-погружения, применен специализированный чип для AR-дисплеев.
Впервые в смешанной реальности пользователь может виртуально телепортироваться в новую среду. Чтобы он мог в ней полноценно ориентироваться, Snapdragon XR2 предлагает семь камер плюс специализированный процессор компьютерного зрения. Действуя одновременно, камеры точно отслеживают движения головы, губ и глаз, а также рук – по 26 точкам. Процессор компьютерного зрения отвечает за эффективное понимание и трехмерную реконструкцию сцены.
Для улучшения качества звука Snapdragon XR2 предлагает звуковые слои нового уровня в трехмерном звуковом пространстве. Специализированный постоянно действующий энергоэффективный процессор Qualcomm Hexagon поддерживает такие аппаратно ускоряемые функции, как голосовая активация и определение контекста, что позволяет слышать реальный мир, находясь в виртуальном.