Технология NVIDIA для рендеринга 3D-окружения в реальном времени

Компания NVIDIA представила на конференции по нейросетевым системам обработки информации (NIPS) исследовательскую работу, которая позволит отрисовывать полностью синтетические интерактивные 3D-окружения с помощью модели, обученной на видео реального мира.

Исследователи из NVIDIA Research использовали нейросеть для рендеринга синтетического 3D-окружения в реальном времени. В настоящий момент каждый объект в виртуальном мире нужно индивидуально моделировать, что затратно с точки зрения как финансов, так и времени. Для отрисовки зданий, деревьев и транспорта в NVIDIA использовали модели, автоматически обученные на видео из реальной жизни.

Новая технология позволит быстро создавать виртуальные миры для игр, автомобильной промышленности, архитектуры, робототехники и виртуальной реальности. Например, сеть может сгенерировать интерактивные сцены на базе локаций реального мира. Как подчеркивают в NVIDIA, теперь у разработчиков, особенно в игровой сфере и автоиндустрии, расходы на создание сцен станут на порядок меньше.

Результат исследования был представлен на конференции NIPS в виде простой гоночной игры, где участникам предстоит управлять машиной в городских локациях. Весь контент отрисовывается интерактивно с помощью нейросети, которая трансформируют скетчи 3D-мира, сделанные на традиционном игровом движке, в видео. Чтобы достичь подобного уровня интерактивности графики, генеративная нейросеть научилась моделировать миры, включая освещение, материалы и их динамику. Так как сцена полностью синтетически сгенерирована, ее можно легко редактировать, изменять, удалять и наполнять объектами.