Фреймворк NVIDIA Jarvis для диалоговых ИИ-сервисов
Компания NVIDIA представила GPU-ускоряемый фреймворк NVIDIA Jarvis, который позволяет компаниям использовать видео и голосовые данные для создания диалоговых ИИ-сервисов, адаптированных для их индустрии, продуктов и клиентов. Как отмечают в компании, сегодняшняя тенденция удаленной работы, обучения и развития телемедицины повысила спрос на специализированные диалоговые ИИ-сервисы – от клиентской поддержки до преобразования речи в текст в реальном времени и резюмирования видеозвонков.
Приложения, построенные с использованием Jarvis, получат преимущество при работе на новом графическом процессоре NVIDIA A100 с тензорными ядрами для ИИ-вычислений и инференса с новейшими оптимизациями в NVIDIA TensorRT. Впервые стала возможна работа мультимодальных приложений, использующих мощные речевые модели и модели компьютерного зрения, в режиме реального времени с задержками менее 300 мс.
Jarvis имеет полноценный GPU-ускоряемый программный стек и инструменты, которые упрощают разработчикам задачи создания, развертывания и запуска диалоговых приложений реального времени, способных понимать специфическую для разных компаний терминологию.
Как поясняют в NVIDIA, чтобы предложить клиентам интерактивное персонализированное взаимодействие, компаниям нужно тренировать свои диалоговые приложения на данных, характерных для их продуктов и требований их клиентов. Но создание сервиса с нуля требует знаний в области ИИ, большого объема данных и вычислительные ресурсы для обучения моделей, а также ПО для регулярной загрузки новых данных в модели. Jarvis решает эту проблему, предлагая полноценный конвейер глубокого обучения для диалогового ИИ. В него входят современные модели глубокого обучения, такие как NVIDIA Megatron BERT, для распознавания естественной речи. Компании могут адаптировать эти модели под себя с помощью NVIDIA NeMo, оптимизировать для инференса с помощью TensorRT и развернуть в облаке или на периферии с помощью таблиц Helm, доступных в каталоге NVIDIA GPU-оптимизированного ПО NGC.
Ранний доступ к NVIDIA Jarvis открыт для ограниченного числа компаний. Разработчики, заинтересованные в получении доступа к фреймворку, могут зарегистрироваться на сайте NVIDIA.