Мультимодальная ИИ-модель в поиске VK

Компания VK сообщила, что начала внедрять в поиск своих продуктов визуально-языковые модели (VLM) – искусственный интеллект, который одновременно анализирует текст, изображения, звук и видеоряд. Технология уже работает в VK Видео и поэтапно появится в других сервисах, где есть поисковые системы.

Модель учитывает название и описание загруженного на платформу контента и его смысл, что позволяет точнее отвечать на поисковые запросы пользователя. Новая VLM от инженеров AI VK автоматически формирует датасеты, данные о контенте, по которым поисковые алгоритмы определяют, какое видео подходит к запросу, а какое нет.

С запуском модели в будущем должен улучшиться векторный поиск в продуктах VK, который основан на семантическом значении запроса. Например, система будет понимать, что пользователь чаще выбирает видео с определенным стилем монтажа и цветокоррекции. Или точнее распознавать гибридные запросы, где комбинируются текст и визуальные характеристики. Это сделает поисковую выдачу более персонализированной.

Как заявляют в компании, внедрение VLM ускорит в пять раз разработку и масштабирование новых технологий для развития и улучшения поиска во всех продуктах VK.