Векторный поиск в СУБД Yandex B2B Tech
Yandex B2B Tech выпустила новую версию системы управления базами данных YDB, в которой появился векторный поиск – технология, умеющая искать не по ключевым словам, а по смыслу. Она в первую очередь рассчитана на компании, которые развивают продукты на базе ИИ, например, с ее помощью можно повысить точность рекомендаций товаров или качество ответов ИИ-ассистента. Технология доступна как в облаке, так и локально – по модели on-premises.
Векторная технология предусматривает представление данных, по которым ведется поиск, в виде числовых векторов, или эмбеддингов. Сравнивая векторы, можно определить семантическую близость соответствующих им объектов. Такой подход дает целый ряд преимуществ: от возможности устанавливать неочевидные связи между объектами и искать по разнородным данным – текстам, картинкам, видеороликам и аудиофайлам – до устойчивости к ошибкам и опечаткам.
Как поясняют в YDB, технология «Яндекса» позволяет создавать ассистентов на архитектуре RAG (Retrieval-Augmented Generation) – когда ответ большой языковой модели дополняется данными из баз знаний. В таких базах может содержаться, например, документация к продукту или ответы поддержки. Векторный поиск позволяет находить в базах необходимую информацию и добавлять ее в ответы LLM. Это означает, что ассистент будет давать более полные, релевантные и актуальные ответы без дообучения большой языковой модели. Технологию векторного поиска, в частности, уже использует AI-ассистент Алиса.
В YDB доступны две версии векторного поиска: точный и приближенный. Точный поиск обеспечивает наилучший результат, но требует сложных вычислений, если данных много. Приближенный поиск позволяет искать по миллиардам векторов за десятки-сотни миллисекунд, даже если корпус векторов не помещается в оперативную память. Такую возможность, отмечают разработчики, в мире предоставляют лишь несколько компаний.
YDB развивает векторный поиск при поддержке созданного «Яндексом» Фонда технологических инициатив YATF, который вкладывается в новаторские проекты внутри компании, способные продвинуть вперед науку и технологии.