Модель «Яндекса» для поиска – в открытом доступе
Компания «Яндекс» сообщила, что выложила в открытый доступ Alice AI Search Pretrain – собственную обученную с нуля языковую модель, дообученная версия которой генерирует ИИ-ответы в Поиске. Благодаря своей архитектуре Alice AI Search Pretrain способна быстро давать емкие ответы и обрабатывать большой поток запросов.
Alice AI Search Pretrain – компактная языковая модель, которая уже прошла первый этап обучения и имеет обширные знания о мире. Она способна обрабатывать большой объем документов и выдерживать большую нагрузку, не требуя при этом больших вычислительных мощностей.
Модель имеет гибридную архитектуру, которую раньше использовали преимущественно в научных исследованиях. Она объединяет две технологии: «Энкодер-декодер» (Encoder-Decoder) и MoE (Mixture of Experts). Первая позволяет давать емкий лаконичный ответ за счет того, что одна часть модели изучает и отбирает информацию, а другая генерирует ответ. Вторая технология ускоряет работу модели и экономит вычислительные мощности. Вместо того, чтобы задействовать всю нейросеть, MoE активирует только ту часть ее «мозга», которая лучше разбирается в теме. Эта модель содержит 35 млрд параметров, но при обработке одного токена (небольшого фрагмента текста) используется лишь около 600 млн, менее 2%.
По качеству ответов на русском языке Alice AI Search Pretrain превосходит другие компактные языковые модели. При этом она сопоставима по качеству ответов с Qwen 3.5 35B-A3B, которая требует значительно больше вычислительных ресурсов.
С июля в Поиске Яндекса работает дообученная версия этой модели – Alice AI Search, входящая в семейство генеративных моделей Alice AI. Чтобы Alice AI Search давала емкие и понятные ответы, разработчики собрали пользовательские сигналы и обучили модель на реальных примерах взаимодействия людей с поиском.
Модель Alice AI Search Pretrain доступна на платформе Hugging Face под лицензией Apache 2.0.