GPT-подобная нейросеть «Яндекса» – в открытом доступе

Компания «Яндекс» представила выложенную в открытый доступ YaLM 100B – свою нейросеть для генерации и обработки текстов на русском и английском языках. Теперь ее могут использовать разработчики и исследователи со всего мира.

YaLM 100В – самая большая GPT-подобная модель, находящаяся в свободном доступе. Она содержит 100 млрд параметров, больше, чем любая другая существующая модель для обработки русского языка. Это позволяет решать с ее помощью большой круг задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире. Например, они способны придумывать идеи для рекламных кампаний и слоганы. создавать описания товаров и видео, генерировать любые тексты (стихи, ответы, поздравления), а также классифицировать тексты по стилю речи.

«Яндекс» использует нейросети YaLM более чем в 20 проектах, в том числе в Поиске и голосовом помощнике Алисе. Языковые модели помогают службе поддержки отвечать на обращения, генерируют рекламные объявления и описания сайтов (сниппеты). Нейросети YaLM также используются при подготовке быстрых ответов в Поиске.

Модель обучали на суперкомпьютерах «Яндекса», в процессе обучения YaLM 100B обработала около 2 Тбайт текстов из открытых датасетов и из интернета на английском и русском языках. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.

Как комментируют в «Яндекс Технологии», решение о выкладке в свободный доступ было принято исходя из того, что доступ к современным технологиям должен быть не только у крупнейших ИТ-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, в компании рассчитывают, что это даст толчок развитию генеративных нейросетей.