Нейросетевая модель Сбера для русского языка – в открытом доступе

Сбер анонсировал открытие доступа к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Ее дообученная версия лежит в основе сервиса GigaChat. Сбер также выложил новую версию модели mGPT 13B – самую большую из своего семейства многоязычных моделей, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT).

Внутри GigaChat содержится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B. Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI.

Модель ruGPT-3.5 13B содержит 13 млрд параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тбайт, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпойнт модели – это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

Кроме того, в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гбайт текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников. Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путем дообучения или в составе ансамблей моделей.

Модель mGPT 13B также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.