Kandinsky 2.0 – новая модель генерации изображений от Сбера
Сбер представил на конференции Artificial Intelligence Journey решение Kandinsky 2.0 – первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров. Нейросеть разработали и обучили исследователи Sber AI при партнерской поддержке ученых из Института искусственного интеллекта AIRI на объединенном датасете Sber AI и SberDevices из 1 млрд пар текст – изображение. Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.
FusionBrain.ai – это открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.
Разработчики Kandinsky 2.0 использовали диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио). Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как русский и английский, так и более редкие, например, монгольский. Система поймет задачу, даже если в одном запросе будут слова на разных языках.
Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовать готовое изображение и фон вокруг картинки).
Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия различаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а при запросе на японском это будет мисо-суп и суши.
В Сбере считают Kandinsky 2.0, который пришел на смену первой версии модели, прорывом в этой сфере. Модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять ее без лицензии, что актуально для бизнеса. Генеративные модели, подчеркивают в Сбере, развиваются очень быстро: еще четыре года назад даже постановку такой задачи сложно было представить, а сегодня уже есть работающая модель, которая понимает 101 язык и рисует реалистичные изображения, зачастую неотличимые от тех, которые создают люди.