Обновление ML-платформы SberCloud
Компания SberCloud (входит в экосистему Сбера) анонсировала расширение возможностей ML Space – платформы для совместной ML-разработки полного цикла, работающей на базе суперкомпьютера «Кристофари».
Помимо использования предустановленных в ML Space библиотек и фреймворков пользователи облачной платформы получили возможность загружать и запускать собственные Docker-образы в специальном хранилище Docker registry, которое также доступно для совместной работы. А удаленный доступ по ssh позволяет отлаживать необходимые процессы как с персонального компьютера, так и из терминала привычного ПО (Jupyter Notebook или JupyterLab). Функциональные возможности Docker registry при работе с пользовательскими Docker-образами и возможность ssh-доступа позволяют обучать на платформе любые модели.
Еще одно обновление платформы – модуль DataHub. Разработчикам и дата-сайентистам стали доступны предобученные модели, дата-сеты (специально подготовленные наборы данных) и контейнеры, хранящиеся в DataHub. Теперь пользователям ML Space не нужно искать и скачивать модели, дата-сеты, docker-контейнеры из внешних источников, проверять их EULA (пользовательское соглашение) и отсутствие в них вирусов. Если клиенту ML Space нужны дата-сеты, модели и контейнеры для решения AI-задач, то специалисты SberCloud сами найдут и разместят их в DataHub. Как отмечают в компании, модели GPT-3 на 760 млн и 1,3 млрд доступны в DataHub с заготовленными скриптами для дообучения и развертывания на высокопроизводительной инфраструктуре SberCloud; а самую большую языковую модель в мире – GPT-3 (13 млрд параметров), которой еще нет в открытом доступе, можно развернуть в DataHub ML Space в несколько кликов.
Кроме того, в новом модуле доступна подборка специальных контейнеров NVIDIA NGC (NeMo, RAPIDS и др.), адаптированных для использования в ML Space и решения задач обработки естественного языка (NLP), компьютерного зрения (CV), работы с данными (ETL), развертывания ML-моделей в облаке и многих других кейсов. Контейнер Transfer Learning Toolkit будет доступен уже в июне текущего года в новой версии DataHub. В бета-версии DataHub весь контент – дата-сеты, модели, контейнеры доступен бесплатно.
С появлением новой функциональности ML Space, подчеркивают в SberCloud, при разработке продуктов с использованием машинного обучения не требуются дополнительные DevOps-инженеры и привлеченные администраторы вычислительной инфраструктуры, что упрощает, ускоряет и демократизирует разработку AI-продуктов.
Пользователям ML Space доступна совместная работа на всех этапах ML-разработки, гибкий выбор инфраструктуры: CPU, GPU и возможность запуска распределенного машинного обучения до 1000+ GPU Tesla v100 суперкомпьютера «Кристофари». Обновление платформы делает ML-разработку еще более доступной. SberCloud предлагает сегодня цены от 3 руб. за 1 GPU/мин и 0,12 руб. за 1 СPU/мин обучения и препроцессинга, а также 0,06 руб. за 1 GPU/с за развертывание моделей на «Кристофари» с оплатой по модели Pay as you go.
Ранее, в рамках конференции для разработчиков SmartDev, SberCloud также объявила о расширении возможностей SberCloud ML Space за счет применения открытой, кросс-архитектурной модели программирования oneAPI, что позволяет разработчикам использовать возможности различных архитектур, включая процессоры Intel Xeon, без изменения кода для каждой аппаратной платформы.