Сервис для разработчиков машинного обучения Yandex DataSphere

По сообщению «Яндекса», платформа Yandex.Cloud открывает общий доступ к сервису для разработки на основе машинного обучения Yandex DataSphere. Сервис должен помочь компаниям и индивидуальным разработчикам снизить стоимость создания и эксплуатации моделей машинного обучения, автоматически управлять объемом и типом вычислительных ресурсов, сократить время на создание и организацию среды разработки. В открытом доступе Yandex DataSphere будет с 1 октября.

Как комментируют в Yandex.Cloud, методы машинного обучения становятся все более популярны у бизнеса во всем мире, но для многих компаний пока недоступны из-за высокого порога входа и стоимости необходимых вычислительных ресурсов. Для решения этих задач и создан сервис DataSphere, где можно быстро получить готовую ML-среду с разными видами вычислительных ресурсов – от классических мощностей до GPU и распределенных вычислений, с тарификацией только за фактически потребленные серверные мощности во время выполнения задач клиента.

В Yandex DataSphere, подчеркивают в компании, впервые в мировой практике публичных облаков применена технология бессерверных вычислений при разработке моделей машинного обучения. Технология автоматизирует управление ресурсами и позволяет добиться существенной экономии. В DataSphere при редактировании и просмотре кода не задействуются вычислительные ресурсы CPU или GPU, виртуальная машина нужного типа подключается только на время непосредственных расчетов (обучение моделей, запуск, другие вычисления). В результате пользователь платит только за реально потребленный вычислительный ресурс. Время редактирования и просмотра кода, работа случайно не выключенной виртуальной машины не тарифицируются. По результатам тестирования DataSphere, в котором приняли участие 200 пользователей из различных сфер, время простоя вычислительных мощностей при разработке машинного обучения составляет 50–70%. При использовании DataSphere это время не будет тарифицироваться.

Также впервые в мире в Yandex DataSphere реализовано бесшовное переключение между разными типами вычислительных ресурсов. Это значит, что в рамках одного сценария обучения модели пользователь может применять разные типы виртуальных машин – экономичные с обычными процессорами (CPU) и быстрые с графическими ускорителями. Прогресс обучения модели при этом сохранится. В большинстве облачных сред разработки машинного обучения расчет модели обучения может вестись только на машине одного типа.

Третья особенность DataSphere – сохранение версий расчетов модели, включая данные, код и состояния. Благодаря этому в процессе разработки машинного обучения достигнутый прогресс в обучении не теряется, его можно воспроизвести при необходимости.