Решение «Диасофт» для работы с ML-моделями

Компания «Диасофт» анонсировала новый продукт «Управление жизненным циклом машинного обучения», который вошел в состав платформы «Фабрика данных» (Digital Q.DataFactory). Продукт предназначен для организации полного цикла работы с моделями машинного обучения (МL) – от проведения экспериментов и управления версиями до промышленного развертывания, мониторинга и сопровождения моделей.

Как поясняют в компании, масштабирование ML-проектов в компаниях зачастую сопровождается отсутствием единого подхода к управлению экспериментами, сложностями воспроизводимости результатов, высокими операционными рисками и значительными затратами на вывод моделей в промышленную эксплуатацию. Разработанное «Диасофт» решение обеспечивает централизованное управление всеми этапами работы с ML-моделями в едином технологическом контуре организации.

В числе ключевых возможностей продукта:

• Централизованное управление экспериментами с сохранением параметров, метрик, программного кода и артефактов для полной воспроизводимости результатов.
• Ведение реестра моделей с поддержкой версионирования и разметка данных моделей на различных стадиях жизненного цикла.
• Автоматизация развертывания моделей в различных средах – в локальной инфраструктуре, облаке или on-premise-контурах.
• Мониторинг работы моделей, логирование предсказаний и контроль дрейфа данных для поддержания стабильности и качества результатов.
• Интеграция с популярными ML-фреймворками, включая PyTorch, TensorFlow и Scikit-learn, а также работа с проектами в формате контейнеров.
• Предоставление бизнес-пользователям доступа к прогнозным моделям через чат-бот, не требующее работы с API и программным кодом.

Продукт использует Kubeflow Pipelines (KFP) для автоматизации полного цикла работы с моделями машинного обучения – от подготовки данных и обучения до развертывания в Kubernetes. Для промышленного инференса применяется KServe, который автоматически публикует модели из реестра как масштабируемые REST-сервисы с поддержкой GPU, canary- и blue-green-развертываний и автоматического восстановления после сбоев. В состав продукта также входят хранилище признаков (Feature Store) на базе Valkey и Apache Iceberg, единая аутентификация через Digital Q.Security (SSO/OIDC), а также Trainer Operator для запуска и управления распределенным обучением моделей в кластере Kubernetes.

Новый продукт «Диасофт» может выступать в качестве отечественной альтернативы MLflow и другим зарубежным платформам управления жизненным циклом моделей машинного обучения. С его помощью можно как создавать новые ML-сервисы, так и централизованно управлять существующим ландшафтом ML-моделей в крупных организациях.