Платформа для внедрения моделей ML в Mediascope

Исследовательская компания Mediascope объявила, что запустила в промышленную эксплуатацию платформу Data Science для разработки и внедрения моделей машинного обучения. Технологическим партнером проекта выступила компания Neoflex. Новая платформа должна снизить операционные риски и сократить показатель time-to-market интеграции моделей в бизнес-процессы Mediascope.

Компания получила масштабируемое и управляемое пространство для разработки ML-моделей, которое позволяет оперативно подключать внутренние команды дата-сайентистов с возможностью оценки результатов их работы. С помощью платформы компания также сможет быстро и с минимальными трудозатратами привлекать внешние ML-команды для увеличения количества решаемых задач и разрабатываемых моделей. Кроме того, специалистам станет доступен централизованный каталог готовых пайплайнов с упрощением последующей разработки моделей за счет переиспользования готовых компонентов.

На текущий момент в платформе настроены процессы MLOps (версионирование моделей, experiment tracking, сборка исполняемых сервисов на базе разработанных моделей) с возможностью отслеживания происхождения артефактов. Архитектура платформы обеспечивает автоматизированный процесс разработки и внедрения моделей, их перенос в промышленную среду, а также предоставляет инструменты для визуализации метрик экспериментов. Это позволяет сократить срок разработки, добиться воспроизводимости результатов и повысить надежность комплексных конвейеров обработки данных, элементами которых являются ML-сервисы.

Для построения платформы выбрано решение Kubeflow с открытым исходным кодом, предоставляющее централизованные средства для разработки ML-моделей, пайплайнов и управления артефактами. Кроме того, используется Argo Workflow как наиболее развитый оркестратор рабочих процессов на Kubernetes, входящий в Kubeflow и облегчающий процесс использования разработанных моделей.