Платформа MWS Cloud для работы с моделями ИИ

Компания MWS Cloud (входит в МТС Web Services) сообщила о запуске платформы для внедрения и эксплуатации моделей искусственного интеллекта – Inference Valve. Она позволяет выводить в продакшн любые обученные ML-модели, большие языковые модели (LLM) и модели компьютерного зрения (CV). С помощью платформы их можно разворачивать на инфраструктуре, подключать к ИТ-системам компании через стандартные API, масштабировать, обновлять и мониторить.

По данным компании, платформа позволяет существенно сократить время внедрения моделей в бизнес-процессы и до 70% снизить операционную нагрузку на команды за счет автоматизации рутины – от упаковки модели до ее сопровождения.

С помощью платформы CV-модели могут автоматически анализировать видео, находя определенные объекты, сцены и действия или классифицировать медицинские изображения. ML- и LLM-модели смогут генерировать и структурировать тексты, анализировать данные, создавать их описание, прогнозировать показатели маркетинга и продаж, отвечать на часто задаваемые вопросы в HR-порталах. На платформе можно также разворачивать голосовые модели для синтеза и анализа речи и внедрять их в колл-центры.

Компании могут развернуть как собственные обученные AI-модели, так и воспользоваться готовыми к работе моделями open source. Кроме того, Inference Valve интегрируется с ML-платформой и инструментами непрерывной разработки (CI/CD), что позволяет выстроить бесшовный процесс от обучения ИИ до его внедрения в бизнес-процессы и непрерывного обновления.

Платформа доступна в частном облаке на инфраструктуре MWS Cloud, on-prem на серверах заказчика, а также в составе программно-аппаратных комплексов в закрытом контуре, включая режимы с ограниченным доступом к внешним сетям.

После запуска кластера специалисты заказчика загружают артефакты модели (например, ONNX, TorchScript) в платформу, после чего она автоматически формирует контейнер сервиса и публикует эндпоинт. Платформа поддерживает одновременную работу сразу с несколькими моделями с выделением квот вычислительных ресурсов, управление версиями, маршрутизацию трафика между версиями и масштабирование под нагрузку как на GPU, так и на CPU.

Inference Valve также предоставляет метрики задержек и пропускной способности, мониторинг доступности, алерты и дашборды; доступна телеметрия качества, включая отслеживание дрейфа данных и моделей, контроль целевых метрик и уведомления при деградации. Интеграция с системами наблюдаемости (Prometheus/Grafana) и журналированием запросов упрощает аудит и разбор инцидентов.