«Боцман AI»: языковые модели внутри контура компании
«Группа Астра» объявила о выходе «Боцман AI» – платформы для запуска языковых и других моделей искусственного интеллекта внутри защищенного контура компании, без переноса данных во внешние облачные сервисы. Как отмечают в компании, новинка снимает главное противоречие корпоративной ИИ-трансформации – получить всю мощь современных моделей и при этом полностью сохранить контроль над данными.
Новый продукт расширяет платформу «Боцман» – отечественное решение оркестрации контейнеров на базе Kubernetes, входящее в состав Astra Dev Platform и ориентированное на компании, которые строят внутренние платформы разработки и эксплуатируют приложения в изолированных или регулируемых инфраструктурах.
Проблема, которую решает «Боцман AI», состоит в том, что бизнес хочет активно использовать языковые модели, однако требования информационной безопасности, регуляторные ограничения и внутренние политики зачастую исключают передачу данных во внешние сервисы. При этом развернуть модель самостоятельно до сих пор означало запускать отдельный инфраструктурный проект под каждую задачу: выбирать runtime, настраивать GPU, загружать веса, конфигурировать эндпоинты и мониторинг. «Боцман AI» берет всю эту рутину на себя.
Платформенная команда описывает модель через стандартный Kubernetes-ресурс, а все остальное система делает автоматически. Она самостоятельно подготавливает хранилище весов и запускает runtime с нужным движком, будь то vLLM, Ollama, SGLang или FasterWhisper, после чего публикует модель через единый шлюз. Отдельного внимания заслуживает механизм обновлений – они происходят без образования окна недоступности, что особенно критично при работе с дорогостоящей GPU-инфраструктурой.
Разработчики приложений в итоге получают привычный OpenAI-совместимый API. Переписывать существующий код не нужно, достаточно сменить адрес сервиса, и приложение продолжит работу уже с корпоративной моделью, развернутой внутри контура компании.
Помимо базовой функциональности, платформа предлагает целый ряд инструментов для промышленной эксплуатации. В нее встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов, что позволяет прозрачно распределять ресурсы между командами и проектами. Установка при этом остается максимально простой и выполняется через «Боцман Apps & Marketplace» в виде Helm-чарта.