Обновленная Машина искусственного интеллекта «Скала^р»

Группа Rubytech объявила, что расширила возможности Машины искусственного интеллекта Скала^р», включив в ее состав платформу управления ИИ-инфраструктурой «Спектр ИИ», программный продукт собственной разработки. Решение позволяет увеличить загрузку GPU-ускорителей с типичных 30–40% до 70–85%, сократив затраты на закупку нового оборудования.

Машина искусственного интеллекта «Скала^р МИИ» – это  программно-аппаратный комплекс для построения масштабируемой инфраструктуры разработки, обучения и исполнения моделей ИИ с гарантированной производительностью. Пак представляет собой готовый технологический стек: совместимое оборудование из реестра Минпромторга и ПО из реестра Минцифры. Ключевые системные компоненты – ОС и платформа контейнерной виртуализации – имеют сертификаты ФСТЭК России. Такой состав упрощает и ускоряет аттестацию Машины в защищенных контурах, где она обязательна по требованиям регуляторов.

Набор дополнительных инструментов позволяет ускорить развертывание ИИ-моделей, а также обеспечивает мониторинг, безопасность и мультитенантность. Платформа «Скала^р Спектр ИИ» отвечает за централизованное управление ИИ-инфраструктурой, мониторинг и оптимальное распределение ресурсов GPU при работе с моделями машинного обучения (ML) и большими языковыми моделями (LLM), а также за гибкое развертывание и эксплуатацию моделей, ИИ-приложений, агентских систем и рабочих сред для Data Science-специалистов.

Как поясняют в компании, на типовой инсталляции редко удается добиться утилизации GPU-ускорителей выше 30–40%, поскольку вычислительные ресурсы используются разными подразделениями с разной степенью интенсивности. В результате больше половины уже оплаченных мощностей простаивает, а при росте числа задач приходится закупать новое оборудование. «Спектр ИИ» работает с GPU-узлами в рамках единого управляемого кластера и позволяет планировать и перераспределять нагрузку между командами. Встроенный планировщик управляет очередями и приоритетами задач, а разделение GPU на части обеспечивает мультитенантность. Утилизация ускорителей вырастает до 70–85% без потери производительности, а расширение парка GPU при масштабировании можно отложить.

Основные функции платформы «Спектр ИИ»:

• управление рабочими узлами с возможностью предварительной конфигурации;
• управление приоритетами выполнения ИИ-задач в кластере в соответствии с заданной конфигурацией очередей;
• создание контейнеров с аппаратным ускорением GPU для быстрого развертывания готовых решений и приложений, моделей, настроенных рабочих сред для задач ИИ;
• запуск и оркестрация контейнеров с ИИ-нагрузками на основе ролевой модели;
• распределение нагрузок как на целых GPU, так и на их частях;
• полный цикл управления сервисами: запуск, остановка, очистка ресурсов;
• управление корпоративным каталогом моделей и приложений, загружаемых как с внешних ресурсов (Hugging Face), так и из внутренних репозиториев;
• сбор и визуализация показателей нагрузки системы для выбранного узла;
• отображение данных о количестве токенов, потребляемых и генерируемых языковыми моделями;
• разграничение прав доступа к запускаемым языковым моделям;
• быстрая проверка развернутой модели в диалоговом режиме.

Платформа «Скала^р Спектр ИИ» разворачивается на кластере под управлением Deckhouse Kubernetes Platform и работает на ОС РЕД ОС и Astra Linux. Управление ресурсами и очередями ведется из одного интерфейса по единой ролевой модели, с возможностью «бронирования» мощностей под критичные задачи. Решение поддерживает масштабирование до 32 узлов по 8 GPU в каждом.