ПАК «Скала^р» для работы с ИИ-моделями
Компания «Скала^р» представила новый программно-аппаратный комплекс (ПАК) для работы с моделями искусственного интеллекта – «Машину Скала^р МБД.ИИ». Это инфраструктурное решение для разработки, обучения и исполнения различных типов моделей ИИ: от языковых моделей (LLM) до классического машинного обучения (ML) и компьютерного зрения (CV) с применением практик HPC.
«Машина Скала^р МБД.ИИ» представляет собой функциональный аналог известных инфраструктурных продуктов для поддержки работы с ИИ – NVIDIA DGX SuperPOD и Huawei Atlas 900 PoD. Ее можно использовать как для построения полностью on-premise решений в периметре предприятия или отдельной производственной площадки, так и в составе частных и гетерогенных облачных систем.
Для нового ПАК в инфраструктурах заказчиков подтверждена работа различных ML-платформ и моделей, в том числе MTS AI Cotype Pro, «T1 Сайбокс», «Смарт-платформа Neuraldeep.tech» от Red_Mad_Robot, WaveAccess ValueAI, DeepSeek и LLaMA. При реализации сценариев использования больших языковых моделей для устранения ИИ-галлюцинаций, удержания контекста и работы с данными в периметре ПАК применяются RAG-платформы. Машина имеет гибкую унифицированную архитектуру, соответствующую отраслевым стандартам, что позволяет, при необходимости, использовать ее с такими приложениями, как YandexGPT, GigaChat и др. Машина для ИИ может интегрироваться с другими ПАК линейки Для нового ПАК в инфраструктурах заказчиков подтверждена работа различных ML-платформ и моделей, в том числе MTS AI Cotype Pro, «T1 Сайбокс», «Смарт-платформа Neuraldeep.tech» от Red_Mad_Robot, WaveAccess ValueAI, DeepSeek и LLaMA. При реализации сценариев использования больших языковых моделей для устранения ИИ-галлюцинаций, удержания контекста и работы с данными в периметре ПАК применяются RAG-платформы. Машина имеет гибкую унифицированную архитектуру, соответствующую отраслевым стандартам, что позволяет, при необходимости, использовать ее с такими приложениями, как YandexGPT, GigaChat и др. Машина для ИИ может интегрироваться с другими ПАК линейки «Скала^р», обеспечивающими высокую производительность при работе с большими объемами и потоками данных.
В основе новой машины для ИИ – современные технологии распределенных вычислений, в том числе технология высокоскоростного соединения графических процессоров NVLink с использованием платформ на 2, 4 или 8 GPU, система прямого доступа к ресурсам RDMA, технологии GPUDirect и NVMeoF для обработки и передачи данных, а также поддержка всех популярных фреймворков для машинного обучения: TensorFlow, PyTorch, Keras и др. Развертывание приложений ИИ в контейнерной среде обеспечивает эффективное использование аппаратных ресурсов, а реализация сети интерконнекта с применением топологий Fat-tree, HyperCube, DragonFly или классической архитектуры Leaf-Spine дает возможность более гибко масштабировать вычислительный кластер.
Использование ПАК, по данным компании, позволяет значительно сократить время на внедрение приложений ИИ, ускорить вывод новых продуктов на рынок (time-to-market), оптимизировать использование производственных ресурсов и повысить качество сервисов. «Машина Скала^р для ИИ» предлагает глубоко интегрированный программно-аппаратный стек для максимальной производительности при работе с ИИ-моделями и высокий уровень информационной безопасности. Модульная архитектура позволяет создавать оптимальные комплексы без избыточности ресурсов и легко их масштабировать.
Информационная безопасность реализована по принципу Secure by Design, который предусматривает внедрение механизмов защиты на всех этапах жизненного цикла разработки продукта. Решение обеспечивает простоту аттестации по критериям ИБ, что критически важно для государственных организаций и предприятий с высокими требованиями к защите данных.
Благодаря опыту «Скала^р» в создании высоконагруженных ИТ-инфраструктур для работы с большими массивами информации профилированы потоки данных для разных типов исполняемых задач на базе ИИ. ПАК предоставляет оптимальную инфраструктуру как для проприетарных, так и для открытых решений, обеспечивая стабильность не только на уровне архитектурного стека, но и на уровне исполнения моделей.
«Машина Скала^р МБД.ИИ», комментируют в компании, позволяет создать производительную инфраструктуру для работы с ИИ, используя проверенные технологии и компоненты из реестра Минпромторга и Минцифры РФ с подтвержденной производительностью до 1,5 петафлопс на вычислительный кластер. В «Скала^р» видят большой потенциал применения комплекса в различных отраслях экономики, включая промышленность и финансы, где использование ИИ помогает повысить эффективность бизнес-процессов.
Использование «Машины Скала^р МБД.ИИ», отмечают разработчики, существенно снижает требования к необходимому уровеню квалификации администраторов за счет наличия единой системы обслуживания и управления.
Вычислительные комплексы «Скала^р» представлены как в классических конфигурациях с графическими ускорителями NVIDIA, так и в вариантах с альтернативными графическими и тензорными ускорителями азиатских производителей. Это обеспечивает организациям возможность миграции между различными GPU и TPU. В разработке также находятся модули с поддержкой отечественных ускорителей.