Новые возможности платформы SberCloud для работы с ИИ

Сбер объявил на конференции SmartDev о расширении возможностей SberCloud ML Space – облачной платформы полного цикла разработки и реализации AI-сервисов. Она предоставляет инструменты и ресурсы для создания, обучения и развертывания моделей машинного обучения – от быстрого подключения к источникам данных до автоматического развертывания моделей на мощностях SberCloud.

ML Space – облачный сервис, позволяющий организовать распределенное обучение с использованием масштабируемого семейства процессоров Intel Xeon со встроенными акселераторами ИИ. Его архитектура сформирована на базе собственного суперкомпьютера SberCloud – «Кристофари», суммарная производительность которого составляет 6,7 Пфлопс (40-е место в топ-500 высокопроизводительных систем мира).

Расширение возможностей достигнуто за счет применения открытой, основанной на стандартах кросс-архитектурной модели программирования oneAPI, что позволяет разработчикам эффективно использовать производительность и возможности различных архитектур без исправления кода для каждой аппаратной платформы. Это дает свободу выбора лучшего оборудования для конкретной задачи. В то же время oneAPI поддерживает известные языки программирования (такие как C, C ++, Fortran и Python) и общие стандарты (MPI и OpenMP), обеспечивая функциональную совместимость и близкое соответствие с существующим кодом.

ML Space объединяет популярные инструменты для работы с большими данными – Jupyter Notebook и Jupyter Lab, – а теперь и инструменты для повышения производительности Intel oneAPI Toolkits. Она имеет модульную архитектуру, за счет чего пользователи могут самостоятельно добавлять новые возможности. В течение года с момента данного анонса любой желающий может зарегистрироваться и получить тестовый доступ к платформе SberCloud ML Space, инструментарию Intel oneAPI Toolkits и серверам на базе процессоров Intel.

Intel oneAPI Toolkits помогают разработчикам создавать, анализировать и оптимизировать высокопроизводительные кросс-архитектурные приложения для различных XPU: процессоров Intel, графических процессоров и FPGA. Эти наборы инструментов включают в себя кросс-архитектурный язык программирования oneAPI Data Parallel C ++ (DPC ++) и более 40 программных продуктов: компиляторы, библиотеки и инструменты для переноса, анализа и отладки, которые упрощают разработку приложений для обработки данных.

Один из ключевых элементов облачной платформы ML Space, модуль Environments, получит следующие наборы инструментов Intel oneAPI:

• oneAPI Base Toolkit – основной набор инструментов и библиотек для разработки высокопроизводительных, кросс-архитектурных приложений;
• oneAPI AI Analytics Toolkit – предоставляет специалистам по работе с данными, разработчикам ИИ и исследователям знакомые инструменты для ускорения обработки и анализа данных на CPU и GPU архитектуры Intel;
• oneAPI HPC Toolkit – позволяет создавать и оптимизировать высокопроизводительные приложения на основе Fortran, OpenMP и MPI, которые могут масштабироваться на новейших системах и кластерах на базе процессоров Intel. В сочетании с основным (Base) набором инструментов cодержит все необходимые средства для разработки высокопроизводительных приложений для решения научных или инженерных задач на системах с общей или распределенной памятью;
• Distribution of OpenVINO Toolkit – помогает оптимизировать, настраивать и запускать комплексный инференс с помощью оптимизатора моделей глубокого обучения, а также средств выполнения и разработки.