NVIDIA EGX – платформа периферийных вычислений для ИИ в индустрии
NVIDIA представила платформу ускоренных вычислений EGX, которая позволяет компаниям использовать ИИ с низкими задержками на периферийных устройствах: получать непрерывный поток данных, обрабатывать их и принимать необходимые решения в реальном времени. Платформа NVIDIA EGX должна удовлетворить спрос на мгновенное выполнение задач ИИ локально – там, где создаются данные, с гарантированным временем отклика, позволяя снизить объем данных, отправляемых в облако.
Компания NVIDIA представила платформу ускоренных вычислений EGX, которая позволяет компаниям использовать ИИ с низкими задержками на периферийных устройствах: получать непрерывный поток данных от 5G-станций, складов, магазинов, заводов и других мест, обрабатывать их и принимать необходимые решения в реальном времени. Платформа NVIDIA EGX должна удовлетворить спрос на мгновенное выполнение задач ИИ локально – там, где создаются данные, с гарантированным временем отклика, позволяя снизить объем данных, отправляемых в облако.
Чип NVIDIA Jetson Nano способен выполнять полтриллиона операций в секунду (TOPS) при энергопотреблении всего несколько ватт в таких задачах, как распознавание изображений. EGX масштабируется до полноценной стойки серверов NVIDIA T4, способных обеспечить свыше 10 000 TOPS в операциях распознавания речи и других ИИ-задачах в реальном времени.
EGX объединяет полный набор вычислительных ИИ-технологий NVIDIA с Red Hat OpenShift и NVIDIA Edge Stack, а также технологии защиты, связи и хранения данных Mellanox и Cisco. Это позволяет компаниям в таких областях, как телеком, производство, ритейл, здравоохранение и транспорт, быстро строить современные корпоративные ИИ-инфраструктуры.
ИИ-вычисления NVIDIA доступны в ключевых облаках и архитектурно совместимы с NVIDIA EGX. ИИ-приложения, разработанные в облаке, могут работать на NVIDIA EGX и наоборот. NVIDIA Edge Stack подключается к ключевым облачным IoT-сервисам, и клиенты могут удаленно управлять своим сервисом из AWS IoT Greengrass и Microsoft Azure IoT Edge.
NVIDIA EGX оптимизирует ИИ для расширяющейся экосистемы программных решений. Сюда относятся приложения для видеоаналитики, подходящие для крупных розничных сетей и умных городов, от таких поставщиков, как AnyVision, DeepVision, IronYun и Malong Technologies, а также приложения здравоохранения от 12 Sigma, Infervision, Qunatib и Subtle Medical.
NVIDIA также заключила соглашение с Red Hat для интеграции и оптимизации набора ПО NVIDIA Edge Stack под OpenShift, платформу управления кластером контейнеров Kubernetes корпоративного уровня. Edge Stack – это оптимизированный пакет ПО, включающий драйверы NVIDIA, плагин CUDA Kubernetes, среду исполнения для контейнеров CUDA, библиотеки CUDA-X и контейнеризированные AI фреймворки и приложения, включая TensorRT, TensorRT Inference Server и DeepStream. NVIDIA Edge Stack оптимизирован для сертифицированных серверов и доступен для загрузки из NVIDIA NGC.
EGX-серверы доступны у мировых поставщиков корпоративных решений – Atos, Cisco, Dell EMC, Fujitsu, Hewlett Packard Enterprise, Inspur и Lenovo, а также у ряда крупных производителей серверов и IoT-систем. Серверы NVIDIA EGX оптимизированы для NVIDIA Edge Stack и поддерживают NGC для CUDA-ускоренных контейнеров.