Сервер ITPOD для задач ИИ и компьютерного зрения

Компания ITPOD (входит в корпорацию ITG) представила новый сервер ITPOD-ASR201-S08R (AI) на базе процессоров AMD EPYC 7003 серии (Milan) с поддержкой PCIe 4.0. Сервер эффективен в задачах, связанных с работой нейронных сетей, высокопроизводительными вычислениями (HPC) и компьютерным зрением. Он поддерживает установку двух ускорителей GPU, TPU или DPU от Nvidia, Moore Threads, Sophgo и других производителей, что позволяет гибко адаптировать их под конкретные задачи.

Сервер ITPOD-ASR201-S08R (AI) протестирован на совместимость с ускорителями NVIDIA H100, L40S, T4, Sophgo  SC7 HP75 и Moore Threads MTT S4000. Как показали тесты, при работе с большой нейронной сетью LLaMA 3.1 70B два ускорителя Nvidia L40S на архитектуре Ada Lovelace обеспечивают двукратное увеличение производительности по сравнению с использованием одного GPU Nvidia А800 (80GB). А при работе с диалоговой моделью Qwen-14B-Chat они показали скорость 10 токенов в секунду, что близко к результатам топовых решений.

Сервер ITPOD-ASR201-S08R (AI) также полностью совместим с TPU Sophgo SC7 HP75. В тестировании с моделью YOLOv5s на 30-секундном видео один такой TPU завершил инференс всего за 6.2 с, что подтверждает его исключительные возможности в задачах компьютерного зрения.

Компания ITPOD имеет в своем портфолио серверы, СХД и сетевое оборудование, включая и собственный продуктовый бренд. Под ним производятся несколько линеек серверов, которые собираются под контролем компании на территории материкового Китая и обеспечивают, по заявлению компании, уровень качества лидеров рынка. В дополнение к серверам ITPOD производит программно-аппаратные комплексы, использующие российское ПО.