S3-хранилище MWS Cloud для ML-задач

Компания MWS Cloud (входит в МТС Web Services) объявила, что расширила возможности сервиса Object Storage, представив новый «теплый» класс хранения. Он предназначен для сценариев, где критически важны высокая скорость доступа к данным, минимальные задержки и стабильная производительность при работе с большими объемами информации. Новый класс ориентирован на высоконагруженные веб-приложения, проекты в области ИИ и машинного обучения, аналитические платформы и системы потоковой обработки данных, где скорость чтения и записи напрямую влияет на производительность.

Разработанный MWS Cloud «теплый» класс хранения на базе высокопроизводительных NVMe-накопителей обеспечивает минимальные задержки и высокую скорость работы с данными. По результатам внутреннего тестирования, подчеркивают в компании, новый класс хранения является самым быстрым решением среди крупнейших российских провайдеров на данный момент. Он демонстрирует скорость передачи данных до 1,8 Гбайт/с при загрузке объектов объемом 64 Мбайт и время до получения первого байта (TTFB) около 20 мс. Такие показатели позволяют использовать сервис для задач, требующих быстрого доступа к большим объемам данных и высокой интенсивности операций чтения и записи.

Решение подходит для обучения и эксплуатации моделей машинного обучения, обработки больших массивов данных, работы с медиаконтентом, высоконагруженных веб-сервисов и корпоративных приложений, в которых данные постоянно используются в рабочих процессах и должны быть доступны практически мгновенно.

Новый класс хранения совместим с AWS S3 API и поддерживает масштабирование без ограничений по объему данных и количеству объектов. Пользователям доступны шифрование данных, версионирование объектов и управление их жизненным циклом, а также гибкая настройка прав доступа с помощью IAM-ролей и Bucket Policy. Для повышения отказоустойчивости данные реплицируются между двумя дата-центрами. Сервис оплачивается по модели pay-as-you-go – только за фактически использованные ресурсы.

Новый «теплый» класс хранения, отмечают в MWS Cloud, позволяет получить производительность, сопоставимую с наиболее быстрыми сетевыми дисками, сохранив при этом преимущества работы с объектным хранилищем – бесшовное масштабирование, удобство автоматизации и интеграции с аналитическими системами, таким как Lakehouse.