Новая версия Arenadata Hadoop
Компания Arenadata представила версию 3.3.6.2 Arenadata Hadoop (ADH) – корпоративного дистрибутива для хранения, обработки и анализа больших объемов данных любого типа. Основные новшества в релизе – S3-совместимое хранилище объектов и инструмент для выполнения федеративных запросов.
В обновленном ADH реализована поддержка распределенного объектного хранилища Apache Ozone. Сервис дополняет файловое хранилище HDFS в соответствии с потребностями современных дата-платформ и подходит для работы в средах, где необходима совместимость с S3. Он предоставляет как стандартный HDFS-протокол для взаимодействия, так и S3 API.
Благодаря многоуровневой архитектуре Ozone обеспечивает высокую масштабируемость. Он предназначен для хранения свыше 100 млрд объектов в одном кластере и способен эффективно обрабатывать как маленькие, так и большие файлы. Ozone отличается высокой отказоустойчивостью и легкостью восстановления, сопоставимой с HDFS; он может использовать те же политики безопасности кластера и работать вместе с HDFS на тех же хостах.
Как поясняют в Arenadata, и HDFS, и Ozone отвечают требованиям бизнеса к хранилищам данных, при этом у них есть различия, позволяющие гибко подойти к построению дата-платформы: HDFS остается файловой системой для больших данных, демонстрируя высокую отказоустойчивость и производительность, а Ozone имеет преимущество в средах, где требуется эффективная работа с большим количеством маленьких файлов и совместимость с S3.
Релиз также включает Trino – SQL-движок для параллельной обработки данных, распределенных по хранилищам разного типа (объектным хранилищам, базам данных и файловым системам). Он позволяет выполнять сложные федеративные запросы – обращаться к разрозненным источникам с помощью одного и того же SQL. Поддержка Trino позволяет снизить дублирование информации и открывает новые сценарии анализа данных без увеличения затрат на инфраструктуру. Как отмечают в Arenadata, решение включить Trino в состав дистрибутива ADH было принято в соответствии с ожиданиями рынка.
В релиз также вошла новая версия Smart Storage Manager (SSM) – инструмента для оптимизации хранения и управления данными в HDFS в зависимости от их востребованности («температуры»), настройки асинхронной репликации и др. Обновленный сервис включает ряд улучшений и доработок и готов к использованию в продуктивной среде.
Новая версия Arenadata Hadoop совместима с российской ОС РЕД ОС 7.3 (сертифицированной редакции). Поддержка ОС, сертифицированной ФСТЭК, позволяет интегрировать продукт в инфраструктуры с повышенными требованиями к безопасности.
Вместе с обновленным ADH представлен релиз подсистемы безопасности Arenadata Platform Security (ADPS). Версия 1.2.1 включает обновление сервиса Ranger, новое действие Add/Remove components для Knox, поддержку РЕД ОС 7.3 и другие улучшения.