Новая версия платформы анализа данных Arenadata
Компания Arenadata представила новую версию Arenadata Hyperwave (ADH) – гибридной платформы для хранения, обработки и анализа данных любой структуры и объема. Релиз ADH 4.1.0 включает масштабное обновление компонентов, новый сервис для управления доступами к конфиденциальным данным, а также поддержку российских ОС.
В релизе 4.1.0 обновлены версии сервисов, включая S3-совместимое хранилище объектов Ozone. Оно получило улучшенную архитектуру хранения, адаптированную к работе с большими объемами данных, новые алгоритмы обработки метаданных, механизмы восстановления и отказоустойчивости, а также расширенную поддержку шифрования, аутентификации и контроля доступа.
В новой версии Trino, SQL-движка для сложных федеративных запросов, реализован балансировщик нагрузки HAproxy, предназначенный для обеспечения отказоустойчивости, масштабируемости и высокой доступности, а также Trino Client, позволяющий выполнять SQL-запросы и управлять соединениями. Добавлена поддержка Hadoop SQL-политик в Trino, позволяющая избежать дублирования настроек авторизации. Начиная с Arenadata Hyperwave 4.1.0 в поставку включен Trino OpenAPI-коннектор – инструмент для взаимодействия с REST API, позволяющий выполнять аналитические запросы к внешним сервисам и данным, доступным через REST API.
Сервисы Flink 2 и Spark 4 дополнили предыдущие поколения сервисов, входящих в состав дистрибутива. Flink 2 устраняет известные ограничения Flink 1.x в области управления состоянием и обработки гибридных рабочих нагрузок, объединяя улучшения для работы как в потоковых, так и в пакетных сценариях. Новый адаптивный планировщик автоматически оптимизирует параллелизм операций. Архитектура управления дезагрегированным состоянием позволяет более эффективно использовать ресурсы в облачных средах, гарантируя высокопроизводительную обработку в реальном времени и сводя к минимуму затраты ресурсов.
Spark 4 содержит ряд архитектурных изменений и оптимизаций. В числе преимуществ – улучшенная производительность при выполнении сложных аналитических запросов, расширенная интеграция с Iceberg и другими современными форматами, новые функции для работы с потоковыми данными. Cервис развивается в сторону стандартизации подходов, предоставляя новую клиент-серверную архитектуру Spark Connect, развитие совместимости с ANSI SQL и другие улучшения.
Вместе с Arenadata Hyperwave выпущено масштабное обновление подсистемы безопасности Arenadata Platform Security (ADPS). Начиная с версии 2.0.0 в ее состав включен новый сервис OpenBao – система управления доступами к секретам и шифрованием. Она обеспечивает возможности для хранения, генерации, шифрования и отзыва конфиденциальных данных (например, API-ключей, сертификатов, паролей), предоставляет средства аудита и управления политиками, выступая как единая и безопасная система учета доступов.
В релизе обновлен сервис Ranger, в числе доработок – поддержка ротации логов аудита распределенной файловой системы HDFS, плагины hive-chained-plugin для HDFS и Ozone, а также компонент Resource Mapping Manager, позволяющий сопоставлять ресурсы и права на них между Hadoop SQL и Storage (HDFS, Ozone) политиками.
Новые версии Arenadata Hyperwave и Arenadata Platform Security совместимы с российскими ОС «Альт СП» (релиз 10) и Astra Linux 1.7 «Воронеж». Поддержка сертифицированных ФСТЭК операционных систем позволяет интегрировать продукты в более широкий спектр инфраструктур с повышенными требованиями к безопасности.