Релиз Arenadata Streaming с поддержкой Iceberg V3
Группа Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В релизе 4.0.0.b1 реализована поддержка спецификации Apache Iceberg V3, обновлен коннектор для работы с Arenadata DB и инструменты мониторинга.
Расширена функциональность Iceberg Sink Connector, который теперь поддерживает спецификацию Iceberg V3. Это позволяет использовать современные возможности табличного формата без потери производительности – работать с типами данных VARIANT и UNKNOWN, временными метками с точностью до наносекунд, векторами удаления (Deletion Vectors) и ключами шифрования метаданных.
Обновлен NiFi ADB Connector – в его состав включен процессор GetGreengageRecord, предназначенный для загрузки данных из Greengage DB через протокол gpfdist. Процессор поддерживает режим пошаговой выгрузки, предполагающий чтение только вновь появившихся диапазонов данных, что позволяет снизить нагрузку на СУБД и NiFi, в том числе в сценариях реального времени. Кроме того, теперь NiFi ADB Connector «из коробки» поддерживает работу с Arenadata DB (ADB) 7.
В релиз добавлена поддержка ОС Astra Linux 1.8. Появилась возможность использования мастера ADCM Wizard для установки ADS: он позволяет развернуть кластер с предварительной настройкой конфигураций безопасности – SSL, Kerberos, плагинов Ranger или их комбинацией. Реализована поддержка мониторинга на базе VictoriaMetrics с использованием кластера Arenadata Monitoring (ADM).
Обновлены версии сервисов экосистемы Kafka и NiFi, коннекторов Debezium и Iceberg, а также сервиса Arenadata Monitoring.
Arenadata Streaming – масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций. Продукт включен в единый реестр российских программ для ЭВМ и баз данных.