Релиз Arenadata Streaming с сервисом NiFi 2
Компания Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В состав продукта включен NiFi 2 – новое поколение low-code-сервиса разработки и исполнения ETL и интеграционных потоков данных. В числе прочих улучшений – расширение функциональности Iceberg Sink Connector и поддержка российской ОС «Альт СП» (релиз 10).
В релизе ADS обновлены версии сервисов экосистемы Kafka и NiFi. Значительные изменения касаются Iceberg Sink Connector – инструмента для интеграции с iceberg-таблицами. В новой версии коннектора поддерживается модуль преобразования одиночных сообщений (Single Message Transform, SMT), который позволяет автоматически трансформировать каждую запись. Кроме того, доступно удаление строк в режиме UPSERT и новые параметры для операций CDС, определяющие действия (вставка, обновление или удаление) для каждой входящей записи. Это позволяет автоматизировать обработку данных без необходимости писать сложный код.
Как отмечают в компании, после перехода коннектора Iceberg Sync в основной проект Apache Iceberg многие критически важные для корпоративной среды функции остались без внимания, в том числе поддержка аутентификации Kerberos, ключевые модули для трансформации данных (SMT) и полноценная работа в режиме UPSERT. Команда Arenadata устранила эти ограничения, благодаря чему решение готово к применению в реальных проектах сразу «из коробки».
NiFi 2 дополняет предыдущую версию сервиса, входящую в состав дистрибутива Arenadata Streaming. Благодаря переработанному ядру и оптимизации асинхронных операций NiFi 2 позволяет работать с бóльшими объемами данных без снижения скорости. Улучшенный пользовательский интерфейс обеспечивает простую и интуитивную настройку потоков данных и выполнение автоматических преобразований, средства мониторинга позволяют оперативно выявлять и устранять ошибки. В новой версии предусмотрены расширенные функции безопасности: поддержка шифрования потоков данных, средства контроля доступа и трекинга активности пользователей.
В новой версии Arenadata Streaming дополнена функциональность Kafka Cruise Control – инструмента для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. В сервисе реализованы такие типы аутентификации, как Basic и Kerberos, и возможность экспорта параметров аутентификации в Arenadata Streaming Control.
Начиная с версии 3.9.1.1.b1 Arenadata Streaming совместим с российской ОС «Альт СП» (релиз 10), сертифицированной ФСТЭК на соответствие требованиям защиты к средствам виртуализации и контейнеризации.
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.