Обновленное решение Arenadata для потоковой обработки данных

Компания Arenadata представила обновленный продукт для потоковой обработки данных Arenadata Streaming (ADS) и дополняющую его систему ADS Control – решение для управления и мониторинга кластеров потоковой передачи. Релизы включают новые функциональные возможности, в том числе поддержку ОС Ubuntu 22.04.2 LTS, и доработки в части информационной безопасности.

Arenadata Streaming – масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

В новой версии Arenadata Streaming реализована поддержка контроллера домена Samba DC. Он обеспечивает аутентификацию с использованием протокола Kerberos и LDAP и поддерживает интеграцию с существующей инфраструктурой Active Directory. Кроме того, в релизе обновлены процессы управления авторизацией пользователей с помощью Ranger и защитой канала по протоколу SSL. Доработки упрощают работу с ресурсами и правами доступа к ним в рамках принятой в организации политики безопасности.

Улучшено управление кластером Arenadata Streaming через интерфейс Arenadata Cluster Manager (ADCM): добавлена возможность выбора опций при запуске действий в кластере и сервисах. В интерфейсе ADCM появилось новое действие для ADS – Restart, которое выполняет остановку и последующий запуск всех сервисов кластера.

Сервис NiFi в составе продукта обновлен до версии 1.23.2, включающей дополнительный функционал процессоров и устранение известных ошибок.

ADS Control поддерживает управление несколькими кластерами ADS, в которых установлены сервисы Kafka и Kafka Connect, через графический веб-интерфейс. Новый релиз включает функциональность просмотра кластера и брокера, а также управления топиками Kafka: просмотр информации, создание, удаление и редактирование.

ADS Control развивается с учетом требований служб безопасности корпоративных заказчиков. В релиз включена возможность работы с кластерами Kafka, защищенными посредством SSL и Kerberos.