Новый релиз Arenadata Streaming
Компания Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В состав продукта включен новый компонент Kafka Cruise Control, предназначенный для оптимизации работы кластеров Kafka, а также NiFi Processor для Arenadata DB собственной разработки. В числе других новшеств – поддержка модуля kTLS, снижающего затраты ресурсов в режиме шифрования, совместимость с защищенной ОС Astra Linux 1.7 и обновление версий сервисов.
Kafka Cruise Control – инструмент для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. Он позволяет перераспределять нагрузку и обеспечивать высокую доступность подключений для кластера ADS: Kafka в случае сбоя брокеров. Сервис ориентирован на крупные высоконагруженные кластеры Kafka в инфраструктуре, критичной к отказам. В таких инсталляциях важно свести к минимуму время простоя, автоматизировать динамическую балансировку, восстановление и управление ресурсами.
В новой версии реализована интеграция Kafka с модулем kTLS в ядре Linux, который обеспечивает аппаратное ускорение для обработки шифрования TLS (Transport Layer Security). Поддержка kTLS в Arenadata Streaming снижает нагрузку на CPU при выполнении шифрования, тем самым повышая производительность системы и скорость передачи защищенных данных.
В дистрибутив Arenadata Streaming теперь включен NiFi ADB Processor, предназначенный для высокоскоростной параллельной записи данных из ADS: NiFi в Arenadata DB (ADB), распределенную аналитическую СУБД на базе технологий Greenplum.
Доработан также Iceberg Sink Connector – инструмент для интеграции с Iceberg-таблицами, позволяющий записывать потоковые данные из Kafka в таблицы Iceberg без сложных ETL-процессов. В новой версии коннектора добавлена поддержка режима UPSERT, необходимого для реализации полноценного CDC, а также Kerberos-аутентификации на стороне Arenadata Hyperwave (ADH), гибридной платформы данных.
Начиная с версии 3.9.0.1.b1 Arenadata Streaming совместим с ОС Astra Linux 1.7 – сертифицированной ОС со встроенными верифицированными средствами защиты информации (СЗИ).