Решение Arenadata для управления Kafka-коннекторами
Компания Arenadata представила новый инструмент для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). ПО под названием Arenadata Streaming Command Center (ADSCC) поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.
ADSCC дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приемником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приемникам. Наиболее востребованные сценарии использования нового инструмента – настройка передачи данных в реальном времени между различными системами, репликация кластеров Kafka и Disaster Recovery.
Ранее при работе с Open Source Kafka Connect пользователям необходимо было вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много времени, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.
Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. С его помощью можно практически мгновенно организовать перенос данных из одной точки архитектурного ландшафта в другую. Кроме того, теперь есть следующие возможности:
- добавлять Kafka-коннекторы и управлять ими;
- отслеживать состояние кластеров Kafka Connect;
- работать с несколькими кластерами одновременно;
- гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
- работать с пользовательскими коннекторами.
Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming, начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.