Byte Россия - ИТ

Решение Arenadata для управления Kafka-коннекторами

Компания Arenadata представила новый инструмент для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). ПО под названием Arenadata Streaming Command Center (ADSCC) поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.

ADSCC дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приемником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приемникам. Наиболее востребованные сценарии использования нового инструмента – настройка передачи данных в реальном времени между различными системами, репликация кластеров Kafka и Disaster Recovery.

Ранее при работе с Open Source Kafka Connect пользователям необходимо было вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много времени, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.

Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. С его помощью можно практически мгновенно организовать перенос данных из одной точки архитектурного ландшафта в другую. Кроме того, теперь есть следующие возможности:

  • добавлять Kafka-коннекторы и управлять ими;
  • отслеживать состояние кластеров Kafka Connect;
  • работать с несколькими кластерами одновременно;
  • гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
  • работать с пользовательскими коннекторами.

Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming, начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.

Вам также могут понравиться