Обновленная система мониторинга запросов в Arenadata DB

Компания Arenadata выпустила Arenadata Command Center (ADCC) 3.0 – новую версию системы мониторинга запросов в СУБД Arenadata DB (аналитическая MPP-СУБД на базе Greenplum). ADCC позволяет отслеживать процесс выполнения запросов в Arenadata DB, оценивать загруженность кластера, проводить анализ планов запросов и выполнять некоторые другие административные задачи, возникающие в процессе эксплуатации базы данных.

С помощью сервиса можно получать такие метрики, как параметры выполнения запросов, блокировки объектов базы данных, временные данные запросов, spill-файлы и так далее. До появления Command Center для подобного мониторинга использовались только встроенные средства базы данных, которые не обеспечивали нужного уровня детализации и актуальности данных, а также были не слишком просты и удобны в использовании.

В качестве инструментов для сбора метрик ADCC использует встроенную утилиту gpperfmon и расширение gpADCC. Собранные данные поступают агентам – специальным приложениям, установленным на каждом сегмент-хосте, занимающимся передачей метрик на сервер ADCC для последующего сохранения их в сервисной базе данных (PostgreSQL) и отображения в Web-интерфейсе системы.

До версии 3.0 Web-сервер, который развертывался в единственном экземпляре, занимался как сбором и агрегацией метрик на серверной стороне, так и обработкой пользовательских запросов из UI, что негативно сказывалось на масштабируемости и производительности системы в целом. В ADCC 3.0 по сравнению с предыдущими версиями системы решены проблемы производительности и корректности работы пользовательского интерфейса, улучшена масштабируемость системы. Этого удалось достичь за счет ряда изменений на уровне архитектуры, включая новый горизонтально масштабируемый сервис для обработки и агрегации метрик, снятие с Web-сервера задач по приему метрик и их записи в базу данных, асинхронную обработку метрик за счет использования очередей и пулов потоков, фильтрацию метрик, не обрабатываемых системой, балансировку нагрузки и др.

Архитектура версии 3.0, отмечают в компании, делает ADCC более отказоустойчивой, доступной, производительной и простой в эксплуатации. Система является горизонтально масштабируемой, что позволяет ей работать с кластерами различной сложности. Чтобы упростить переход между различными версиями системы, написана отдельная утилита для миграции ее данных.

Как поясняют в Arenadata, в дальнейших планах развития продукта – расширение функционала пользовательского интерфейса, добавление новых типов метрик, повышение детализации по уже обрабатываемым метрикам и разделение хранилища метрик на холодное (с редким доступом) и горячее (с частым доступом). В перспективе будет добавлена поддержка Greenplum 7 и возможность мониторинга нескольких кластеров ADB.