Как непрофильный специалист при поддержке экспертов Qlever может мигрировать с Qlik на PIX BI за одну неделю

Компания специализируется на разработке решений для коммерческих объектов “под ключ”: продаже вендингового оборудования, внедрении облачной платформы двустороннего управления и удаленного мониторинга для кофемашин и их сервисном обслуживании.

Платформа мониторинга подключается к кофемашинам и собирает с оборудования информацию: количество приготовленных напитков, продажи, заявки, статистику ошибок в работе оборудования и др.

На основе этих показателей создаются отчеты о простоях и промывках аппаратов, отчет по сервисным счетчикам, отчет по проливам, который автоматически сравнивает количество напитков, изготовленных кофемашиной, с данными, полученными от кассовых аппаратов.

Доступ к отчетам для оценки состояния вендинговых автоматов и своевременного устранения неполадок получают как сотрудники ритейлера, так и сервисный центр поставщика решения.

Ранее отчеты были реализованы с помощью Qlik Sense. Сбор данных мониторинга для приложений Qlik из БД MySQL был реализован через коннектор ODBC, загрузка данных осуществлялась инкрементально.

В связи с уходом вендора с рынка, задачей компании стала миграция данных мониторинга на отечественную систему аналитики.

Платформа проста для понимания и не требует узкоспециализированных знаний для настройки и использования, что стало особенно актуальным в данном проекте, ведь со стороны заказчика в нем участвовал сотрудник уровня технического специалиста, без опыта BI-разработки и аналитики. PIX BI содержит встроенный модуль PIX ETL, который позволяет собирать данные из различных информационных систем и подключаться к нужным источникам данных, в том числе к QVD-файлам Qlik.Источником данных выступила БД MySQL, где хранилась детальная информация по мониторингу оборудования за 6 месяцев (около 4 млн строк).

Модель данных, используемая в Qlik, с архитектурной точки зрения не подходит для реализации в BI-инструментах, внутренним хранилищем которых выступает база данных, поэтому одним из этапов миграции стал рефакторинг существующей модели для оптимальной работы PIX BI.

В первой итерации заказчик столкнулся с неоптимальной скоростью обработки данных в PIX BI, так как развернул платформу с использованием PostgreSQL в качестве внутреннего хранилища, а также попытался перенести модель данных из Qlik Sense “AS-IS”. Модель данных состояла из 3 справочных таблиц и 4 фактовых таблиц, в которых значения в поле “Дата” были несопоставимы и не связаны, что приводило к проблемам при фильтрации в PIX BI.

Cредства подготовки баз данных и ETL для PIX BI возможно развернуть на PosgreSQL или ClickHouse, но максимальному быстродействию приложений будет способствовать работа именно на ClickHouse.

В связи с этим, экспертами Qlever было предложено заменить реализованное на PosgreSQL внутреннее хранилище на аналитическую СУБД ClickHouse, которая построена специально для работы с большими объемами данных. Была произведена прототипизация модели данных по схеме Звезда, где данные из 4 фактовых таблиц были объединены в одну, непосредственно к которой подключались справочники. Все это помогло обеспечить необходимую скорость обработки данных и быстродействие платформы.

Сотрудник со стороны заказчика достаточно легко самостоятельно воспроизвел необходимые формулы из Qlik, не имя опыта BI-аналитики. Язык формул Meta, используемый PIX BI, повторяет язык формул Qlik и обладает простым для понимания синтаксисом. PIX Meta позволяет гибко управлять фильтрацией на уровне функций агрегаций (sum, count, max, min и проч.) и производить различные сложные расчеты в интерфейсе.

Миграция с Qlik на PIX BI была реализована всего за одну неделю одним непрофильным специалистом заказчика при участии экспертов Qlever.