Как непрофильный специалист при поддержке экспертов Qlever может мигрировать с Qlik на PIX BI за одну неделю
Ситуация
Компания специализируется на разработке решений для коммерческих объектов «под ключ»: продаже вендингового оборудования, внедрении облачной платформы двустороннего управления и удаленного мониторинга для кофемашин и их сервисном обслуживании.
Платформа мониторинга подключается к кофемашинам и собирает с оборудования информацию: количество приготовленных напитков, продажи, заявки, статистику ошибок в работе оборудования и др.
На основе этих показателей создаются отчеты о простоях и промывках аппаратов, отчет по сервисным счетчикам, отчет по проливам, который автоматически сравнивает количество напитков, изготовленных кофемашиной, с данными, полученными от кассовых аппаратов.
Доступ к отчетам для оценки состояния вендинговых автоматов и своевременного устранения неполадок получают как сотрудники ритейлера, так и сервисный центр поставщика решения.
Ранее отчеты были реализованы с помощью Qlik Sense. Сбор данных мониторинга для приложений Qlik из БД MySQL был реализован через коннектор ODBC, загрузка данных осуществлялась инкрементально.
В связи с уходом вендора с рынка, задачей компании стала миграция данных мониторинга на отечественную систему аналитики.
Решение
Модель данных, используемая в Qlik, с архитектурной точки зрения не подходит для реализации в BI-инструментах, внутренним хранилищем которых выступает база данных, поэтому одним из этапов миграции стал рефакторинг существующей модели для оптимальной работы PIX BI.
В первой итерации заказчик столкнулся с неоптимальной скоростью обработки данных в PIX BI, так как развернул платформу с использованием PostgreSQL в качестве внутреннего хранилища, а также попытался перенести модель данных из Qlik Sense «AS-IS». Модель данных состояла из 3 справочных таблиц и 4 фактовых таблиц, в которых значения в поле «Дата» были несопоставимы и не связаны, что приводило к проблемам при фильтрации в PIX BI.
Cредства подготовки баз данных и ETL для PIX BI возможно развернуть на PosgreSQL или ClickHouse, но максимальному быстродействию приложений будет способствовать работа именно на ClickHouse.
В связи с этим, экспертами Qlever было предложено заменить реализованное на PosgreSQL внутреннее хранилище на аналитическую СУБД ClickHouse, которая построена специально для работы с большими объемами данных. Была произведена прототипизация модели данных по схеме Звезда, где данные из 4 фактовых таблиц были объединены в одну, непосредственно к которой подключались справочники. Все это помогло обеспечить необходимую скорость обработки данных и быстродействие платформы.
Сотрудник со стороны заказчика достаточно легко самостоятельно воспроизвел необходимые формулы из Qlik, не имя опыта BI-аналитики. Язык формул Meta, используемый PIX BI, повторяет язык формул Qlik и обладает простым для понимания синтаксисом. PIX Meta позволяет гибко управлять фильтрацией на уровне функций агрегаций (sum, count, max, min и проч.) и производить различные сложные расчеты в интерфейсе.
Миграция с Qlik на PIX BI была реализована всего за одну неделю одним непрофильным специалистом заказчика при участии экспертов Qlever.