Qlik ушел, а qvd остались. Как на 3 месяца сократить время миграции на DWH в 100 магазинах с помощью конвертера QvDB–Qlever?

После ухода с российского рынка зарубежных вендоров BI-решений (Qlik, Tableau, Power BI), бизнес столкнулся с риском превращения инструментов аналитики в «кирпич». В течение первого года многие компании еще пользовались действующими лицензиями, однако далее вопрос вставал остро: пытаться поддерживать действующее решение, закупая лицензии через дружественные страны, или начать миграцию в новую BI-систему.

Наиболее веским основанием остаться на прежнем BI-решении, несмотря на все риски, для многих компаний была трудоемкость — необходимость заново собрать и организовать большие массивы информации и создать модель данных, чтобы «скормить» это новой BI-платформе.

Однако, в случае если компания работала на платформе Qlik, часть задач по переносу аналитической отчетности в новую систему может быть решена с помощью использования уже существующих QVD-файлов (специально оптимизированных для систем Qlik) — содержат как сами данные, на основе которых QlikView или Qlik Sense строят дашборды, так и большой объем метаданных.

Возможность чтения QVD-файлов открывает для бизнеса новые возможности использования уже готовых таблиц для построения отчетов и визуализаций в новой BI-системе и существенно упрощает процесс миграции.

Сложность в том, что QVD — собственный формат Qlik. Воссоздать для дальнейшей работы реляционную таблицу на основе QVD стандартными методами невозможно.

Компании с разветвлённой сетью розничных магазинов особенно остро ощутили на себе трудности миграции. Не исключением стал и наш клиент, одна из крупнейших отечественных сетей розничной торговли.

Инфраструктура компании-клиента составляла более 100 торговых точек, которые генерировали большие объемы данных: таблица с ценами составляла >300 млн строк в месяц, и примерно такой же объем данных содержала таблица с доступными остатками. Суммарно объем данных составлял более 1Тб информации, которая хранилась в QVD-файлах.

Подобные объемы данных делали использование классических СУБД нецелесообразным и трудоемким. Было принято решение реализовать ETL-процессы на базе open source технологий с построением хранилища данных (DWH), которое должно было содержать имеющиеся исторические данные из Qlik.

Сложность также состояла в том, что часть исторических данных отсутствовала без возможности восстановления.

Решением существующей проблемы стало использование технического средства QvDB–Qlever. Конвертер отлично себя зарекомендовал, показав отличное быстродействие — среднее время загрузки файлов объемом 100–150 мб составило до 10 сек. На загрузку 1–2 ГБ тратилось порядка 2–3 минут, а самый массивный файл (5.67 ГБ) был загружен менее, чем за 10 минут.

По итогам реализации проекта руководитель службы аналитики Заказчика отметил: «Проект миграции с Qlik на DWH оказался непростым: были очень сжатые сроки, лицензия заканчивалась и не было возможности продлить ее использование. Благодаря QvDB удалось сократить время проекта на 3 месяца от изначального плана, а возможность переиспользовать QVD файлы позволила добавить в DWH данные, которые просто невозможно достать из других источников».

Программное обеспечение, позволяющее повторно использовать исторические данные, содержащиеся в QVD-файлах, существенно ускорило и упростило процесс миграции. Многолетний опыт команды Qlever Solutions и экспертные знания платформы Qlik позволяют в сжатые сроки реализовать проекты миграции на новые BI-платформы с построением DWH с гарантированным сохранением максимального объема аналитических данных бизнеса.