Что нового в конвертере QvDB-Qlever: скорость, работа с большими QVD-файлами, загрузка в ClickHouse

После ухода с российского рынка Qlik, Tableau, Power BI, российский бизнес вынужден мигрировать на новые BI-платформы. Одна из сложностей миграции на новое ПО – переиспользование файлов из ушедших платформ.

В Qlik Sense или QlikView используются файлы собственного формата .qvd, которые хранят в себе исторические данные, важные в дальнейшем для глубокого анализа. Воссоздать реляционную таблицу на основе этих файлов стандартными методами невозможно.

Первая версия конвертера зарекомендовала себя на проектах Qlever. Например, для одного из наших заказчиков, крупной ритейл сети, конвертер использовался при построении корпоративного хранилища данных (DWH).

Узнать больше о проекте миграции на DWH для сети из 100 торговых точек https://www.qlever.ru/press/qlik-ushel-qvd-ostalis?utm_source=pr&utm_medium=news&utm_campaign=qvdbv2&utm_term=byte

Благодаря конвертеру удалось сократить время проекта на 3 месяца от изначального плана и обогатить DWH историческими данными для возможностей глубокой аналитики.

Мы решили не останавливаться на достигнутом и усовершенствовали наш конвертер для еще большей производительности и скорости работы с большими объемами данных.

• Добавили возможность загрузки файлов в ClickHouse – самую часто используемую колоночную СУБД для выполнения аналитических запросов
• Убрали ограничение на загрузку больших файлов и увеличили скорость выгрузки в СУБД – чтобы любые объемы QVD-файлов конвертировались легко и быстро
• Настроили корректное извлечение из файлов разных типов данных (дата, число, строка, время), и ни одна деталь теперь не будет упущена при построении отчетности на их основе
• Снизили потребление оперативной памяти — требуется не более 4 ГБ
• Улучшили CLI-интерфейс продукта для максимальной простоты и удобства использования конвертера