Хранилище данных на основе Oracle BI

Компания «ФОРС – Центр разработки» завершила проект создания и внедрения хранилища данных для DPD в России, выполненного на базе продуктов Oracle Business Intelligence & DataWarehousing. Проект продолжался чуть более года. Система была сдана в опытную эксплуатацию в июле 2009 г. и сейчас функционирует в штатном режиме.

Под международным брендом DPD в России работают компании «Армадилло Бизнес Посылка» и «Армадилло», которые предлагают полный комплекс транспортно-логистических услуг по технологии экспресс-экспедирования, осуществляя доставку в 4000 городов и населенных пунктов России, обслуживая 220 стран и территорий мира. DPD в России обладает интегрированной сетью наземных грузоперевозок, имеет партнерские отношения с ведущими международными и российскими авиакомпаниями, а также сеть собственных филиалов во всех регионах страны.

Внутреннее IT-подразделение заказчика обеспечивает создание и поддержку программной инфраструктуры на всех стадиях ведения проектов, включая постановку задачи, реализацию и сопровождение системы. В частности, для ведения операционных процессов, охватывающих весь технологический цикл – от приема заказа до выставления счета, – в компании имеется информационная система собственной разработки. Кроме этого, в ней функционирует еще ряд систем, решающих частные задачи.

Целью проекта было формирование единого информационного ресурса для построения управленческой аналитической отчетности на основе единой модели корпоративных данных. При этом требовалось обеспечить высокое качество обрабатываемых данных – их полноту, достоверность и непротиворечивость, а также высокую скорость подготовки аналитической отчетности на всех уровнях. Создание хранилища и было призвано решить все эти задачи.

Компания ФОРС использовала в проекте весь свой опыт построения систем класса BI на основе классической архитектуры c использованием технологий Oracle. В качестве сервера баз данных была использована Oracle Database 10g с опцией Partitioning, инструментом загрузки служил встроенный в Oracle Database 10g Warehouse Builder. Выделение в архитектуре решения отдельных областей БД под загрузку и хранение исторических данных, а также аналитических витрин позволило применить структуры хранения, оптимизированные для выполнения аналитических запросов произвольного вида на больших объемах данных. Общий их объем в хранилище в настоящий момент составляет 100 Гбайт. При этом аналитическая область содержит 40 таблиц измерений, 21 таблицу фактов, а также таблицы журналов загрузки и другие служебные структуры хранения. Реализованный набор правил форматно-логического контроля (ФЛК) обеспечивает диагностику поступающей информации и высокий уровень качества данных в хранилище. Продуманная система логирования позволяет администраторам хранилища вести мониторинг загрузки данных в систему, а также оперативную диагностику и решение обнаруженных проблем, в том числе проблем качества поступающей информации.

Для каждой из трех групп пользователей – руководства компании, департамента продаж и отдела качества – было разработано несколько многостраничных информационных панелей. Общее число страниц аналитических панелей составило более 50.

Основной сложностью при разработке хранилища данных была работа в условиях меняющегося бизнеса и развивающейся информационной инфраструктуры предприятия. В подобных условиях хорошего результата можно было достичь только при условии тесного и эффективного взаимодействия проектных команд заказчика и исполнителя. Многие проектные решения прорабатывались, согласовывались и утверждались совместно. Кроме того, на этапе разработки была предусмотрена серия итераций по согласованию внешнего вида информационных панелей с пользователями.

Сопровождение и дальнейшее развитие системы заказчик осуществляет собственными силами.