Так ли бесплатны «бесплатные» BI-решения, и что выбирать, чтобы не потратить лишние деньги?

Согласно обзору CNews Аналитика 3.0 — 2023, «…рынок бизнес-аналитики растет примерно на 30% в год. Основная причина — импортозамещение… волна миграции на отечественное ПО придется на 2024 г. — к этому времени внедренные западные системы уже достаточно самортизируются, а российские достигнут необходимой зрелости.»

Спрос на внедрение инструментов аналитики вырос за последнее время еще и в результате необходимости адаптироваться и быстро реагировать на постоянно меняющиеся условия. В то же время, нестабильность и риски заставляют оптимизировать ИТ и сокращать стоимость владения ПО.

Если ранее бизнес отдавал предпочтение решениям от очевидных лидеров рынка Microsoft, Tableau, Qlik, то с введением санкций поиск альтернатив превратился в непростую задачу. Большое разнообразие пришедших на смену решений может затянуть и без того сложный процесс выбора.

В этой статье мы постараемся разобраться с тем, какие сейчас есть варианты BI, действительно ли имеющиеся бесплатные решения для аналитики бесплатны, и как сформировать стратегию выбора ПО, позволяющую сократить затраты.

Что предлагает рынок BI сейчас?

✔️ Проприетарное ПО

Несмотря на уход с рынка крупнейших игроков, большинство пользователей по-прежнему предпочитает закрытое ПО для бизнеса.

В данной категории есть пользователи, продолжающие использовать зарубежные решения – Qlik, Power BI, Tableau. Такой вариант осложнен в текущих реалиях невозможностью расширения лицензий по количеству пользователей.

Некоторые мигрируют на зарубежные платформы, не попадающие под санкции, например, Fine BI (Китай). Большинство остановило свой выбор на отечественных платформах – PIX BI, Visiology, Luxms BI, Форсайт и тд

Преимущества закрытого ПО с точки зрения затрат:

• Отлаженный процесс внедрения и интеграции

Со стороны вендора учитываются необходимые параметры инфраструктуры, оцениваются требования к производительности ПО, учитываются возможные риски отказоустойчивости.

• Широкая функциональность BI-платформы в едином решении

Над инструментами для сбора, хранения и визуализации данных внутри BI-платформы трудится команда специалистов с высоким уровнем знаний и опытом работы над разнообразными проектами.

• Безопасность

Проприетарные BI-решения подразумевают соответствие необходимым стандартам безопасности (в том числе, сертификации по ФСТЭК) и наличие гибких возможностей регулирования прав доступа в ролевой модели.

• Доступность постоянных обновлений, происходящих незаметно для конечного пользователя
• Поддержка вендора в режиме реального времени

Недостатки закрытого ПО:

Четко отрисованная функциональность продукта может стать минусом – порой такое BI-решение сложно дорабатывать или корректировать под отраслевую специфику и конкретные задачи бизнеса.
Изначальная экономия может обернуться в затраты, связанные с собственными доработками и внедрением дополнительных инструментов.

***

Для примера рассмотрим PIX BI — отечественную BI-систему с адаптивным интерфейсом, гибкой системой фильтрации и возможностью создания персонализированных отчетов.

Платформа создавалась как аналог популярной BI-платформы Qlik, поэтому большая часть функций и интерфейсов уже знакома бизнес-пользователям.

PIX BI обеспечивает:

1. Безопасность данных за счет гибкой ролевой модели доступа — ограничения доступа к конкретным директориям или таблицам, либо по заданным собственным правилам.
2. Быстродействие, которое обеспечивается за счет использования встроенного хранилища ClickHouse. Причем, поскольку взаимодействие с СУБД производит сама система PIX BI, в штате не требуются отдельные специалисты, обладающие знанием ClickHouse. Быстродействие при отображении прямых таблиц достигается пагинацией — при скролле подгружается только определенный фрагмент данных.
3. Возможность работы с большими объемами данныхНагрузочные тестирования системы показали следующие результаты:

• Количество строк в витрине исходных данных – не ограничено
• Скорость открытия отчета – менее 10 секунд
• Скорость обновления визуализаций после применения фильтров – менее 3 секунд
• Скорость выгрузки данных в .xls – 100 000 строк, менее чем за 15 секунд
• Скорость выгрузки данных из источников – 500 000 строк, менее чем за 3 минуты

4. Простое подключение различных источников: встроенный ETL-модуль позволяет загружать данные в PIX BI из популярных СУБД, таких как ClickHouse, MS SQL, PostgreSQL, текстовых и Excel-файлов, а с помощью коннектора к QVD-файлам — данные из системы Qlik.

5. Удобство использования и широкую функциональность:

• Сквозная фильтрация и технология drill-down позволяют применять параметры фильтрации ко всем дашбордам и отчетам или изучить отчеты в разных разрезах в рамках одной визуализации
• Ассоциативный анализ с трехцветной индикацией подсказывает дальнейшие шаги анализа
• Включены инструменты self-service: рядовой сотрудник с базовыми компьютерными навыками может самостоятельно освоить работу в системе без помощи ИТ-специалистов, что дополнительно сокращает затраты на сопровождение и поддержку
• Визуальное представление модели данных дает наглядное понимание связей данных и таблиц аналогично с Qlik
• Разнообразие визуализаций обеспечено за счет 18 встроенных визуализаций, более 400 визуализаций во встраиваемых библиотеках и возможности кастомизации с помощью добавления собственных шаблонов
• Возможность совместного доступа для работы команды или создание персонализированных графиков и отчетов
• Работа со сводными таблицами — возможность выгрузки из системы таблицы в формате Excel для дальнейшей работы
• Адаптивный интерфейс позволяет использовать систему на любом устройстве
• В поставку PIX BI входит RPA-робот – цифровой помощник, который может, например, собирать данные для системы, готовить кастомные отчеты и направлять их по списку рассылки

6. Развитие платформы: ежемесячные выходы обновленной версии с новыми дополнениями и функциями.

7. Низкую стоимость владения, дешевле, чем иностранный софт и многие российские аналоги. В PIX BI сделан акцент на возможности масштабирования системы, а минимальный пакет составит всего 5 лицензий.

***

✔️ Open Source и собственные разработки на его основе

Согласно прогнозам, к 2026 году более 90% российских компаний будут использовать открытое ПО. Несменным лидером Open Source BI остается Apache Superset, но также есть и другие игроки — Grafana, Redash и т.д.

Open Source решения не равно бесплатные решения. Использование Open Source все также стоит денег, только вы платите не за лицензии, а за внедрение, сопровождение, развитие, обеспечение должной поддержки, доработки и риски.

Когда речь заходит о построении аналитических приложений на базе Open Source продукта для непрерывно развивающегося бизнеса, построенное на базе открытого ПО решение в итоге будет дороже проприетарного из-за необходимости доработок.

Преимущества открытого ПО:

• Экономия на лицензиях и гибкость при масштабировании
• Возможность легких доработок по функциональности под конкретные нужды пользователя
• Активное развитие комьюнити — постоянно обновляющиеся примеры использования, гайды, растущие чаты поддержки, где можно получить консультацию по возникшей проблеме
• Независимость от санкций

Недостатки открытого ПО:

• Отсутствие гарантий в необходимой функциональности и отказоустойчивости

Применение Open Source дает возможность комбинировать различные открытые компоненты для получения комплексных решений, но это требует наличия в компании экспертизы и на уровне построения бизнес-процессов, и с точки зрения интеграции в корпоративный ИТ-ландшафт.

• Отсутствие стандартов безопасности и незамеченные уязвимости

В Open Source проектах участвует большое количество аналитиков и пользователей, что усложняет централизованную проверку созданного кода и не дает гарантий честных намерений всех участников. Легко может возникнуть пробел в безопасности. По данным GitHub, 17% всех уязвимостей, почти пятая часть всех ошибок открытого ПО, создается для вредоносных целей.

• Нет поддержки в режиме реального времени

Неизвестно, когда удастся получить ответы на вопросы, и возможно ли будет решить проблему в тематическом сообществе.
Внедрение и обновление и открытого ПО может потребовать привлечения специалистов
Кажущееся на первый взгляд бесплатным решение, требует весомых затрат на его внедрение, интеграцию и поддержку. Переходы на новые версии не протекают также незаметно для конечного пользователя, как в проприетарном ПО.

***

Например, Apache Superset вполне может использоваться для создания отчетности в компаниях, где хорошо развита культура дата инжиниринга. В нетехнологических компаниях Superset потребует привлечения специалистов для установки и настройки.

Для развертывания Superset нужны знания бэкенд-разработчика: умение работать с Docker, знания базовых команд терминала Linux, настройка Flask, Redis, Celery, выбор веб-сервера для платформы и т. д.

В системе отсутствует возможность кастомизации визуализаций стандартными командами. Для создания сложных приложений с элементами управления и реализации расчетов на стыке данных из разных датасетов потребуется изучение шаблонизатора Jinja и SQL хотя бы на среднем уровне.

Еще один минус — отсутствие возможности проводить детализацию данных по иерархии (технология drill-down).

Есть недостатки и в работе с источниками данных. Работать напрямую с файлами форматов .txt, .csv, .xls в Superset нельзя, нужно предварительно загружать информацию в БД. Инструментов по предпроцессингу сырых данных нет, поэтому все этапы нужно выполнять сторонними программами либо с помощью языков программирования.

Для пользователей Superset доступна мощная поддержка сообщества, где можно почерпнуть идеи модификации, но могут возникнуть проблемы с получением поддержки для решения проблем в реальном времени.

Есть вопросы и к безопасности Superset. Недавно агентство кибербезопасности Horizon3 обнаружило в порядка 2000 из 3000 установок Apache Superset уязвимость. Многие из этих серверов оказались публично открыты, так как выявлено использование указанного по умолчанию в примере файла конфигурации ключа шифрования для генерации сессионных файлов cookie. Любой злоумышленник мог подключиться к интерфейсу Superset с правами администратора, сформировать фиктивные параметры сеанса, изменить данные и выполнить удаленный код.

Эксперты Horizon3 еще в 2021 году обратили внимание на данную проблему, в код была добавлена проверка, при наличии значения по умолчанию выводящая в лог предупреждение, но пользователи редко обращали внимание на уведомление.

Окончательно уязвимость устранена в новых версиях Apache Superset, но все еще показательна относительно возможных рисков использования открытого ПО без должных компетенций пользователя.

Неизбежная модификация, адаптация к архитектуре и усложненный процесс интеграции со смежными системами при переходе на открытое ПО требуют временных затрат собственных или привлеченных ИТ-специалистов, а значит дополнительного бюджета на расширение штата, обучение и оплату труда.

Выбор в пользу Open Source возможен, если компания четко понимает цели внедрения, риски и в состоянии обеспечить должные навыки команды. Если у Вас есть проприетарный BI, то Open Source инструмент может использоваться для расширения возможностей платформы.

***

✔️Cloud Native платформы

Платформы BI на базе облачной инфраструктуры. Лидеры облачного BI — Google Data Studio и Amazon QuickSight, но, в связи с политикой импортозамещения, платформы больше не доступны в России. На смену пришел бесплатный отечественный продукт Yandex DataLens.

Преимущества облачного ПО:

• Простота и скорость внедрения или миграции — внедрение on-premise решения требует более тщательного планирования и подготовки в масштабах организации
• Простое масштабирование — нет ограничений по количеству пользователей, объему хранилища или вариантов визуализаций
• Регулярные автоматические обновления
• Данные из облака можно получать практически из любой точки доступа

Недостатки облачных платформ:

Популярное сейчас бесплатное российское решение на базе облачной инфраструктуры — Yandex DataLens.
Имеет хорошую документацию, встроенные справочники функций и даже курсы бесплатного обучения по работе с продуктом. Но, как и прочие варианты, имеет свои минусы.

• Не подходит для компаний с высокими требованиям к информационной безопасности

Размещение данных во внешней инфраструктуре не дает гарантий по конфиденциальности и сохранности данных.

• Не подходит для работы с большим объемом данных

На базе облачного BI, как правило, невозможно развернуть полноценное Enterprise решение. Скорость работы платформы будет практически полностью определяться скоростью работы БД и оптимизацией таблиц данных, и при больших объемах данных быстродействие в облаке может проседать. В DataLens есть следующие ограничения при работе с данными:

— Лимиты данных в чартах — 75 000 строк для большинства диаграмм, есть и более ограниченные чарты
— Лимиты данных в таблицах — 100 000 строк

• Сложности кастомизации

Если вам не хватит функциональности платформы, добавить ее не получится, возникнут расходы на дополнительные инструменты.
Например, в DataLens количество видов встроенных диаграмм ограничено, нельзя строить каскадные диаграммы Waterfall, и отсутствует возможность их расширения путем интеграции сторонних решений (с помощью JavaScript кода).

• Затраты на инфраструктуру, доработки и дополнительные инструменты

DataLens не имеет собственных ETL-инструментов, нужно больше времени уделять подготовке данных на стороне источника. Инструменты для ETL предоставляет Yandex Cloud – платный сервис, таким образом, за ETL-инструменты придется платить, а сколько, зависит от объемов потребленных ресурсов и времени их использования.

Для DataLens можно построить ETL-процедуры на Open Source продуктах и собственных мощностях, но при наличии квалифицированного персонала или интегратора, способного настроить и вести процессы хранения и обработки данных у заказчика, что также означает дополнительные затраты на сотрудников.

В рамках DataLens невозможен автоматический процесс Data Mining — глубокое погружение в необработанные данные для извлечения ключевых знаний. Интеллектуальный анализ данных реализован в других сервисах Yandex Cloud, они требуют дополнительных расходов и привлечения аналитиков для настройки.

Российская облачная BI-платформа позиционируется как полностью бесплатная, но на самом деле требует дополнительных затрат на инфраструктуру, доработки, дополнительные инструменты и привлечение экспертов.

***

Для каждой конкретной компании и каждых конкретных бизнес-задач, независимо от того, внедряете ли вы решение с нуля или хотите мигрировать на новую версию платформы, выбираете между проприетарным ПО или Open Source, необходимо оценивать внутренние процессы и возможности, а в выборе ориентироваться не на кажущуюся доступность или простоту внедрения, а на совокупную стоимость владения и оценивать как плюсы, так и минусы продуктов.

***

Как тогда выбирать и при этом сократить затраты?

Чтобы инвестиции в ПО принесли ожидаемые результаты, необходима стратегия, с помощью которой можно определить критически важные заинтересованные во внедрении стороны, согласовать их потенциально несопоставимые цели, оценить технологии, обеспечить оптимальный бюджет и отслеживать процесс выбора ПО.

Оценка технологий

Для оценки ПО стоит определить и согласовать:

• Функциональные возможности для удовлетворения конкретных потребностей пользователей и решения конкретных задач
• Технические требования, соответствующие вашей инфраструктуре и отвечающие потребностям безопасности
• Возможности поддержки, включая помощь во внедрении, нюансы SLA (Service Level Agreement, соглашения об уровне обслуживания), обучение и техподдержку
• Отзывы и рейтинги пользователей или коллег по отрасли
• Потенциальную стоимость владения и коммерческие условия в соответствии с вашим бюджетом, включая затраты на внедрение и обучение, плату за обслуживание и поддержку, лицензионные сборы и продление, возможные доработки

Процессы

Определите процессы, которые должны поддерживаться с помощью BI, получите консенсус по ним от ключевых заинтересованных сторон и ранжируйте их по важности.Для того, чтобы выбрать и в дальнейшем использовать BI максимально эффективно, ваша стратегия выбора должна отвечать на вопросы:

• Какие бизнес-задачи вы хотите решить с помощью ПО?
• Какие сотрудники и процессы оказывают наибольшее влияние на достижение ваших бизнес-целей?
• Какие инструменты и технологии бизнес-аналитики нужны этим сотрудникам и для поддержки этих процессов, чтобы обеспечить достижение бизнес-целей?

Показатели

В рамках стратегии оцените, какие показатели оказывают наибольшее влияние на вашу бизнес-стратегию: помогают оценить эффективность имеющихся процессов и сформулировать цели.

Данные

Определите, какие конкретные данные необходимы для реализации процессов и влияют на вашу бизнес-стратегию. Перед выбором решения необходимо учитывать все источники данных, используемые для принятия решений: операционные системы, электронные таблицы и неструктурированные данные, хранящиеся в текстовых файлах, веб-страницах и других корпоративных системах.

Стратегия также должна учитывать процесс управления данными как корпоративным активом – для согласования использования данных с глобальной стратегией компании.

Пользователи

Ваша стратегия должна учитывать, что все ключевые сотрудники должны иметь простой и быстрый доступ к данным из разрозненных источников в любой точке мира, по мере необходимости.

Обзор текущей ситуации

Проведите аудит BI. Аудит текущей BI системы позволит выявить узкие места в ETL-процессах, архитектуре решения, требуемой ИТ-инфраструктуре, а также на уровне интерфейсов, визуализаций и отчетов.
В случае, если вы внедряете с нуля, аудит поможет провести анализ готовности инфраструктуры и источников данных.

Согласование внедрения BI со стратегией развития компании

Сопоставьте глобальную стратегию роста и развития бизнеса со сформированной стратегией выбора, внедрения и развития BI. Это поможет вам оценить затраты и выгоды от системы на долгосрочный период.

***

Разработка стратегии поможет:

• Снизить затраты на ПО за счет более скоординированных, эффективных закупок
• Снизить затраты на поддержку и администрирование
• Снизить затраты на обучение пользователей
• Получить ускоренную окупаемость проектов BI

Внедрение BI часто является предметом разногласий между ИТ-отделом и бизнес-пользователями. Связывая цели, процессы, показатели эффективности, сотрудников и оценку BI-инструментов, стратегия BI обеспечивает согласованность, прозрачность и эффективность процесса выбора и проекта внедрения.

Стратегия BI способствует значительной экономии средств, эффективному управлению и улучшенному опыту бизнес-пользователей. Все это даст вам конкурентное преимущество за счет полноценного использования функциональности и возможностей BI системы.

Хотите сократить затраты на BI?

Совершите один из важных шагов в стратегии эффективного внедрения – пройдите аудит BI