Платформа «Селена» класса Data Lakehouse
Компания DIS Group представила платформу данных Селена – решение класса Data Lakehouse, предназначенное для высокоскоростной обработки и анализа больших объемов структурированных и неструктурированных данных.
Платформа «Селена», отмечают в DIS Group, сочетает в себе преимущества традиционных хранилищ данных и современных Data Lakehouse, обеспечивая высокую скорость аналитической обработки информации. Благодаря использованию технологий векторных вычислений и массово-параллельной архитектуры (MPP) система, по данным компании, демонстрирует десятикратное превосходство в скорости выполнения запросов по сравнению с аналогичными предложениями на рынке.
Платформа предназначена для обработки как небольших, так и экстремально больших объемов информации, включая хранение и анализ данных свыше 100 Пбайт. Архитектурное решение позволяет развертывать систему как в облачной инфраструктуре, так и в рамках локальных дата-центров, что обеспечивает гибкость при внедрении.
Особое внимание при разработке было уделено совместимости с современными стандартами хранения данных. Платформа поддерживает работу с любыми объектными хранилищами, совместимыми с S3-протоколом, включая популярные решения MinIO и Ceph, а также отечественную платформу «Закрома». Наряду с этим сохраняется возможность интеграции с распределенной файловой системой HDFS, что позволяет использовать «Селену» в уже существующих Hadoop-инфраструктурах.
В основе платформы лежит высокопроизводительный движок StarRocks, который обеспечивает стабильную работу даже при экстремальных нагрузках. Система демонстрирует особую эффективность при выполнении сложных аналитических запросов в условиях высокой конкуренции за вычислительные ресурсы. Это делает решение востребованным в таких сферах, как финансовая аналитика, промышленный интернет вещей (IIoT), телекоммуникации и государственный сектор.
Для обеспечения высокой скорости доступа к данным в «Селене» реализована комбинация технологий обработки информации. Колоночная организация хранения данных в сочетании с многоуровневой системой кэширования (включая кэширование запросов, промежуточных результатов и готовых отчетов) минимизирует время отклика системы. Дополнительное ускорение достигается за счет использования cost-based оптимизатора запросов, материализованных представлений и специализированных агрегационных таблиц.
Интеграция ИИ посредством реализации MCP-сервера позволяет формулировать запросы к базе данных на естественном языке, автоматизировать создание блокнотов и взаимодействовать с хранилищем в формате чата.
Платформа «Селена» совместима с популярными BI-инструментами и аналитическими платформами, такими как Tableau, Apache Superset, Power BI, Luxms BI, FineBI, PIX BI, «Форсайт», «Навигатор BI» и др. В текущем году планируется начать процесс ее сертификации в ФСТЭК России, что откроет возможности для внедрения решения в госструктурах и организациях с повышенными требованиями к ИБ.
Разработчиком платформы является российская компания «Платформа данных Селена», созданная в 2024 г.; компания DIS Group выступает мастер-дистрибьютором продукта. Продукты DIS Group образуют экосистему «Платформа IDP», включающую, помимо «Селены», решения для управления бизнес-глоссарием и каталогом данных, работы с мастер-данными, ETL/ELT-процессами, контроля качества данных и другие компоненты.