Платформа Pentaho с поддержкой методологии DataOps

--> Дата: Июл 23, 2019 110

Компания Hitachi Vantara представила Pentaho 8.3 – новую версию программной платформы для интеграции и анализа данных. В ней появился ряд функций, разработанных для поддержки DataOps – методологии совместного управления данными, которая позволяет полнее реализовать потенциал имеющихся цифровых активов. Платформа повышает гибкость работы с данными в любых средах, от периферийной до мультиоблачной инфраструктуры, обеспечивая при этом высокий уровень контроля безопасности и качества данных.

Pentaho 8.3 включает ряд усовершенствований, которые должны помочь организациям модернизировать практики управления данными, устраняя барьер между данными и их эффективным использованием. В числе новых возможностей – удобный интерфейс для работы с потоками данных из труднодоступных источников, улучшенная наглядность данных для эффективного управления ими, расширенная поддержка мультиоблачных инфраструктур.

Новый коннектор для SAP предоставляет простой и удобный интерфейс для комбинирования, обогащения и выгрузки данных из систем SAP ERP и Business Warehouse, при этом обеспечивается строгое соблюдение политик доступа к данным, настроенных внутри SAP-решений. Такие возможности дают более глубокое понимание специфики данных и повышают ценность аналитики, полученной на основе корпоративной информации.

Сервис Amazon Kinesis обеспечивает возможность работы с данными в реальном времени в среде AWS. Благодаря новым средствам интеграции платформа позволяет разработчикам AWS вместо написания кода принимать и обрабатывать потоковые данные в мощной визуальной среде, а также комбинировать их с другими данными, тем самым сокращая объем «ручных» операций.

Чтобы добиться большей наглядности корпоративных данных и улучшить управление ими, расширена интеграция с платформой Hitachi Content Platform (HCP), которое упрощает чтение, запись и обновление пользовательских метаданных HCP и позволяет легко выполнять запросы объектов с помощью системных метаданных. Благодаря этому пользователям доступны расширенные возможности поиска, а процесс получения аналитики становится более управляемым и удобным.

Кроме того, интеграция с инструментом IBM Information Governance Catalog (IGC) сокращает объем «ручных» операций, необходимых для управления корпоративными данными (распространяется ограниченно в виде бета-версии). Упростилось отслеживание до источника данных, получаемых по таким популярным протоколам, как AMQP, JMS, Kafka и MQTT.

Для поддержки мультиоблачных инфраструктур реализована пакетная загрузка в AWS Redshift. Сегодня наиболее распространенным способом переноса данных из хранилищ S3 в Redshift является циклическое использование сценариев SQL для координирования пакетных загрузок. С помощью функционала пакетной загрузки в Redshift пользователи смогут повысить продуктивность операций.

Новый коннектор для Snowflake. Snowflake становится одним из наиболее часто используемых хранилищ облачных данных. Однако для многих аналитических проектов необходимы данные и из других источников, в том числе из облачных сервисов. Pentaho 8.3 предусматривает возможность комбинирования, обогащения и анализа данных из хранилища Snowflake с данными из других источников, в том числе AWS и Google Cloud.

Как отмечают в Hitachi Vantara, методология DataOps нацелена на то, чтобы заказчики имели нужные данные в нужном месте в нужный момент. Именно этого позволяют добиться новые функции Pentaho 8.3, обеспечивая экономичное хранение данных и одновременно предоставляя функции поиска, доступа и управления данными.