Новые сервисы Cloud.ru для работы с данными
Провайдер Cloud.ru объявил, что добавил к возможностям Evolution Data Platform новые инструменты для работы с данными в облаке. Сервис Evolution Managed Airflow для оркестрации рабочих процессов перешел в коммерческую эксплуатацию, а Evolution Managed Flink для распределенной обработки потоковых и пакетных данных стал доступен в режиме публичного тестирования. Оба решения интегрированы с другими компонентами платформы и работают в едином контуре.
Evolution Managed Airflow построен на основе открытого ПО Apache Airflow. Сервис помогает в управлении ETL-процессами (Extract Transform Load, извлечение, преобразование и загрузка данных для аналитики): пользователю достаточно определить параметры и последовательность выполнения задач, сервис автоматически организует их выполнение. Managed Airflow подходит не только для ETL-процессов, но и для автоматизации других задач, например, генерации и отправки отчетов, управления инфраструктурой, проведения ML-экспериментов.
Для пользователей Cloud.ru стал доступен Evolution Managed Flink – управляемый PaaS-сервис на базе Apache Flink для обработки потоковых и пакетных данных в реальном времени. Он позволяет реагировать на события сразу после их появления: например, обрабатывать поток данных из Kafka и в этот же момент обновлять дашборды, оповещения и витрины данных. Это делает его подходящим для мониторинга инцидентов, аналитики поведения пользователей, финансовой аналитики для предотвращения мошенничества и оценки маркетинговых кампаний для корректировки стратегии.
Новые сервисы встроены в экосистему Evolution Data Platform. Такой подход позволяет реализовать сквозные сценарии работы с данными: например, данные могут поступать в платформу через Managed Flink, обрабатываться и обогащаться в Managed Spark, храниться в Managed ArenadataDB, а затем использоваться для аналитики и визуализации в Managed BI. Единые механизмы мониторинга, контроля доступа, управления метаданными и ресурсами в облаке позволяют командам сосредоточиться на работе с данными, а не на сопровождении инфраструктуры.