Релиз Arenadata Hadoop с увеличенной скоростью обработки данных
Компания Arenadata представила релиз Arenadata Hadoop (ADH) 3.1.2.1.b1, в который вошел новый сервис Apache Impala – распределенная система исполнения SQL-запросов в экосистеме Hadoop. Сервис предназначен для интерактивной обработки данных при сверхбольших объемах данных, он открывает доступ к новым сценариям использования, требующим высокой скорости исполнения запросов.
Новый функционал ADH для пользователей имеет следующие преимущества:
- скорость обработки запросов в озере данных – Impala обеспечивает низкую задержку и высокий уровень параллелизма в экосистеме Hadoop, что позволяет эффективнее решать задачи self-service аналитики и ad-hoc запросов;
- простота внедрения в текущую инфраструктуру – заказчикам, у которых уже был установлен Hive, не придется переносить данные и таблицы, так как Impala использует те же метаданные, форматы файлов и драйверы подключения;
- масштабирование, независимое от основного кластера Hadoop – есть возможность развертывания Impala вне основного кластера, это позволяет исключить конкуренцию за аппаратные ресурсы и отдельно масштабировать аналитическую нагрузку даже в существующих инсталляциях ADH;
- оптимизация использования оборудования – новый сервис поможет сократить стоимость обработки данных за счет оптимального использования аппаратного обеспечения. Кроме того, больше не требуется тратить ресурсы на адаптацию SQL-кода и дополнительное обучение аналитиков при миграции с Cloudera Data Platform;
- оптимизация ландшафта заказчика – отдельные сценарии ad-hoc и self-service аналитики, требующие массивно-параллельной обработки, теперь можно реализовать локально, не нагружая ими основное хранилище данных.
В числе других изменений в новом релизе Arenadata Hadoop: автоматическое управление высокой доступностью сервисов Hadoop, ADB Spark Connector с поддержкой Spark3, улучшенный функционал керберизации кластера, позволяющий проводить более детальную настройку.
В следующих релизах ADH, отмечают в компании, планируется расширять функциональность нового сервиса: его безопасность, доступность и интеграцию с другими компонентами, такими, как Arenadata Platform Security.