Обновленный дистрибутив Arenadata Hadoop
Компания Arenadata выпустила новую версию дистрибутива на базе Apache Hadoop – Arenadata Hadoop (ADH) 2.1.7_b1. Дистрибутив на базе Apache Hadoop адаптирован для корпоративного использования и предназначен для хранения и обработки слабоструктурированных и неструктурированных данных.
Новый релиз Arenadata Hadoop включает обновление версий компонент Hbase, Flink и Zookeeper. Кроме того, в него добавлен новый сервис Airflow2 и компонент Livy версии 0.7.1 c поддержкой работы со Spark версии 3.3.0 на Scala 2.13.
Улучшения Arenadata Hadoop 2.1.7_b1 включают возможность установить новые версии сервисов – Flink 1.15.1, Hbase 2.0.4, Zookeeper 3.5.10, – а также «по кнопке» обновиться с предыдущей версии, исправив проблемы предыдущей. Возможно также установить новый компонент сервиса Spark3 – Livy 0.7.1 c поддержкой Spark 3.3.0 на Scala 2.13 в качестве отдельного компонента параллельно Livy для Spark версии 2.3.2. В компонент добавлена возможность поддержки Spark 3.3.0 и Scala 2.13.
Новый функционал обновленного дистрибутива включает сервис Airflow версии 2.3.3. Он устанавливается параллельно Airflow версии 1.10.11, что дает возможность перенести настройки и задания с предыдущей версии. Появилась поддержка кастомизации krb5.conf и ldap.conf через интерфейс Arenadata Cluster Manager (ADCM), что дает возможность пользователю самостоятельно средствами ADCM изменить содержимое конфигурационных файлов krb5.conf и ldap.conf. Этот функционал позволит настраивать более сложные и тонкие конфигурации керберизации и авторизации в зависимости от сложности инфраструктуры. Добавлена возможность принудительно отключить политики доступа HDFS ACL, если включен плагин Ranger. Это позволит использовать единую «точку правды» для организации доступа пользователей.
Как комментируют в Arenadata, компания стремится предоставить заказчикам возможность получать последние версии компонентов Hadoop и обновлять их автоматически «по кнопке».
В краткосрочных планах развития Arenadata Hadoop – обновление Hive до версии 3.1.3 «по кнопке». В течение 2023 г. в roadmap Arenadata Hadoop будут включены поддержка отечественной ОС Astra Linux, расширение возможностей отказоустойчивости компонентов и обновление их версий. Специалисты Arenadata также планируют переработать и дополнить документацию Arenadata Hadoop.