Обновленная платформа TData для построения хранилищ

Компания TData анонсировала выход обновленной версии RT.DataLake – платформы для построения корпоративного хранилища больших данных. Новый релиз улучшает безопасность, расширяет возможности администрирования и повышает стабильность работы в сложных корпоративных и государственных средах.

Обновление RT.DataLake обеспечивает переход на более современную и производительную архитектуру: вместо Solr теперь используется ElasticSearch для поиска и аудита в Apache Ranger. Это решение ускоряет обработку запросов и упрощает интеграцию с другими системами мониторинга. Реализован также полноценный аудит сервисов через ElasticSearch, а для Knox добавлен стандартный .service-файл, что упрощает развертывание и управление. Важные изменения касаются SSL-безопасности, стабильности работы ranger-admin и корректного взаимодействия плагинов Ranger с Knox.

В новой версии RT.DataLake (на базе Hadoop 3.0.0) администраторы получили дополнительные инструменты для управления крупными кластерами: теперь можно запускать балансировщик HDFS на уровне отдельных нод и дисков, выполнять rolling restart для YARN и HDFS без остановки всего кластера, а также управлять всеми компонентами одновременно – старт, стоп, рестарт, переконфигурация. Для быстрого масштабирования добавлена операция Expand, позволяющая мгновенно развернуть сервисы на новых хостах. Улучшена работа с очередями YARN, добавлена поддержка PySpark, реализована ротация логов Hive, а экспорт конфигураций сделал платформу более прозрачной и удобной для аудита.

В обновлении уделено внимание и безопасности: в Hive скрыты пароли, а в конфигурационных файлах Ranger исправлены ошибки, влияющие на корректность аудита. Все изменения протестированы на совместимость с RT.ClusterManager 2.8.1, обеспечивая бесшовное управление всей экосистемой TData из единого интерфейса.