Платформа с открытым кодом Kylo для озер данных

Корпорация Teradata, разработчик решений в области аналитики, представила Kylo, программную платформу для управления озерами данных, созданную с использованием разработок на основе открытого исходного кода – Apache Hadoop, Apache Spark и Apache NiFi. Kylo представляет собой спонсируемый корпорацией Teradata проект с открытым исходным кодом, доступный по лицензии Apache 2.0. Решение Kylo создано на основе кода, полученного в результате успешной реализации проектов озер данных, выполненных принадлежащей Teradata компанией Think Big Analytics, которая будет обслуживать и поддерживать проекты с использованием Kylo.

Одна из ключевых проблем заключается в том, что создание озер данных занимает слишком много времени, а учитывая, что цикл их разработки составляет 6–12 месяцев, пользователи обнаруживают, что предлагаемые варианты использования утрачивают актуальность для быстро развивающегося бизнеса. Во-вторых, несмотря на снижение стоимости ПО, расходы на разработку быстро растут. Наконец, созданное озеро данных может не вызвать интереса у пользователей из-за трудности работы с ним, и потому его возможности остаются нереализованными.

Платформа Kylo, разработанная с учетом практики внедрения озер данных в различных отраслях (в ней учтен опыт реализации свыше 150 озер данных), помогает решить эти проблемы, интегрируя и упрощая процесс разработки конвейеров и общие задачи управления данными. Это, в свою очередь, способствует сокращению периода окупаемости, более быстрой адаптации пользователей и повышению производительности разработчиков. При работе с Kylo программирование не требуется, а интуитивный пользовательский интерфейс платформы для самостоятельного получения, обработки и подготовки данных для последующего анализа ускоряет процесс разработки. Кроме того, в решении Kylo имеются шаблоны, способствующие повышению производительности.

По сведениям Teradata, одна из крупных телекоммуникационных компаний внедрила платформу Kylo после того, как группа из 30 разработчиков потратила несколько месяцев на написание программного кода конвейеров получения и обработки данных. С помощью Kylo одному человеку потребовалось менее недели на получение, очистку, классификацию и оценку того же самого объема данных. Таким образом, платформа Kylo не только повысила эффективность обработки данных, но и дала возможность остальным разработчикам сосредоточиться на решении других бизнес-задач.