Архивы Apache Spark - Byte/RE

Новые сервисы обработки данных в облаке Cloud.ru

--> — Fri, 27 Dec 2024 12:41:52 +0000

Провайдер Cloud.ru объявил, что расширил инструменты платформы Cloud.ru Evolution для операций с данными в облаке. Управляемые сервисы Evolution Managed Spark, Evolution Managed Redis и Evolution Managed Kafka теперь доступны пользователям платформы в режиме Public Preview. Сервисы будут полезны для финансовых и страховых компаний, онлайн-ритейла и ecommerce, медиахолдингов и другого бизнеса, который применяет и развивает подход […]

Сообщение Новые сервисы обработки данных в облаке Cloud.ru появились сначала на Byte/RE.

Новая версия опенсорсного коннектора Spark-Greenlum от ITSumma стала быстрее в 20 раз

--> — Wed, 20 Mar 2024 13:40:48 +0000

До марта 2024 года решение поддерживало работу только с Apache Spark 2.0, теперь же коннектор совместим c Apache Spark версии 3.0 и выше. Spark-greenplum-connector (https://github.com/itsumma/spark-greenplum-connector) предназначен для замены встроенного в Apache Spark коннектора. Благодаря ему, дата-инженеры смогут увеличить скорость чтения и записи в базу данных и быстро масштабировать количество подключаемых и обрабатываемых источников. […]

Сообщение Новая версия опенсорсного коннектора Spark-Greenlum от ITSumma стала быстрее в 20 раз появились сначала на Byte/RE.

Доступ к инструментам анализа данных в VK Cloud

--> — Thu, 18 Jan 2024 12:42:42 +0000

Компания VK объявила, что на платформе VK Cloud будет открыт доступ для бизнеса к Cloud Spark – сервису для работы с большими данными на базе технологий Apache Spark и Kubernetes. С помощью Cloud Spark бизнес может структурировать данные из разрозненных источников для создания аналитических и предиктивных систем, а также моделей машинного обучения. Cloud Spark обеспечивает […]

Сообщение Доступ к инструментам анализа данных в VK Cloud появились сначала на Byte/RE.

ETL-продукт IT_ONE для наполнения хранилищ данных

--> — Thu, 07 Dec 2023 16:26:59 +0000

Компания IT_ONE («ИТ1-Технологии») представила разработанный ею ETL-продукт OneData для перемещения и интеграции данных в хранилищах. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, имеет высокую скорость развертывания и отличается простотой настройки. Для размещения и обработки огромных массивов данных, которые генерируют в своей деятельности коммерческие компании, используются озера данных (Data Lake), сложные распределенные хранилища, […]

Сообщение ETL-продукт IT_ONE для наполнения хранилищ данных появились сначала на Byte/RE.

Плагин ITSumma для ускорения обработки данных

--> — Mon, 04 Sep 2023 09:12:09 +0000

Компания ITSumma (Иркутск) представила разработанный ею opensource-плагин для Apache Spark, который ускоряет обработку данных за счет параллельных операций чтения и записи. Решение spark-greenplum connector – это многофункциональный плагин для платформ обработки и анализа больших данных. Используя его вместо встроенного в Apache Spark коннектора, можно увеличить скорость чтения и записи из и в базу данных Greenplum […]

Сообщение Плагин ITSumma для ускорения обработки данных появились сначала на Byte/RE.

Открыт исходный код платформы YTsaurus от «Яндекса»

--> — Tue, 21 Mar 2023 14:38:08 +0000

Компания «Яндекс» объявила о том, что опубликовала исходный код YTsaurus – платформы для хранения и обработки больших данных, с которой работает большинство сервисов «Яндекса». Платформа подходит для широкого круга задач, от аналитики до обучения сложных моделей с миллиардами параметров. Например, с помощью YTsaurus строится поисковый индекс, беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках […]

Сообщение Открыт исходный код платформы YTsaurus от «Яндекса» появились сначала на Byte/RE.