Открытый код СУБД ClickHouse

Компания «Яндекс» сообщила о том, что она публикует исходный код ClickHouse – распределенной системы управления базами данных (СУБД), разработанной для Яндекс.Метрики. ClickHouse способен хранить и быстро обрабатывать большие объемы информации для создания аналитических отчетов в любых разрезах.

Cфера применения ClickHouse не ограничивается аналитикой сайтов и приложений: технология может быть использована в телекоммуникациях, рекламе, RTB-системах и онлайн-торговле, для обработки данных мониторинга и телеметрии, а также для задач информационной безопасности. В Яндексе ClickHouse применяется не только в Метрике, но и в Маркете, Почте, Директе, Вебмастере и Авто.ру, для бизнес-аналитики и в мониторинге инфраструктуры.

Серверы, подключенные к ClickHouse, могут находиться в разных местах, причем архитектура системы такова, что для добавления новых серверов не нужно перестраивать кластер. Поэтому ClickHouse легко масштабируется и позволяет хранить записи о триллионах событий – например, о действиях пользователей на сайте, о запросах к сервису или о показах рекламы. Система опробована на реальных задачах высоконагруженных сервисов «Яндекса» и постоянно развивается.

Как отмечают разработчики, открытых СУБД с такими же возможностями на рынке сейчас нет. Публикация исходного кода ClickHouse – это вклад компании в open source, причин для этого было несколько, в том числе и чисто прагматические, поскольку применение технологии в областях, которыми «Яндекс» не занимается, помогает шире взглянуть на ее возможности. А расширение пользовательской базы позволяет узнавать о проблемах, о которых иначе не было бы известно.

«Яндекс» уже публиковал исходные коды своих разработок. Так, в открытом доступе находятся предназначенный для нагрузочного тестирования Яндекс.Танк, технология разработки сайтов БЭМ и инструмент для извлечения структурированных данных из текста Томита-парсер.