Платформа миграции ProGate с поддержкой СУБД Postgres Pro AXE

Компания Postgres Professional объявила о выходе Postgres ProGate 1.4.0 – очередного обновления платформы миграции и репликации данных. Ключевое новшество версии – поддержка аналитической СУБД для гибридных нагрузок Postgres Pro AXE с загрузкой в S3-совместимое хранилище, что открывает заказчикам новые сценарии для построения аналитических хранилищ. Также в релиз вошла функциональность, нацеленная на повышение производительности утилит, укрепление безопасности и переработку механизма интроспекции схем данных.

Платформа Postgres ProGate предназначена для проектов миграции, разового переноса данных и непрерывной репликации между СУБД. Продукт помогает автоматизировать ключевые этапы работы с данными: первичную загрузку, синхронизацию изменений в режиме, близком к реальному времени, и проверку корректности переноса. Поддержка в новой версии аналитической СУБД AXE в качестве приемника данных с возможностью загрузки в S3-совместимое хранилище расширяет сценарии использования платформы для построения современных аналитических хранилищ и data lake-решений на базе экосистемы Postgres Professional.

Еще одно из важных новшеств – полная переработка механизма интроспекции. Реализована асинхронная обработка, что заметно ускоряет интроспекцию схем с большим количеством таблиц. Добавлена поддержка проверки привилегий доступа к схемам и таблицам и проверки совместимости подключений для prosync, включая права на чтение таблиц, – результаты доступны через API. Улучшено автоматическое сопоставление схем и таблиц для задач трансфера на основе совпадения имен.

Утилита procopy получила более гибкий контроль над параллельной обработкой задач. Добавлен параметр sub_task_count, определяющий, на сколько подзадач может разбиваться исходная задача копирования, при этом расчет размера подзадач теперь выполняется автоматически, а параметр sub_task_rows переведен в статус deprecated. Появился флаг force_restart_task, позволяющий перезапускать задачи без очистки данных и без изменения идентификатора задачи, – это удобно для регулярных переносов данных, например, снапшотов T-1.

Кроме того, в procopy и prosync добавлен параметр disable_constraint_checks, который отключает проверку ограничений и пользовательских триггеров на время записи батча в целевую PostgreSQL-совместимую БД, что ускоряет загрузку в сценариях, где целостность гарантируется на стороне источника или последующей верификацией.

CDC-репликация стала стабильнее и быстрее. Добавлена опция single_loader, которая позволяет для конкретной таблицы принудительно использовать один загрузчик, обеспечивая последовательную обработку изменений для таблиц, связанных внешними ключами. Исправлена ошибка считывания записей с большими значениями SCN из онлайн-журналов Oracle. Устранено удержание WAL-файлов на источниках PostgreSQL при редких изменениях за счет улучшения механизма продвижения слотов логической репликации. Повышена производительность применения изменений для Oracle.

Добавлена фиксация блокировки учетной записи пользователя при превышении лимита неудачных попыток ввода пароля. Все компоненты системы переведены на Go 1.26.5, а Apache Thrift обновлен до версии v0.23.0 с устранением ранее обнаруженных уязвимостей.

Как комментируют в компании, если раньше решение ProGate использовалось преимущественно для миграции и репликации между операционными базами данных, то теперь платформа закрывает и сценарий поставки данных в аналитику с загрузкой в S3-совместимые хранилища. Это существенно расширяет область применения продукта и открывает заказчикам возможность строить аналитические конвейеры на единой технологической платформе.