Data Sapience выпустила обновление решения Data Ocean Flex Loader

Компания Data Sapience — разработчик платформы для работы с большими данными Data Ocean — выпустила обновление своего решения для пакетной загрузки и репликации данных Flex Loader.

Список изменений релиза 2.6:

• Версии Data Ocean Flex Loader, предназначенные для работы с целевой платформой Greenplum, и версия для решений класса Hadoop и S3 Lakehouse теперь объединены в одну поставку;
• Реализован функционал синхронной загрузки данных из одного источника в два приемника, в том числе разнородных, например, Data Ocean Nova и Greenplum;
• Добавлена возможность использовать Native Object Storage как механизм чтения и извлечения данных из Teradata;
• Добавлена поддержка инкрементального сбора статистики Iceberg-объектов;
• Улучшена производительность работы с метаданными системы-приемника;
• Реализована поддержка составных полей секционирования iceberg-объектов на стороне приемника;
• Улучшен режим параллельной выгрузки данных из источника;
• Расширен список доступных REST API для управления процессами репликации данных;
• Улучшен уровень журналирования процессов извлечения данных при использовании инструмента в kubernetes-окружении;
• Добавлены новые режимы захвата изменений из системы-источника;
• Улучшены режимы интервального захвата источника данных;
• Добавлена возможность использовать AI-функционал Data Ocean Nova для предсказания выделяемых заданию compute-ресурсов.