Команда Data Sapience представляет очередное обновление инструмента Data Ocean Flex Loader — с поддержкой СУБД ClickHouse и обновленным графическим интерфейсом.
Закрывает один из самых частых запросов клиентов — отсутствие ClickHouse в списке поддерживаемых систем
Режим межкластерной репликации данных обрел графические представления. Улучшены возможности ролевого доступа при работе команд
Наряду с сервисом Spark появилась возможность прямого доступа в системы-источники через внешние таблицы MPP-движков
Поддержка ClickHouse и прямая загрузка parquet-файлов из файловых директорий закрывают запрос клиентов на расширение списка поддерживаемых систем:
Новый GUI для межкластерной репликации и доработанная ролевая модель ускоряют повседневную работу команд.
Стало доступно:
«Теперь для извлечения данных пользователи Data Ocean Flex Loader могут использовать не только сервис Spark, но и прямой доступ в системы-источники через механизм внешних таблиц MPP-движков. Это позволит более сбалансированно распределять вычислительные ресурсы в кластере Data Ocean Nova между нуждами пользователей и процессами регламентной загрузки данных. Также рады сообщить, что Flex Loader теперь поддерживает решения на базе СУБД ClickHouse и что в графическом интерфейсе произошли качественные изменения, улучшающие пользовательский опыт».
| Компонент | Описание | Тип |
|---|---|---|
| Информационная безопасность | ||
| Flex Loader | Закрыты уязвимости информационной безопасности | sec |
| Источники и приемники данных | ||
| Flex Loader | Внедрена поддержка СУБД ClickHouse в качестве источника и приемника данных | new |
| Flex Loader | Реализована прямая загрузка файлов типа parquet из файловых директорий в Lakehouse-платформу | new |
| Flex Loader | Стало доступно опциональное использование внешних таблиц Impala вместо Spark для извлечения данных из систем-источников | feature |
| Графический интерфейс | ||
| GUI | Разработан новый графический интерфейс для управления межкластерной репликацией | new |
| GUI | Доработана ролевая модель доступа в графическом интерфейсе | upd |
| GUI | Улучшен пользовательский опыт при работе с расписанием в графическом интерфейсе | upd |
| REST API | ||
| REST API | Расширены интеграционные возможности функционала REST API | feature |
С полным списком накопленных изменений и улучшений относительно open source функционала можно ознакомиться на сайте решения.