Команда Data Sapience представляет очередное обновление Lakehouse-платформы Data Ocean Nova.
В ходе оптимизации контейнерных образов количество уязвимостей, выявляемых сканером Trivy, сокращено на 95% (более 4000 уязвимостей)
Изменения в StarRocks и Impala обеспечивают идентичное поведение процедурной логики во всей платформе
По результатам статического анализа Trivy (Aqua Security):
Процедурный код работает единообразно в Nova StarRocks и Nova Impala.
Нет необходимости:
«В очередном релизе Lakehouse-платформы данных Data Ocean Nova мы сделали акцент на усилении мер по информационной безопасности продукта. Наши решения эксплуатируются в жёстких условиях, которые накладываются регулятором, и мы должны быть готовы к таким вызовам. Также мы продолжаем активно развивать процедурное расширение LPSQL, получая обратную связь от наших клиентов, и улучшать процессинговый движок обработки данных StarRocks».
| Компонент | Описание | Тип |
|---|---|---|
| Процедурное расширение LPSQL | ||
| LPSQL | Регистронезависимый вызов функций — упрощение написания кода, переноса скриптов из других СУБД, снижение количества синтаксических ошибок | feature |
| LPSQL | Параметры SET автоматически применяются ко всем вложенным запросам | feature |
| LPSQL | Профили запросов очищены от избыточной информации — только Query ID дочерних запросов | perf |
| LPSQL | Исправлена передача результатов через протокол ArrowFlightSQL | fix |
| LPSQL | Исправлен расчет сложных строковых функций (например, CONCAT с множеством аргументов) | fix |
| LPSQL | Дополнительные ограничения прав для служебных компонентов инициализации | sec |
| Nova StarRocks | ||
| Nova StarRocks | Интеграция StarRocks с БД Greenplum | new |
| Nova StarRocks | Кэширование запросов QueryCache для Iceberg-таблиц | perf |
| Nova StarRocks | Поддержка CREATE TABLE AS SELECT для внешних unified-каталогов | feature |
| Nova StarRocks | StarRocks Operator для аудита в конфигурации без supervisord | fix |
| Nova StarRocks | Управление правами на объект PIPE в Ranger (CREATE, ALTER, DROP, USAGE) | sec |
| Nova StarRocks | Исправлено поведение Hue при переключении на редактор StarRocks | fix |
| Nova Spark | ||
| Nova Spark | Индекс SQL-запросов в библиотеке экспорта журналов в OpenSearch | feature |
| Nova Trino | ||
| Nova Trino | Исправлена ошибка прерывания запросов из внешнего клиента Hue | fix |
| Nova Impala | ||
| Nova Impala | Импортирована функциональность TupleCache из Impala 5.0 в версию 4.5.0 | perf |
| Nova Impala | Ускорение парсинга CSV через AVX2/AVX-512 вместо SSE4.2 | perf |
| Nova Impala | Опция сессии USE_TUPLE_CACHE_PER_QUERY для кэширования кортежей в рамках запроса | feature |
| Nova Impala | Исправлено отображение тега VERSION AS OF <tag> в DESCRIBE VIEW | fix |
| Nova Impala | Исправлена работа SELECT <константа> с ICEBERG_DISABLE_COUNT_STAR_OPTIMIZATION = FALSE для Iceberg V2 таблиц при наличии файлов удалений | fix |
| Nova Impala | Исправлено получение числа колонок при CONCAT с тремя и более аргументами | fix |
| Nova Impala | Исправлена ошибка при обращении к Iceberg-таблице с полями типа ARRAY | fix |
| NIM (Nova Iceberg Maintenance) | ||
| NIM | Поддержка библиотеки nim_client в Jupyter Notebooks | feature |
| NIM | Установка параметров окружения через чарт | feature |
| NIM | Исправлен статус ответа NIM API при ошибке выполнения expiring.py | fix |
| NIM | Тексты ошибок, возвращаемых NIM, переведены с русского на английский | fix |
| Resource Bank | ||
| Resource Bank | Поддержка подключения к нескольким тенантам | feature |
| Hue | ||
| Hue | Исправлено повторное исполнение запросов Impala из истории не текущей сессии | fix |
| Hue | Исправлен выбор запроса Trino из истории запросов | fix |
| Ranger и S3 Policy Mapper | ||
| Ranger | Указание источника списка бакетов из конфигурации или напрямую из S3 | feature |
| Ranger | Исправлена ошибка DATA_NOT_FOUND при поиске пользователей с заданным префиксом | fix |
| Ranger | Исправлена передача параметра MAX при выгрузке пользователей из Keycloak | fix |
| Ranger | Исправлено редактирование полей пользователей, групп и ролей в веб-интерфейсе | fix |
| MetaAggregator | ||
| MetaAggregator | Исправлено обновление поля last_select_ts при запросе /tables со стороны StarRocks | fix |
| qModel | ||
| qModel | Исправлено предсказание потребления памяти SQL-запроса (добавлен признак MtDop) | fix |
| Monitoring | ||
| Monitoring | Автоматизировано монтирование сертификатов trustManager | feature |
| Hive Metastore | ||
| Hive Metastore | Исправлена ошибка 500 (Failed to create table) при создании таблицы через Impala/Trino | fix |
| Data Ocean Store | ||
| Data Ocean Store | Монтирование CA-сертификатов из Configmap в DOS Operator | feature |
| Data Ocean Store | Исправлен перевод строк интерфейса раздела «Бакеты» на русский язык | fix |
С полным списком накопленных изменений и улучшений относительно open source функционала можно ознакомиться на сайте решения.