Нажмите «принять», если вы соглашаетесь с условиями обработки куки‑файлов/cookie-файлов и данных о поведении на сайте, нужных нам для аналитики. Запретить обработку куки‑файлов/cookie-файлов можно через браузер
Nova
Flex Loader
SDI
Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Low-code инструмент для потоковой обработки и репликации данных
UI Deploy — установка и обновление Data Ocean, UI Control — администрирование платформы, UI Explore — пользовательская self-service среда анализа данных
Platform UI
Высокопроизводительное объектное хранилище данных для аналитики
Store
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:
Data Sapience запустил новостной дайджест!
Только полезное и ничего лишнего
Раз в две недели — только ценная аналитика. Самые важные и интересные новости в одном письме.
Data Ocean Nova 2026.3.0
Команда Data Sapience представляет обновление Data Ocean Nova 2026.3.0: в платформе появился MCP-сервер для подключения LLM-агентов к данным хранилища. Nova StarRocks получил поддержку протокола PostgreSQL, гибридный и федеративный режимы.
* Указаны изменения и улучшения, являющиеся собственной разработкой Data Sapience и не доступные в open source сообществе
Основные изменения
01
MCP Server · Интеграция с ИИ
Добавлен MCP-сервер для подключения LLM-агентов
LLM-агенты и ИИ-функции Data Ocean Platform UI получают доступ к данным и метаданным платформы по протоколу MCP (Model Context Protocol). У агентов и ассистентов появляется возможность выполнять запросы с помощью StarRocks, Impala и Trino с индивидуальными привилегиями пользователя, определенными в платформе.
02
Nova StarRocks · Протокол PostgreSQL
Подключение PostgreSQL-приложений к Nova StarRocks
Nova StarRocks поддерживает сетевой протокол PostgreSQL (Postgres Wire Protocol): приложения, которые работают с PostgreSQL, переключаются на Data Ocean Nova без переработки. Это упрощает миграцию хранилищ с Greenplum и PostgreSQL и расширяет список клиентских приложений, совместимых с платформой из коробки.
03
Nova StarRocks · Гибридный режим
Гибридный кластер BE + CN в одном инстансе с умным тиерингом
В едином инстансе кластера StarRocks часть данных хранится на локальных дисках BE-узлов (в нативном формате StarRocks), а часть — в S3 в формате Apache Iceberg с доступом через CN (compute only) узлы или другие альтернативные движки вычислений. Управляемые политики позволяют определить, какие данные хранятся локально (сценарии онлайн-загрузки и изменения, горячий кэш, OLTP-приложения), а какие данные «переезжают» в S3-объектное хранилище. Для каждого температурного слоя задается свой алгоритм сжатия, при смене слоя данные пережимаются автоматически.
04
Nova StarRocks · Федерация
Федеративные запросы между Nova StarRocks кластерами
Nova StarRocks передает выполнение запроса на узлы BE и CN удаленного кластера StarRocks, зарегистрированного в конфигурации. Данные не нужно копировать между кластерами даже при размещении по принципу shared-nothing.
05
Nova Trino · Нативные вычисления
Ускорение Trino за счет нативных вычислений Velox
Собственное решение Trino-Velox исполняет все операторы SQL-запроса в нативном коде C++ вместо legacy JVM. Решение работает с Iceberg без участия Java-кода/JVM, что повышает производительность аналитических запросов. Trino обновлен до версии 481.
06
LPSQL · Процедуры и доступ
Работа процедурного расширения LPSQL теперь и через ODBC
ODBC-драйвер для Arrow Flight SQL позволяет вызывать хранимые процедуры Nova из сторонних приложений и СУБД. Права на вызов процедур и пакетов LPSQL проверяются через Ranger по единой политике в Impala и StarRocks, а код выполняется в контексте владельца объекта.
Бизнес-польза
Меньше затрат на миграцию и хранение данных
Новые возможности Nova StarRocks упрощают перенос нагрузок на платформу и снижают стоимость хранения:
- приложения на PostgreSQL переключаются на Data Ocean Nova без переработки;
- универсальность дата-платформы: аналитические OLTP-приложения больше не задача, которую надо решать вне платформы; различные гибридные сценарии использования;
- федеративные запросы к удаленным кластерам избавляют от дублирования данных;
- для горячих, теплых и холодных данных выбирается свой алгоритм сжатия.
Подключение LLM-агентов к корпоративным данным
Раньше, чтобы дать LLM-агенту доступ к хранилищу, командам приходилось писать собственные коннекторы к каждому движку, отдельно настраивать аутентификацию и следить, чтобы агент не изменил данные.
Теперь агенты подключаются к Data Ocean Nova по стандартному протоколу MCP и выполняют только запросы на чтение в Impala, Trino и StarRocks.
AI-ассистент Platform UI работает с данными через MCP
1 / 4
Исследование данных на естественном языке с использованием возможностей платформы Data Ocean Nova и встроенного AI-ассистента
Архитектура платформы
Data Ocean Nova: архитектура релиза 2026.3.0
«Готовя новый релиз платформы данных, мы сосредоточились на том, чтобы с данными можно было работать с помощью решений на основе ИИ. Теперь в состав Data Ocean Nova входит MCP-сервер, интегрированный с процессинговыми движками с учетом требований безопасности к контролю доступа к данным. Мы также представляем новые возможности StarRocks, разработанные нашей командой: они облегчают миграцию хранилищ с Greenplum и PostgreSQL и расширяют список клиентских приложений, совместимых с Nova из коробки. Кроме того, Nova StarRocks теперь поддерживает мультикластерные федеративные и гибридные (BE + CN) сценарии работы».
Евгений Вилков
технический руководитель решения Data Ocean Nova, Data Sapience
Журнал изменений
Changelog 2026.3.0
Changelog 2026.3.0
| Компонент | Описание | Тип |
|---|---|---|
| MCP Server | ||
| MCP Server | MCP Server: доступ LLM-агентов к данным и метаданным платформы по протоколу MCP (Streamable HTTP), запросы только на чтение в Impala, Trino и StarRocks, сведения о базах данных, таблицах и столбцах, режимы аутентификации keycloak, basic и none | new |
| MCP Server | Helm-чарт mcp-server приведен к стандартным требованиям: стандартизация параметров, поддержка Vault, securityContext | sec |
| Nova StarRocks | ||
| StarRocks | Федеративные вычисления на удаленных узлах BE/CN | feature |
| StarRocks | Реестр удаленных кластеров с регистрацией узлов BE/CN | feature |
| StarRocks | Гибридный режим работы кластера FE + BE + CN | feature |
| StarRocks | Адаптивное сжатие данных | feature |
| StarRocks | Автоматическая рекомпрессия при смене тира (warm/cold) секции таблицы, если у исходного и целевого слоя отличается compression_policy | feature |
| StarRocks | Метрики compression_ratio и recompression_queue_depth | feature |
| StarRocks | Доработана поддержка протокола PostgreSQL | feature |
| StarRocks | Перевод выполняющегося запроса в другую ресурсную группу без прерывания и перезапуска, приостановка запроса без потери накопленного прогресса | feature |
| StarRocks | Отмена запросов по API без подключения к БД | feature |
| StarRocks | Работа процедурного кода LPSQL только с внутренним каталогом StarRocks, без внешнего метакаталога | feature |
| StarRocks | Буферизация записи Iceberg-таблиц | perf |
| StarRocks | IcebergBufferManager с фоновым flush-потоком | perf |
| StarRocks | Доработан оператор для использования SSL | sec |
| StarRocks | Прямое обращение к политикам Ranger в Hive-каталоге без маппера | sec |
| StarRocks | Поддержка TLS/SSL для HTTPS-эндпоинтов Greenplum | sec |
| StarRocks | Использование локального сертификата при подключении по JDBC/MySQL | sec |
| StarRocks | Поддержка STS-токенов для доступа к внешним хранилищам | sec |
| StarRocks | Разрешение конфликтов рабочих сессий и сессий Compaction при работе с Iceberg-таблицами | fix |
| StarRocks | Исправлено более 20 ошибок, обнаруженных в процессе эксплуатации | fix |
| Nova Trino | ||
| Trino | Поддержка нативного движка Velox (сборка Trino-velox): выполнение операторов запроса в нативном коде C++ вместо JVM, нативное чтение таблиц формата Iceberg | perf |
| Trino | Trino обновлен до версии 481 | upd |
| Trino | Флаг для фиксированного уникального пути к таблице в S3-хранилище без автоматического UUID-суффикса | new |
| Trino | Параметры подключения к Metastore вынесены в отдельный блок конфигурации | upd |
| Trino | Новые дашборды мониторинга для детального анализа пользовательских запросов и ресурсов JVM | new |
| Trino | Разрешение конфликтов рабочих сессий и сессий Compaction при работе с Iceberg-таблицами | feature |
| Trino | Отмена запросов по API | feature |
| Trino | Автоматическая настройка базовых политик Apache Ranger при первом запуске системы | feature |
| Trino | Протокол HTTPS для сервисов типа NodePort | sec |
| Trino | Получение групп пользователя при OAuth2- и JWT-авторизации взамен функции, убранной в Trino 480 | sec |
| Trino | Уточнены настройки точности (precision) timestamp в каталогах | fix |
| Trino | Исправлено 7 ошибок, обнаруженных в процессе эксплуатации | fix |
| Процедурное расширение LPSQL | ||
| LPSQL | ODBC-драйвер для Arrow Flight SQL с поддержкой запросов LPSQL: вызов хранимых процедур Nova из сторонних приложений и СУБД | new |
| LPSQL | Проверка прав на выполнение процедур и пакетов LPSQL через Ranger в Impala и StarRocks, централизованное управление правами через единую политику | sec |
| LPSQL | Выполнение кода LPSQL в контексте владельца объекта в Impala и StarRocks | sec |
| LPSQL | Проверка доступа пользователя к ресурсу в Ranger при вызове процедуры LPSQL в Impala по метаданным процедуры | sec |
| LPSQL | Поддержка LPSQL в Hue | feature |
| LPSQL | Лимиты памяти и метрики для LPSQL | feature |
| LPSQL | Исправлен вывод результатов последнего оператора SELECT: результат возвращается, даже если после него идут другие операторы | fix |
| LPSQL | Исправлена работа SQL SECURITY DEFINER при наличии COMPUTE STATS | fix |
| LPSQL | Исправлено присваивание переменной типа DATE из подзапроса | fix |
| LPSQL | Исправлена работа отложенного вызова процедуры (CALL DEFERRED) с разными схемами | fix |
| Nova Spark | ||
| Spark | Spark обновлен до версии 4.1.2 | upd |
| Spark | Spark Greenplum Loader для прямой интеграции с кластерами Greenplum и совместимых систем | feature |
| Spark | Откат REPLACE-снапшотов Iceberg при конфликте (ReParent) | new |
| Spark | Запуск нескольких изолированных серверов Spark Connect под одной учетной записью | feature |
| Spark | Автоматическое удаление пользовательских серверов Spark Connect по истечении TTL | feature |
| Spark | Отмена запросов Spark по API | feature |
| Spark | План запроса Spark в формате JSON для графической визуализации | feature |
| Spark | Spark Comet обновлен до версии 0.16 | perf |
| Spark | Поддержка extraManifests в чартах Spark и Airflow | new |
| Spark | Исправлено 11 ошибок, обнаруженных в процессе эксплуатации | fix |
| Nova Impala | ||
| Impala | Фронтенд и оптимизатор переведены на Java 21 | perf |
| Impala | Повышен лимит на количество символов в параметрах | feature |
| Impala | Поддержка prepared statements для Impala Arrow Flight | feature |
| Impala | Вывод DBMS_OUTPUT на клиенте через соединение Arrow Flight | new |
| Impala | Повторное подключение клиента к Hive при выполнении SHOW PROCEDURES / SHOW PACKAGES в LDAP-режиме | feature |
| Impala | Значение queryId в имени потока Java Thread для отслеживания выполнения запросов | feature |
| Impala | Настройки кеширования манифестов Iceberg (Iceberg manifest caching) в values чарта | new |
| Impala | Оптимизирован запрос Min/Max для параллельного чтения (добавлен hint) | perf |
| Impala | Получение групп из LDAP при аутентификации по JWT, когда включены оба режима (LDAP и OAuth2/JWT) | sec |
| Impala | Разрешение конфликтов рабочих сессий и сессий Compaction при работе с Iceberg-таблицами | fix |
| Impala | Изменена работа служебных маркеров каталогов в S3 (directory markers) | fix |
| Impala | Исправлены ошибки, обнаруженные в процессе эксплуатации | fix |
| Hue | ||
| Hue | Работа с процедурным расширением LPSQL: вывод результатов через dbms_output, раздельные API для процедур и пакетов, выпадающий список доступных процедур для DESCRIBE PROCEDURE | new |
| Hue | Kubernetes CronJob для периодического удаления устаревших записей из таблицы S3 STS cache | new |
| Hue | Асинхронная инкрементальная загрузка метаданных Trino (Catalogs/Databases) | feature |
| Hue | Поддержка Yandex S3 STS при подключении через S3 Browser | sec |
| Hue | Исправлено 14 ошибок, обнаруженных в процессе эксплуатации | fix |
| Nova Hive Metastore | ||
| Hive Metastore | Переход на Hive Metastore версии 4 | upd |
| Hive Metastore | Ingress NGINX заменен на Gateway API | new |
| Hive Metastore | Конфигурация для Hive Iceberg REST Catalog | new |
| Hive Metastore | ql-модуль в сборке клиентской части Hive | new |
| Hive Metastore | Регламентная очистка NOTIFICATION_LOG от старых событий | feature |
| Hive Metastore | Исправлен запрет доступа при включенном StorageBasedAuthorizationProvider в Hive 4 | fix |
| Сервис управления ресурсами Resource Bank | ||
| Resource Bank | Управление сервисом Nova StarRocks | new |
| Resource Bank | Публикация метрик давления нагрузки в Prometheus | new |
| Resource Bank | Передача метрик Trino | new |
| Resource Bank | Поддержка лимитов userQueryLimit / groupQueryLimit в Impala Admission Control (QueryLimitConfiguration) | new |
| Resource Bank | Поддержка Gateway API | new |
| Resource Bank | API для управления режимами работы (dry-run, stop) | feature |
| Resource Bank | Балансировка ресурсов в зависимости от их наличия в кластере | feature |
| Resource Bank | CRD-модель: тенант и инвентарь ресурсов MPP-движков | feature |
| Resource Bank | Реконсайлер: давление → решение → масштабирование исполнителей с фиксацией в CRD | feature |
| Resource Bank | Обратная совместимость в CRD | feature |
| Resource Bank | Оптимизирована логика кредитования памяти у профицитных очередей | perf |
| Resource Bank | Исправлены ошибки в расчете кредитования памяти между пулами: округление слотов, расчет нехватки памяти (deficit), откат займов, расчет memoryToAdmit, балансировка памяти между пулами | fix |
| Iceberg Managed Tables (NIM) | ||
| NIM | Поддержка Gateway API (HTTPRoute) как альтернативы или дополнения к Ingress NGINX | new |
| NIM | Оптимизировано распределение ресурсов между подами инсталляции NIM API | perf |
| NIM | Автоматическое определение типа сортировки для задачи обслуживания по DDL таблицы | feature |
| NIM | Параметр executor_cpu_request_factor, который вычисляется по spark.executor.cores для Kubernetes | feature |
| NIM | Режим DEBUG при запуске NIM через API | feature |
| NIM | В статусе задачи отображается реальная причина аварийного завершения задачи Spark | fix |
| NIM | Исправлена типизация полей запроса aggregated-table-priorities для корректной обработки значений null | fix |
| NIM | PyIceberg обновлен до версии 0.10.0.003: исправлена ошибка при подключении к HMS с неправильными настройками | fix |
| NIM | Исправлено аварийное завершение Compaction на этапе тегирования и перезаписи манифестов | fix |
| Ranger | ||
| Ranger | Совместимость Hive Metastore версии 4 с клиентом Hive версии 3.1.3 | new |
| Ranger | Работа Ranger в HA-режиме | feature |
| Ranger | Синхронизация пользователей и групп из внешнего IdP (RangerKeycloakUserSync) | feature |
| Ranger | Переработан плагин Hive: оставлена только функциональность для взаимодействия с Metastore | feature |
| Ranger | Убран пункт меню перехода в старый интерфейс | feature |
| Ranger | Совместимость функций в политиках RLS и маскирования с комплексными правилами между Trino, StarRocks и Impala | sec |
| Ranger | Исправлено создание записи аудита для LPSQL-запросов Nova StarRocks | fix |
| Ranger | Исправлено 10 ошибок, обнаруженных в процессе эксплуатации | fix |
| Сервис qModel | ||
| qModel | Новое API сервиса qModel | new |
| qModel | Новые метрики для эндпоинта предсказания | new |
| qModel | Поддержка Gateway API взамен Ingress NGINX (совместно с Resource Bank) | new |
| qModel | Проверка сертификата при подключении к Impala | sec |
| qModel | Обновлены зависимости для устранения уязвимостей | sec |
| Сервис Meta Aggregator | ||
| Meta Aggregator | Интеграция Meta Aggregator с Ranger | new |
| Meta Aggregator | Исправлено обновление данных после создания таблиц и БД в инкрементальном режиме | fix |
| Meta Aggregator | Проксирование наследуемых ошибок PostgreSQL в REST API | fix |
| Сервис Diagnostic Bundle | ||
| Diagnostic Bundle | Получение времени отчета по данным OpenSearch | new |
| Diagnostic Bundle | Пагинация в отчете по Meta Aggregator | new |
| Diagnostic Bundle | Поддержка Gateway API | new |
| Diagnostic Bundle | Обновление существующих правил для всех трех типов диагностики и соответствующие эндпоинты в API | feature |
| Diagnostic Bundle | Исправлен рендеринг DNS SAN в шаблонах сертификатов, добавлен внутренний Service FQDN для BackendTLSPolicy: устранена проблема TLS-подключения через Gateway API | sec |
| Сервис рекомендательной оптимизации | ||
| Рекомендательная оптимизация | Поддержка Gateway API | new |
| Рекомендательная оптимизация | Интеграция с сервисом NIM | new |
| Рекомендательная оптимизация | Устранена уязвимость выполнения произвольного кода через SpEL-выражения в правилах | sec |
| Рекомендательная оптимизация | Устранены потенциальные NullPointerException в JWT-аутентификации | sec |
| Рекомендательная оптимизация | Изменено задание инициализации БД | fix |
С полным списком накопленных изменений и улучшений относительно open source функционала можно ознакомиться на сайте решения.