;Data Ocean Nova;Open Source;Что даёт

Platform UI — многофункциональный графический интерфейс, имеющий три представления: установка, управление, пользовательская self-service среда link=https://dataplatform.ru/products/cluster-manager;Да;Нет;Control — интерфейс администрирования всех компонентов системы, мониторинг здоровья системы, запуск и администрирование процессов обслуживания, представление системы автоматических рекомендаций, отслеживание токсичных пользовательских запросов и т.д. Deploy — установка системы через GUI. Explore — пользовательское представление self-service для работы со Spark- и SQL-ноутбуками, визуальное проектирование потоков обработки данных, интеграция с GIT, управление расписанием запуска; Managed Iceberg Tables. Встроенный сервис обслуживания Iceberg-таблиц хранилища;Да;Нет;Сервис эффективного обслуживания Iceberg-таблиц с графическим интерфейсом; Процедурное расширение для MPP SQL-движков;Да;Нет;Использование процедурного кода, работающего с MPP-движками платформы, совместимого с нотациями PLSQL и T-SQL; Сервис автоматических оптимизационных рекомендаций;Да;Нет;Настройка правил обнаружения объектов, плохих с точки зрения нагрузки на файловую систему, подготовка отчета-рекомендации по обслуживанию; Общий метасервис платформы;Да;Нет;Позволяет всем движкам платформы работать полноценно и согласованно с одними и теми же объектами системы; Мониторинг инфраструктуры Kubernetes средствами общего графического интерфейса платформы;Да;Нет;Отслеживание окружения Kubernetes, на котором размещены сервисы системы; Управляемое автомасштабирование с интерфейсом управления администратором;Да;Нет;Настраивайте правила автоматического масштабирования системы; AI-сервис qModel для автоматического выбора ресурсов запроса;Да;Нет;Точное предсказание ресурсов SQL-запроса с помощью AI-сервиса для повышения пропускной способности платформы; Хранилище артефактов Tool Storage;Да;Нет;Храните и используйте артефакты в виде инструкций, руководств, скриптов, драйверов в закрытом контуре платформы без доступа к сети интернет; Сервисы Resource Bank для динамического управления ресурсами платформы между кластерами различных движков обработки данных;Да;Нет;Resource Bank анализирует онлайн-данные о нагрузке на кластеры и позволяет динамически переконфигурировать ресурсные очереди (включая режим dry-run для оценки предлагаемых изменений); Расширенные метрики производительности всех компонент;Да;Нет;Позволяют сосредоточиться на отслеживании только тех метрик, которые влияют на решение ваших задач; Преднастроенные дашборды мониторинга Grafana на все компоненты системы;Да;Нет;Интегральные и детальные дашборды, учитывающие многолетний опыт сопровождения высоконагруженных систем; Live-пробы всех сервисов для оперативного мониторинга в платформенном UI;Да;Нет;Отслеживание в графическом интерфейсе критичных компонент системы, влияющих на ее здоровье; AIM Key Cloak;Да;Нет;IAM-функционал как неотъемлемая часть платформы;

;Data Ocean Nova;Open Source;Что даёт

Использование нативных вычислений на базе Gluten и Velox;Да;Нет;Ускорение работы в 2-3 раза на отдельных запросах и до 30-40% при высококонкурентной нагрузке; Интеграция с метакаталогом с LDAP-авторизацией;Да;Нет;Совместимость и согласованность при инсталляции платформы с альтернативными движками вычислений; Интеграция с KeyCloak;Да;Нет;Использование платформенного key cloak как IAM; Teradata connector;Да;Нет;Эффективная высокопроизводительная работа с Teradata через прямое чтение с AMP-узлов и push-down оптимизацию; Сервис сбора пользовательских запросов для хранения истории;Да;Нет;Сбор и хранение полной истории запросов для ретроспективного анализа и аудирования службой информационной безопасности с возможностью отдельного архивирования на объектное хранилище; Сбор метрик мониторинга;Да;Нет;Интеграция с платформенной системой мониторинга для отслеживания состояния сервиса; TLS с использованием CertManager;Да;Нет;Обмен между всеми компонентами по защищенным каналам; Оптимизированные параметры и настройки по умолчанию;Да;Нет;Оптимальная производительность системы сразу после установки; Оптимизация работы с S3;Да;Нет;Ускорение работы с S3-объектным хранилищем; Statefullset k8s deployment;Да;Нет;Улучшение работы в окружении K8S; Statefullset Trino coordinator;Да;Нет;Улучшение работы в окружении K8S; Имперсонация подключений к внешним системам из каталога Trino;Да;Нет;Повышение информационной безопасности при работе в гетерогенном режиме; Реализация единого каталога для parquet- и iceberg-таблиц;Да;Нет;Удобство и упрощение работы пользователей; Исправление проблемы NULL-поля в Parquet;Да;Нет;Устранение ошибки, длительное время не исправляемой сообществом; Использование доменных УЗ при работы с веб-интерфейсов координатора (запрет использования ТУЗ);Да;Нет;Повышение информационной безопасности; Ограничение времени сессии в веб-интерфейсе;Да;Нет;Повышение информационной безопасности; Ограничение количества попыток входа;Да;Нет;Повышение информационной безопасности; Поддержка нескольких Hive Metastore в каталогах при аутентификации через Keycloak;Да;Нет;Создание комплексных систем для разных групп пользователей и бизнес-доменов;

;Data Ocean Nova;Open Source;Что даёт

Поддержка процедурного языка;Да;Нет;Создание и запуск параметризированных хранимых процедур и пакетов, сопоставимых по возможностями с нотациями PLSQL и T-SQL; Распределенное чтение данных внешних таблиц по JDBC;Да;Нет;Распределенное чтение из внешних баз данных по JDBC непосредственно узлами исполнителей (CN/BE-узлы), что помогает миновать узкие места в архитектуре. Повышает производительность гетерогенных запросов; Распределенная запись данных внешних таблиц по JDBC;Да;Нет;Распределенная запись во внешние базы данных по JDBC непосредственно узлами исполнителей (CN/BE-узлы), что помогает миновать узкие места в архитектуре. Повышает производительность гетерогенных запросов; GreenPlum connector;Да;Нет;Распределенное чтение и запись из/в Greenplum c сегмент-узлов через CN/BE-узлы StarRocks, что помогает миновать узкие места в архитектуре. Повышает производительность гетерогенных запросов к СУБД, основанных на технологиях Greenplum; Материализация Query Cache для CTE при работе с бинарным форматом на локальные диски;Да;Нет;Повышение производительности запросов при значительной экономии оперативной памяти системы; Материализация Query Cache для CTE при работе в Lakehouse-режиме с Iceberg форматом;Да;Нет;Повышение производительности запросов при значительной экономии оперативной памяти системы; Поддержка Create Table as Select для unified каталога данных;Да;Нет;Разработка ETL процессов на StarRocks с материалазацией результатов вычислений; Интеграция с Hue;Да;Нет;Использование единого тонкого клиента для всех движков системы; Материализация Query Cache на локальные диски;Да;Нет;Повышение производительности запросов при значительной экономии оперативной памяти системы; Интеграция с Hue;Да;Нет;Использование единого тонкого клиента для всех движков системы; Автоматический маппинг политик доступа на основе внешнего сервиса;Да;Нет;Единая (одна) ролевая политика доступа для всех SQL-движков и S3; Автоматическое создание каталога для внешних таблиц;Да;Нет;Автоматическая доступность S3-таблиц без регистрации при запуске кластера; Разработка собственного k8s-оператора;Да;Нет;Поддержка общих механизмов управления системой; Сервис аудита пользовательских запросов;Да;Нет;Сбор и хранение полной истории запросов для ретроспективного анализа, аудирования службой информационной безопасности, доступа AI-агентов с возможностью выгрузки истории в объектное хранилище; Доработка механизма DDL-операций для совместимости с общим метакаталогом и S3;Да;Нет;Совместимость со всеми движками системы; Автоматическое использование внешней статистики для S3-таблиц;Да;Нет;Оптимальный план запроса без прогрева за счет использования общей платформенной внешней статистики, собранной альтернативными движками; Интеграция с KeyCloak;Да;Нет;Использование платформенного Keycloak как IAM; Unified каталог для внешних объектов;Да;Нет;Единый каталог для parquet- и iceberg-таблиц для удобства работы пользователей; Интеграция с общей системой аутентификации;Да;Нет;Повышение информационной безопасности;

;Data Ocean Nova;Open Source;Что даёт

Использование нативных вычислений Data Fusion Comet;Да;Нет;Ускорение работы Spark-вычислений; Чарт для развертывания сервисов Spark в k8s;Да;Нет;Возможность оптимальной работы в окружении Kubernetes; Образы Spark с библиотеками для всевозможных интеграций «из коробки»;Да;Нет;Работа с любыми клиентами, языками разработки, внешними инструментами, потоковой обработкой «из коробки»; Сервисы детального журналирования и аутентификации;Да;Нет;Повышение информационной безопасности, возможность работы с историей запросов для ретроспективного анализа; Управление JupiterHub-ноутбуками как ресурсом на кластере ;Да;Нет;Полное управление пользовательскими ноутбуками через графический интерфейс-кластер менеджера платформы; Ноутбуки с поддержкой аутентификации и ролевой модели;Да;Нет;Повышение информационной безопасности; Оптимизация работы c S3: производительность и масштабируемость;Да;Нет;Повышение производительности системы; Совместимость Spark/Flink/Impala/Trino/Starrocks при использовании Iceberg;Да;Нет;Совместимость всех вычислительных технологий Data Ocean по принципу «с любой таблицей любым движком»; Использование YuniKorn для оркестрации ресурсов Spark-приложений;Да;Нет;Управление конкурентной работой Spark-приложений и оптимальное использование ресурсов Kubernetes-кластера; Интеграция с KeyCloak;Да;Нет;Использование платформенного Keycloak как IAM; Оптимизация чтения Iceberg-таблиц с EQ delete файлами;Да;Нет;Собственный механизм работы Spark с табличным форматом Iceberg в задачах обработки данных в режиме реального времени. Повышает производительность работы и снижает потребление аппаратных ресурсов в разы; Измененный подход Spark Connect API (SCAPI);Да;Нет;Быстрый запуск Spark-приложений через клиентское подключение по gRPC; Устранение уязвимостей;Да;Нет;Повышение информационной безопасности;

;Data Ocean Nova;Open Source;Что даёт

Поддержка процедурного языка;Да;Нет;Создание и запуск параметризированных хранимых процедур и пакетов, сопоставимых по возможностям с нотациями PLSQL и T-SQL; Изменение работы внутри узлового параллелизма;Да;Нет;Контроль overcommit'а параметра внутриузлового параллелизма и управление им через механизм контроля вычислительных слотов CPU; Внесение изменений в оператор Merge (ускорение в разы);Да;Нет;В open source SQL-оператор MERGE реализован крайне неоптимальным с точки зрения производительности методом, приводящим к критическим замедлениям в задачах SCD1-обновления объекта; Доработки интеграции с LDAP;Да;Нет;Интеграция с LDAP-каталогами предприятий, имеющими сложную иерархическую структуру и 20+ тыс записей, в том числе кириллических; Интеграция с KeyCloak;Да;Нет;Использование платформенного Keycloak как IAM; Доработки информационной безопасности;Да;Нет;Устранение уязвимостей класса critical и high; Асинхронная запись parquet-файлов;Да;Нет;Ускорение операций записи на дисковое хранилище; Параллельная запись parquet-файлов;Да;Нет;Ускорение операций записи на дисковое хранилище; High Availability CatalogD;Да;Нет;Создание отказоустойчивой конфигурации, исключающей простой при падении узла с критическими компонентами движка; High Availability Statestore;Да;Нет;Создание отказоустойчивой конфигурации, исключающей простой при падении узла с критическими компонентами движка; Graceful Shutdown режим работы;Да;Нет;Изменение параметров движка без перезагрузки кластера в фоновом режиме с ожиданием завершения работы пользователей; Аутентификация в веб-приложении координатора;Да;Нет;Контроль и разграничение доступа к веб-приложению координатора; Добавление комментариев в представление;Да;Нет;Комментирование пользовательских представлений; Ускорение работы запросов с limit-оператором;Да;Нет;Построение оптимального плана запроса для ускорения запросов профилирования данных при анализе; Изменение оптимизатора при применении фильтрации на внешних соединениях;Да;Нет;Проброс динамических фильтров в правые ветки плана для ускорения работы запросов с большим числом JOIN-операторов; Исключение лишних чтений на операциях сканирования со средней селективностью (улучшенная фильтрация);Да;Нет;Повышение производительности низкоселективных запросов; Параллельная работа DDL операторов;Да;Нет;Повышение пропускной способности системы в режимах интенсивных пайплайнов трансформации данных; Улучшения работы admission control;Да;Нет;Улучшенное управление конкурентным доступом для повышения пропускной способности системы за счет работы ресурсных очередей в асинхронном режиме; Исправление дефектов работы с Iceberg, в том числе корректности работы с запросами;Да;Нет;Исключение ошибок при работе с iceberg-объектами, решение проблем консистентности в реальном времени; Совместимость Impala и Spark в части работы с таблицами Iceberg v2;Да;Нет;Выравнивание параметров для доступности объектов, созданных альтернативным движком платформы; Arrow parquet writer;Да;Нет;Ускорение операций записи; Перманентный локальный кэш;Да;Нет;Невымываемый локальный кэш для повышения производительности запросов, использующих одинаковые объекты S3; Локальное кэширование при записи данных в S3;Да;Нет;Кэширование таблиц при записи позволяет сильно ускорить последующие запросы чтения данной таблицы в потоке обработки и снижает нагрузку на S3; Изменения модели работы с памятью в ядре Impala: при физическом исчерпании выполняется выстраивание ожиданий освобождения памяти без остановки проблемного запроса по ООМ;Да;Нет;Исключение падения запроса по Out Of Memory, что повышает пропускную способность системы; Функционал live catalog для временных таблиц;Да;Нет;Кардинальное снижение нагрузки на метакаталог системы для повышения пропускной способности DDL-операций; S3 read на AWS S3 API C++;Да;Нет;Использование Nova S3 AWS API вместо legacy Hadoop повышает производительность работы с S3-объектными хранилищами; Режим автоскейлинга (up/down) по метрикам нагрузки;Да;Нет;Автоматическое масштабирование при возрастании и снижении нагрузки; Дополнительные API мониторинга запросов;Да;Нет;Улучшение сопровождения высоконагруженных систем; Инкрементальный сбор статистики для Iceberg;Да;Нет;Сокращает время сбора статистики с больших секционированных таблиц в разы; Распределенная запись данных во внешние таблицы по JDBC;Да;Нет;Распределенная параллельная запись во внешние базы данных по JDBC позволяет повысить эффективность гетерогенных запросов и устранить узкие места в архитектуре; Распределенное чтение данных внешних таблиц по JDBC;Да;Нет;Распределенное чтение внешних баз данных по JDBC непосредственно узлами-исполнителями, что помогает миновать узкие места в архитектуре; Эффективная работы с page-индексами;Да;Нет;Возможность фильтрации по страничным индексам для высокоселективных запросов. Повышение производительности запросов; Игнорирование разделителей строк внутри поля при загрузке текстовых данных;Да;Нет;Загрузка текстовых данных с произвольными меняющимися разделителями; Сервис сбора пользовательских запросов для хранения истории;Да;Нет;Сбор и хранение полной истории запросов для ретроспективного анализа и аудирования службой информационной безопасности и обучения AI-функционала предсказания; Устранено лишнее обновление внутренних метаданных при работе с Iceberg-объектами;Да;Нет;Повышение производительности и стабильности за счет исключения лишних операций при работе с метаданными; Поддержка операций iceberg time travel с тэгированными запросами;Да;Нет;Используйте функционал работы с метками снапшотов Iceberg теперь и в Impala; Переход с устаревших инструкций SSE4.2 на современные AVX2 и AVX-512 для парсинга CSV-файлов;Да;Нет;Сокращение времени выполнения запросов парсинга текстовых данных на актуальных поколениях CPU

;Data Ocean Nova;Open Source;Что даёт

Поддержка Trino;Да;Нет;Работа пользователя в одной сессии в едином тонком клиенте с любым процессинговым движком платформы; Поддержка StarRocks;Да;Нет;Работа пользователя в одной сессии в едином тонком клиенте с любым процессинговым движком платформы; Поддержка мультитенантности движков в интерфейсе;Да;Нет;Поддержка подключения к нескольким кластерам одного движка одновременно; Интеграция S3: автоматическое создание домашних каталогов пользователей c учетом их ролевого доступа;Да;Нет;Пользователь получает S3-песочницу с необходимым доступом, согласно ролевой модели, для хранения своих данных и артефактов; Просмотр S3 с правами конкретного пользователя;Да;Нет;Пользователь получает S3 песочницу с необходимым доступом, согласно ролевой модели, для хранения своих данных и артефактов; Аудит пользовательской активности ;Да;Нет;Повышение информационной безопасности; Расширенное журналирование;Да;Нет;Повышение информационной безопасности; Улучшения аутентификации: назначение административных пользователей;Да;Нет;Повышение информационной безопасности; Интеграция с AI-компонентом предсказания ресурсов;Да;Нет;Вызов AI-модели для предсказания ресурсов, необходимых для оптимальной работы SQL-запроса; Интеграция с KeyCloak;Да;Нет;Использование платформенного Keyсloak как IAM;

;Data Ocean Nova;Open Source;Что даёт

Индивидуальный запуск k8s pod для каждой пользовательской сессии с автоматическим контролем времени жизни;Да;Нет;Равномерное распределение ресурсов Kubernetes, удаление спящих и зависших контейнеров; Встроенные ноутбуки автотеста всех компонент системы;Да;Нет;Быстрая диагностика компонент; Запуск индивидуального контейнера DuckDB из JH-ноутбука;Да;Нет;Ускорение аналитики «последней мили» за счет использование in-memory вычислений; Готовые ноутбуки-шаблоны с примерами работы со всеми compute-движками;Да;Нет;Готовые примеры для быстрого старта и решения пользовательских задач с любой вычислительной технологией платформы; Интеграция с Marimo;Да;Нет;Современный удобный веб-ноутбук для пользовательской работы;

;Data Ocean Nova;Open Source;Что даёт

Интеграция с Trino;Да;Нет;Общая ролевая система для всех технологий; Интеграция cо StarRocks;Да;Нет;Общая ролевая система для всех технологий; Интеграция с S3 ACL;Да;Нет;Общая ролевая система для всех технологий, включая доступ к файловой системе S3; Интеграция с Hive Metastore;Да;Нет;Использование общего метакаталога для маппинга ролевых политик; Журналирование всех событий сервиса во внешнее общее хранилище;Да;Нет;Долговременное хранение всех событий для аудирования службой информационной безопасности; Единая сквозная политика доступа на все компоненты системы, включая S3;Да;Нет;Общая ролевая система для всех технологий, включая доступ к файловой системе S3; Политики маскирования данных и RLS-доступа;Да;Нет;Повышение информационной безопасности при работе с чувствительными данными; Устранение критических и высоких уязвимостей;Да;Нет;Повышение информационной безопасности; Функционал UserSync;Да;Нет;Регулярная рутина по синхронизации с LDAP-каталогом предприятия; Интеграция с KeyCloak;Да;Нет;Использование платформенного Keyсloak как IAM, синхронизация пользователей из KC; Оптимизация работы в системах с десятками тысяч политик безопасности;Да;Нет;Возможность использования огромного количества политик безопасности; Row Level Security политики совместимые с S3;Да;Нет;Единые политики, в том числе для RLS-доступа к данным; Кэширование событий аудита;Да;Нет;Повышение производительности проверок ролевого доступа;

;Data Ocean Nova;Open Source;Что даёт

Интеграция с KeyCloak;Да;Нет;Использование платформенного Keyсloak как IAM; Интеграция с LDAP по защищенному соединению;Да;Нет;Использование подключения к LDAP по зашифрованным каналам связи; Оптимизация параметров сервиса для высокой производительности;Да;Нет;Повышение производительности DDL-операций; High Availability конфигурация сервиса;Да;Нет;Обеспечение дублирования критических компонент для защиты от выхода узла из строя; Оптимизация процесса GC;Да;Нет;Повышение производительности DDL-операций; Реализация вычисления и хранения инкрементальной статистики Iceberg-объектов;Да;Нет;Сокращает время сбора статистики с больших секционированных таблиц в разы; Оптимизация работы с манифестами Iceberg;Да;Нет;Повышение в разы производительности при работе инструментов онлайн-загрузки данных в Iceberg; Процедурное расширение LPSQL;Да;Нет;Сохранение и запуск процедурного кода, работающего с MPP-движками платформы, совместимого с нотациями PLSQL и T-SQL;