Только полезное и ничего лишнего
Data Ocean Platform UI 2.6.0
Команда Data Sapience представляет обновление Data Ocean Platform UI 2.6.0: модуль Explore полностью обновлен и стал полноценным self-service ETL-инструментом для аналитических песочниц. Платформа Data Ocean стала дружелюбнее и понятнее для аналитиков и дата-инженеров.
Основные изменения
Единое рабочее пространство пользователя со всеми файлами
Все директории и файлы — SQL-запросы, ноутбуки, процессы обработки — теперь доступны в одном месте. Файлами можно управлять, скачивать, просматривать код с подсветкой синтаксиса без перехода в WorkBench. Также появилась возможность предоставлять доступ к файлам и папкам другим пользователям и работать с общими файлами
Единая страница Workbench для всех типов объектов
SQL-запросы, marimo-ноутбуки и процессы обработки открываются во вкладках одной страницы. Добавлен выбор вычислительного движка — Impala, Trino, StarRocks, Spark — для исполнения SQL-запросов и SQL-узлов процессов обработки. А также навигация по техническому каталогу с добавлением объектов (БД, таблицы, колонки) прямо в окно написания запроса
Добавлена поддержка ноутбуков marimo
Работа с ноутбуками marimo прямо в интерфейсе: управление пользовательскими подами, пакетами и зависимостями — без переключения в отдельный инструмент
Постановка SQL-запросов на расписание в Airflow
Добавлены запуск SQL-запросов в Airflow, постановка их на расписание, отслеживание статусов каждого таска. Обновлена страница «Планировщик»: просмотр кода DAG, логов по задачам запуска и статистики запусков по DAG
Бизнес-польза
Все необходимое для работы с данными теперь находится под рукой, в едином интерфейсе:
- сокращается время разработки;
- повышается качество разработки за счет единого UI вместо нескольких инструментов.
Раньше аналитику требовалось подготовить запросы в SQL-редакторе, изучить и оптимизировать профили запросов, передать результат разработчику — или самому создать пайплайн — и поставить его на расписание в оркестраторе.
Теперь все эти шаги аналитик выполняет самостоятельно в едином интерфейсе Explore.
Новый функционал в графическом интерфейсе
«С данного релиза у бизнеса появилась возможность в рамках Data Ocean Nova получить не только самое современное Lakehouse-решение, но и удобный инструмент для работы с данными. В будущих релизах функционал self-service будет развиваться, добавится AI-функционал. Целью для себя мы ставим создание полноценного AI-ассистента для работы с данными к концу этого года».
Changelog 2.6.0
Changelog 2.6.0
| Компонент | Описание | Тип |
|---|---|---|
| Рабочее пространство и файлы | ||
| Explore | Единое рабочее пространство пользователя со всеми доступными директориями и файлами (SQL-запросы, ноутбуки, процессы обработки) | new |
| Explore | Создание, перемещение, скачивание, редактирование и удаление файлов, просмотр сырых данных файла без перехода в Workbench | new |
| Explore | Предоставление доступа к файлам и папкам другим пользователям, просмотр папки «Общие» | new |
| Workbench | ||
| Workbench | Единая страница Workbench для работы со всеми типами объектов (SQL-запросы, marimo-ноутбуки, процессы обработки) во вкладках | new |
| Workbench | Выбор вычислительного движка (Impala, Trino) для исполнения SQL-запросов и SQL-узлов процессов обработки | feature |
| Workbench | Навигация по техническому каталогу с добавлением объектов (БД, таблицы, колонки) в окно написания запроса | feature |
| Ноутбуки marimo | ||
| marimo | Поддержка ноутбуков marimo: работа с ноутбуками, управление пользовательскими подами, пакетами и зависимостями | new |
| Планировщик | ||
| Планировщик | Запуск SQL-запросов в Airflow и постановка их на расписание | new |
| Планировщик | Обновлена страница «Планировщик»: просмотр кода DAG, логов по задачам запуска и статистики запусков по DAG | upd |