Nova
Flex Loader
SDI
Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Low-code инструмент для потоковой обработки и репликации данных
Программное обеспечение для администрирования кластеров и анализа запросов
Cluster Manager
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:

Только полезное и ничего лишнего

Раз в две недели — только ценная аналитика.
Самые важные и интересные новости в одном письме.

Low-code инструмент для потоковой обработки и репликации данных

/
Продукты
/
SDI

Ключевые возможности

Complex Event Processing (CEP)
Захват изменений с источников (CDC)
Легкая в применении low-code платформа
Режим захвата изменений в источниках для обеспечения real-time интеграций в аналитическое хранилище с минимальными задержками
Основная функциональность доступна через графический интерфейс с возможностью расширения за счет богатого набора API-интеграций
Широкий набор трансформаций и обогащений данных для интеграции со сторонними сервисами в режиме реального времени

Ядро функциональности

Отслеживание зависимостей между потоками
Сбор технических и бизнес-метрик
Интеграция с системами хранения данных
Low-code платформа
Встроенные инструменты CDC на базе Debezium
REST-интерфейсы оркестрации каждого задания
Data Ocean SDI / Streaming ETL

Data Ocean SDI решает задачи:

Встроенные компоненты CDC получают в реальном времени изменения данных, которые могут быть обработаны и тиражированы на одну или несколько целевых систем.
Поток технических событий может быть обогащен дополнительной информацией и превращен в поток бизнес-событий с необходимым количеством показателей и измерений для отображения в аналитических системах: DWH, OLAP, дашбордах.
Репликации данных
Online-витрины / Streaming

Архитектура решения

Особенности функционала

Compute Engine на базе open-source решения Apache Flink 1.16.1
Описание процессов идет в YAML-формате, за генерацию java-кода отвечает отдельный модуль системы
Платформа развертывания — Kubernetes, также поддерживаются YARN и Flink Standalone
  • Oracle 11-21
  • MS SQL Server 2012-2019
  • PostgreSQL 9.6-14
  • MySQL
Поддержка Change Data Capture (CDC) на базе Debezium как части общего SETL-инструмента для источников:
Поддерживаемые источники для SETL: Kafka, Kinesis, HBase, Tarantool, Redis, JDBC, Файловые системы HDFS и s3
Поддерживаемые приемники: Kafka, Kinesis, JDBC, ClickHouse, Hbase, Файловые системы HDFS и s3, Iceberg
По требованиям проекта могут добавляться новые источники и приемники (например, Kudu, MongoDB и др.)
Мониторинг с использованием OpenSearch, Prometheus, Grafana
Поддержка пользовательского кода на Groovy и Python
SDK для разработки палитры компонентов
Программный API-генерации потоков

Интерфейс редактора потоков

Популярные вопросы

Оставьте заявку на консультацию

Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам: