Nova
Flex Loader
Cluster Manager
Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Программное обеспечение для администрирования кластеров и анализа запросов
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:
Преимущества
Ниже чем у MPP и Hadoop, но при кратно большей производительности
Самое низкое ТСО на рынке
Создавайте и масштабируйте оперативный слой данных (ODS) в режиме реального времени
Готовое решение для real-time задач
Lakehouse — это замена классических систем массивных параллельных вычислений и озёр данных на базе экосистемы Hadoop
Универсальность
Независимое масштабирование за счёт разделения слоя хранения и слоя вычислений
Гибкость
Data Ocean Nova обеспечивает принцип доменного разделения Data Mesh в едином инфраструктурном подходе
Data Mesh
Возможность инсталляции в публичном и частном облаке, on-premise, а также при гибридном подходе
Простая инсталляция
Реализует функционал федеративного доступа данных и виртуального хранилища
Доступность данных
Бесшовная работа с вашими CRM- и ML-платформами
Реализация среды вычислений для внешних систем
Решения Data Ocean — оптимальный выбор, если:
1
Вы ориентируетесь на современные подходы организации платформ данных с перспективой на годы вперед
2
Вы хотите решить задачу по импортозамещению без потери качества
3
Вы ищете универсальную систему для массивно-параллельной обработки данных
5
Вы осознаете риски open source проектов и сложности их поддержки и развития
4
Ваш объем данных исчисляется в терабайтах
Функционал Data Ocean Nova
Процессинговые движки и фреймворки
Хранение данных
Iceberg используется в качестве табличного формата хранения реляционных данных. Реализует ACID-подход, эволюцию метаданных, data time travel операции.
Для on-premise установки используется любая существующая реализация объектного хранилища, удовлетворяющая требованиям решаемой задачи.
В случае отсутствия готового сервиса в инфраструктуре S3 вместе с платформой поставляется и поддерживается решение на базе ПО minIO.
В случае отсутствия готового сервиса в инфраструктуре S3 вместе с платформой поставляется и поддерживается решение на базе ПО minIO.
S3 как единое хранилище всех данных платформы.
Для облачной установки используется доступный сервис провайдера.
Для облачной установки используется доступный сервис провайдера.
Фреймворк для решения любых задач в области данных. Используется совместно с оркестратором ресурсов YuniKorn.
SQL-движок федеративных запросов. Альтернатива Impala и Starrocks.
Impala и StarRocks — быстрые и эффективные SQL-движки массивной параллельной обработки данных в сценариях высоко конкурентного доступа и BI-задач анализа данных.
Система Data Ocean Nova отвечает всем требованиям информационной безопасности уровня Enterprise. Среди наших клиентов — финансовые организации, выполняющие самые строгие требования регуляторов.
В решении реализована единая ролевая модель, которая распространяется на все сервисы и движки, включая объектное хранилище, а также интеграция с LDAP-каталогом предприятия. Продукт имеет общую систему журналирования событий информационной безопасности.
В решении реализована единая ролевая модель, которая распространяется на все сервисы и движки, включая объектное хранилище, а также интеграция с LDAP-каталогом предприятия. Продукт имеет общую систему журналирования событий информационной безопасности.
Преднастроенные тонкие веб-клиенты решают все основные задачи работы с данными, поддерживают процессинговые движки и фреймворки, входящие в решение.
Система может работать с любыми внешними клиентами и аналитическими приложениями посредством стандартных JDBC-, ODBC- и ADBC-подключений.
При работе с ноутбуками пользователи имеют возможность в рамках своей сессии запускать экземпляр DuckDB как инструмент ускорения аналитики последней мили.
Система может работать с любыми внешними клиентами и аналитическими приложениями посредством стандартных JDBC-, ODBC- и ADBC-подключений.
При работе с ноутбуками пользователи имеют возможность в рамках своей сессии запускать экземпляр DuckDB как инструмент ускорения аналитики последней мили.
Информационная безопасность
Клиентские подключения
Решение может быть установлено в окружении публичного облака. В этом случае задействуются готовые сервисы от оператора (managed S3, Kubernetes и другие), входящие в состав окружения.
При on-premise установке используются инфраструктурные решения технологических партнеров, либо выполняется подготовка окружения Kubernetes на базе opensource ПО и настройка всех инфраструктурных компонент для максимальной производительности системы.
При on-premise установке используются инфраструктурные решения технологических партнеров, либо выполняется подготовка окружения Kubernetes на базе opensource ПО и настройка всех инфраструктурных компонент для максимальной производительности системы.
В составе решения поставляется веб-приложение Data Ocean Cluster Manager, предназначенное для управления системой, заданиями автоматического самообслуживания и мониторинга состояния.
Продукт имеет множество преднастроенных дашбордов мониторинга компонент: от инфраструктуры до метрик отдельных сервисов.
Продукт имеет множество преднастроенных дашбордов мониторинга компонент: от инфраструктуры до метрик отдельных сервисов.
Инфраструктура
Управление
Популярные вопросы
- Платформа Data Ocean Nova, в отличие от Hadoop, может быть развернута в облачной инфраструктуре. Архитектура системы реализует облачный подход pay-as-you-go, при котором вычислительные мощности набираются и оплачиваются по потребностям, а не резервируются. Данный подход для Data Ocean Nova реализован и в on-premise установке, и в гибридной инсталяции, когда часть сервисов может находиться в облачном окружении;
- Data Ocean Nova позволяет реализовать подход доменного разделения Data Mesh, при котором несколько подразделений работают в едином инфраструктурном окружении, но имеют свой набор data-сервисов, фреймворков и разделяемые ресурсы как между сервисами, так и между доменами.
- Использование объектного хранилища S3 предполагает меньшие накладные расходы, чем файловая система HDFS. При этом S3 обеспечивает аналогичный уровень отказоустойчивости.
- Платформа Data Ocean Nova, в отличие от Hadoop, может гибко масштабироваться за счет разделения слоя хранения данных и слоя вычислений.
Lakehouse-платформа данных — комплексное решение, закрывающее весь спектр задач обработки данных. На практике это означает, что использование только Trino или Spark не покрывает всех потребностей пользователей и разработчиков, а попытка самостоятельно надстроить к вендорскому решению новый компонент приводит к проблемам. Data Ocean Nova обеспечивает согласованную работу всех фреймворков и движков, имеет общий метакаталог данных и единую ролевую модель. Также зрелая Lakehouse-платформа должна предоставлять готовые сервисы обслуживания объектного хранилища и табличного формата данных, иметь функционал автоматической оптимизации объектов хранилища, механизмы автомасштабирования и поддерживать мультитенантный подход, при котором любой фреймворк или движок может иметь несколько кластеров, каждый из которых оперирует своими изолированными ресурсами. В случае с Data Ocean Nova все эти возможности реализованы в полном объеме.
Data Ocean Nova не только функционально замещает традиционные системы массивных параллельных вычислений, вроде Greenplum или Teradata, но и демонстрирует лучшую производительность в пересчете на стоимость владения и обслуживания. Кроме этого, некоторые функциональные возможности, доступные с Data Ocean Nova, не реализуемы в классической MPP-системе, например, real-time загрузка данных в системы с применением подхода change data capture.
Наши процессинговые движки используют все современные оптимизационные технологии обработки данных: селективное чтение данных из S3 за счет использования так называемых storage и page индексов; фильтры Блума; динамическую runtime-фильтрацию данных; LLVM-кодогенерацию исполняемого кода; изменяемый внутриузловой параллелизм. Использование этих технологий существенно сокращает ресурсы и время на исполнение запросов, что влечет за собой повышение пропускной способности системы. Кроме этого, форматы хранения данных в Data Ocean Nova обладают лучшими коэффициентами сжатия относительно традиционных систем, что приводит к сокращению операций ввода-вывода и нагрузки на дисковую подсистему.
Data Ocean Nova изначально разрабатывалась в соответствии со всеми требованиями информационной безопасности. Нашими клиентами являются организации, которые уделяют требованиям ИБ самое пристальное внимание.
Платформа Data Ocean Nova внесена в Реестр российского программного обеспечения как средство обработки больших данных. Реестровая запись № 19 390. Data Ocean Nova — это приложение, которое работает в окружении Kubernetes. При этом среда Kubernetes или операционная система могут быть предоставлены нашими технологическими партнерами — поставщиками, имеющими двустороннюю сертификацию совместимости.
Зачастую решения, собранные самостоятельно, закрывают только функциональные задачи и основываются на готовых сторонних образах, что подразумевает зависимость от исправления ошибок и внесения изменений контрибьютерами. Также самостоятельные «конструкторы», как правило, слабо отвечают требованиям информационной безопасности. Выбирая наше решение, вы исключаете риск остаться один на один с проблемами.
Коллектив Data Ocean Nova, в отличие от команд DevOps, которые собирают ПО из открытого кода:
Data Sapience входит в группу компаний GlowByte, реализующую проекты по всему миру. Мы имеем широкий практический кругозор и понимание мировых трендов.
Выбирая Data Ocean Nova, вы выбираете экспертизу и накопленный опыт 2500 специалистов!
Коллектив Data Ocean Nova, в отличие от команд DevOps, которые собирают ПО из открытого кода:
- Имеет огромный практический опыт построения высоконагруженных систем обработки данных на технологиях, которые используются в нашем Lakehouse-решении;
- Вкладывает эти знания и опыт в конечный продукт и уровень сервиса, что создает высокую и уникальную добавленную стоимость. Вы получаете не просто платформу, а готовые рецепты для решения внутренних задач;
- Не только правит ошибки, но и вносит улучшения в компоненты, отсутствующие в открытом сообществе, и создает дополнительные сервисы, определяющие добавленную стоимость.
Data Sapience входит в группу компаний GlowByte, реализующую проекты по всему миру. Мы имеем широкий практический кругозор и понимание мировых трендов.
Выбирая Data Ocean Nova, вы выбираете экспертизу и накопленный опыт 2500 специалистов!
Нам доверяют
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам: