Nova
Flex Loader
Cluster Manager
Lakehouse-платформа данных нового поколения решает задачи по работе с данными
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Программное обеспечение для администрирования кластеров и анализа запросов
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:
Преимущества
Ниже чем у MPP и Hadoop, но при кратно большей производительности
Самое низкое ТСО на рынке
Создавайте и масштабируйте оперативный слой данных (ODS) в режиме реального времени
Готовое решение для real-time задач
Lakehouse — это замена классических систем массивных параллельных вычислений и озёр данных на базе экосистемы Hadoop
Универсальность
Независимое масштабирование за счёт разделения слоя хранения и слоя вычислений
Гибкость
Data Ocean Nova обеспечивает принцип доменного разделения Data Mesh в едином инфраструктурном подходе
Data Mesh
Возможность инсталляции в публичном и частном облаке, on-premise, а также в гибридном подходе
Простая инсталляция
Реализует функционал федеративного доступа данных и виртуального хранилища
Доступность данных
Бесшовная работа с вашими CRM — и ML-платформами
Реализация среды вычислений для внешних систем
Решения Data Ocean — оптимальный выбор, если:
1
Вы ориентируетесь на современные подходы организации платформ данных с перспективой на годы вперед
2
Вы хотите решить задачу по импортозамещению без потери качества
3
Вы ищете универсальную систему для массивно-параллельной обработки данных
5
Вы осознаете риски open-source проектов и сложности их поддержки и развития
4
Ваш объём данных исчисляется в терабайтах
Функционал Data Ocean Nova
Процессинговые движки и фреймворки
Хранение данных
Impala — cамый быстрый и эффективный SQL движок массивных параллельных вычислений
S3 — единое хранилище для всех данных платформы
Trino — SQL движок федеративных запросов
Для on-premise развёртывания используется реализация объектного хранилища данных или устанавливается решение minIO
Spark — фреймворк для решения любых задач в области данных
Iceberg используется в качестве табличного формата хранения реляционных данных, реализующего ACID подход, эволюцию метаданных, data time travel операции
Система отвечает требованиям информационной безопасности enterprise-уровня
В готовом решении устанавливаются преднастроенные тонкие веб-клиенты, поддерживающие процессинговые движки и фреймворки
Информационная безопасность
Пользовательские подключения
Решение может быть установлено в окружении публичного облака
В on-premise установке выполняется сайзинг, подготовка окружения и настройка всех инфраструктурных компонентов
В on-premise установке выполняется сайзинг, подготовка окружения и настройка всех инфраструктурных компонентов
В Data Ocean Nova входит большое количество разнообразных преднастроенных дашбордов мониторинга всех компонентов, начиная от инфраструктуры развёртывания, заканчивая метриками отдельных сервисов
Инфраструктура
Управление
Ответы на вопросы
Команда Data Ocean Nova — это не просто DevOps-инженеры, которые собирают то, что есть с открытым кодом. Это команда, которая:
- имеет огромный практический опыт построения высоконагруженных систем обработки данных на наших технологиях;
- вкладывает эти знания и опыт в конечный продукт и уровень сервиса, что создает высокую и уникальную на рынке добавленную стоимость;
- входит в группу компаний GlowByte, реализующую проекты по всему миру, что позволяет понимать мировые тренды.
- В отличие от Hadoop платформа Nova адаптирована для развертывания в облачной инфраструктуре. Архитектура системы реализует облачный подход pay-as-you-go, при котором вычислительные мощности и sotrage набираются и оплачиваются по потребностям, а не резервируются. Данный подход для Nova реализован также и в on-premise установке, и в гибридной инсталляции, когда часть сервисов может находиться в облачном окружении.
- Nova позволяет реализовать подход доменного разделения Data Mesh, при котором несколько подразделений предприятия работают в едином инфраструктурном окружении, но при этом имеют свой набор data-сервисов, фреймворки и разделяемые ресурсы между сервисами и доменами.
- Использование объектного хранилища S3 накладывает меньшие расходы, чем файловая система HDFS, при этом S3 обеспечивает аналогичный уровень отказоустойчивости.
- Платформа Nova, в отличие от Hadoop, обладает свойством гибкого масштабирования за счет разделения слоя хранения данных от слоя вычислений.
Nova не только функционально замещает традиционные системы массивных параллельных вычислений вроде GreenPlum, но и демонстрирует лучшую производительность в пересчете на стоимость владения и обслуживания. Кроме этого, некоторые функциональные возможности, доступные в Nova, нереализуемы в классической MPP-системе. Например, real-time загрузка данных с применением подхода change data capture.
Процессинговые движки Impala и Trino используют все современные оптимизационные технологии обработки данных: селективное чтение из S3 за счет использования storage- и page-индексов, bloom-фильтры, динамическую runtime-фильтрацию данных, LLVM-кодогенерацию исполняемого кода, изменяемый внутриузловой паралелеризм. Использование этих технологий существенно сокращает ресурсы и время для исполнения запросов, что влечет за собой повышение пропускной способности системы. Кроме этого, форматы хранения данных в Nova обладают лучшими коэффициентами сжатия относительно традиционных систем, что приводит к сокращению операций ввода-вывода и нагрузке на дисковую подсистему.
Data Ocean Nova разрабатывалась в соответствии со всеми требованиями информационной безопасности. Нашими клиентами являются организации, которые уделяют этому пристальное внимание.
Платформа Data Ocean Nova внесена в реестр программного обеспечения как средство обработки больших данных под реестровой записью № 19 390. Nova представляет собой приложение, работающее в окружении Kubernetes. При этом ваша среда Kubernetes может работать в любой совместимой операционной системе, в том числе с операционными системами, внесенными в реестр отечественного ПО.
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам: