Nova
Flex Loader
Cluster Manager
Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Программное обеспечение для администрирования кластеров и анализа запросов
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:
Инструмент для быстрого наполнения вашего хранилища или озера данных на базе GreenPlum, Hadoop или S3
/
Продукты
/
Flex Loader
Типовые сценарии использования
Быстрое создание озера данных или первичного слоя хранилища данных
Межкластерная репликация данных
Миграция данных в облако
Data Ocean Flex Loader реализует функцию логической репликации между кластерами Hadoop, Greenplum и объектным хранилищем S3. Обмен данными может быть гетерогенным и двусторонним, например, Hadoop HDFS-S3 или Greenplum-HDFS. Функция востребована для организации катастрофоустойчивого плеча системы
Data Ocean Flex Loader разрабатывался как надежное cloud-ready решение, позволяющее переносить данные в облачные объектные хранилища и поддерживать процессы репликации в течение периода миграции бизнес-функционала. Репликация возможна сразу в табличный формат Iceberg
Data Ocean Flex Loader позволяет настраивать достоверную загрузку из систем-источников без изменений и в кратчайшие сроки с помощью создания конфигурации, минуя стадию разработки стандартного ETL-процесса. Настройка может быть массовой: целые базы или схемы с сотнями объектов
Быстрое наполнение данными пользовательских аналитических песочниц или сред тестирования и разработки
Data Ocean Flex Loader позволяет наполнять необходимыми достоверными данными любые пользовательские среды
Функциональные возможности
Загружаемые данные проходят проверки на сходство с источником. Все изменения структуры отслеживаются и наследуются
Контроль качества данных
Объекты могут быть загружены как в полном, так и в инкрементальном режиме с захватом логических изменений
Различные режимы извлечения данных источника
Инструмент имеет богатый набор API для интеграции с другими компонентами ИТ-ландшафта предприятия
Интеграция с другими системами
Настройки Data Ocean Flex Loader позволяют гибко управлять нагрузкой на источник и приемник и приоритизировать задачи репликации данных в соответствии с выделенными вычислительными ресурсами и SLA
Управление производительностью
Инструмент позволяет не только создавать копии систем-источников, но и при необходимости выстраивать историю изменений на стороне приемника
Сохранение истории изменений
Все загружаемые данные проходят автоматическую постобработку для эффективной работы пользователей
Эффективность работы
Все взаимодействия инструмента с внешними системами реализованы посредством защищенного обмена. События обмена журналируются
Информационная безопасность
Модель метаданных позволяет реализовать собственные интеграционные сервисы
Открытая модель метаданных
Data Ocean Flex Loader работает как в режиме фреймворка без графического интерфейса, так и в дружественном графическом пользовательском окружении
Графический интерфейс
Все компоненты Data Ocean Flex Loader могут быть развернуты в среде контейнеризации, что позволяет быстро развернуть решение не только в формате on-premise, но и в публичном или частном облаке
Cloud-ready решение
Интерфейс Flex Loader
Интеграционные возможности
-Greenplum
-MySQL
-MariaDB
-MySQL
-MariaDB
-Teradata
-Vertica
-SAP HANA, SAP IQ, SAP ASE
-Vertica
-SAP HANA, SAP IQ, SAP ASE
-sFTP
-HDFS
-S3
-HDFS
-S3
-Oracle
-MS SQL Server
-Postgres
-MS SQL Server
-Postgres
-Подбор драйвера или внешнего инструмента экспорта данных из источника;
-Разработка соответствия типов данных между источником и приемником;
-Подготовка запросов к словарям данных системы-источника.
-Разработка соответствия типов данных между источником и приемником;
-Подготовка запросов к словарям данных системы-источника.
Реализованные коннекторы
Простое создание нового коннектора
Вдохновитесь опытом наших клиентов
Подключено 58 источников, 178 баз/схем, ~8000 объектов с регламентом от t-30 мин до t-1 сутки.
5 Тб обрабатывает Data Ocean Flex Loader ежедневно.
Общий объем хранилища — 20 Тб.
5 Тб обрабатывает Data Ocean Flex Loader ежедневно.
Общий объем хранилища — 20 Тб.
Межкластерная репликация данных между разными центрами обработки данных.
2700 объектов витрин данных.
Объем реплицируемых данных в сутки — 17Тб.
2700 объектов витрин данных.
Объем реплицируемых данных в сутки — 17Тб.
Регламентная загрузка данных в публичное облачное хранилище S3 данных из внутренних систем массивной параллельной обработки и систем источников.
Загрузка реализована в Lakehouse-платформу в табличный формат Apache Iceberg.
Общий объем сжатых данных в объектном облачном хранилище — 400 Тб.
Загрузка реализована в Lakehouse-платформу в табличный формат Apache Iceberg.
Общий объем сжатых данных в объектном облачном хранилище — 400 Тб.
Интегрировано 83 источника, 244 базы, ~9400 объектов с регламентом от t-15 мин до t-1 сутки.
1,3 трлн строк изменений в сутки объемом 25 Тб обрабатывает Data Ocean Flex Loader.
Общий объем хранилища — 2 Пб.
Дополнительно настроена межкластерная репликация Hadoop-Hadoop в разные центры обработки данных.
1,3 трлн строк изменений в сутки объемом 25 Тб обрабатывает Data Ocean Flex Loader.
Общий объем хранилища — 2 Пб.
Дополнительно настроена межкластерная репликация Hadoop-Hadoop в разные центры обработки данных.
Финансовая организация
Ретейл-организация
Топ-10 банк РФ
Телеком-оператор
Ответы на вопросы
Data Ocean Flex Loader — решение класса фреймворк. Его задача — кодогенерация задач и управление другими инструментами и фреймворками, которые извлекают, доставляют и применяют данные. При таком подходе скорость загрузки данных из системы-источника зависит от характеристик самого источника, сетевой инфраструктуры и приемника. Наши инженеры помогут определить требования и ограничения в соответствии с вашим SLA. Опыт наших клиентов показал, что достижима пропускная способность в десятки Тб в сутки.
Инструмент предлагает ряд функциональных возможностей, отсутствующих в других коммерческих и open source решениях, в том числе представленных на российском рынке. Data Ocean Flex Loader разрабатывается командой, имеющей десятилетний опыт решения проектных задач в области репликации больших данных, и развивается в соответствии с потребностями клиентов и трендами рынка.
Data Ocean Flex Loader внесен в Реестр отечественного ПО. Реестровая запись № 19 381.
Data Ocean Flex Loader идеально подходит для такой задачи. Вы можете использовать его только в течение фактической миграции системы, воспользовавшись моделью подписки. Data Ocean Flex Loader обеспечит достоверную репликацию данных и позволит как можно раньше подключить к новой системе бизнес-пользователей, пока вы занимаетесь постепенных переносом основного функционала.
Разработка собственного решения, даже для простой загрузки без инкрементального режима, контроля изменения структур и качества данных, требует квалифицированной команды и длительного времени. Data Ocean Flex Loader как готовый инструмент позволяет начать репликацию данных в хранилище сразу после установки. Фактически, как только появляется инфраструктура ХД, вы сразу предоставляете данные для анализа пользователям.
Нам доверяют
Оставьте заявку на консультацию
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам: