Nova
Flex Loader
Cluster Manager
Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах
Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3
Программное обеспечение для администрирования кластеров и анализа запросов
Узнайте больше о решениях Data Ocean
Ответим на все ваши вопросы и поможем определиться с выбором
Пишите нам:
Банк «Санкт-Петербург» и Data Sapience реализовали отказоустойчивое решение для платформы управления данными на стеке Hadoop
14.05.2024
Банк «Санкт-Петербург» совместно с ИТ-партнером GlowByte реализовал проект по созданию отказоустойчивого решения для платформы управления данными на стеке Hadoop с помощью инструмента Data Ocean Flex Loader.
Flex Loader — инструмент в составе платформы Data Ocean российского разработчика Data Sapience. Решение предназначено для автоматизации загрузки данных в такие популярные решения класса Big Data, как Hadoop, GreenPlum, объектное хранилище S3, а также для обеспечения межкластерной репликации в режиме, близкому к реальному времени.
“
Платформа управления данными является источником для критичных отчетов Банка, в том числе регуляторных. Платформа отличается повышенными показателями отказоустойчивости и относится к классу business critical, что делает ее уникальной на российском рынке. Для систем такого класса требуется создание резервного контура, что само по себе является трудной задачей в окружении Hadoop “из коробки”.
“
Для нас было важно иметь состояние резервного контура, близкого к реальному времени. Изучив все доступные инструменты на рынке и оценив возможность использования open-source-решений, мы остановили свой выбор на инструменте Data Ocean FlexLoader. В рамках проектной работы Flex Loader был интегрирован с нашими решениями по формированию аналитических расчетов и отчетности, он, по сути, является частью непрерывного регламентного процесса. Благодаря использованию Flex Loader мы не только достигли целевых показателей по отказоустойчивости, но и реализовали изоляцию изменений данных, которая недоступна в базовом дистрибутиве Hadoop.
“
Наша компания всегда рада предложить передовые продукты для платформ управления данными, в том числе Flex Loader — инструмент в составе семейства Data Ocean, предназначенный для автоматизации загрузки данных в целевые системы на базе СУБД GreenPlum, экосистему Hadoop и объектное хранилище S3. Ключевыми особенностями Data Ocean Flex Loader являются синхронизация метаданных и контроль качества загружаемых данных, работа в инкрементальном режиме, гибкое управление приоритезацией, многопоточностью и конкурентностью. Кроме того, инструмент позволяет реплицировать данные между двумя кластерами GreenPlum или Hadoop в Disaster Recovery режиме.