Ак Барс Банк построил корпоративное хранилище данных на базе решения Data Ocean Nova вендора Data Sapience

Ак Барс Банк внедрил корпоративное хранилище данных на базе Lakehouse-платформы Data Ocean Nova отечественного вендора Data Sapience. Основные интеграционные работы и замещение устаревшего (legacy) хранилища банк выполнил силами собственной команды, подготовленной по программам обучения Data Sapience при экспертной поддержке вендора.

Ранее в Ак Барс Банке существовало хранилище данных на базе MS SQL Server в качестве операционного слоя (ODS) и на базе Greenplum в качестве функции отдельного детального слоя (DDS). Эксплуатация разрозненной системы выявила большое количество недостатков: разный тип оборудования, нецелевые импортные компоненты, размытие экспертизы команды, ограничения производительности, отсутствие ряда важных функциональных характеристик, дублирование данных и, как следствие, высокую стоимость владения.

В рамках импортозамещения и развития банк искал решение нового поколения, спроектированное по принципам Lakehouse-платформы и удовлетворяющее эксплуатационным, техническим, функциональным и экономическим требованиям. По результатам пилотного проекта, в рамках которого был отработан полный цикл загрузки, обработки и доставки данных до потребителей, для промышленного внедрения была выбрана платформа Data Ocean Nova от Data Sapience. По завершении испытаний было принято решение о целевом внедрении системы.

За 12 месяцев команда банка собственными силами выполнила разработку схемы данных и архитектуры, а затем и построение нового хранилища на новой платформе. Был организован операционный слой данных (ODS): куда ряд источников в режиме реального времени передает транзакционные журналы для преобразования и загрузки. Формируемый на основе операционного слоя данных (ODS) детальный слой хранилища (DDS) насчитывает более двухсот логических сущностей, покрывает основные области данных банка и работает в регламентном режиме. Внедрение платформы позволило улучшить предсказуемость работы сервисов и прозрачность, связность и качество данных в детальном слое хранилища (DSS), а также производных витрин данных относительно устаревших (legacy) систем.

Платформа Data Ocean Nova использует объектное хранилище S3 (Data Ocean Store) в качестве подсистемы хранения и работает в режиме высокой доступности: она развернута на двух контурах с синхронизацией данных между S3-кластерами в режиме реального времени, при этом резервный контур доступен пользователям для работы с консистентной достоверной копией данных в режиме чтения, что является определяющим для систем подобного класса.

В настоящее время суммарный объем полезных сжатых данных составляет 60 Тб, при этом система спроектирована под потенциал роста до 110 Тб с высоким коэффициентом отказоустойчивости и с учетом планов роста объемов бизнеса. В хранилище интегрированы 63 внутренних источника данных.

До конца года банк планирует ввести в эксплуатацию производство 35 форм обязательной отчетности, область витрин данных для управления маркетинговыми коммуникациями и отчетность по мотивации персонала. Также Ак Барс Банк намерен повышать доступность сервисов данных в хранилище с применением решения потоковой онлайн-интеграции Data Ocean SDI.