СберСтрахование ускорило обработку данных с помощью решения Data Ocean SDI вендора Data Sapience совместно с GlowByte

В рамках стратегии повышения зрелости управления данными СберСтрахование искало отечественное решение, позволяющее расширить охват отслеживания изменений данных (CDC) и поддержать развитие корпоративного хранилища данных 2.0. В качестве целевого инструмента был выбран продукт с минимальным кодированием (low‑code) для потоковой обработки и репликации данных Data Ocean SDI от вендора Data Sapience. Интегратором выступила компания GlowByte.

Data Ocean SDI обеспечивает управление данными в режиме реального времени с реализацией необходимой бизнес-логики и преобразований, а также поддерживает широкий набор трансформаций и обогащений для интеграции со сторонними сервисами (Complex Event Processing, CEP). Решение позволяет захватывать изменения в источниках для обеспечения интеграций в реальном времени в аналитическое хранилище с минимальными задержками (CDC), что критично для актуальности витрин данных и оперативной аналитики.

В ходе проекта команда GlowByte совместно со специалистами СберСтрахования настроила загрузку на основе отслеживания изменений данных (CDC) для всех ключевых источников, загружаемых в корпоративное хранилище данных 2.0. Дополнительно одна из систем компании мигрировала на PostgreSQL с помощью Data Ocean SDI. Это позволило сократить время простоя (downtime) до интервала применения изменений (CDC), что существенно ниже, чем время миграции основного объема данных. Решение Data Ocean SDI от Data Sapience позволяет захватывать изменения данных из Oracle, MSSQL, Postgres, а доставка диаграмм Data Ocean SDI на стенды КХД 2.0 осуществляется в рамках процессов непрерывной разработки и эксплуатации (DevOps) с использованием Airflow и программного интерфейса приложения (API).

Пакетный режим в Data Ocean SDI позволяет параллельно захватывать данные из источников, что значительно ускоряет загрузку. На текущий момент решение обеспечивает загрузку 2175 таблиц из 13 баз-источников. Загрузка выполняется в двух режимах: инициализирующем (полный срез данных из источника) и инкрементальном (отслеживания изменений данных (CDC) по заданным таблицам). Полученные записи в потоковом режиме фиксируются в буферной базе данных Postgres, после чего направленный ациклический граф (DAG) Airflow отбирает новые записи и размещает их в слое операционного хранилища данных (ODS) КХД 2.0. От момента создания транзакции на источнике и до появления данных в слое операционного хранилища данных (ODS) проходит около 20–30 минут.

Реализованный контур отслеживания изменений данных (CDC) стал важным шагом к формированию гибридной архитектуры данных в СберСтраховании. Компания планирует разделить обработку данных на «быстрое» плечо (конвейеры, работающие в реальном времени (real-time) или близком к нему (near real-time) и «медленное» плечо (пакетная обработка), обеспечивая тем самым поддержку широкого спектра аналитических и продуктовых сценариев. Data Ocean SDI станет основой «быстрой» части, обеспечивая потоковую обработку данных, их доставку в корпоративное хранилище и платформу самообслуживания пользователей (self-service), что позволит оперативно реагировать на изменения и запускать новые цифровые сервисы для клиентов.