«СберСтрахование» ускорила обработку данных с помощью решения Data Ocean SDI вендора Data Sapience совместно с GlowByte
Вендор Data Sapience при участии интегратора GlowByte помог «СберСтрахованию» реализовать проект по построению контура обработки данных в режиме, близком к реальному времени, в рамках стратегии развития корпоративного хранилища данных 2.0.
В рамках стратегии повышения зрелости управления данными компания «СберСтрахование» искала отечественное решение, позволяющее расширить охват отслеживания изменений данных (CDC) и поддержать развитие корпоративного хранилища данных 2.0. В качестве целевого инструмента был выбран продукт с минимальным кодированием (low‑code) для потоковой обработки и репликации данных Data Ocean SDI от вендора Data Sapience. Интегратором выступила компания GlowByte.
Data Ocean SDI обеспечивает управление данными в режиме реального времени с реализацией необходимой бизнес-логики и преобразований, а также поддерживает широкий набор трансформаций и обогащений для интеграции со сторонними сервисами (Complex Event Processing, CEP). Решение позволяет захватывать изменения в источниках для обеспечения интеграций в реальном времени в аналитическое хранилище с минимальными задержками (CDC), что критично для актуальности витрин данных и оперативной аналитики.
Data Ocean SDI обеспечивает управление данными в режиме реального времени с реализацией необходимой бизнес-логики и преобразований, а также поддерживает широкий набор трансформаций и обогащений для интеграции со сторонними сервисами (Complex Event Processing, CEP). Решение позволяет захватывать изменения в источниках для обеспечения интеграций в реальном времени в аналитическое хранилище с минимальными задержками (CDC), что критично для актуальности витрин данных и оперативной аналитики.
В ходе проекта команда GlowByte совместно со специалистами «СберСтрахования» настроила загрузку на основе отслеживания изменений данных (CDC) для всех ключевых источников, загружаемых в корпоративное хранилище данных 2.0. Дополнительно одна из систем компании мигрировала на PostgreSQL с помощью Data Ocean SDI.
Это позволило сократить время простоя (downtime) до интервала применения изменений (CDC), что существенно ниже, чем время миграции основного объема данных. Решение Data Ocean SDI от Data Sapience позволяет захватывать изменения данных из Oracle, MSSQL, Postgres, а доставка диаграмм Data Ocean SDI на стенды КХД 2.0 осуществляется в рамках процессов непрерывной разработки и эксплуатации (DevOps) с использованием Airflow и программного интерфейса приложения (API).
Пакетный режим в Data Ocean SDI позволяет параллельно захватывать данные из источников, что значительно ускоряет загрузку. На текущий момент решение обеспечивает загрузку 2175 таблиц из 13 баз-источников. Загрузка выполняется в двух режимах: инициализирующем (полный срез данных из источника) и инкрементальном (отслеживания изменений данных (CDC) по заданным таблицам). Полученные записи в потоковом режиме фиксируются в буферной базе данных Postgres, после чего направленный ациклический граф (DAG) Airflow отбирает новые записи и размещает их в слое операционного хранилища данных (ODS) КХД 2.0. От момента создания транзакции на источнике и до появления данных в слое операционного хранилища данных (ODS) проходит около 20−30 минут.
Реализованный контур отслеживания изменений данных (CDC) стал важным шагом к формированию гибридной архитектуры данных в «СберСтраховании». Компания планирует разделить обработку данных на «быстрое» плечо (конвейеры, работающие в реальном времени (real-time) или близком к нему (near real-time) и «медленное» плечо (пакетная обработка), обеспечивая тем самым поддержку широкого спектра аналитических и продуктовых сценариев. Data Ocean SDI станет основой «быстрой» части, обеспечивая потоковую обработку данных, их доставку в корпоративное хранилище и платформу самообслуживания пользователей (self-service), что позволит оперативно реагировать на изменения и запускать новые цифровые сервисы для клиентов.
Пакетный режим в Data Ocean SDI позволяет параллельно захватывать данные из источников, что значительно ускоряет загрузку. На текущий момент решение обеспечивает загрузку 2175 таблиц из 13 баз-источников. Загрузка выполняется в двух режимах: инициализирующем (полный срез данных из источника) и инкрементальном (отслеживания изменений данных (CDC) по заданным таблицам). Полученные записи в потоковом режиме фиксируются в буферной базе данных Postgres, после чего направленный ациклический граф (DAG) Airflow отбирает новые записи и размещает их в слое операционного хранилища данных (ODS) КХД 2.0. От момента создания транзакции на источнике и до появления данных в слое операционного хранилища данных (ODS) проходит около 20−30 минут.
Реализованный контур отслеживания изменений данных (CDC) стал важным шагом к формированию гибридной архитектуры данных в «СберСтраховании». Компания планирует разделить обработку данных на «быстрое» плечо (конвейеры, работающие в реальном времени (real-time) или близком к нему (near real-time) и «медленное» плечо (пакетная обработка), обеспечивая тем самым поддержку широкого спектра аналитических и продуктовых сценариев. Data Ocean SDI станет основой «быстрой» части, обеспечивая потоковую обработку данных, их доставку в корпоративное хранилище и платформу самообслуживания пользователей (self-service), что позволит оперативно реагировать на изменения и запускать новые цифровые сервисы для клиентов.
“
Сотрудничество GlowByte со "СберСтрахованием" стало отличным примером успешной интеграции отечественных решений в критически важные бизнес-процессы. Наша экспертиза в области данных и аналитики, а также ориентированность Data Ocean SDI на низкокодовую (low-code) разработку сложных сценариев позволила в кратчайшие сроки максимально эффективно реализовать поставленные «СберСтрахованием» задачи. Этот проект стал важной вехой в развитии отечественных решений для захвата и обработки данных в реальном времени и реализации стриминговых сценариев, — сказал Марк Лебедев, руководитель команды разработки GlowByte.
“
Успешное внедрение Data Ocean SDI в "СберСтраховании" доказывает конкурентоспособность отечественных решений в сфере обработки данных. Наш продукт не только обеспечил полную замену старого решения, но и создал техническую основу для дальнейшего развития платформы данных клиента. Поставленные «СберСтрахованием» задачи по миграции дополнительных источников данных и внедрению более сложных сценариев использования подтверждают правильность нашего подхода к созданию масштабируемых и гибких решений для корпоративного (enterprise) сегмента, — отметил Алексей Рундасов, коммерческий директор Data Sapience.