Банк «Уралсиб» совместно с GlowByte разработал функционал для создания
MLOps-платформы
MLOps-платформы
«Уралсиб» при поддержке GlowByte разработал концепцию единого подхода для решения MLOps-задач и функционал для создания MLOps-платформы. Это позволит оптимизировать вычислительные ресурсы для применения моделей машинного обучения и обеспечит стабильность их работы в промышленной эксплуатации. Данный подход заложил фундамент для эффективного управления полным жизненным циклом ML-моделей, что открывает возможности для применения передовых инструментов разработки и эксплуатации ML-решений. Об этом сообщили представители GlowByte.
В основе концепции лежит уже устоявшийся подход MLOps, адаптированный командой GlowByte под потребности банка. Техническая реализация включает кластер Kubernetes для управления вычислительными ресурсами и веб-среду JupyterLab для разработки ML-моделей и экспериментов. Для автоматизации внедрения моделей машинного обучения используется комплексная система GitLab CI/CD – с помощью этого инструмента построен единый пайплайн вывода модели от стадии разработки до применения в промышленной эксплуатации.
В рамках проекта был применен достаточно новый для рынка инструмент оркестрации батч-моделей – Prefect. Исследование позволило провести сравнительный анализ с общепризнанным стандартом – Apache AirFlow. На основании полученных данных удалось сформировать оптимальное для банка предложение по архитектуре для решения задач MLOps.
В основе концепции лежит уже устоявшийся подход MLOps, адаптированный командой GlowByte под потребности банка. Техническая реализация включает кластер Kubernetes для управления вычислительными ресурсами и веб-среду JupyterLab для разработки ML-моделей и экспериментов. Для автоматизации внедрения моделей машинного обучения используется комплексная система GitLab CI/CD – с помощью этого инструмента построен единый пайплайн вывода модели от стадии разработки до применения в промышленной эксплуатации.
В рамках проекта был применен достаточно новый для рынка инструмент оркестрации батч-моделей – Prefect. Исследование позволило провести сравнительный анализ с общепризнанным стандартом – Apache AirFlow. На основании полученных данных удалось сформировать оптимальное для банка предложение по архитектуре для решения задач MLOps.
“
Создание MLOps-платформы – это не просто внедрение технологий, а формирование новой культуры работы с данными и моделями. Наша команда MLOps-специалистов спроектировала архитектурное решение, которое позволяет стандартизировать процессы разработки, ускорить вывод моделей в промышленную эксплуатацию и оптимизировать использование вычислительных ресурсов. Особую ценность проекту придало исследование нового для рынка инструмента оркестрации Prefect, что позволило предложить банку оптимальный технологический стек.
“
Мы рассматриваем информационные технологии как базис для развития бизнеса и идем по пути активного внедрения современных решений. А если готовых решений не существует, их необходимо разработать своими силами. Мы рады, что нам удалось реализовать проект совместно с компанией GlowByte, команда MLOps-специалистов которой не только обладает мощной экспертизой в MLOps-процессах, но и готова поучаствовать в исследованиях новых компонентов и предложить современное решение.
В перспективе «Уралсиб» планирует расширить архитектуру MLOps-инфраструктуры за счет новых компонентов, а также оптимизировать работу DS-команд с помощью стандартизации подходов разработки.