«Норникель» совместно с GlowByte внедрил корпоративную ML-платформу на базе продукта Kolmogorov вендора Data Sapience
«Норникель» совместно с интегратором GlowByte внедрил корпоративную ML-платформу на базе ПО Kolmogorov российского вендора Data Sapience. Решение позволило создать единую среду работы с алгоритмами машинного обучения и реализовать унифицированную, масштабируемую и высокоэффективную инфраструктуру для отслеживания полного жизненного цикла AI/ML-приложений и глубокого анализа данных.
ML-платформа интегрирована с корпоративной Data-платформой «Озеро данных» и системой DevSecOps (корпоративный репозиторий) и состоит из различных инструментов, развернутых в кластерах Kubernetes, среди которых – среда для разработки JupyterLab, инструмент управления экспериментами MLFlow, оркестратор batch-процессов AirFlow, средства мониторинга Grafana. ПО Kolmogorov выступает единой точкой входа, которая связывает эти компоненты в цельную экосистему, повышает производительность всех членов команды Data Science, а также обеспечивает управление имеющимися вычислительными ресурсами и быстрое масштабирование.
Архитектура платформы спроектирована с учетом многопользовательского доступа для большого количества специалистов, включая внутренние DS-команды и внешних разработчиков ML.
Пользовательский интерфейс для управления и продуктивной работы со стеком технологий и open-source-инструментами также реализован с помощью ПО Kolmogorov. Инструмент позволяет запускать и использовать среды разработки моделей машинного обучения, отслеживать состояние выполнения CI/CD-пайплайнов внедрения, получать информацию о состоянии продуктивизированных моделей, использовать заготовленные шаблоны проектов разработки, предоставлять контролируемый доступ к реестру всех проектов создания моделей машинного обучения, которые содержат всю необходимую информацию, собранную в процессе разработки и внедрения моделей машинного обучения. Такое комплексное решение упрощает как работу над ML-проектами, так и координацию деятельности отдельных команд разработки.
Среда Kubernetes позволяет масштабировать приложения и модели согласно текущим потребностям без серьезных изменений в архитектуре, обеспечивая оптимальное использование ресурсов и снижение затрат. Автоматическое управление кластерами и контейнерами сокращает трудозатраты на поддержку и обслуживание системы, повышает надежность и устойчивость функционирования приложений. Модульный подход обеспечивает гибкость системы и возможность установки дополнительных компонентов.
Таким образом, благодаря передовым инструментам на базе ПО Kolmogorov DS-команды получили возможность значительно сократить показатели time-to-market и time-to-product, вследствие чего компания может быстрее реагировать на требования рынка и внедрять современные решения.
ML-платформа интегрирована с корпоративной Data-платформой «Озеро данных» и системой DevSecOps (корпоративный репозиторий) и состоит из различных инструментов, развернутых в кластерах Kubernetes, среди которых – среда для разработки JupyterLab, инструмент управления экспериментами MLFlow, оркестратор batch-процессов AirFlow, средства мониторинга Grafana. ПО Kolmogorov выступает единой точкой входа, которая связывает эти компоненты в цельную экосистему, повышает производительность всех членов команды Data Science, а также обеспечивает управление имеющимися вычислительными ресурсами и быстрое масштабирование.
Архитектура платформы спроектирована с учетом многопользовательского доступа для большого количества специалистов, включая внутренние DS-команды и внешних разработчиков ML.
Пользовательский интерфейс для управления и продуктивной работы со стеком технологий и open-source-инструментами также реализован с помощью ПО Kolmogorov. Инструмент позволяет запускать и использовать среды разработки моделей машинного обучения, отслеживать состояние выполнения CI/CD-пайплайнов внедрения, получать информацию о состоянии продуктивизированных моделей, использовать заготовленные шаблоны проектов разработки, предоставлять контролируемый доступ к реестру всех проектов создания моделей машинного обучения, которые содержат всю необходимую информацию, собранную в процессе разработки и внедрения моделей машинного обучения. Такое комплексное решение упрощает как работу над ML-проектами, так и координацию деятельности отдельных команд разработки.
Среда Kubernetes позволяет масштабировать приложения и модели согласно текущим потребностям без серьезных изменений в архитектуре, обеспечивая оптимальное использование ресурсов и снижение затрат. Автоматическое управление кластерами и контейнерами сокращает трудозатраты на поддержку и обслуживание системы, повышает надежность и устойчивость функционирования приложений. Модульный подход обеспечивает гибкость системы и возможность установки дополнительных компонентов.
Таким образом, благодаря передовым инструментам на базе ПО Kolmogorov DS-команды получили возможность значительно сократить показатели time-to-market и time-to-product, вследствие чего компания может быстрее реагировать на требования рынка и внедрять современные решения.
“
«Норникель с 2018 года последовательно внедряет технологии искусственного интеллекта в производственные и обеспечивающие бизнес-процессы. Объем применения растет, и это требует нового уровня управления решениями с ИИ, мониторинга их производительности и эффективности, повышения качества деятельности разработчиков моделей и Data Scientists. Мы решили эту задачу объединением инструментов работы с данными в единую экосистему, частью которой стало решение Kolmogorov. В целом, по результатам проекта мы хотим не только оптимизировать существующие процессы, но и создать новые возможности для развития бизнеса через инновационное использование данных и машинного обучения.
“
В основе проекта лежит платформа Kolmogorov, которая объединяет в себе популярные открытые технологии для машинного обучения под единым интуитивно понятным интерфейсом. Это позволяет специалистам сосредоточиться на разработке моделей, не отвлекаясь на технические сложности интеграции различных инструментов. Такой подход обеспечивает как удобство использования готовых решений, так и гибкость настройки под специфические задачи бизнеса. Ключевое преимущество платформы – это баланс между готовым промышленным решением и возможностью его адаптации под индивидуальные потребности заказчика, что особенно важно для развивающихся ML-практик в крупных компаниях.
“
Платформа Kolmogorov позволяет организовать управление современными MLOps-компонентами on-premise, облегчая выполнение задач Data Science и DevOps-специалистам, а также бизнес-ролям. В «Норникеле» платформа отвечает за полный цикл управления ML-решениями: разработку модели, внедрение и эксплуатацию, при этом учитывая все требования инфраструктуры заказчика.
Дальнейшее развитие инициативы включает создание отдельного, третьего контура – Test-ландшафта ML-платформы, интеграцию в корпоративный e2e-процесс MLOps, миграцию существующих моделей машинного обучения на корпоративную ML-платформу с последующим масштабированием. Планируется перенос моделей различных типов: Time series, Computer Vision, NLP и Large Language Models.