GlowByte MEDIA

Московская биржа и GlowByte реализовали пилотный проект на Hadoop Data Proc

сентябрь, 2021

В конце 2020 года Московская биржа и GlowByte реализовали пилотный проект по расчету метрик ликвидности для маркетмейкерских программ. Для пилота компании выбрали DataProc - PaaS - решение от Yandex.Cloudдля больших данных на базе технологии Hadoop.

В ноябре 2020 года встал вопрос о поиске решения, которое позволило бы гибко управлять производительностью в зависимости от потребностей и SLA (Соглашение об уровне обслуживания). 

Благодаря партнерству GlowByte и Yandex.Cloud за два месяца удалось на обезличенных данных адаптировать алгоритмы расчетов под технологию распределенных вычислений Spark. Это позволило управлять временем расчета за счет регулирования вычислительной мощности узла и общим количеством узлов в вычислительном кластере. 
Реализация проекта позволила Московской бирже не только найти решение и уложиться в нужный SLA, но и рационально использовать вычислительные мощности, за счет подбора оптимальной конфигурации оборудования по соотношению эффективности расчетов к TCO инфраструктуры.

GlowByte, Евгений Вилков Ведущий Архитектор:
«Все больше наших клиентов рассматривают или уже используют технологии облачных вычислений для решения своих задач. Облачные подходы к обработке данных позволяют сократить time to market решения за счет использования готовых PaaS платформ, не тратя время и ресурсы на инфраструктурные работы.  Платформа Yandex.Cloud отвечает современным требованиям к задачам анализа данных и развивается в соответствии с современными трендами, и компания Глоубайт рада принимать в этом активное участие».

Мосбиржа, Сергей Орешкин, Директор Департамента по работе с данными:

«Наличие готовой PaaS платформы в Yandex.Cloud позволило в самый короткий срок получить инфраструктуру и необходимое ПО для проведения R&D и поиска решения. Команда GlowByteпредоставила адресную экспертизу по Hadoop, S3, Java Spark, а Биржа экспертизу по задаче и предметной области. Нам удалось в короткий срок найти и апробировать решение, реализовать MVP, провести моделирование нагрузки, определить оптимальную конфигурацию целевой инфраструктуры с точки зрения издержек. Мы внимательно следим за развитием технологий информационной безопасности данного направления и верим, что в скором будущем мы сможем использовать облака не только для R&D, но и для промышленных решений,  что позволит еще сильнее уменьшить TCO целевого решения».


Яндекс: Всеволод Грабельников, Старший архитектор решений Yandex.Cloud:
«Технологическое партнерство с Glowbyte позволило нашему заказчику в сжатые сроки реализовать перенос решения на современный технологический стек на базе Apache Spark. Мы благодарны компании Glowbyte за профессиональный подход к этому и другим проектам, которые позволяют нашим клиентам эффективно использовать облачную платформу данных от Яндекс».
Новости