В конце 2020 года Московская биржа и GlowByte реализовали пилотный проект по расчету метрик ликвидности для маркетмейкерских программ. Для пилота компании выбрали DataProc - PaaS - решение от Yandex.Cloudдля больших данных на базе технологии Hadoop.
В ноябре 2020 года встал вопрос о поиске решения, которое позволило бы гибко управлять производительностью в зависимости от потребностей и SLA (Соглашение об уровне обслуживания).
Благодаря партнерству GlowByte и Yandex.Cloud за два месяца удалось на обезличенных данных адаптировать алгоритмы расчетов под технологию распределенных вычислений Spark. Это позволило управлять временем расчета за счет регулирования вычислительной мощности узла и общим количеством узлов в вычислительном кластере.
Реализация проекта позволила Московской бирже не только найти решение и уложиться в нужный SLA, но и рационально использовать вычислительные мощности, за счет подбора оптимальной конфигурации оборудования по соотношению эффективности расчетов к TCO инфраструктуры
GlowByte, Евгений Вилков Ведущий Архитектор:
«Все больше наших клиентов рассматривают или уже используют технологии облачных вычислений для решения своих задач. Облачные подходы к обработке данных позволяют сократить time to market решения за счет использования готовых PaaS платформ, не тратя время и ресурсы на инфраструктурные работы. Платформа Yandex.Cloud отвечает современным требованиям к задачам анализа данных и развивается в соответствии с современными трендами, и компания Глоубайт рада принимать в этом активное участие».
Мосбиржа, Сергей Орешкин, Директор Департамента по работе с данными:
«Наличие готовой PaaS платформы в Yandex.Cloud позволило в самый короткий срок получить инфраструктуру и необходимое ПО для проведения R&D и поиска решения. Команда GlowByteпредоставила адресную экспертизу по Hadoop, S3, Java Spark, а Биржа экспертизу по задаче и предметной области. Нам удалось в короткий срок найти и апробировать решение, реализовать MVP, провести моделирование нагрузки, определить оптимальную конфигурацию целевой инфраструктуры с точки зрения издержек. Мы внимательно следим за развитием технологий информационной безопасности данного направления и верим, что в скором будущем мы сможем использовать облака не только для R&D, но и для промышленных решений, что позволит еще сильнее уменьшить TCO целевого решения».
Яндекс: Всеволод Грабельников, Старший архитектор решений Yandex.Cloud:
«Технологическое партнерство с Glowbyte позволило нашему заказчику в сжатые сроки реализовать перенос решения на современный технологический стек на базе Apache Spark. Мы благодарны компании Glowbyte за профессиональный подход к этому и другим проектам, которые позволяют нашим клиентам эффективно использовать облачную платформу данных от Яндекс».