Практически все крупные компании уже имеют в арсенале инструменты целевого маркетинга и активно используют их для развития своей клиентской базы. Мы в GlowByte в практике Marketing Management помогаем заказчикам не только внедрять технологии аналитического CRM, но и оценивать эффективность их использования, определяя зоны роста целевого маркетинга и повышения лояльности клиентов к получаемым предложениям.

В этой статье я, Дмитрий Асташов, руководитель направления маркетинговой отчётности в GlowByte, поделюсь своими рассуждениями о подходах к оценке эффективности сценариев, направленных на маркетинговое взаимодействие с клиентами в режиме реального времени, также называемое Real-Time Marketing.

Что такое Real-Time Marketing

Real-Time Marketing (RTM) – процесс формирования и доставки клиенту персональных предложений в момент события в его жизни.

Пример 1:

• Клиент банка пришёл в отделение и просит оператора закрыть карту, т. к. не хочет платить за её обслуживание, а покупки совершает по карте другого банка, получая там бонусы.
• В этот момент банк может сформировать клиенту персональное предложение. Условия должны быть для клиента достаточно весомыми, чтобы он возобновил использование карты. Таким предложением может быть, например:
• временная отмена платы за обслуживание,
• повышенное начисление бонусов,
• бесплатное оформление карты более высокого уровня.
• Если клиент принимает предложение, он получает устраивающие его условия, а банк сохраняет клиента.

Пример 2:

• Клиент банка пришёл в торговый центр и совершил транзакцию по карте своего банка.
• Банк предлагает клиенту совершить покупку у партнёра в этом же торговом центре и получить повышенные бонусы.
• После совершения покупки клиент получает частичный возврат стоимости в виде бонусов или кэшбэка, а банк получает комиссию за продажу у партнёра.

Основное отличие предложений, отправленных в сценариях RTM, от предложений классического целевого маркетинга – их эффективность только в определённый момент времени:

• В примере 1 банк не готов предлагать заранее всем клиентам отмену комиссий по картам и бесплатное обслуживание, т. к. издержки будут превышать выгоды от сохранения клиентской базы.
• В примере 2 массовая рассылка предложений партнёра будет иметь слишком низкую конверсию, и затраты на коммуникации окажутся выше полученной прибыли от продаж.

В данных примерах я выношу за скобки такие эффекты, как прогнозирование оттока методами машинного обучения и фрод со стороны клиентов. Цель статьи – описать сложности, с которыми приходится сталкиваться при оценке эффективности Real-Time-сценариев, и привести примеры решений этих вопросов.


Проблематика расчёта эффективности

Как в классическом целевом маркетинге, так и в Real-Time-сценариях банк может формировать одни и те же предложения и доставлять коммуникации по ним в одних и тех же каналах. Однако процесс отбора клиентов для предложений различен:

• в случае классического целевого маркетинга менеджер маркетинговой кампании заранее знает, с какой группой клиентов он будет работать: какая у неё численность и по каким клиентским признакам она отобрана;
• в случае Real-Time-сценария менеджер не знает заранее, придёт ли определённый клиент в ТЦ, появится ли у него желание закрыть карту.

По этой причине для оценки эффективности RTM-сценария необходимо решить несколько вопросов:

1. По каким правилам относить совершённые действия клиента к результату работы сценария?
2. По каким правилам относить клиента в контрольную и целевую группы?

Разберём каждый из вопросов.

Определение отклика

Любое маркетинговое предложение нацелено замотивировать клиента совершить определённое действие. Для подведения результатов кампании аналитику необходимо собрать все целевые действия, совершённые в определённый период после коммуникации.

Что считать целевым действием

Данный вопрос актуален как для RTM, так и для классического целевого маркетинга.
В ряде случаев в качестве целевого действия можно принять то, что транслируется клиенту в тексте предложения, например:

1. Оформи кредитную карту Visa Gold и получи повышенный cashback.
2. Соверши покупку на сумму от N рублей и получи удвоенные бонусы.

Однако в первом примере для сценария удержания целью должно служить не приобретение карты как таковой, а перевод клиента в активную базу. Оформление карты Visa Gold здесь служит лишь наиболее релевантным, по мнению банка, способом достижения цели.
Клиент же, получив предложение, может заинтересоваться продуктовой линейкой и выбрать для себя более подходящий продукт, что также будет соответствовать цели кампании.
Таким образом, более точная оценка эффективности кампании может быть достигнута, если анализировать действия клиента, коррелирующие с конечной целью кампании.

Во втором примере анализ только на основе выполнения условий акции может показать ложноотрицательный эффект. Например, если целевая группа увеличила транзакционную активность, но условие “N рублей” выполнило слишком мало клиентов. В этом случае кампанию по увеличению транзакционной активности полезно дополнительно оценивать по объёмным показателям.

В подобных кампаниях также интересен эффект в постпериоде, характеризующий инерционное увеличение трат клиента в будущем уже без воздействия предложений.

Всегда существует ряд особенностей бизнес-процесса, которые также необходимо учитывать для корректной оценки результатов. Например, при оформлении кредитных продуктов необходимо сделать поправку на:

• Процесс одобрения: если карта на финальном этапе может быть не одобрена клиенту, то в качестве целевого действия альтернативой оформлению карты может служить подача заявки на одобрение карты. В этом случае в отчётности можно разделить эффективность кампании от эффективности операционных процессов.
• Мотивацию сотрудников офисов и КЦ: сотрудники, которым поставлены KPI на оформление новых продуктов, могут сами предлагать клиенту закрыть его карту и выпустить новую. Такие действия способны смещать объективную оценку как в лучшую, так и в худшую сторону. Данный кейс пересекается с вопросом оценки каннибализации продаж, о котором в ближайшее время также планируем написать статью.

В течение какого периода анализировать действия клиента

В идеальном мире отклик клиента должен следовать сразу за коммуникацией и однозначно определять результативность сформированного предложения. Однако в реальности совершение клиентом целевого действия может иметь отложенный эффект. К примеру, после получения условий по карте клиент может взять время обдумать предложение, сравнить его с предложениями конкурентов и принять решение через неделю.

Спустя несколько дней уже сложно достоверно определить, клиент выполнил целевое действие благодаря коммуникации, привлекательной наружной рекламе или исключительно по собственной инициативе. Именно поэтому отклик клиента на предложение часто называют косвенным откликом.

В случае RTM иногда можно решить эту задачу за счёт краткосрочности акции. Предложив клиенту совершить покупку у партнёра именно сегодня, пока клиент находится в ТЦ, можно с большой степенью уверенности относить совершённые покупки к доставленным коммуникациям.

Если же кампания позволяет воспользоваться предложением спустя некоторое время, то необходимо определить логику отнесения действия к возможному результату воздействия коммуникации. Как правило, такая логика может определяться:

• экспертно,
• статистически.

Экспертная оценка периода может строиться на субъективных гипотезах. По нашему опыту, для расчёта срока сбора откликов обращают внимание на 3 фактора:

• Канал коммуникации. Гипотеза: вряд ли клиент вспомнит о предложении из email спустя неделю. А коммуникация через звонок может отложиться на более долгое время.
• Продукт оформления. Гипотеза: для оформления кредита клиенту может потребоваться сбор документов в течение пары недель, в то время как для получения дебетовой карты достаточно только желания.
• Канал оформления. Клиенты могут отличаться по каналам взаимодействия: кто-то больше доверяет отделениям, кто-то предпочитает мобильное приложение. Гипотеза: если клиент заинтересован в предложении, то время на оформление в digital-каналах будет меньше, чем время на обращение в офис.

Экспертная оценка не может претендовать на абсолютную объективность, но позволяет предложить решение в отсутствие накопленной и подтверждённой статистики о влиянии предложений на продажи.

Оценка на основе статистики является более точной, но требует накопления данных о причинах продажи. Получить такие данные можно из:

• опросов клиентов “Как вы узнали о предложении?”,
• прямых переходов из SMS и email по ссылке в личный кабинет на страницу оформления,
• использования промокодов при оформлении предложений.

Как в любой выборке, в накопленной статистике могут быть статистические выбросы в виде клиентов, которые решили воспользоваться предложением спустя 2 месяца, в то время как 95% воспользовавшихся клиентов оформили продукт уже на следующий день. Те периоды времени, которые попадают в оставшиеся 5%, не представляют значительного интереса для учёта в периоде сбора откликов, и такие периоды, как правило, исключаются.

Для более точного определения допустимого периода статистику можно совместить с “экспертными” факторами и декомпозировать её на периоды для каждого продукта, канала коммуникации, канала оформления и т. д. Обязательным условием в этом случае является достаточный объём данных в каждой группе для того, чтобы результаты были статистически значимы.

Формирование КГ и ЦГ

Как и в случае с классическим целевым маркетингом, в RTM к выделению контрольной группы предъявляется три основных требования:

1. Контрольная группа должна быть достаточно большой, чтобы отклик в ней обеспечивал статистическую значимость.
2. Контрольная группа должна быть как можно меньше, чтобы не нести издержек в виде недополученной прибыли с “замороженных клиентов”.
3. Контрольная и целевая группы должны быть похожи (однородны) по профилю клиентов, чтобы обеспечивать сравнимость показателей.

В этом вопросе специфика RTM проявляется в большей степени, поскольку менеджер кампании не знает заранее, сколько клиентов попадёт в сценарий и какой у них будет профиль.

Разберём несколько способов выделения и учёта контрольных групп, которые встречались на практике или в теоретической проработке.

1. Случайное отнесение
Самым простым способом отбора контрольной группы является отнесение к ней каждого N-го клиента, попавшего в сценарий.
Минусы способа лежат на поверхности, перечислю основные из них:

1. В случае редкого попадания клиентов в сценарий контрольная группа и отклик в ней может оказаться слишком маленькими, чтобы делать на её основе достоверные выводы.
2. Случайное отнесение может не обеспечить однородность групп по ключевым метрикам клиентов.

Первую проблему можно решить, увеличив долю клиентов, отправляемых в КГ на начальном периоде работы сценария, пока не наберётся достаточное число.
Вторую проблему можно решить, добавив в процесс выделения КГ предварительную стратификацию (см. ниже).

2. Случайное отнесение со стратификацией

Суть способа заключается в следующем:

1. Выбрать интересующий параметр однородности (например, срок пользования картой).
2. Определить несколько сегментов по непересекающимся условиям, например:

1. Сегмент 1: до 1 года,
2. Сегмент 2: от 1 до 2 лет,
3. Сегмент 3: от 2 до 3 лет,
4. Сегмент 4: от 3 лет.

Желательно, чтобы группы в итоге оказались примерно равными по количеству клиентов. Добиться этого можно проанализировав статистику по клиентам, которые попадали под условия ЦА в последние периоды.

3.При попадании клиента в сценарий, определить его группу, а затем отнести его к КГ или ЦГ, набирая необходимую долю участников в каждой группе.

Какие ещё проблемы могут возникать с выделением контрольных групп?

1. Ротация групп в случае повторных событий клиента.

Данный кейс я встретил у одного из наших заказчиков. Суть сценария была в следующем:

• при входе на сайт клиент определялся в контрольную или целевую группу,
• клиенты ЦГ получали баннер с персональным предложением,
• клиенты КГ видели на сайте базовую информацию,
• кампания предполагала возможность воспользоваться предложением в течение месяца со дня показа.

Вопрос заключался в том, как работать с клиентами, которые заходят на сайт регулярно:

• если после каждого входа на сайт продлевать нахождение клиента в ЦГ/КГ, то клиент постоянно будет находиться в одной и той же группе;
• если фиксировать клиента в ЦГ/КГ ровно на 1 месяц с момента первого показа, то может происходить ситуация, когда клиент под завершение периода ЦГ получает коммуникацию, а через день уже оказывается в КГ.

Одним из возможных вариантов в данной задаче могла быть статистическая оценка 95-го процентиля длительности периода оформления предложения после его отображения и сокращение периода действия предложения до этого значения.

Например: 95% клиентов пользуются предложением в течение 3 дней после показа рекламы. Исходя из этого, можно сократить срок действия предложения и нахождения в КГ/ЦГ до 3 дней.

1. Участие клиента в нескольких кампаниях.

Достаточно часто встречается ситуация, когда при расчёте эффекта кампании выясняется, что клиент, попавший в целевую группу в кампании А, также попал в контрольную группу кампании B и получил маркетинговую коммуникацию. При работе сценария RTM важно проверять, что клиент, который был отнесён в ЦГ или КГ, не получал параллельно коммуникаций других кампаний, и корректировать расчёт эффекта, если такое происходило.

Существуют статистические методы, позволяющие определять предложения, не влияющие друг на друга с точки зрения конверсии, однако без проведения данного анализа результат расчёта эффективности может иметь погрешность.

Итоги
Подводя итоги, можно сказать, что Real-Time Marketing позволяет компании моментально реагировать на события в жизни клиента, повышая эффективность взаимодействия, а клиенту – получать релевантные и своевременные предложения.

RTM имеет свою специфику оценки эффективности, хотя в отдельных вопросах можно переиспользовать практики, принятые в классическом целевом маркетинге.

В завершение запишу небольшой чек-лист оценки сценариев RTM:

• При оценке работы сценария необходимо правильно подбирать метрики достижения результата.
• При оценке конверсии в контрольной и целевой группах следует уделять внимание определению периода заморозки клиентов и периода сбора откликов.
• При проработке методологии необходимо комбинировать экспертные гипотезы и статистические расчёты.

Как и в случае с классическим целевым маркетингом, в RTM к выделению контрольной группы предъявляется три основных требования:

1. Контрольная группа должна быть достаточно большой, чтобы отклик в ней обеспечивал статистическую значимость.
2. Контрольная группа должна быть как можно меньше, чтобы не нести издержек в виде недополученной прибыли с “замороженных клиентов”.
3. Контрольная и целевая группы должны быть похожи (однородны) по профилю клиентов, чтобы обеспечивать сравнимость показателей.

В этом вопросе специфика RTM проявляется в большей степени, поскольку менеджер кампании не знает заранее, сколько клиентов попадёт в сценарий и какой у них будет профиль.
Разберём несколько способов выделения и учёта контрольных групп, которые встречались на практике или в теоретической проработке.
1. Случайное отнесение
Самым простым способом отбора контрольной группы является отнесение к ней каждого N-го клиента, попавшего в сценарий.
Минусы способа лежат на поверхности, перечислю основные из них:

1. В случае редкого попадания клиентов в сценарий контрольная группа и отклик в ней может оказаться слишком маленькими, чтобы делать на её основе достоверные выводы.
2. Случайное отнесение может не обеспечить однородность групп по ключевым метрикам клиентов.

Первую проблему можно решить, увеличив долю клиентов, отправляемых в КГ на начальном периоде работы сценария, пока не наберётся достаточное число.
Вторую проблему можно решить, добавив в процесс выделения КГ предварительную стратификацию (см. ниже).
2. Случайное отнесение со стратификацией