“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS
С момента выхода в свет в Harvard Business Review нашумевшей статьи Фреда Райхельда «Одна цифра, которую вам нужно знать для роста» [1] прошло уже почти 20 лет. За это время мир клиентского опыта стал немыслим без мониторинга лояльности клиентов NPS (Net Promoter Score). Динамика поисковых запросов Google Trends свидетельствует о продолжающейся популярности индекса по всему миру.
Рис. 1 Динамика популярности запросов по ключевому слову ‘NPS score’ по всему миру с 2004 года по данным Google Trends (дата обращения 10.02.2023)
Возведя в золотой стандарт простой вопрос «Насколько вероятно, что вы порекомендуете нашу компанию вашим друзьям или знакомым», улучшение клиентского опыта порой превращается в гонку за высокими показателями индекса: менеджеры больше увлечены самой гонкой, а не исходным смыслом предложенной методики по удержанию клиентов. В медицинской аналогии: сбивание высокой температуры приемом аспирина может не дать гарантий, что пациент выживет, а сам по себе ответ «чувствую себя хорошо» или «плохо» может не иметь ничего общего с реальным самочувствием клиента.
Рис. 2. Усталость респондентов от опросов об удовлетворенности [3]
Метрика набрала в свои ряды как множество сторонников, так и значимую и скептически настроенную долю противников. Простота методики, о которой заявляли нам ее авторы, разбивается о камень, когда на практике 60–80% клиентов из тех, кто в итоге перешел к конкуренту, непосредственно перед этим сказали, что они довольны работой компании и с большой долей вероятности готовы рекомендовать ее остальным. В результате многие практики скептически относятся к NPS и сетуют о нулевой полезности этой метрики.
Зачастую плохая интерпретируемость NPS связана с нарушением методических этапов замеров или невниманием к особенностям этого инструмента.
В этом материале в формате вредных советов мы, команда Customer Experience (СX) GlowByte, рассмотрим, какие подводные камни в измерении NPS видят академические исследователи и что можно предпринять, чтобы нивелировать их проявление.
Совет 1. Давайте сделаем 5-балльную шкалу как в школе, эти громоздкие шкалы никому непонятны
Сторонники простых шкал ратуют за удобство для респондентов и стремятся максимально снизить их размерность. Классическая шкала от 0 до 10 баллов часто подменяется ее “младшим братом”, где из шкалы исключается 0. Эта простая манипуляция математически увеличивает долю промоутеров и снижает долю детракторов (шансы стать промоутером становятся уже 2/10 = 20% вместо 2/11 = 18%, а детрактором – 6/10 = 60% вместо 7/11 = 63%) . На общем индексе NPS это может давать прирост более 5 пунктов.
Помимо этого, урезание нулевого значения превращает шкалу от 1 до 10 в «четную» без явной середины (в отличие от 11-балльной шкалы, где есть срединное значение 5 баллов). Это приводит к уменьшению выраженности нейтральной позиции. При наличии нейтрально настроенной аудитории это также будет завышать долю промоутеров и итоговый показатель NPS.
Зачастую плохая интерпретируемость NPS связана с нарушением методических этапов замеров или невниманием к особенностям этого инструмента.
В этом материале в формате вредных советов мы, команда Customer Experience (СX) GlowByte, рассмотрим, какие подводные камни в измерении NPS видят академические исследователи и что можно предпринять, чтобы нивелировать их проявление.
Совет 1. Давайте сделаем 5-балльную шкалу как в школе, эти громоздкие шкалы никому непонятны
Сторонники простых шкал ратуют за удобство для респондентов и стремятся максимально снизить их размерность. Классическая шкала от 0 до 10 баллов часто подменяется ее “младшим братом”, где из шкалы исключается 0. Эта простая манипуляция математически увеличивает долю промоутеров и снижает долю детракторов (шансы стать промоутером становятся уже 2/10 = 20% вместо 2/11 = 18%, а детрактором – 6/10 = 60% вместо 7/11 = 63%) . На общем индексе NPS это может давать прирост более 5 пунктов.
Помимо этого, урезание нулевого значения превращает шкалу от 1 до 10 в «четную» без явной середины (в отличие от 11-балльной шкалы, где есть срединное значение 5 баллов). Это приводит к уменьшению выраженности нейтральной позиции. При наличии нейтрально настроенной аудитории это также будет завышать долю промоутеров и итоговый показатель NPS.
Рис. 3. Шансы быть детрактором и промоутером в шкалах с разной градацией
Но настоящая магия происходит при использовании пятибалльной шкалы. Здесь целое поле для творчества: требуется самоопределение, какие оценки относить к детракторам, нейтралам и промоутерам по аналогии с 11-балльной шкалой. Наибольший эффект будет, если мы сохраним трехмерную градацию и будем использовать разницу между “хорошими” оценками 4–5 (промоутеры) и “неудовлетворительными” 1–2 (детракторы). Математически мы более чем вдвое увеличиваем вероятность опрошенного быть промоутером (2/5 баллов ~40%) в сравнении с оригинальной шкалой (2/11 баллов ~18%) и снижаем шансы респондента быть детрактором (с 63% до 40%). Даже если следовать рекомендациям [2] к приведению пяталльной шкалы NPS и считать промоутерами только ответы “отлично” (5), а критиками – оценки удовлетворительно и ниже (1, 2, 3), то, как и в случае с 10-балльной шкалой, все равно происходит завышение доли промоутеров и снижение доли детракторов (см. рис. 3).
Эксперименты [4] со шкалами разной гранулярности подтверждают, что значения NPS могут меняться на диаметральные при расчете по 11-балльной и 5-балльной шкалам. Чем меньше градаций, тем вероятнее, что итоговый индекс будет смещен в позитивную сторону.
Методологические эксперименты исследователей [5] из университета Пенсильвании показывают меньшую надежность и валидность шкал с малой размерностью. Результаты сопоставлений трех-, пяти- и семибалльных шкал с 11-балльными шкалами дают не только различия в критериях качества замеряемых метрик, но и сильно уступают в коэффициентах корреляции с ключевыми признаками.
Иными словами, 11-балльная шкала имеет преимущества с точки зрения поиска взаимосвязей и несет меньшие смещения в сравнении с четными (10-балльными) или менее гранулярными шкалами.
Совет 2. Задизайнить анкету, чтобы было все наглядно: “где хорошо, а где плохо”
Визуальное оформление опросника все чаще становится средством борьбы за повышенный отклик (response rate). В погоне за простотой и наглядностью для респондента применяются разные представления шкалы: цветовые выделения градаций для детрактора, нейтрала или промоутера, использование грустных и веселых смайликов. Обзор результатов исследований показывает, что оформление также влияет на восприятие шкалы.
Джефф Сауро [6] сравнил результаты ответов при использовании обычной бесцветной шкалы и шкалы, где визуально выделены три зоны – детракторы, нейтралы и промоутеры. Его исследования были проведены на небольших выборках, но они показывают, что при использовании цветных шкал происходит завышение доли промоутеров и снижение доли детракторов в среднем на 3–5 процентных пункта в сравнении с обычной шкалой.
Эксперименты [4] со шкалами разной гранулярности подтверждают, что значения NPS могут меняться на диаметральные при расчете по 11-балльной и 5-балльной шкалам. Чем меньше градаций, тем вероятнее, что итоговый индекс будет смещен в позитивную сторону.
Методологические эксперименты исследователей [5] из университета Пенсильвании показывают меньшую надежность и валидность шкал с малой размерностью. Результаты сопоставлений трех-, пяти- и семибалльных шкал с 11-балльными шкалами дают не только различия в критериях качества замеряемых метрик, но и сильно уступают в коэффициентах корреляции с ключевыми признаками.
Иными словами, 11-балльная шкала имеет преимущества с точки зрения поиска взаимосвязей и несет меньшие смещения в сравнении с четными (10-балльными) или менее гранулярными шкалами.
Совет 2. Задизайнить анкету, чтобы было все наглядно: “где хорошо, а где плохо”
Визуальное оформление опросника все чаще становится средством борьбы за повышенный отклик (response rate). В погоне за простотой и наглядностью для респондента применяются разные представления шкалы: цветовые выделения градаций для детрактора, нейтрала или промоутера, использование грустных и веселых смайликов. Обзор результатов исследований показывает, что оформление также влияет на восприятие шкалы.
Джефф Сауро [6] сравнил результаты ответов при использовании обычной бесцветной шкалы и шкалы, где визуально выделены три зоны – детракторы, нейтралы и промоутеры. Его исследования были проведены на небольших выборках, но они показывают, что при использовании цветных шкал происходит завышение доли промоутеров и снижение доли детракторов в среднем на 3–5 процентных пункта в сравнении с обычной шкалой.
Рис. 5. Результаты сопоставления шкал с использованием градиента, цветных блоков и обычной шкалы в опросе NPS
Более изысканные дизайны шкал часто предполагают замену скучной шкалы на звездочки, смайлики, сердечки и др. Группа нидерландских исследователей не обошла стороной и эту тему. В серии экспериментов [7] они проследили, как воспринимают такие эффекты сами респонденты – насколько им легче и быстрее удается проходить опросы, и как это отражается на итоговых оценках удовлетворенности изучаемых явлений.
Визуальные элементы шкалы действительно встречают более одобрительные оценки от участников опросов (лидером здесь являются шкалы-смайлики) – респонденты меньше тратят времени на выбор ответа и дают более высокие оценки дизайну и в целом опыту участия в опросе.
Однако при ответах на содержательные вопросы смайлики дают наибольшее смещение в сторону положительных ответов, чем сердечки и звездочки. Авторы связывают отчасти это с тем, что у лиц есть изображения тональности (от грустного, нейтрально до веселого смайла), тогда как другие символические фигуры лишены такой визуальной силы. В результате звездочки и сердечки дают более приближенные к обычной шкале оценки (рис. 4а), чем позитивно смещенные смайлы.
Совет 3. Менять порядок вопросов
Метрики, которые находятся в регулярном мониторинге, чувствительны к порядку расположения в анкете. Тут есть два лагеря: сперва задавать общий NPS-вопрос, а дальше конкретизировать удовлетворенность разными компонентами или, напротив, сначала выяснять, насколько клиент доволен детальными составляющими услуги/ продукта и результирующим вопросом узнавать сам NPS.
Исследователи [8] из университета Мельбурна и Michigan Business School оценили влияние порядка задавания вопроса NPS и пришли к выводу, что расположение в конце анкеты задает более полярные и экстремальные ответы, чем если этот вопрос идет в начале. Они советуют использовать подход от общего к частному для продуктов/ услуг с низким вовлечением клиента (например, ежедневная покупка продуктов питания) и идти от оценки атрибутов до общего NPS для высокововлеченных и комплексных продуктов (например, покупка техники, машины и пр.).
В любом случае порядок вопросов может влиять на итоговый индекс NPS, и для сопоставимости данных его лучше не менять.
Совет 4. Сделать все вопросы обязательными для ответа
NPS часто идет в паре с вопросом “Что мы можем улучшить в нашей работе” и ответом в свободной форме. Если дополняющий открытый вопрос запрограммирован так, что его нельзя пропустить, это станет препятствием для части клиентов. Респонденты с большой неохотой дают развернутые ответы или ответы, требующий определенных усилий. Исследователи из Pew Research проанализировали [9] свою статистику отклика по онлайн-панели American Trends Panel на открытые вопросы и выявили, что в среднем 18% респондентов отказываются отвечать или пропускают такие вопросы, а по некоторым темам этот показатель варьируется от 3% до 50%.
Иначе говоря, делая такие вопросы обязательными, мы можем потерять около 20% оценок NPS. В результате это приводит к тому, что мы получаем так называемый “шум” – короткие и поверхностные ответы (“все супер”, “все ок”, “не знаю” и пр.) – и теряем тех, у кого к нам несколько абзацев претензий, но нет времени и желания тратить на них усилия. На выходе – NPS снова на незаслуженно завышенных позициях.
Совет 5. Забить на отклик, главное – оценки высокие
Классический замер NPS охватывает только текущих клиентов. Яркий пример такого смещения – сеть универмагов Kmart, описанная в книге Wallet Allocation Rule [10]. За всю историю замеров наибольший индекс удовлетворенности у нее наблюдался в момент банкротства. Причиной такой несостыковки стало то, что все недовольные клиенты уже перешли к конкурентам и перестали пользоваться услугами компании, а в базе остались наиболее лояльные, которые были готовы оставаться вместе с Kmart до конца.
Рекомендацией для таких случаев является включение в выборку клиентов, которые перестали пользоваться брендом (в качестве процентного соотношения к выборке текущих клиентов можно ориентироваться на средний отток клиентов), или задавать r-NPS всем, кто что-либо знает или слышал о компании без учета текущего опыта пользования брендом.
Для более достоверных результатов лучше периодически дополнять традиционные каналы сбора обратной связи пусть и дорогими, но более эффективными способами достижения отклика от “молчунов” или игнорирующих push- или email-рассылки. Опыт GlowByte показывает, что привлечение колл-центра позволяет увеличить отклик до 30% в сравнении с 2% отправки через email. На выходе больший охват аудитории дает увеличение представленности детракторов и в целом более дифференцированные ответы, чем преобладание крайних ответов (0-1 баллов и 9-10 баллов).
Таким образом, при низком отклике желательно периодически (хотя бы раз в год) делать замеры по тем, кто не отвечает на регулярные рассылки, для выравнивания понимания, насколько оценки неотвечающих совпадают с теми, на ком мы обычно выстраиваем NPS.
Совет 6. Задарить плюшками во благо высокого отклика
Другая крайность действий при низком отклике – затопить ее вознаграждениями: пообещать скидку на товар, бонусы или другие приятные сюрпризы для клиента. Эксперименты [11] показывают, что бонусы действительно увеличивают процент откликнувшихся на приглашение к опросу, но эффект таких стимулов ограничен. При этом бесконтрольная раздача бонусов может, напротив, вредить собираемой выборке. Если условный пряник слишком выгоден респонденту, то это может давать два вида смещений:
Совет 7. Собираем выборку как можем – главное, что ответов много!
Как и любой опрос, замер NPS крайне чувствителен к принципу отбора клиентов. Если мы присоединяем к опросу новый сегмент клиентов, например, к выборке оффлайновых магазинов добавляем покупателей из интернет-магазина, показатели NPS могут снизиться за счет того, что это более молодая аудитория с повышенными требованиями к сервису, или, наоборот, вырасти, так как интернет-доставка есть только в мегаполисах, где уровень сервиса выше, чем в региональных оффлайн-сторах.
Если из волны к волне выборка формируется хаотично, то динамика показателя становится плохо интерпретируемой. Одним из способов нивелирования является расчет показателей для однородных групп (например, по каждому сегменту отдельно – оффлайн и онлайн) или перевзвешивание итоговой совокупности для выравнивания структуры опрошенных (если соотношение онлайн и оффлайн покупок 40% к 60% в январе, а в августе 70% к 30%, то совокупный индекс за месяц можно перевзвесить с учетом актуальной структуры клиентов).
Совет 8. Какая разница, что ответили 13 человек, зато они очень ценные, каждый – на вес золота
Немаловажно, что NPS также чувствителен к размеру выборки. Чем меньше количество опрошенных, тем менее точные оценки мы получаем. На малых выборках вклад каждого ответившего в итоговый показатель становится более значимым. Покажем это на простых расчетах (таблицы 1 и 2).
Скажем, в первом квартале в каждом месяце собирали по 100 ответов (табл. 1). В феврале (допустим) 5 человек не получили обещанный бонус и дали нам вместо привычных 9-10 баллов по 6 баллов. Этот простой переход настроений 5 человек на выходе дает нам колебания NPS в 20 пунктов. Предположим, что в следующем месяце негативные эмоции немного притихли и эта пятерка ставит уже по 7-8 баллов. На выходе это дает NPS 45 баллов (+15 к прошлому месяцу). То есть мнение 5 людей становится крайне весомым при учете итогового рейтинга. При выборке в 1000 чел. аналогичные колебания 5 человек будут на уровне 1 пункта (см. табл. 2).
Визуальные элементы шкалы действительно встречают более одобрительные оценки от участников опросов (лидером здесь являются шкалы-смайлики) – респонденты меньше тратят времени на выбор ответа и дают более высокие оценки дизайну и в целом опыту участия в опросе.
Однако при ответах на содержательные вопросы смайлики дают наибольшее смещение в сторону положительных ответов, чем сердечки и звездочки. Авторы связывают отчасти это с тем, что у лиц есть изображения тональности (от грустного, нейтрально до веселого смайла), тогда как другие символические фигуры лишены такой визуальной силы. В результате звездочки и сердечки дают более приближенные к обычной шкале оценки (рис. 4а), чем позитивно смещенные смайлы.
Совет 3. Менять порядок вопросов
Метрики, которые находятся в регулярном мониторинге, чувствительны к порядку расположения в анкете. Тут есть два лагеря: сперва задавать общий NPS-вопрос, а дальше конкретизировать удовлетворенность разными компонентами или, напротив, сначала выяснять, насколько клиент доволен детальными составляющими услуги/ продукта и результирующим вопросом узнавать сам NPS.
Исследователи [8] из университета Мельбурна и Michigan Business School оценили влияние порядка задавания вопроса NPS и пришли к выводу, что расположение в конце анкеты задает более полярные и экстремальные ответы, чем если этот вопрос идет в начале. Они советуют использовать подход от общего к частному для продуктов/ услуг с низким вовлечением клиента (например, ежедневная покупка продуктов питания) и идти от оценки атрибутов до общего NPS для высокововлеченных и комплексных продуктов (например, покупка техники, машины и пр.).
В любом случае порядок вопросов может влиять на итоговый индекс NPS, и для сопоставимости данных его лучше не менять.
Совет 4. Сделать все вопросы обязательными для ответа
NPS часто идет в паре с вопросом “Что мы можем улучшить в нашей работе” и ответом в свободной форме. Если дополняющий открытый вопрос запрограммирован так, что его нельзя пропустить, это станет препятствием для части клиентов. Респонденты с большой неохотой дают развернутые ответы или ответы, требующий определенных усилий. Исследователи из Pew Research проанализировали [9] свою статистику отклика по онлайн-панели American Trends Panel на открытые вопросы и выявили, что в среднем 18% респондентов отказываются отвечать или пропускают такие вопросы, а по некоторым темам этот показатель варьируется от 3% до 50%.
Иначе говоря, делая такие вопросы обязательными, мы можем потерять около 20% оценок NPS. В результате это приводит к тому, что мы получаем так называемый “шум” – короткие и поверхностные ответы (“все супер”, “все ок”, “не знаю” и пр.) – и теряем тех, у кого к нам несколько абзацев претензий, но нет времени и желания тратить на них усилия. На выходе – NPS снова на незаслуженно завышенных позициях.
Совет 5. Забить на отклик, главное – оценки высокие
Классический замер NPS охватывает только текущих клиентов. Яркий пример такого смещения – сеть универмагов Kmart, описанная в книге Wallet Allocation Rule [10]. За всю историю замеров наибольший индекс удовлетворенности у нее наблюдался в момент банкротства. Причиной такой несостыковки стало то, что все недовольные клиенты уже перешли к конкурентам и перестали пользоваться услугами компании, а в базе остались наиболее лояльные, которые были готовы оставаться вместе с Kmart до конца.
Рекомендацией для таких случаев является включение в выборку клиентов, которые перестали пользоваться брендом (в качестве процентного соотношения к выборке текущих клиентов можно ориентироваться на средний отток клиентов), или задавать r-NPS всем, кто что-либо знает или слышал о компании без учета текущего опыта пользования брендом.
Для более достоверных результатов лучше периодически дополнять традиционные каналы сбора обратной связи пусть и дорогими, но более эффективными способами достижения отклика от “молчунов” или игнорирующих push- или email-рассылки. Опыт GlowByte показывает, что привлечение колл-центра позволяет увеличить отклик до 30% в сравнении с 2% отправки через email. На выходе больший охват аудитории дает увеличение представленности детракторов и в целом более дифференцированные ответы, чем преобладание крайних ответов (0-1 баллов и 9-10 баллов).
Таким образом, при низком отклике желательно периодически (хотя бы раз в год) делать замеры по тем, кто не отвечает на регулярные рассылки, для выравнивания понимания, насколько оценки неотвечающих совпадают с теми, на ком мы обычно выстраиваем NPS.
Совет 6. Задарить плюшками во благо высокого отклика
Другая крайность действий при низком отклике – затопить ее вознаграждениями: пообещать скидку на товар, бонусы или другие приятные сюрпризы для клиента. Эксперименты [11] показывают, что бонусы действительно увеличивают процент откликнувшихся на приглашение к опросу, но эффект таких стимулов ограничен. При этом бесконтрольная раздача бонусов может, напротив, вредить собираемой выборке. Если условный пряник слишком выгоден респонденту, то это может давать два вида смещений:
- Подсаживание аудитории на получение бонусов. Единожды пройдя опрос респондент может рассматривать следующие приглашения к опросу как повод для получения бонуса. В результате выборка начинает смещаться в “профессиональных” промоутеров, которые кочуют из замера к замеру.
- Задабривание аудитории. Если о бонусе известно заранее, это может формировать более позитивный настрой для респондента, после которого сложнее ругать компанию, даже если у тебя к ней были небольшие претензии.
Совет 7. Собираем выборку как можем – главное, что ответов много!
Как и любой опрос, замер NPS крайне чувствителен к принципу отбора клиентов. Если мы присоединяем к опросу новый сегмент клиентов, например, к выборке оффлайновых магазинов добавляем покупателей из интернет-магазина, показатели NPS могут снизиться за счет того, что это более молодая аудитория с повышенными требованиями к сервису, или, наоборот, вырасти, так как интернет-доставка есть только в мегаполисах, где уровень сервиса выше, чем в региональных оффлайн-сторах.
Если из волны к волне выборка формируется хаотично, то динамика показателя становится плохо интерпретируемой. Одним из способов нивелирования является расчет показателей для однородных групп (например, по каждому сегменту отдельно – оффлайн и онлайн) или перевзвешивание итоговой совокупности для выравнивания структуры опрошенных (если соотношение онлайн и оффлайн покупок 40% к 60% в январе, а в августе 70% к 30%, то совокупный индекс за месяц можно перевзвесить с учетом актуальной структуры клиентов).
Совет 8. Какая разница, что ответили 13 человек, зато они очень ценные, каждый – на вес золота
Немаловажно, что NPS также чувствителен к размеру выборки. Чем меньше количество опрошенных, тем менее точные оценки мы получаем. На малых выборках вклад каждого ответившего в итоговый показатель становится более значимым. Покажем это на простых расчетах (таблицы 1 и 2).
Скажем, в первом квартале в каждом месяце собирали по 100 ответов (табл. 1). В феврале (допустим) 5 человек не получили обещанный бонус и дали нам вместо привычных 9-10 баллов по 6 баллов. Этот простой переход настроений 5 человек на выходе дает нам колебания NPS в 20 пунктов. Предположим, что в следующем месяце негативные эмоции немного притихли и эта пятерка ставит уже по 7-8 баллов. На выходе это дает NPS 45 баллов (+15 к прошлому месяцу). То есть мнение 5 людей становится крайне весомым при учете итогового рейтинга. При выборке в 1000 чел. аналогичные колебания 5 человек будут на уровне 1 пункта (см. табл. 2).
Таблица 1. Пример расчета NPS для выборки N=100 чел. при условных колебаниях ответов 5 чел.
Таблица 2. Пример расчета NPS для выборки N=1000 чел. при условных колебаниях ответов 5 чел.
Для получения более устойчивых оценок можно использовать скользящее среднее (на 1-2 периода), что позволяет увеличить размер анализируемой выборки. Так, в нашем примере это делает колебания более сглаженными – без резких пиков (табл. 1, нижняя строка).
Отслеживание динамики требует от менеджеров прикладного ответа, насколько падение на 4-5 пп. в с сравнении с предыдущим периодом является критичным ухудшением или улучшением?
Для этого помогут доверительные интервалы, диапазоны колебаний с учетом ошибки. Чем они «уже», тем более точные оценки оцениваемого параметра мы получаем. Американский статистик Б. Рокс [12] сравнивал качество шести методов расчета доверительных интервалов NPS, опираясь на более чем тысячи распределений NPS на основе реальных данных опросов. Его сопоставления показали, что наиболее узкий доверительный интервал дает Adjusted-Wald (3, T).
Расчеты довольно простые: добавляем константу 3 к размеру выборки (n), ¾ к количеству детракторов и промоутеров, а затем вычисляем интервал, используя стандартную ошибку, основанную на дисперсии разницы двух пропорций.
Готовый калькулятор для расчета есть у MeasuringU [13], который позволяет отличить сезонные колебания от действительно значимых падений или прироста индекса.
Совет 9. Бенчмарки наше все: сравниваем себя с другими странами, лучше с японцами
Методика NPS неодинаково работает в разных отраслях, особенно там, где клиенты эмоционально не вовлечены в процесс принятия решения о покупке (например, как при покупке полиса ипотечного страхования или при обращении к стоматологу в случае острой зубной боли) (Baehre et al, 2021 [14]).
Готовность рекомендовать как индикатор приверженности бренду не является универсальной и имеет культурологические особенности. По данным международных сопоставлений Qualtrics XM Institute [15], в Японии клиенты не готовы рекомендовать даже те компании, которые им очень нравятся. В Индии, напротив, не принято критиковать – про компании, которыми клиенты не очень довольны, респонденты все равно не готовы плохо говорить. Это стоит учитывать при гетерогенной аудитории, например, если вы работаете в регионах с разной культурой. В таком случае лучше делать сопоставления group-by-group и смотреть на динамику показателей, чем на прямое сравнение показателей в динамике.
Отслеживание динамики требует от менеджеров прикладного ответа, насколько падение на 4-5 пп. в с сравнении с предыдущим периодом является критичным ухудшением или улучшением?
Для этого помогут доверительные интервалы, диапазоны колебаний с учетом ошибки. Чем они «уже», тем более точные оценки оцениваемого параметра мы получаем. Американский статистик Б. Рокс [12] сравнивал качество шести методов расчета доверительных интервалов NPS, опираясь на более чем тысячи распределений NPS на основе реальных данных опросов. Его сопоставления показали, что наиболее узкий доверительный интервал дает Adjusted-Wald (3, T).
Расчеты довольно простые: добавляем константу 3 к размеру выборки (n), ¾ к количеству детракторов и промоутеров, а затем вычисляем интервал, используя стандартную ошибку, основанную на дисперсии разницы двух пропорций.
Готовый калькулятор для расчета есть у MeasuringU [13], который позволяет отличить сезонные колебания от действительно значимых падений или прироста индекса.
Совет 9. Бенчмарки наше все: сравниваем себя с другими странами, лучше с японцами
Методика NPS неодинаково работает в разных отраслях, особенно там, где клиенты эмоционально не вовлечены в процесс принятия решения о покупке (например, как при покупке полиса ипотечного страхования или при обращении к стоматологу в случае острой зубной боли) (Baehre et al, 2021 [14]).
Готовность рекомендовать как индикатор приверженности бренду не является универсальной и имеет культурологические особенности. По данным международных сопоставлений Qualtrics XM Institute [15], в Японии клиенты не готовы рекомендовать даже те компании, которые им очень нравятся. В Индии, напротив, не принято критиковать – про компании, которыми клиенты не очень довольны, респонденты все равно не готовы плохо говорить. Это стоит учитывать при гетерогенной аудитории, например, если вы работаете в регионах с разной культурой. В таком случае лучше делать сопоставления group-by-group и смотреть на динамику показателей, чем на прямое сравнение показателей в динамике.
Рис. 6. Результаты сопоставления индекса NPS среди тех, кто ответил, что компания нравится/ не нравится по выборке потребителей из 18 стран N=17,509 из Qualtrics XM Institute Q1 2021 Global Consumer Study
Совет 10. Чем проще, тем лучше (и один в поле воин)
Если авторы методики завещали, что NPS – это одна цифра, которую нам нужно знать для роста, то зачем задавать еще батарею мучительных и детальных вопросов: чем люди довольны, чем мы хуже конкурентов?
Основная масса аргументов лежит в плоскости доказательной связи этой метрики с реальным поведением клиента. Родоначальники подхода в своей работе опирались на исторические данные, а не на потребительские действия клиентов в будущем. Последующие исследования показали слабую взаимосвязь намерения рекомендовать компанию с показателями ее выручки, тратами клиентов и долей бренда в их кошельке [16, 17]. Сравнивая NPS другими метриками удовлетворенности клиентов, академические исследователи приходят к выводу, что зачастую они предсказывают бизнес-показатели несколько лучше, чем вопрос о намерении рекомендовать бренд или компанию (van Doorn et al, 2013) [18].
Исследователи Keiningham, Aksoy, Williams, Buoye [10] предложили альтернативную аналитическую рамку для анализа лояльности клиентов. Она опирается на схожие принципы – клиента просят оценить готовность рекомендовать компанию и ее конкурентов. Но вместо подсчета индекса NPS авторы предлагают использовать ранги: какое место по этой оценке компания занимает на фоне остальных. В отличие от классического подхода, этот показатель дает больший вклад в объяснение взаимосвязи с выручкой компании, чем просто абсолютное значение NPS.
Если авторы методики завещали, что NPS – это одна цифра, которую нам нужно знать для роста, то зачем задавать еще батарею мучительных и детальных вопросов: чем люди довольны, чем мы хуже конкурентов?
Основная масса аргументов лежит в плоскости доказательной связи этой метрики с реальным поведением клиента. Родоначальники подхода в своей работе опирались на исторические данные, а не на потребительские действия клиентов в будущем. Последующие исследования показали слабую взаимосвязь намерения рекомендовать компанию с показателями ее выручки, тратами клиентов и долей бренда в их кошельке [16, 17]. Сравнивая NPS другими метриками удовлетворенности клиентов, академические исследователи приходят к выводу, что зачастую они предсказывают бизнес-показатели несколько лучше, чем вопрос о намерении рекомендовать бренд или компанию (van Doorn et al, 2013) [18].
Исследователи Keiningham, Aksoy, Williams, Buoye [10] предложили альтернативную аналитическую рамку для анализа лояльности клиентов. Она опирается на схожие принципы – клиента просят оценить готовность рекомендовать компанию и ее конкурентов. Но вместо подсчета индекса NPS авторы предлагают использовать ранги: какое место по этой оценке компания занимает на фоне остальных. В отличие от классического подхода, этот показатель дает больший вклад в объяснение взаимосвязи с выручкой компании, чем просто абсолютное значение NPS.
Следуя заветам Райхельда и оставаясь с одной цифрой NPS, мы не можем ответить на вопрос “Что нам нужно сделать, чтобы улучшить NPS”. Методика WAR, напротив, включает оценку драйверов, которые снижают или повышают нашу долю в кошельке клиента, и позволяет посмотреть на сильные и слабые стороны наших конкурентов. В нашем примере по исследованию онлайн-сервисов по доставке еды и продуктов (демо-исследование GlowByte) наглядно видно, что когда мы смотрим на драйверы NPS, они не совпадают с тем, что заставляет нашего покупателя больше покупать у конкурентов (Share of Wallet, SOW).
Рис. 7. Оценка вкладов драйверов в рост NPS и Share of Wallet (SoW)
Вместо заключения: такой простой, но сложный NPS
Приводя в пример 10 вредных советов, мы хотели показать, что простые, на первый взгляд, элементы NPS играют важную роль в силе полезности этого инструмента. Оторванность от реальности этого показателя зачастую является рукотворным процессом.
Несмотря на критику академических ученых и скептицизм ряда специалистов-практиков, исследователи продолжают адаптировать методику для получения возможности анализа драйверов роста компании. В качестве рекомендаций по проведению NPS-замеров можно выделить следующие несколько шагов:
Совет 11. Давайте исключим из рассмотрения те ответы, что нам не нравятся / кажутся нелогичными
Речь, конечно, не о ботах, которые пишут по 1000 одинаковых отзывов с одного IP – для их отлавливания используют специализированные средства. Тут, как и в физике, важно стремиться к тому, чтобы погрешность измерительного прибора была минимальной. Речь о других примерах – в своём опыте мы встречали предложения по корректировке методики NPS вида:
Список источников:
Приводя в пример 10 вредных советов, мы хотели показать, что простые, на первый взгляд, элементы NPS играют важную роль в силе полезности этого инструмента. Оторванность от реальности этого показателя зачастую является рукотворным процессом.
Несмотря на критику академических ученых и скептицизм ряда специалистов-практиков, исследователи продолжают адаптировать методику для получения возможности анализа драйверов роста компании. В качестве рекомендаций по проведению NPS-замеров можно выделить следующие несколько шагов:
- использовать NPS в совокупности с другими метриками клиентского опыта (транзакционные замеры, CES и пр.);
- анализировать динамику однородных групп с расчетом доверительных интервалов и корректным взвешиванием получаемых результатов;
- использовать, например, Wallet Allocation Rule в качестве дополнительной аналитической рамки;
- минимизировать смещения выборки или калибровать ее структуру;
- использовать нечетные шкалы с большим количеством градаций;
- стремится к меньшему влиянию дизайна и цветовых шкал в анкетах.
Совет 11. Давайте исключим из рассмотрения те ответы, что нам не нравятся / кажутся нелогичными
Речь, конечно, не о ботах, которые пишут по 1000 одинаковых отзывов с одного IP – для их отлавливания используют специализированные средства. Тут, как и в физике, важно стремиться к тому, чтобы погрешность измерительного прибора была минимальной. Речь о других примерах – в своём опыте мы встречали предложения по корректировке методики NPS вида:
- “а давайте оценку “5” от пенсионеров будем засчитывать за оценку “10”, они просто советской закалки и не понимают 11-ти бальную шкалу”;
- “а если клиент поставил “0” и не дал комментариев, то давайте исключать такие оценки – явно “тролль” какой-то и его мнение не конструктивно”.
- “раз мы верим, что пенсионерам не дается 11-балльная шкала, то давайте тогда исключать все оценки выше 5”;
- “может, тогда не стоит учитывать оценки в 10 баллов без развернутых комментариев – они тоже не дают никакого существенного ответа на вопрос «почему вы поставили такую оценку»”.
Список источников:
- Frederick F. Reichheld. The One Number You Need to Grow//Harvard Business Review, December 2003. URL: https://hbr.org/2003/12/the-one-number-you-need-to-grow
- Net Promoter Score (NPS) by Survey Lab URL: https://www.surveylab.com/en/help/survey-questions/net-promoter-score-nps/
- Customer satisfaction survey fatigue URL: https://marketoonist.com/2018/10/satisfaction.html
- NPS – The one number you’re (probably) doing wrong //Blog by Loop11, 4Febrary 2016 URL: https://www.loop11.com/nps/
- Duane F. Alwin. Feeling Thermometers Versus 7 Point Scales: Which are Better?//Sociological Methods & Research 25(3):318-340. February 1997 URL: https://www.researchgate.net/publication/249693886_Feeling_Thermometers_Versus_7Point_Scales_Which_are_Better
- Jeff Sauro. Does Coloring Response Categories Affect Responses? October 23, 2019 URL: https://measuringu.com/coloring-responses/
- Vera Toepoel, Brenda Vermeeren, Baran Metin. Smileys, Stars, Hearts, Buttons, Tiles or Grids: Influence of Response Format on Substantive Response, Questionnaire Experience and Response Time //Bulletin de méthodologie sociologique: BMS 142(1):57-74. April 2019 URL: https://www.researchgate.net/publication/332365946_Smileys_Stars_Hearts_Buttons_Tiles_or_Grids_Influence_of_Response_Format_on_Substantive_Response_Questionnaire_Experience_and_Response_Time
- Seigyoung Auh, Linda Court Salisbury, Michael D. Johnson. Order Effects in Customer Satisfaction Modelling //Journal of Marketing Management, Volume 19, Issue 3-4 (2003), pp.379-400 URL: https://www.tandfonline.com/doi/abs/10.1080/0267257X.2003.9728215
- Dorene Asare-Marfo. Why do some open-ended survey questions result in higher item nonresponse rates than others?// Pew Research Center, Oct 14, 2021 URL: https://medium.com/pew-research-center-decoded/why-do-some-open-ended-survey-questions-result-in-higher-item-nonresponse-rates-than-others-7fabc4a1c328
- Timothy L. Keiningham, Lerzan Aksoy, Luke Williams, Alexander J. Buoye. The Wallet Allocation Rule: Winning the Battle for Share Hardcover, February 2, 2015 URL: https://www.amazon.com/Wallet-Allocation-Rule-Winning-Battle/dp/111903731X
- Eleanor Singer, Cong Ye. The Use and Effects of Incentives in Surveys//American Academy of Political and Social Science, Volume 645, Issue 1, November 26, 2012 URL: https://healthpolicy.ucla.edu/chis/tac2015/Documents/SDSM%20TAC/Singer_Ye_2013.pdf
- Brendan Rocks. Interval Estimation for the “Net Promoter Score” //The American Statistician, Volume 70, 2016 - Issue 4, Pages 365-372 URL: https://www.tandfonline.com/doi/abs/10.1080/00031305.2016.1158124
- Jeff Sauro. Confidence Interval Calculator for a Completion Rate URL: https://measuringu.com/calculators/wald/
- Sven Baehre, Michele o'dwyer, Lisa O'Malley, Nick Lee. The use of Net Promoter Score (NPS) to predict sales growth: insights from an empirical investigation //Journal of the Academy of Marketing Science,July 2021. URL: https://www.researchgate.net/publication/353007311_The_use_of_Net_Promoter_Score_NPS_to_predict_sales_growth_insights_from_an_empirical_investigation
- Bruce Temkin.Talia Quaadgras, Calibrating NPS Across 18 Countries, Qualtrics XM Institute, May 2021 URL: https://www.qualtrics.com/m/www.xminstitute.com/wp-content/uploads/2021/05/2105_CalibratingNPSAcross18Countries_FINAL.pdf
- Morgan, N.A. and Rego, L.L. (2006) The Value of Different Customer Satisfaction and Loyalty Metrics in Predicting Business Performance. Marketing Science, 25, 426-439; URL: https://www.researchgate.net/publication/257527259_The_Value_of_Different_Customer_Satisfaction_and_Loyalty_Metrics_in_Predicting_Business_Performance
- Keiningham, Cooil and Andreassen 2007 A Longitudinal Examination of Net Promoter and Firm Revenue Growth//Journal of Marketing, Volume 71, Issue 3, URL: https://journals.sagepub.com/doi/abs/10.1509/jmkg.71.3.039
- Jenny van Doorn a, Peter S.H. Leeflang a b, Marleen Tijs. Satisfaction as a predictor of future performance: A replication //International Journal of Research in Marketing, Volume 30, Issue 3, September 2013, Pages 314-318 URL: https://www.sciencedirect.com/science/article/abs/pii/S0167811613000463
© 2022
ГК "ГлоуБайт" работает в рамках
ИТ ОКВЭД: 62.01
В ГК "ГлоуБайт" входят:
ООО "ГлоуБайт Аналитические Решения" (ИНН: 9729274905)
ООО "ГлоуБайт Лаборатория данных" (ИНН: 9729285230)
ООО "ГлоуБайт"
(ИНН: 7703379427)
ООО "ГлоуБайт Маркетинговые решения" (ИНН: 9729317556)
ООО "ГлоуБайт Софт"
(ИНН: 9709067058)
ООО "Управляющая компания ГлоуБайт" (ИНН: 9729272908)
ООО "Адастра"
(ИНН: 7724850206)
Ресепшн +7 495 640-66-78
Email contact@gbconsulting.ru
Адрес 105064, Москва, Нижний Сусальный переулок, дом 5с19
Для резюме job@glowbyteconsulting.com
Политика конфиденциальности https://glowbyteconsulting.com/policy
ГК "ГлоуБайт" работает в рамках
ИТ ОКВЭД: 62.01
В ГК "ГлоуБайт" входят:
ООО "ГлоуБайт Аналитические Решения" (ИНН: 9729274905)
ООО "ГлоуБайт Лаборатория данных" (ИНН: 9729285230)
ООО "ГлоуБайт"
(ИНН: 7703379427)
ООО "ГлоуБайт Маркетинговые решения" (ИНН: 9729317556)
ООО "ГлоуБайт Софт"
(ИНН: 9709067058)
ООО "Управляющая компания ГлоуБайт" (ИНН: 9729272908)
ООО "Адастра"
(ИНН: 7724850206)
Ресепшн +7 495 640-66-78
Email contact@gbconsulting.ru
Адрес 105064, Москва, Нижний Сусальный переулок, дом 5с19
Для резюме job@glowbyteconsulting.com
Политика конфиденциальности https://glowbyteconsulting.com/policy
Решения
Карьера и события