Часто конкурентным преимуществом бизнеса становится скорость ответной реакции — это выводит на первый план процессы по автоматизации мониторинга «голосов потребителей” в режиме реального времени. Однако в погоне за выслушанным отзывом и “тушением пожаров» не всегда остается место аналитике. О том, какие инсайты для продуктовых аналитиков и бизнес-направлений о работе банка и его ближайших конкурентов можно построить на основе открытых отзывов, поделилась команда Customer Experience GlowByte.
Зачем анализировать отзывы
Стандартные программные решения по управлению обратной связью (EFM) заточены на оперативность и омниканальность сбора отзывов. Однако односторонний взгляд на собственные клеймы не позволяет получить общую картину. Систематизация отзывов дает возможность оценить, насколько банк оперативен в обратной связи на фоне лидеров рынка, за что организацию чаще хвалят, а теперь ругают или как часто ближайшие конкуренты сталкиваются с жалобами на аналогичные проблемы.
Сводный анализ с выделением сквозных микротем в отзывах клиентов помимо мониторинга и конкурентного сопоставления позволяет выйти на более общее понимание поведения клиентов — сколько обычно хейтеров и фанатов на таких площадках, какова серьезность их жалоб — низкие баллы по работе приложения одного банка могут совпадать с лидером рынка, но критичность жалоб может иметь разную природу — «верните темную схему” в сравнении с “сделайте уже оплату по QR-коду и избавьте от необходимости идти в отделение, чтобы открыть вклад». Такая относительность рейтингов и оценок клиентов нуждается в погружении в общий контекст и выделении инсайтов из типичных ситуаций негативного клиентского опыта.
О том, какие инсайты можно почерпнуть из отзывов клиентов для банковского сектора в целом, мы и поделимся далее в статье.
О каких данных речь
Мы использовали две самые крупные специализированные площадки с отзывами о банках — banki.ru и сравни.ру и отзывы от пользователей мобильных приложений в Appstore и Play Маркет.
С помощью парсера мы собрали все оставленные отзывы от первых дней работы площадок до октября 2020 года. Исторический период для сайтов с отзывами имеет более 15 лет наблюдений, мобильные приложения — от момента регистрации их в магазине приложений (в среднем стартовая точка — 2018 год).
В общей сложности мы собрали более 600 тысяч отзывов о более чем 850 финансовым организациям. Для дальнейшего анализа мы отобрали топ-25 банков по объему активов и имеющие на открытых площадках не менее 1000 отзывов.
Предварительная обработка данных состояла из двух этапов: тематическое моделирование для выделения бизнес-категорий и моделирование тональности текстов.
Задача первого этапа заключалась в том, чтобы выйти за рамки встроенных макротем отзывов — типичный отзыв предопределяется пользователем в одну из 10 обобщенных категорий — «Вклад”, «Кредитные карты», “Ипотека» и пр. — и не позволяет определить суть проблемы клиента и, главное, мониторить частоту их возникновения. Для нас была важна возможность учитывать контекст отзыва с учетом банковской специфики и интерпретируемость результата — мы перепробовали не один алгоритм текстовой аналитики, начиная с простых n-грамм tf–idf, латентного размещения Дирехле (LDA) и остановились на векторизации слов, рассчитанной на основе всех собранных отзывов о банках, и применении алгоритма FastText, разработанного лабораторией Facebook.
Задача второго этапа была в восстановлении тональности отзывов — около трети текстов пользователей на просматриваемых сайтах остаются без оценки. Стандартные методы анализа тональности «позитив-нейтрально-негатив» дают разметку преимущественно нейтрального характера, которая мало пригодна для понимания жалоб и благодарностей. Чтобы восстановить оценки по 5-балльной шкале мы воспользовались регрессионным прогностическим моделированием с применением градиентного бустинга LightBLM. Этот алгоритм позволил получить оценки от 1 до 5 баллов с 90-95% точностью.
Дополненная оценка тональности, как правило, относится к негативным отзывам — две трети отзывов без цифровой отметки рейтинга классифицируются как «отрицательные”. Без разметки весомая часть обратной связи о качестве обслуживания уходит в “слепую зону».
Результаты
Что люди пишут в отзывах
Не секрет, что триггером для оставления обратной связи чаще всего служит негативный клиентский опыт. 7 из 10 оставленных отзывов на banki.ru и sravni.ru имеют отрицательную окраску (от 1 до 3 баллов из 5). При этом банки охотнее реагируют на посты с благодарностями — среди позитивных отзывов 83% получили ответ от официальных представителей, отзывы с жалобами — 77%.
Высокий уровень отклика на публичные отзывы со стороны компаний говорит об сформировавшейся культуре взаимодействия с клиентами — на протяжении последних 5 лет более 90% отзывов принимаются банками к рассмотрению.
Насколько хорошо команда банка справляется с «тушением пожаров» может показать анализ поведения других игроков. Для этой задачи можно использовать конкурентный анализ — он позволяет зафиксировать положение дел в публичном пространстве — насколько банк покрывает ответной реакцией комментарии клиентов с учетом веса общего негативного фона вокруг бренда.
Чем выше скорость реакции и ниже доля негативных комментариев в целом, тем благоприятнее положение банка («зеленая зона»).
«Желтая зона» — зона потенциала — в ней при высокой доле негативных отзывов есть непокрытые точки коммуникации, на которые стоит обратить внимание вслед за лидерами рынка.
«Красная зона» — банки с неудовлетворительными показателями работы с обратной связью — покрытие ответами в ней остается ниже, чем среди топовых банков.
Лидером по этим критериям является банк «Тинькофф», который имеет, с одной стороны, наименьшую долю критики и максимальный охват коммуникации по отзывам с жалобами — с другой.
Углубляясь в сопоставление позиций разных игроков, собранные отзывы дают возможность определить те продуктовые категории, по которым есть отставание от лидеров, и тех услуг, по которым наблюдается негативная динамика.
Единая тематическая разметка данных позволяет фиксировать болевые точки как на фоне внутренней динамики банка, так и отделять общий неблагоприятный фон на рынке в целом. Так, пандемия 2020 года из-за нестабильного материального положения российских семей усилила проблему с выплатами кредитов. Введение государственных мер поддержки с «ипотечными каникулами» усилило чувство неопределенности у клиентов — несвоевременность информации о правилах и процедурах их оформления повышали беспокойство держателей займов. Этот всплеск негатива виден на графике многих банков, но учитывая общий контекст — это проблема не столько конкретной организации, сколько неопределенность условий в экономике в целом.
Пример с динамикой доли негативных отзывов клиентов на сайтах banki.ru и sravni.ru в категории “Ипотека”
Негатив негативу рознь: относительность восприятия изменений
Неотъемлемой частью управления клиентским опытом становится оцифровка эмоций человека. Говоря о рейтингах и оценках (по 5 звездам, 0 до 10 баллов в замерах NPS и пр.), мы переводим впечатления клиентов в количественные шкалы. Но если с точки зрения математики «пять» — это всегда «пять», то в отношении человеческих эмоций эти показатели довольно относительны.
По этой причине часто подвергаются критике индексы лояльности клиентов (как и любые оценки, основанные на опросах) — одно и то же значение, например, 6 баллов из 10 может нести диаметрально противоположные смыслы — для высоко требовательного клиента — это может быть проявлением похвалы бренду, а для клиента, разочаровавшимся в сервисе, это будет высказыванием застенчивого недовольства.
Помимо очевидных различий в восприятии шкал между людьми существует более сложная проблема соотношения изменений. Когда человек решает дать оценку, он необозримо сравнивает текущее состояние с предыдущим опытом, например, что его теперь приветствуют в районной кофейне и помнят ли про его любимый напиток. Однако улучшения воспринимаются нелинейно — здесь вступает в силу закон Вебера — Фехтера — психофизиологический закон, который заключается в том, что интенсивность ощущения чего-либо прямо пропорциональна логарифму интенсивности раздражителя.
Если говорить простыми словами, то он показывает относительность изменений — если вы сильно пересолили суп, положив сначала половину пачки соли, а потом досыпали оставшуюся часть пачки и снова попробовали, то вы не так сильно почувствуете изменение во вкусе блюда, поскольку суп для вас итак уже сильно пересолен. Но если вы обычно кладете 1 ложку соли, а сейчас случайно положили две, то это отличие во вкусе вы почувствуете острее.
Мониторинг рейтинга банков и сопоставления их в оси координат других банков ярко показывает действие этого закона. Возьмем для примера два банка, выпустивших мобильное приложение — Тинькофф Банк и Россельхозбанк. Один из них — лидер по клиентоориентированности цифровых сервисов, другой — занимает отстающие позиции (по оценкам Markswebb). По оценкам пользователей самой массовой в России платформе Android их средние значения оказываются близки — 4.7 и 4.3 по 5-балльной шкале. Однако за схожестью этих оценок совершенно разное восприятие уровня сервиса и его изменений.
Расчет оценок среди клиентов, оставивших текстовые отзывы, позволяет выстроить динамику рейтинга банков. У Тинькофф банка на фоне высоких позиций наблюдается зона падения рейтинга в период зимы 2019-2020 годов — в этой точке банк приближается по восприятию к оценкам стабильно менее довольных клиентов Россельхозбанка.
Но если взглянуть вглубь отзывов клиентов, то можно увидеть, что именно в этот период Тинькофф запускает супер приложение, существенно расширяя функционал, а также добавляет формат «историй». Критика, обрушившаяся оценки, связана с тем, что разработчики выкатили новую версию без привычной темной темы.
«Была темная; стала светлая; я чуть не ослеп» (декабрь 2019, 3 балла)
“Темная тема — черная; а не темная! Яркий синий цвет элементов в ней бьет по глазам. Требовалось полгода чтобы только заменить цвет фона и даже это не смогли сделать нормально. Истории до сих пор полностью отключить нельзя (не после просмотра!). А теперь ещё и баннеры. С каждым днём приложение все говнистее (март 2020, 3 балла)
«Ну что; ребята; скоро сможем из приложения такси вызывать; и шаверму заказывать; спасибо Олегу; и Яндексу за это?» (1 балл, декабрь 2019)
В то же самое время за что ставят аналогичные оценки пользователи Россельхозбанка:
«Легче пойти своими ножками в банк и заплатить наличкой; чем пользоваться этим недоразумением. Из за этого приложения ушла в просрочку по ипотеке. Никому не советую» (февраль 2020, 1 балл)
«Приложение чисто для проверки баланса; ничего большего сделать не может!» (февраль 2020, 1 балл)
При этом, выпущенное обновление приложения Россельхозбанка летом 2020 года, дало существенный скачок в оценках, приблизив восприятие до схожего уровня как у Тинькофф Банка — несмотря на то, что оно все еще далеко от приложения лидера.
«За последние пол года приложение действительно улучшилось и вышло на новый уровень. Унылое; тормозное; неудобное и сырое приложение; постоянно тупящее; с кучей неработающих настроек — именно таким оно было поначалу. Но сегодня это уже действительно достойный сервис; многое было исправлено в лучшую сторону. Неделю назад например пожаловался; что не работает корректировка шаблона для перевода денег с карты на карту (приходилось постоянно вводить данные карт; если сумму перевода в шаблоне требовалось изменить); а сегодня обновился и все работае! »
«Здравствуйте! Спасибо что исправили приложение; теперь можно смотреть информацию по кредиту и кредитной карте!»
«Спасибо; после обновление; Россельхозбанк перестал вылетать. Как и обещал ставлю 5+.»
Так небольшие улучшения значимо повысили удовлетворенность клиентов, тогда как масштабные изменения функционала, напротив, повысили недовольство клиентов за счет исключения небольшого, но привычного элемента дизайна.
Управление клиентскими ожиданиями становится более трепетной историей, чем простое и постепенное улучшение оказываемого сервиса. Реконструкция восприятия клиентов и понимания того, что стоит за каждой оценкой, дает почву для выстаивания более точечного клиентского взаимодействия и прогнозирования/купирования болевых зон.
В этом помогает тематическое моделирование категорий, которые выделяются даже путем естественного применения машинного обучения. Более гибкая настройка интересующих топиков для мониторинга, которую может выделить опытный аналитик, даст больший прирост понимания, как меняется восприятие собственных клиентов и ближайших конкурентов. В этом широкий потенциал для банков с точки зрения работы оцифровки клиентских болей без проведения дополнительных опросов.
Оставаясь только в зоне реагирования на клеймы клиентов банковский сектор не использует ресурс «мудрости толпы». Текстовая аналитика с алгоритмами машинного обучения может служить мощным инструментом для общего видения конъюнктуры рынка, более широкого взгляда на проблемы и зоны роста сектора.