Доходной части. Экономия на издержках и рост выручки формируется из трех частей:
(1) экономия на трудозатратах аналитиков при проведении тестов, а также на трудозатратах, связанных с согласованием тестов (не во всех, но в ряде компаний согласование само по себе дорогостоящий для бизнеса этап, и сокращение времени на него - существенное сокращение костов);
(2) увеличение числа экспериментов и более быстрое нахождение продукт-маркет-фит (сюда включаем стоимость скидок, которые мы тестируем, и всех связанных с тестами расходов);
(3) возможность принимать более надежные решения и рост доверия к алгоритму принятия решений.
Расходной части, то есть стоимости решения. Если вы делаете решение сами, то это зарплата аналитиков, инженеров и менеджеров проекта. Если вы нанимаете консультантов, то посмотрите в договор, во сколько вам это обошлось.
Из перечисленных пунктов очевидно, что оценить расходы несложно, а из экономии на издержках и потенциальном росте выручки проще всего посчитать пункт (1). То есть сэкономленное время аналитиков на тестах, их дизайне, мониторинге и подведении итогов. Однако не надо быть очень продвинутым бизнес-аналитиком, чтобы понять: затраты на стоимость масштабного или даже не очень масштабного решения по А/Б тестам не окупятся за год экономии на трудозатратах аналитиков. Есть сомнения, что это произойдет и за два года.
Потенциальная выгода от системного решения по А/Б тестам кроется в пунктах (2) и (3). Там все сложнее, но перейдем к ним.
Как посчитать доходность от роста числа экспериментов?
Хочу еще раз вернуться к логической посылке, с которой я начала статью: любое решение по А/Б тестам - это инструмент, точно также как стакан – это инструмент, при помощи которого мы пьем вино. Вино из-за стакана не меняется, оно или хорошее, или плохое. Другими словами: если у продуктоунеров все идеи из рук вон плохи, система по А/Б тестам не поможет бизнесу, и денег больше не будет. Хотя хорошо настроенная система А/Б тестов поможет это быстрее и дешевле узнать, что в итоге может привести к профиту. Но хорошие идеи для профита все равно нужны.
Также с точки зрения доходности и законов статистики возможна такая ситуация, что алгоритм проведения А/Б тестирования нарушает методологию экспериментов от А до Я, но в силу теорвера – читай: удачной случайности – решения принимались верные. И «тесты» приносили деньги. Бизнес может расти и при плохих А/Б тестах. (Дешевое вино иногда бывает очень хорошим.)
Поэтому для оценки доходности от роста числа экспериментов в результате системного решения по А/Б тестам нам надо обратиться к байесу и ответить на каверзные вопросы:
- Какова доля хороших идей из предложений продуктоунеров?
- Если число тестов увеличится в Х раз в год, доля хороших идей сохранится?
- Если тесты проводятся сейчас, и есть уверенность, что не идеально, то какова доля тестов, которые завалили из-за неидеальной методологии?
- Сколько в среднем нам приносит одно улучшение?
Дальше необходимо прикинуть, насколько улучшится ситуация с новым системным решением. Подставляем значения в фразу:
За 2023 год мы проведем N тестов. Из них ?% тестов будет правильными с методологической точки зрения и, согласно установленным нами ошибкам первого и второго рода, верными будут N тестов, из которых ?% будут успешными идеями с средней доходностью в N рублей. При этом неуспешные тесты составляют ?% и обходятся нам на ?% дешевле, в итоге наши расходы на неуспешные тесты упали на ?%.Остается подвести дебет с кредитом, то есть посмотреть, покрывают ли потенциальные доходы от успешных тестов и их раскатки на всю базу расходы на провалившиеся.
Потом как умудренные опытом аналитики мы должны добавить еще два сценария: похуже и получше.
Сценарий похуже: идеи у продуктоунеров начали иссякать, а доходность с каждой новой инициативы снижается. Это, кстати, логично и соответствует экономической теории: лишь на ранних этапах построения бизнеса инициативы приносят значимый и видный невооруженным взглядом прирост прибыли. С развитием бизнеса все больше инноваций инкрементальные, и их важность на коротком горизонте без статистических методов не видна.
Важное уточнение. Успешный тест успешному рознь? Да, при прогнозировании следует различать изменения. Есть такие, которые имеют долгосрочный эффект, а есть те, которые успешны на коротком горизонте. Ведь к ряду изменений клиенты привыкают. Хорошо настроенная система А/Б тестов особенно важна для последних: хорошо, если поставлен на конвейер поиск маленьких инкрементальных и, может быть, не очень долго приносящих прибыль изменений. Ведь если их много, то это значимый прирост для бизнеса.Сценарий получше (или, как его любят называть, оптимистичный): с ростом опыта проведения А/Б тестов продуктоунеры стали придумывать идеи получше, а простота тестирования позволила проверить идеи, которые раньше лежали в беклоге. Некоторые из них оказались очень успешными.
Как оценить доверие к методике в деньгах?
Доверие – бесценно. На больших проектах задействовано много классных специалистов, которым важно понимать, что если их мнение или предложение не было учтено, то это было сделано обоснованно. А/Б тестирование – это именно тот инструмент, который заставляет договориться о базовых, понятных всем и прозрачных принципах оценки инициатив, позволяет быстрее принимать решения, не спорить и сохранить рабочую атмосферу.
При смене ключевых игроков или целых команд результаты проведенных ранее тестов – если методика прозрачна, понятна и соответствует законам статистики – позволяют продолжить на том же моменте, где была прервана работа. Новой команде не нужно тестировать те же самые гипотезы, которые тестировала прежняя команда.
Единая методика в компании исключает споры и разногласия между отделами при тестировании. Тогда как в ситуации, когда каждый отдел тестирует как ему захочется, такие случаи бывают. Доверять результатам тестирования своей родной модели по методике, которая тебе не понятна – очень сложно.
Все перечисленное – это значительная экономия времени, сохранение атмосферы и команды. (Читай: давайте сэкономим на hr))).
Выводов почти нет, точнее их мало. Рассчитать доходность от системного решения для А/Б тестов сложно. Оценка доходности системного решения для А/Б тестов зависит от того, насколько хорошо эксперт понимает бизнес-процессы компании. Любая оценка будет экспертной.
Поэтому универсальный ответ: методика А/Б тестов не влияет на доходность напрямую, точно так же, как стоимость стакана на качество вина.
Однако не стоит забывать, что – как указывает нам
Seth Godin – стоимость стакана влияет на восприятие вина. Точно так же понятная и прозрачная методика проведения экспериментов способна положительно повлиять на множество бизнес процессов:
- Снижается время time to market проверки гипотез;
- Эффективнее используется клиентская база при тестировании (читай: снижается число клиентов в каждом конкретном тесте);
- Ниже загрузка аналитиков, ведь дизайн и подведение итогов тестов реализуется из коробки;
- Методологическая консистентность, которая гарантирует доверие и непрерывный процесс при смене команды;
- В целом меньше сил тратится на тестирование, а значит их больше остается для других вопросов развития продукта.
И все же: хотя измерить сложно, я верю, что эффект от хорошей методики А/Б тестирования более значим, чем влияние дорогого стакана на вкус вина. Правильная методика А/Б тестов точно к деньгам.