Привет!
Меня зовут Кристина Лукьянова, и я бизнес-аналитик в компании GlowByte.
Хочу поговорить об А/Б-тестах, а именно — об альтернативном способе их проведения, который не требует расчета p-value. Так что это за способ и какое применение в нем нашла теорема Байеса?
Два подхода к А/Б-тестамСуть А/Б-теста заключается в проведении контролируемого эксперимента между сопоставимыми группами для проверки различных гипотез.
Например, мы хотим понять, стоит ли внедрять новую модель подбора предложений. Для этого нужно сравнить конверсии по новой и старой модели. В таком случае в ходе А/Б-теста для одной группы мы делаем предложения по старой модели, для другой — по новой. А далее сравниваем конверсии в группах и принимаем решение о том, какая группа лучше.
Чаще всего в основе А/Б-тестов лежит
фреквентистский, или частотный подход. Он основан на расчете значения p-value.
P-value — это вероятность получить значение статистики критерия равное наблюдаемому или более экстремальное по сравнению с наблюдаемым при условии, что верна нулевая гипотеза об отсутствии разницы в группах.
На практике интерпретировать ее можно так: если p-value меньше 0,05 или другого порога, то нулевую гипотезу можно отвергнуть в пользу альтернативной.
Этот подход полезен тем, что:
- для него есть много готовых библиотек;
- мы заранее фиксируем размер выборок, на котором будет виден эффект;
- для принятия решения достаточно только значения p-value.
Несмотря на достоинства частотный подход имеет и ограничения:
- сроки теста фиксированы, «подглядывать» в процессе тестирования не рекомендуется;
- результат оценивается только бинарно — есть или нет значимые отличия;
- P-value имеет непонятную для бизнеса интерпретацию и не показывает вероятность того, что один вариант лучше другого.
Альтернатива частотному подходу —
байесовский. Он делает А/Б-тест более гибким: позволяет не фиксировать сроки теста, использовать более понятные и количественные метрики.
В статистике давно ведутся споры между фреквентистами и байесианцами. Дело в том, что они по-разному смотрят на неопределенность мира.
Фреквентисты предполагают: «Допустим, что мир такой. Тогда какова вероятность, что произойдет это событие?». Для них не важны другие гипотетические миры, где такое же событие могло происходить с другой частотой.
Для байесианцев важны альтернативные миры, они пытаются ответить на вопрос: «Чему равна вероятность того, что мир устроен согласно этой гипотезе?». Поэтому байесианцы рассматривают неизвестные величины как некоторые распределения, а не как точечные оценки.
Алгоритм проведения А/Б-теста по байесовскому подходуНиже изображена общая схема проведения А/Б теста по байесовскому подходу.