ГлавнаяИнструментыA/B-тестирование
Инструменты для A/B-тестирования: значимость и размер выборки
Всё вокруг эксперимента: решить, какую гипотезу стоит проверять, посчитать размер выборки и длительность до запуска, а затем правильно прочитать результат — частотным или байесовским методом. Формулы показаны, результатом можно поделиться ссылкой.
Инструменты в подборке
- Калькулятор RICE и ICE
Какие задачи бэклога брать первыми по RICE или ICE?
- Калькулятор эффекта активации
Сколько выручки принесёт рост активации?
- Калькулятор воронки конверсии
На каком шаге воронки теряются пользователи и какой шаг чинить первым?
- Калькулятор A/B-тестов
Значима ли разница между A и B и сколько пользователей нужно для теста?
- Калькулятор выборки
Сколько ответов нужно опросу при заданной погрешности?
Когда они нужны
Перед запуском A/B-теста
Отсортируйте гипотезы по ICE или RICE, найдите шаг воронки с наибольшими потерями и оцените, сколько выручки стоит ожидаемый прирост.
Проведение теста и чтение результата
Посчитайте размер выборки и длительность, затем проверьте значимость, доверительный интервал и вероятность превосходства над контролем. Для опросов — размер выборки по погрешности.
Частые вопросы
Как посчитать статистическую значимость A/B-теста?
Введите посетителей и конверсии A и B. Калькулятор выполнит z-тест для двух долей и покажет p-value, относительный прирост с доверительным интервалом и то, значима ли разница на выбранном уровне.
Сколько пользователей нужно для A/B-теста?
Зависит от базовой конверсии, минимального обнаруживаемого эффекта, уровня значимости и мощности. При базовой конверсии 5%, относительном приросте 10%, значимости 95% и мощности 80% нужно примерно 31 000 пользователей на вариант.
Частотный или байесовский подход — что выбрать?
Частотный тест контролирует долю ложноположительных результатов, если размер выборки зафиксирован заранее. Байесовский режим даёт вероятность того, что B лучше A, и ожидаемые потери — это проще объяснить. Калькулятор поддерживает оба.
Можно ли остановить тест, как только он стал значимым?
Нет. Подглядывание и ранняя остановка завышают долю ложноположительных результатов. Доведите тест до запланированной выборки или используйте метод, рассчитанный на последовательные проверки.
Как выбрать, какой эксперимент запускать первым?
Оцените идеи по ICE или RICE, сфокусируйтесь на шаге воронки с наибольшей абсолютной потерей и оцените эффект ожидаемого прироста в выручке — чтобы тест стоил своего трафика.
Проверена ли статистика?
Да. Распределения сверены с высокоточными эталонами, размер выборки — с калькулятором Эвана Миллера, байесовская вероятность — с точной формулой и моделированием Монте-Карло.
Смежные подборки
Продуктовая аналитика
Метрики воронки, активации, удержания и выручки с формулами и ориентирами.
Инструментов: 10Открыть →Growth-маркетинг
Юнит-экономика, вирусность, ссылки для привлечения и конверсия из триала в оплату.
Инструментов: 14Открыть →UX-исследования
Размер выборки опроса и расчёт NPS, CSAT, CES, SUS и модели Кано.
Инструментов: 5Открыть →