Как проводить A/B-тесты туров и онбординга в Clew
Clew умеет показывать разным посетителям две версии одного тура и считать, сколько человек дошли до конца в каждой. Разберём тест целиком: что менять, сколько его держать, как читать цифры и как раскатить победителя, ничего не сломав.
- Время
- ● 20 минут на настройку, 1–4 недели на тест
- Кто делает
- Продакт или маркетолог с правами редактора в Clew
- Шагов
- 6
Пошагово
- Шаг 01
Запишите гипотезу и одну метрику
До редактора запишите одно предложение: «Если изменить X, то больше людей сделают Y, потому что Z». Например: «Если первым пунктом чеклиста поставить Пригласить коллегу вместо Заполнить профиль, чеклист будут проходить чаще, потому что ценность видна раньше».
Заранее выберите одну главную метрику. Внутри Clew это доходимость тура: уникальные посетители, прошедшие его до конца, делённые на уникальных посетителей, которые его увидели. Меняйте что-то одно — текст, порядок или число шагов, — иначе не поймёте, какое изменение сработало.
Шаг 1 · схема интерфейса - Шаг 02
Создайте вариант B в редакторе тура
Откройте тур в разделе Туры, разверните блок A/B-тест внизу редактора и переключите Тест в Включён. Нажмите Клонировать из A: вариант B начнётся с точной копии текущих шагов, и править придётся только то, что меняет гипотеза.
У варианта B свои шаги: элемент (селектор), расположение, заголовок и текст, а число шагов может отличаться. У варианта B могут быть и свои цвета: включите Цвета варианта B и задайте фон, текст, рамку, акцент и скругление теми же палитрами, что и у темы тура; переключатель A / B в предпросмотре показывает любой вариант. Чтобы проверить только цвета, в поле Содержимое варианта B выберите Те же шаги, что у A (тестируем только цвета). Всё остальное у двух вариантов общее: формат, условие показа, страницы, правила аудитории и частота.
Шаг 2 · схема интерфейса - Шаг 03
Оцените размер выборки и срок
Откройте калькулятор A/B-тестов, вкладка Выборка и срок. Введите текущую доходимость тура как базовую конверсию (она есть в статистике тура), минимальный прирост, ради которого стоит что-то менять, и число показов в день.
Пример: чеклист проходят 40 % увидевших, вы хотите заметить рост до 45 % (+5 процентных пунктов) при уверенности 95 % и мощности 80 %. Калькулятор даёт 1515 посетителей на вариант. При 200 показах в день это 3030 ÷ 200 = 16 дней — округлите до трёх полных недель, чтобы захватить все дни недели.
Шаг 3 · схема интерфейса - Шаг 04
Задайте долю и опубликуйте
Доля варианта A, % — часть посетителей, которые видят исходный вариант; остальные видят B. Оставьте 50, если B не рискованный. Поставьте статус Опубликован и сохраните — тест сразу начнётся и для новых, и для вернувшихся посетителей.
Распределение стабильное: виджет хеширует анонимный идентификатор посетителя, сохранённый в браузере, вместе со слагом тура, поэтому один и тот же человек всегда попадает в один вариант этого тура — без лишних запросов. Человек в другом браузере или на другом устройстве, а также очистивший данные сайта, — новый посетитель и может попасть в другой вариант.
Шаг 4 · схема интерфейса - Шаг 05
Читайте карточку результатов в статистике тура
Откройте тур и посмотрите на статистику вверху редактора (или нажмите 📊 Статистика в списке туров). Пока идёт тест, карточка Результаты A/B-теста показывает показы, прохождения и доходимость каждого варианта с 95% интервалом, прирост B относительно A с 95% интервалом разницы, p-value двустороннего z-теста, вероятность, что B лучше (байесовская оценка), и прогресс к плановой выборке для минимального прироста, который вам важен, — по той же формуле, что и калькулятор. Сравнить воронки по вариантам ставит воронки шагов A и B рядом, чтобы было видно, где каждая версия теряет людей.
Плашка вверху — вердикт: Сбор данных, Мало трафика, Значимой разницы пока нет, Значимой разницы нет, Победил B или Победил A — либо Перекос деления (SRM), если показы не соответствуют заданному делению. Значимая разница до набора плановой выборки помечается как не окончательная: ранние лидеры часто сдуваются, дождитесь плана.
Шаг 5 · схема интерфейса - Шаг 06
Сделайте B основной версией или оставьте A
Когда вердикт окончательный, завершите тест в той же карточке — ничего не нужно копировать и записывать:
- Победил B: нажмите Сделать B основной версией. Шаги B заменят основные (а если у B были свои цвета, они станут цветами тура), тест выключится, и все увидят новую версию.
- Победил A или разницы нет: нажмите Оставить A. Тест выключится, и все увидят A.
В обоих случаях завершённый тест сохраняется в блоке История тестов под статистикой: шаги обоих вариантов, деление, даты, итоговые цифры, решение и кто его принял. Восстановить прежнюю версию вернёт версию, которая была до решения. Если выключить Тест в редакторе и сохранить, тест так же попадёт в историю, а завершённые тесты не расходуют лимит тарифа. Если завершать тест до окончательного результата, окно подтверждения сначала предупредит об этом.
Остановка теста не покажет тур повторно тем, кто уже прошёл или закрыл его: при частоте Один раз на посетителя для них он завершён.
Шаг 6 · схема интерфейса
Что можно тестировать в Clew
| Идея | Как сделать в Clew | Метрика |
|---|---|---|
| Текст шага | Вариант B с другим заголовком или текстом | Доходимость |
| Порядок шагов или пунктов чеклиста | Переставьте скопированные шаги в B | Доходимость |
| Короче или длиннее тур | Уберите или добавьте шаги в B | Доходимость, отвал |
| На какой элемент указывает подсказка | Другой селектор в B | Доходимость |
| Модальное окно или тултип, условие показа, аудитория | Два отдельных тура, деление по вашему свойству (пример 3) | Доходимость каждого тура |
Что Clew измеряет, а что нет
Clew считает уникальных посетителей в каждом варианте, которые увидели тур и прошли его (последний шаг тура или все пункты чеклиста). Что люди делают в продукте дальше, Clew не видит. Если настоящая цель — активация или оплата, считайте доходимость опережающим показателем и подтвердите эффект в продуктовой аналитике после раскатки. Пункт чеклиста считается пройденным и когда посетитель отметил его сам, и когда сработало его правило (посещение страницы, клик или Clew.complete() из вашего кода), — вариант с автоотметкой не получает поблажек, но правила у обоих вариантов должны быть одинаковыми.
Переводы
Переводы, добавленные в редакторе, относятся к варианту A. Вариант B показывает свой текст как написан — на любом языке. Если аудитория многоязычная, тестируйте на одном языке, например ограничив тур правилом аудитории. Когда B становится основной версией и число шагов совпадает, в окне подтверждения можно оставить имеющиеся переводы; иначе они удаляются, и новые шаги нужно перевести заново.
Несколько тестов одновременно
Тест расходует лимит тарифа, пока его тур опубликован и Тест: Включён; черновики не считаются.
| Тариф | A/B-тестов одновременно | История аналитики |
|---|---|---|
| Free | — | 1 месяц |
| Pro | 1 | 3 месяца |
| Business | 5 | 12 месяцев |
| Lifetime | 5 | 12 месяцев |
| Свои серверы | Без ограничений | Без ограничений |
В 14-дневном пробном периоде после регистрации действуют лимиты Business. Варианты разных туров назначаются независимо: слаг тура входит в хеш. И всё же не запускайте два теста на одной странице для одной аудитории: одновременно показывается только один тур, и один тест будет забирать трафик у другого.
Ошибки, которые портят тесты туров
Подглядывание
Если смотреть каждый день и останавливать тест, как только B «лидирует», вы найдёте победителей, которых нет. Зафиксируйте выборку заранее и решайте, когда она набрана. Карточка результатов помогает: она показывает прогресс к плановой выборке и помечает раньше времени ставший значимым результат как не окончательный.
Изменения на ходу
Смена доли переносит часть посетителей в другой вариант; переименование слага перемешивает всех; правка текста варианта смешивает две версии в одном плече. Если что-то нужно поменять — выключите тест и начните новый.
Эффект новизны
Давние пользователи могут кликать по новому виду тура из любопытства. Держите тест минимум одну-две полные недели и, если можно, смотрите новичков отдельно.
Рассинхрон выборок (SRM)
Показы A и B должны соответствовать заданному делению. Если они расходятся сильнее, чем допускает случай, — скажем, 1800 и 1400 при 50/50, — что-то сломано: селектор есть только у одного варианта, кеш, бот. Карточка результатов проверяет это критерием χ² против заданного деления и вместо победителя показывает предупреждение SRM; сначала устраните причину.
Сезонность и релизы
Праздники, рассылки и релизы фронтенда в коротком тесте влияют на варианты неравномерно. Держите полные недели и заглядывайте в раздел Здоровье: сломанный шаг в одном варианте искажает результат.
Три разобранных примера
1. Порядок пунктов чеклиста
Гипотеза: если первым пунктом стоит Подключить данные, чеклист проходят чаще, чем когда первым идёт Заполнить профиль. Настройка: тур-чеклист, тест включён, «Клонировать из A», в B поднять пункт наверх. Метрика: доходимость. Срок: по калькулятору с текущей доходимостью как базой; чеклисты проходят за несколько сессий, так что не меньше двух недель.
2. Текст подсказки
Гипотеза: заголовок про выгоду («Первый отчёт за 2 минуты») лучше названия функции («Отчёты»). Настройка: тур из тултипов, «Клонировать из A», в B меняются только заголовок и текст первого шага. Результат: A — 1560 показов, прошли 624 (40 %); B — 1540 показов, прошли 709 (46 %). Калькулятор: p ≈ 0,0007, разница от +2,6 до +9,5 п.п. при 95 % — B победил. Показы сбалансированы, SRM нет.
3. Модальное окно против тултипа
Формат задаётся для всего тура, поэтому нужны два тура. Разделите пользователей в своём приложении, например Clew.identify({ onboarding_arm: Math.random() < 0.5 ? 'modal' : 'tooltip' }), и сохраните значение за пользователем один раз. Создайте тур в формате модального окна с правилом аудитории Свойство onboarding_arm равно modal и тур из тултипов с tooltip — на тех же страницах и с тем же условием показа. Сравните доходимость двух туров в калькуляторе. Раз ваше приложение знает вариант, активацию можно сравнить и в собственной аналитике. Правила аудитории доступны на платных тарифах и в пробном периоде.
Если что-то не работает
Есть ли A/B-тесты на тарифе Free?
Нет. A/B-тесты начинаются с Pro (один тест одновременно); Business и Lifetime — до пяти одновременно. Новые аккаунты получают 14-дневный пробный период с лимитами Business.
Увидит ли посетитель разные варианты при разных визитах?
Нет. Вариант вычисляется из анонимного идентификатора посетителя в браузере и слага тура, поэтому остаётся тем же при каждом визите. Он меняется только в другом браузере или на другом устройстве, после очистки данных сайта или если переименовать слаг тура.
Считает ли Clew статистическую значимость?
Да. Пока идёт тест, статистика тура показывает прирост B относительно A с 95% интервалом, p-value двустороннего z-теста, байесовскую вероятность, что B лучше, проверку рассинхрона выборок и прогресс к плановой выборке, а итог сводит в вердикт. Бесплатный калькулятор A/B-тестов по-прежнему пригодится, чтобы спланировать выборку до старта.
Можно ли тестировать больше двух вариантов?
У одного тура два варианта, A и B. Чтобы сравнить три версии, проведите тесты по очереди или разделите пользователей на три группы своим свойством и сделайте три тура.
Можно ли сравнить модальное окно с тултипом или два условия показа?
Внутри одного тура — нет: формат, условие показа, страницы и аудитория у вариантов общие. Используйте два тура с правилами аудитории по свойству, которое ваше приложение назначает случайно, — см. пример 3.
Что станет с результатами, когда я остановлю тест?
Ничего не теряется. Завершение теста — кнопками Сделать B основной версией, Оставить A или выключением теста — сохраняет его в истории тестов тура с шагами обоих вариантов и итоговыми цифрами, а Восстановить прежнюю версию отменяет изменение.
Работает ли деление в одностраничных приложениях?
Да. Виджет заново проверяет туры после переходов без перезагрузки, а вариант не зависит от страницы, так что посетитель остаётся в своём варианте на всех экранах.
Сколько держать тест тура?
Пока не набрана выборка из калькулятора, и не меньше одной полной недели — две и больше, если многие возвращаются лишь пару раз в неделю.
Ещё не установили? Выберите способ
Google Tag Manager
Тег «Пользовательский HTML» на всех страницах, проверка в предварительном просмотре, публикация.
Открыть инструкцию →МетрикаЯндекс Тег Менеджер
Тег «Пользовательский HTML» с триггером на просмотр страницы — прямо в Метрике, без кода Google Tag Manager на сайте.
Открыть инструкцию →ВайбкодингИИ-ассистенты
Один промпт для Cursor, Claude Code, Lovable, Bolt.new, v0 и Replit, который ставит строку в правильный корневой файл.
Открыть инструкцию →Без кодаТильда, Битрикс, WordPress
Где в Тильде, 1С-Битрикс, WordPress, Webflow и на обычном HTML-сайте поле для кода в head и что нажать.
Открыть инструкцию →