Активация пользователей: как мы настроили онбординг Clew на самом Clew

Статьи про активацию обычно дают список советов. Мы решили показать, что делаем сами: какой онбординг видят новые пользователи Clew, как он настроен и почему именно так. Цифр результата здесь нет — данные ещё собираются, и первые дни мы за вывод выдавать не будем.

Где именно теряется время до первой пользы у конкретных продуктов, видно в разборах живых продуктов: мы проходим их сами и публикуем числа.

Что мы считаем активацией

Для Clew это публикация первого тура. Человек, который зарегистрировался, но ничего не опубликовал, так и не увидел, как продукт работает на его сайте.

На пути к этому моменту есть два места, где установка обрывается чаще всего: скопировать код виджета и дождаться, пока виджет пришлёт первые события с сайта. Четыре элемента онбординга ниже нацелены на разные участки этого пути.

1. Подсказка в форме регистрации

Появляется при наведении на поле email на странице регистрации. Показывается только тем, кто ещё не вошёл.

Мы выбрали наведение, а не автоматический показ: форма короткая, и большинству объяснения не нужны. Подсказка — для тех, кто задержался на поле и засомневался.

2. Тур первой сессии

Тур на обзорной странице кабинета. Его задача — довести до установки кода и первого тура, не показывая по дороге всё меню. Настройки:

Где показывать:  префикс /admin/overview
Кому (все условия):
  signedUpDaysAgo   меньше  1
  hasPublishedTour  равно   false
Частота:  один раз

Свойства вроде signedUpDaysAgo и hasPublishedTour кабинет передаёт в виджет через identify(). Там только грубые факты: тариф, роль, дни с регистрации, есть ли опубликованный тур и идущий A/B-тест, язык интерфейса. Ни email, ни идентификаторов пользователя.

3. Всплывающее окно через 5 секунд — и A/B-тест его цветов

На страницах сайта через пять секунд после загрузки показывается модальное окно. У него две цветовые темы, и это A/B-тест: половина посетителей видит тему A, половина — тему B. Тексты одинаковые, отличаются только цвета — Clew умеет тестировать оформление отдельно от содержимого.

Вариант выбирается хешем от случайного идентификатора посетителя и названия тура, поэтому человек, вернувшийся завтра, увидит тот же вариант. Хеш мы проверяли на случайных и на последовательных идентификаторах: доли получались 49–50%.

Сколько посетителей нужно, чтобы увидеть разницу

Кабинет Clew считает плановую выборку по той же формуле, что и наш калькулятор A/B-тестов (формула Эвана Миллера): уровень значимости 5%, мощность 80%, по умолчанию ищем относительный прирост 10%. За базовую конверсию берётся конверсия варианта A.

Вот что даёт формула — посетителей на каждый вариант:

• конверсия 10%, хотим заметить рост до 11% (+10%) — 14 313;
• конверсия 10%, хотим заметить рост до 12% (+20%) — 3 623;
• конверсия 20%, хотим заметить рост до 22% (+10%) — 6 348;
• конверсия 40%, хотим заметить рост до 44% (+10%) — 2 365.

Смена цвета редко даёт +20%. Значит, на трафике небольшого сайта такой тест может идти месяцами, и объявить победителя через три дня — значит объявить победителем шум.

Кабинет от этого страхует. Если разница стала значимой раньше, чем набралась плановая выборка, результат помечается как предварительный. Если тест идёт неделю и больше, а при текущем темпе выборка наберётся не раньше чем через 90 дней от старта, вердикт — «недостаточно трафика». И отдельно проверяется, совпадает ли фактическое соотношение показов A и B с заданным (тест на sample ratio mismatch): если нет, результатам доверять нельзя, и кабинет об этом скажет.

4. Чеклист «Запустите первый A/B-тест»

В кабинете висит чеклист из пяти пунктов. Ни один не отмечается кликом — каждый ставится сам, когда событие действительно произошло:

• snippet_copied — код установки скопирован;
• widget_live — виджет прислал события с сайта, установка активна;
• tour_published — тур опубликован;
• ab_started — у тура включён A/B-тест;
• ab_decided — тест завершён: вариант B сделан основным или оставлен A.

Кабинет вызывает Clew.complete('ключ') в тех же местах, где отправляет события в аналитику. Если событие случилось, пока чеклиста нет на экране — например, между переходами по разделам, — ключ запоминается и отметит пункт, как только чеклист появится.

Почему A/B, а не «создайте тур»: к первому туру ведёт тур первой сессии. Чеклист тянет дальше — к функции, которая есть только на платных тарифах и до которой без подсказки легко не дойти.

Что мы можем измерить, а что нет

• Статистика наших собственных туров собирается только на публичных страницах и только у тех, кто принял аналитические cookie. Туры внутри кабинета показываются, но не считаются: так мы обещаем в политике конфиденциальности.
• Поэтому тур первой сессии и чеклист мы оцениваем не по статистике тура, а по воронке «регистрация → установка → первый опубликованный тур» по серверным данным.
• A/B-тест всплывающего окна считается в самом Clew, но только по посетителям, давшим согласие. Выборка от этого смещена: согласие дают не все, и те, кто дал, могут вести себя иначе.

Результаты

Что из этого переносится на ваш продукт

• Назовите одно действие, которое считаете активацией, и найдите на пути к нему места, где люди обрываются. Онбординг ставьте туда, а не на первый экран «на всякий случай».
• Вызов identify() стоит одной строки кода. Без него не отличить новичка от человека, который всё уже сделал.
• Пункты чеклиста, которые отмечаются по событию, честнее ручных: человек не может отметить то, чего не сделал.
• Посчитайте выборку до запуска теста. Если на вашем трафике она набирается полгода, тестируйте более крупное изменение.