Калькулятор значимости A/B-теста бесплатно

Проверьте, действительно ли версия B обошла версию A: p-значение, прирост и 95% интервал.

Загрузка редактора…

Калькулятор значимости A/B-теста: как пользоваться

Когда новый заголовок или лендинг конвертирует лучше, трудно отличить реальное улучшение от случайного шума. Калькулятор проводит z-тест для двух долей по числу посетителей и конверсий и показывает обе конверсии, относительный прирост, двустороннее p-значение и 95% интервал для разницы. Он сделан для маркетологов и продуктовых команд, которые разбирают завершенный тест с двумя версиями.

  1. 01

    Введите данные версии A

    Заполните поля «A: посетители» и «A: конверсии» итоговыми значениями контрольной группы. Используйте целые числа за весь запланированный период теста.

  2. 02

    Введите данные версии B

    Так же заполните «B: посетители» и «B: конверсии». В каждой группе нужно не меньше 10 конверсий и 10 случаев без конверсии, иначе инструмент попросит больше данных.

  3. 03

    Рассчитайте и прочитайте результат

    Нажмите «Рассчитать», чтобы увидеть обе конверсии, прирост, p-значение и 95% интервал в процентных пунктах. Примечание подскажет, ниже ли p порога 0,05, а кнопка «Копировать» сохранит все результаты.

Как работает тест значимости

Калькулятор использует z-тест для двух долей с объединенной оценкой — стандартный способ сравнить две конверсии. 1. Находит каждую конверсию: конверсии ÷ посетители. 2. Объединяет обе группы, чтобы оценить стандартную ошибку разницы. 3. Делит разницу на эту стандартную ошибку и получает z. 4. Переводит z в двустороннее p-значение. В примере 5% против 6,5% дает z ≈ 4,56 и p ≈ 0,000005.

Как читать p-значение, прирост и 95% интервал

P-значение — это вероятность увидеть разрыв не меньше этого, если A и B на самом деле конвертируют одинаково; обычный порог — 0,05. Относительный прирост показывает, насколько конверсия B выше конверсии A. 95% интервал дает правдоподобный диапазон абсолютной разницы в процентных пунктах: если он целиком выше нуля, данные указывают на то, что B лучше, а если пересекает ноль, тест вопрос не решил.

Ошибки, из-за которых A/B-тесты ненадежны

• Остановка теста, как только p опустилось ниже 0,05; размер выборки или длительность нужно определить заранее. • Слишком короткий тест, который не охватывает поведение и в будни, и в выходные. • Изменение распределения трафика, таргетинга или страницы во время теста. • Тестирование множества вариантов или метрик и отчет только о победителе. • Игнорирование практического размера эффекта: значимый прирост на 0,1 пункта может не стоить внедрения.

Что калькулятор делает и чего не делает

Он сравнивает две независимые группы по одной бинарной метрике конверсии (да или нет) на фиксированном уровне значимости 0,05 с 95% интервалом. Он не рассчитывает размер выборки, не работает больше чем с двумя вариантами, не сравнивает средние значения вроде суммы заказа и не проводит байесовский анализ. Вводите целые числа, не меньше 10 конверсий и 10 случаев без конверсии в каждой группе: при меньших значениях нормальная аппроксимация становится ненадежной.

Калькулятор значимости A/B-теста: частые вопросы

Что такое статистическая значимость в A/B-тесте?

Это значит, что разница между версиями A и B больше, чем обычно можно ожидать от одной лишь случайности. На практике результат называют значимым, когда p-значение ниже 0,05. Значимость говорит о том, что разрыв, скорее всего, реален, но не о том, что он достаточно велик, чтобы иметь значение.

Как проверить, значим ли мой A/B-тест?

1. Дождитесь, пока тест наберет запланированный размер выборки или длительность. 2. Введите посетителей и конверсии для A и B. 3. Нажмите «Рассчитать». 4. Если p-значение ниже 0,05, разница значима на уровне 5%; проверьте также 95% интервал и прирост.

Что означает p-значение 0,05?

Если бы у A и B на самом деле была одинаковая конверсия, разница не меньше этой встречалась бы примерно в 5% случаев. Это не вероятность того, что B лучше, и не 95% шанс, что результат верен. Чем меньше p-значение, тем труднее объяснить данные случайностью.

Какой уровень доверия использует калькулятор?

Он использует фиксированный порог 0,05 для двустороннего теста и 95% интервал для разницы. Точное p-значение выводится на экран, поэтому если ваша команда использует более строгий порог, например 0,01, сравните p-значение с ним самостоятельно.

Чем относительный прирост отличается от абсолютной разницы?

Абсолютная разница — это конверсия B минус конверсия A в процентных пунктах: 6,5% − 5% = 1,5 пункта. Относительный прирост делит ее на конверсию A: 1,5 ÷ 5 = 30%. Относительный прирост звучит внушительнее, поэтому, делясь результатами, указывайте оба значения.

Сколько посетителей нужно для A/B-теста?

Это зависит от базовой конверсии и наименьшего прироста, который для вас важен: при низкой конверсии и малом приросте посетителей нужно гораздо больше. Оцените объем с помощью калькулятора размера выборки до начала теста. Этот инструмент проверяет завершенные результаты, и ему нужно не меньше 10 конверсий и 10 случаев без конверсии в каждой группе.

Почему калькулятор просит больше данных?

Тест опирается на нормальную аппроксимацию, а для нее нужны целые числа и не меньше 10 конверсий и 10 случаев без конверсии в каждой группе. Кроме того, конверсий не может быть больше, чем посетителей. Наберите больше трафика или проверьте данные на опечатки и рассчитайте заново.

Можно ли сравнить CTR двух объявлений?

Да. Подойдет любой исход вида «да или нет»: введите показы как посетителей, а клики как конверсии, чтобы сравнить CTR двух креативов. Группы должны быть независимыми: каждый человек или показ относится только к одной версии.

Мои данные теста загружаются на сервер?

Нет. Z-тест выполняется в браузере, а введенные числа посетителей и конверсий не отправляются в SocQ и не сохраняются после того, как вы уйдете со страницы.

Калькулятор A/B-тестов бесплатный?

Да. Он бесплатный, без регистрации и аккаунта. Проверяйте сколько угодно завершенных тестов и копируйте любой результат вместе с формулой.

Для разработчиков

Добавьте к результатам теста контекст из соцсетей

API SocQ возвращают публичные посты, профили и комментарии из Instagram, TikTok, YouTube и LinkedIn, чтобы в отчетах по кампаниям было видно, как аудитория отреагировала на протестированный креатив. Трафик и конверсии теста по-прежнему берутся из вашего инструмента тестирования или аналитики.

Все инструменты