Калькулятор значимости A/B-теста бесплатно
Проверьте, действительно ли версия B обошла версию A: p-значение, прирост и 95% интервал.
Загрузка редактора…
Калькулятор значимости A/B-теста: как пользоваться
Когда новый заголовок или лендинг конвертирует лучше, трудно отличить реальное улучшение от случайного шума. Калькулятор проводит z-тест для двух долей по числу посетителей и конверсий и показывает обе конверсии, относительный прирост, двустороннее p-значение и 95% интервал для разницы. Он сделан для маркетологов и продуктовых команд, которые разбирают завершенный тест с двумя версиями.
- 01
Введите данные версии A
Заполните поля «A: посетители» и «A: конверсии» итоговыми значениями контрольной группы. Используйте целые числа за весь запланированный период теста.
- 02
Введите данные версии B
Так же заполните «B: посетители» и «B: конверсии». В каждой группе нужно не меньше 10 конверсий и 10 случаев без конверсии, иначе инструмент попросит больше данных.
- 03
Рассчитайте и прочитайте результат
Нажмите «Рассчитать», чтобы увидеть обе конверсии, прирост, p-значение и 95% интервал в процентных пунктах. Примечание подскажет, ниже ли p порога 0,05, а кнопка «Копировать» сохранит все результаты.
Как работает тест значимости
Калькулятор использует z-тест для двух долей с объединенной оценкой — стандартный способ сравнить две конверсии. 1. Находит каждую конверсию: конверсии ÷ посетители. 2. Объединяет обе группы, чтобы оценить стандартную ошибку разницы. 3. Делит разницу на эту стандартную ошибку и получает z. 4. Переводит z в двустороннее p-значение. В примере 5% против 6,5% дает z ≈ 4,56 и p ≈ 0,000005.
Как читать p-значение, прирост и 95% интервал
P-значение — это вероятность увидеть разрыв не меньше этого, если A и B на самом деле конвертируют одинаково; обычный порог — 0,05. Относительный прирост показывает, насколько конверсия B выше конверсии A. 95% интервал дает правдоподобный диапазон абсолютной разницы в процентных пунктах: если он целиком выше нуля, данные указывают на то, что B лучше, а если пересекает ноль, тест вопрос не решил.
Ошибки, из-за которых A/B-тесты ненадежны
• Остановка теста, как только p опустилось ниже 0,05; размер выборки или длительность нужно определить заранее. • Слишком короткий тест, который не охватывает поведение и в будни, и в выходные. • Изменение распределения трафика, таргетинга или страницы во время теста. • Тестирование множества вариантов или метрик и отчет только о победителе. • Игнорирование практического размера эффекта: значимый прирост на 0,1 пункта может не стоить внедрения.
Что калькулятор делает и чего не делает
Он сравнивает две независимые группы по одной бинарной метрике конверсии (да или нет) на фиксированном уровне значимости 0,05 с 95% интервалом. Он не рассчитывает размер выборки, не работает больше чем с двумя вариантами, не сравнивает средние значения вроде суммы заказа и не проводит байесовский анализ. Вводите целые числа, не меньше 10 конверсий и 10 случаев без конверсии в каждой группе: при меньших значениях нормальная аппроксимация становится ненадежной.
Калькулятор значимости A/B-теста: частые вопросы
Что такое статистическая значимость в A/B-тесте?
Это значит, что разница между версиями A и B больше, чем обычно можно ожидать от одной лишь случайности. На практике результат называют значимым, когда p-значение ниже 0,05. Значимость говорит о том, что разрыв, скорее всего, реален, но не о том, что он достаточно велик, чтобы иметь значение.
Как проверить, значим ли мой A/B-тест?
1. Дождитесь, пока тест наберет запланированный размер выборки или длительность. 2. Введите посетителей и конверсии для A и B. 3. Нажмите «Рассчитать». 4. Если p-значение ниже 0,05, разница значима на уровне 5%; проверьте также 95% интервал и прирост.
Что означает p-значение 0,05?
Если бы у A и B на самом деле была одинаковая конверсия, разница не меньше этой встречалась бы примерно в 5% случаев. Это не вероятность того, что B лучше, и не 95% шанс, что результат верен. Чем меньше p-значение, тем труднее объяснить данные случайностью.
Какой уровень доверия использует калькулятор?
Он использует фиксированный порог 0,05 для двустороннего теста и 95% интервал для разницы. Точное p-значение выводится на экран, поэтому если ваша команда использует более строгий порог, например 0,01, сравните p-значение с ним самостоятельно.
Чем относительный прирост отличается от абсолютной разницы?
Абсолютная разница — это конверсия B минус конверсия A в процентных пунктах: 6,5% − 5% = 1,5 пункта. Относительный прирост делит ее на конверсию A: 1,5 ÷ 5 = 30%. Относительный прирост звучит внушительнее, поэтому, делясь результатами, указывайте оба значения.
Сколько посетителей нужно для A/B-теста?
Это зависит от базовой конверсии и наименьшего прироста, который для вас важен: при низкой конверсии и малом приросте посетителей нужно гораздо больше. Оцените объем с помощью калькулятора размера выборки до начала теста. Этот инструмент проверяет завершенные результаты, и ему нужно не меньше 10 конверсий и 10 случаев без конверсии в каждой группе.
Почему калькулятор просит больше данных?
Тест опирается на нормальную аппроксимацию, а для нее нужны целые числа и не меньше 10 конверсий и 10 случаев без конверсии в каждой группе. Кроме того, конверсий не может быть больше, чем посетителей. Наберите больше трафика или проверьте данные на опечатки и рассчитайте заново.
Можно ли сравнить CTR двух объявлений?
Да. Подойдет любой исход вида «да или нет»: введите показы как посетителей, а клики как конверсии, чтобы сравнить CTR двух креативов. Группы должны быть независимыми: каждый человек или показ относится только к одной версии.
Мои данные теста загружаются на сервер?
Нет. Z-тест выполняется в браузере, а введенные числа посетителей и конверсий не отправляются в SocQ и не сохраняются после того, как вы уйдете со страницы.
Калькулятор A/B-тестов бесплатный?
Да. Он бесплатный, без регистрации и аккаунта. Проверяйте сколько угодно завершенных тестов и копируйте любой результат вместе с формулой.
Для разработчиков
Добавьте к результатам теста контекст из соцсетей
API SocQ возвращают публичные посты, профили и комментарии из Instagram, TikTok, YouTube и LinkedIn, чтобы в отчетах по кампаниям было видно, как аудитория отреагировала на протестированный креатив. Трафик и конверсии теста по-прежнему берутся из вашего инструмента тестирования или аналитики.
Еще бесплатные инструменты
Все инструменты- БЕСПЛАТНОInstagram
Шрифты для Instagram бесплатно
Сравните восемь стилей текста для имени, описания профиля или подписи в Instagram и скопируйте нужный.
- БЕСПЛАТНОLinkedIn
Форматирование текста для LinkedIn бесплатно
Выделяйте ключевые фразы и упорядочивайте посты LinkedIn жирным шрифтом, курсивом и маркированными списками.
- БЕСПЛАТНОInstagram
Перенос строки в Instagram бесплатно
Подготовьте абзацы и пустые строки для подписи в Instagram и скопируйте текст целиком.
- БЕСПЛАТНОX / Twitter
Счетчик символов для Twitter (X) бесплатно
Проверяйте длину поста X со взвешенным подсчетом ссылок и эмодзи и живым отображением остатка.



