免费 A/B 测试显著性计算器

指 A、B 两个版本的差异大到通常无法只用随机波动来解释。实际工作中，p 值低于 0.05 一般就称为显著。显著只说明差异大概率真实存在，不代表差异大到值得改版。

1. 等测试达到预定样本量或时长。 2. 填入 A、B 两组的访问量和转化数。 3. 点击“计算”。 4. p 值低于 0.05 即在 5% 水平上显著，同时查看 95% 区间和提升幅度。

假如 A、B 的真实转化率完全相同，大约有 5% 的概率会看到至少这么大的差距。它不是“B 更好的概率”，也不是“结论有 95% 把握正确”。p 值越小，越难用偶然来解释这些数据。

双侧检验的显著性水平固定为 0.05，差值区间为 95%。结果会显示精确的 p 值，如果团队采用 0.01 等更严格的标准，可以直接拿 p 值和它比较。

绝对差值是 B 的转化率减去 A 的转化率，单位是百分点：6.5% − 5% = 1.5 个百分点。相对提升是用这个差值除以 A 的转化率：1.5 ÷ 5 = 30%。相对提升听起来更大，汇报时最好两个都写。

取决于基准转化率和你想检测的最小提升，转化率越低、想检测的提升越小，需要的访客就越多。测试开始前先用样本量计算器估算。本工具用于检验已完成的结果，每组至少需要 10 次转化和 10 次未转化。

检验依赖正态近似，要求输入整数，并且每组至少有 10 次转化和 10 次未转化；转化数也不能超过访问量。请继续积累流量或检查输入是否有误，再重新计算。

可以。任何“是或否”的结果都适用：把展示次数填为访问量、点击次数填为转化数，就能比较两个素材的点击率。注意两组要相互独立，同一个人或同一次展示只属于一个版本。

不会。z 检验在你的浏览器中完成，填写的访问量和转化数不会发送到 SocQ，离开页面后也不会保存。

免费，无需注册或账号，可以检验任意多次已完成的测试，每次结果和算式都能复制。