無料A/Bテスト有意差計算ツール

BがAに本当に勝ったのかを、p値・改善率・95%信頼区間で確認できます。

エディターを読み込み中…

A/Bテスト有意差計算ツールの使い方

新しい見出しやランディングページの成果が上がったとき、それが本当の改善なのか偶然のばらつきなのかを見分けるのは簡単ではありません。この計算ツールは、訪問者数とコンバージョン数をもとに2つの比率のz検定を行い、両方のコンバージョン率、相対的な改善率、両側p値、差の95%信頼区間を表示します。2つのパターンで実施したテストの結果を確認したいマーケターやプロダクトチーム向けのツールです。

  1. 01

    パターンAを入力する

    「A:訪問者数」と「A:コンバージョン数」に、コントロール群の合計を入力します。予定していたテスト期間全体の整数の値を使ってください。

  2. 02

    パターンBを入力する

    「B:訪問者数」と「B:コンバージョン数」も同じように入力します。各グループにコンバージョンと非コンバージョンがそれぞれ10件以上必要で、足りない場合はデータの追加を求められます。

  3. 03

    計算して結果を読む

    「計算」を押すと、両方の率、改善率、p値、パーセントポイント単位の95%信頼区間が表示されます。pが0.05を下回っているかどうかの注記も表示され、「コピー」ですべてを保存できます。

有意差検定のしくみ

この計算ツールは、2つのコンバージョン率を比較する標準的な方法である、プールした2比率のz検定を使っています。 1. それぞれのコンバージョン率(コンバージョン数 ÷ 訪問者数)を求めます。 2. 両グループをまとめて、差の標準誤差を推定します。 3. 差をその標準誤差で割ってzを求めます。 4. zを両側p値に変換します。 この例では、5%と6.5%でz ≈ 4.56、p ≈ 0.000005になります。

p値・改善率・95%信頼区間の読み方

p値は、AとBの本当のコンバージョン率が同じだった場合に、これ以上の差が生じる確率です。一般的には0.05未満が基準です。相対的な改善率は、Bの率がAの率よりどれだけ高いかを示します。95%信頼区間は、差の絶対値(パーセントポイント)としてありえる範囲です。区間全体が0より上にあればBの方が優れていることを示し、0をまたいでいればテストではまだ結論が出ていません。

A/Bテストの信頼性を下げるよくある失敗

• pが0.05を下回った瞬間にテストを止めてしまう。サンプルサイズや期間は事前に決めておきましょう。 • 期間が短すぎて、平日と週末の両方の行動をカバーできていない。 • テスト中にトラフィックの配分、ターゲティング、ページを変更する。 • 多くのパターンや指標をテストし、勝ったものだけを報告する。 • 実務上の大きさを無視する。有意でも0.1ポイントの改善なら、導入する価値がないこともあります。

この計算ツールでできること・できないこと

独立した2つのグループを、「する・しない」の1つのコンバージョン指標で、有意水準0.05・95%信頼区間に固定して比較します。サンプルサイズの見積もり、3つ以上のパターンの比較、注文金額などの平均値の検定、ベイズ分析には対応していません。正規近似はそれより少ないと信頼性が下がるため、入力は整数で、各グループにコンバージョンと非コンバージョンがそれぞれ10件以上必要です。

A/Bテスト有意差計算ツールのよくある質問

A/Bテストにおける統計的有意差とは何ですか?

パターンAとパターンBの差が、偶然だけで通常生じるよりも大きいことを意味します。実務では、p値が0.05未満のときに有意とされます。有意差があるということは、その差がおそらく本物であることを示すだけで、意味のある大きさであることを示すわけではありません。

A/Bテストが有意かどうかはどうやって確認しますか?

1. テストが予定したサンプルサイズまたは期間に達するまで待ちます。 2. AとBの訪問者数とコンバージョン数を入力します。 3. 「計算」を押します。 4. p値が0.05未満なら、5%水準で有意差があります。95%信頼区間と改善率もあわせて確認してください。

p値が0.05とはどういう意味ですか?

AとBの本当のコンバージョン率が同じだった場合に、これ以上の差が約5%の確率で生じるという意味です。Bの方が優れている確率でも、結果が正しい確率が95%という意味でもありません。p値が小さいほど、データを偶然では説明しにくくなります。

この計算ツールの信頼水準はどれくらいですか?

両側検定の基準は0.05に固定され、差の信頼区間は95%です。正確なp値が表示されるため、チームで0.01などより厳しい基準を使っている場合は、その数値とp値を比べてください。

相対的な改善率と絶対差の違いは何ですか?

絶対差は、Bの率からAの率を引いたもので、パーセントポイントで表します(6.5% − 5% = 1.5ポイント)。相対的な改善率は、その差をAの率で割ったものです(1.5 ÷ 5 = 30%)。相対的な改善率の方が大きく見えるため、結果を共有するときは両方を報告しましょう。

A/Bテストには何人の訪問者が必要ですか?

ベースラインの率と、検出したい最小の改善幅によって異なります。率が低いほど、また改善幅が小さいほど、はるかに多くの訪問者が必要です。テストを始める前に、サンプルサイズ計算ツールで見積もってください。このツールは完了したテストの結果を確認するもので、各グループにコンバージョンと非コンバージョンがそれぞれ10件以上必要です。

データの追加を求められるのはなぜですか?

この検定は正規近似にもとづいており、整数の件数と、各グループにコンバージョンと非コンバージョンがそれぞれ10件以上必要です。また、コンバージョン数は訪問者数を超えられません。トラフィックを増やすか入力ミスを確認してから、もう一度計算してください。

2つの広告のCTRの比較にも使えますか?

はい。「する・しない」の結果であれば何でも使えます。インプレッション数を訪問者数、クリック数をコンバージョン数として入力すれば、2つのクリエイティブのクリック率を比較できます。各ユーザーまたは各インプレッションが1つのパターンにだけ割り当てられるよう、グループは独立させてください。

テストデータはアップロードされますか?

いいえ。z検定はブラウザ内で実行され、入力した訪問者数やコンバージョン数はSocQに送信されず、ページを離れると保存もされません。

A/Bテスト計算ツールは無料ですか?

はい。登録もアカウントも不要で無料です。完了したテストをいくつでも確認でき、計算式を含むすべての結果をコピーできます。

開発者の方へ

テスト結果にSNSの反応を加える

SocQのAPIでは、Instagram、TikTok、YouTube、LinkedInの公開投稿、プロフィール、コメントを取得できるため、テストしたクリエイティブへのオーディエンスの反応をキャンペーンレポートに盛り込めます。テストのトラフィックやコンバージョン数は、引き続きテストツールや分析ツールから取得してください。

すべてのツールを見る