A/Bテストの必要サンプル数とサンプルサイズ設計｜検出力・MDE・αから逆算する

A/Bテストや効果測定をやってみたものの、結果が「有意差なし」で、勝ちとも負けとも言えないまま終わった――こうした空振りの多くは、分析の腕前ではなく、テストを始める前のサンプルサイズ設計に原因があります。検出したい差に対してサンプルが足りていなければ、本当は効いている施策でも「有意差なし」としか出ません。サンプルサイズは、テストが終わってから振り返る数字ではなく、テストの前に逆算して決める数字です。

01.まず結論：サンプルサイズはテスト前に逆算して決める

新しいLPでCVRを上げたい、メール配信で売上を伸ばしたい――こうした施策の効果を測るとき、多くの現場が「とりあえず2週間回してみる」と期間だけ決めて走り出します。しかし、その2週間で集まるサンプルが、見たい差を検出するのに足りているとは限りません。足りていなければ、施策が本当に効いていても結果は「有意差なし」になり、効く施策を捨ててしまいます。

そこで必要になるのがサンプルサイズ設計です。これは「どれくらいの差を、どれくらいの確実さで見つけたいか」を先に決め、そこから必要なサンプル数を逆算する手続きです。観測した差が偶然かどうかを判定する仕組み自体は統計的仮説検定の基礎で扱いました。本記事は、その検定を空振りさせないための「テスト前の準備」に焦点を当てます。

逆算の結果である必要サンプル数を、日次のトラフィックで割れば「テストに何日かかるか」が出ます。期間内に集まらないと分かれば、テストを始める前に設計を直せます。サンプルサイズ設計の本当の価値は、走り出す前に「このテストは成立するのか」を判定できることにあります。

02.検出力（statistical power）とは｜なぜ0.8を取るのか

検出力（statistical power）とは、「本当に差があるとき、検定がそれを差ありと正しく判定できる確率」です。記号では 1 − β と書きます。βは第二種の過誤（差があるのに「差なし」と見逃す確率）で、検出力はその裏返しです。検出力0.8とは、「本当に効果がある施策を、5回テストすれば4回は有意と検出できる」状態を指します。

検定にはもう一つ、有意水準α（差がないのに「ある」と誤る第一種の過誤の確率）があります。αとβ・検出力の関係は統計的仮説検定の基礎で詳しく整理しています。ここで重要なのは、αを一定に保ったまま検出力を上げる現実的な手段が、サンプルサイズを増やすことだけだという点です。

では、なぜ検出力は0.8が標準なのでしょうか。0.8は法律で決まった値ではなく、慣例です。その背景には2つの考え方があります。

• 過誤コストの非対称性：第一種の過誤（効かない施策に投資する）は、第二種の過誤（効く施策を見送る）より深刻に扱われがちです。慣例的に「α=0.05 に対し β はその4倍まで許容する」と置くと、β=0.20、つまり検出力 1 − 0.20 = 0.80 になります。
• 収穫逓減：上の検出力曲線のとおり、0.8まではサンプル追加がよく効きますが、0.8を超えると伸びが鈍ります。0.8から0.9へ上げるには必要サンプルが約34%増、0.95へ上げるなら約66%増になります。0.8は「コストと安心のバランスが取れる折り返し点」なのです。

03.サンプルサイズを決める4つの入力

必要サンプル数は、次の4つの入力が決まれば一意に計算される出力です。「何件あれば安心か」と願って決める数字ではありません。

4つのうち、技術的な判断ではなく事業判断を要するのがMDEです。MDEは「測れたら嬉しい差」ではなく、「この差未満なら、そもそも施策を動かさない」という損益分岐ラインです。改修とテストにかかるコストを、改修で増える売上が上回る最小の向上幅を、売上換算で求めます。MDEの逆算手順はA/Bテスト設計の基礎で具体例とともに扱っています。

CVR・CTRのような比率の必要サンプル数は、二項分布の分散 p(1−p)/n をもとに計算されます。この式はベースライン率が0や1に近いほど小さくなる性質を持ち、次の統計ソフトでの逆算でもこの分散を補正する形で使われます。

04.サンプルサイズの逆算｜statsmodels での計算

4つの入力が揃えば、計算自体は Python の statsmodels で数行です。CVR・CTRのような比率の差を見る場合は、2つの比率を効果量（Cohen's h）に変換してから、必要サンプル数を逆算します。

# CVRの差を検出するのに必要なサンプルサイズ（statsmodels）
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize

baseline = 0.030          # ベースラインCVR：3.0%
mde_abs  = 0.005          # 検出したい最小の差（MDE）：+0.5pt

# 2つの比率の差を効果量（Cohen's h）に変換する
effect = proportion_effectsize(baseline + mde_abs, baseline)

n = NormalIndPower().solve_power(
    effect_size=effect,
    alpha=0.05,           # 有意水準（第一種の過誤）
    power=0.80,           # 検出力（1 − 第二種の過誤）
    alternative="two-sided",
)
print(f"1群あたり必要サンプル: {n:,.0f} 件")   # → 約 19,700 件
print(f"合計（A群＋B群）:      {2 * n:,.0f} 件")  # → 約 39,400 件

滞在時間や売上金額のような連続値（平均）の差を見る場合は、効果量に Cohen's d（検出したい平均差 ÷ 標準偏差）を使い、TTestIndPower で逆算します。

# 平均値（売上・滞在時間）の差を検出するサンプルサイズ
from statsmodels.stats.power import TTestIndPower

# 効果量 Cohen's d ＝ 検出したい平均差 ÷ 標準偏差
d = 0.2   # 標準偏差の0.2倍ぶんの差を見たい（小さめの効果）

n = TTestIndPower().solve_power(
    effect_size=d,
    alpha=0.05,
    power=0.80,
    alternative="two-sided",
)
print(f"1群あたり必要サンプル: {n:,.0f} 件")

この逆算は、次のツールに4つの入力を入れればその場で計算できます。ベースラインCVR・MDE・有意水準・検出力を変えると、1群あたりと合計の必要サンプル数、1日あたりの想定流入を入れればテストに何日かかるかの目安まで出ます。MDEを半分・2倍にしたときの必要数の変化も並べて確認できます。

すでにテストを走らせている場合は、次のツールに各パターンの訪問数とCV数を入れると、有意差の判定に加えて「観測された差を検出力80%で検出するのに必要な1パターンあたりの訪問数」をその場で逆算できます。

05.必要サンプルは効果量の2乗に反比例する

サンプルサイズ設計でいちばん直感に反するのが、必要サンプルは検出したい差の2乗に反比例するという性質です。検出したい差を半分にすると、必要サンプルは2倍ではなく、およそ4倍に膨らみます。

理由は、必要サンプル数 n が効果量の2乗を分母に持つ形（おおまかに n ∝ 1 ÷ 効果量²）になっているからです。観測される差のばらつき（標準誤差）はサンプル数の平方根に反比例して縮みます。差を半分の細かさで見分けたいなら、ばらつきも半分に抑える必要があり、そのためにはサンプルを4倍にしなければなりません。

この性質は、設計の意思決定をかなり左右します。「ついでに小さな改善も検出できるようにMDEを下げておこう」という判断は、テスト期間を4倍・16倍に延ばすことを意味します。逆に、MDEを少し緩めるだけでサンプル要件は劇的に軽くなるとも言えます。MDEを +0.5pt から +1pt に緩めれば、必要サンプルは約2万件から約5,300件へ、4分の1以下に減ります。

06.トラフィックが少ないサイトの現実的な設計

ここまでの計算をBtoBサイトに当てはめると、多くの場合「必要サンプルが、現実的な期間内には集まらない」という壁に突き当たります。月数千〜1万セッション規模のサイトでCVRの +0.5pt を検出しようとすると、テストに半年以上かかってしまう、というのはよくあることです。テスト期間が長すぎると、その間に季節要因や別の施策が混ざり、結果の解釈もあやしくなります。

このとき取るべきは「サンプルが足りないまま勘でテストを始める」ことではなく、設計側の4つの調整です。

最も効果が大きいのはMDEを緩めることです。前章のとおり必要サンプルは2乗で効くため、MDEを2倍にするだけで必要数は4分の1になります。次に有効なのが上流の指標で測る方法です。最終CVは発生頻度が低く、サンプルが貯まりにくい指標です。CTAのクリック率やフォーム到達率のような、より手前で多く発生するイベントで評価すれば、同じ期間でも判定に足るサンプルが集まります。ただし上流指標が改善しても最終CVに必ずつながるとは限らないため、上流指標は「速く回すための代理指標」と位置づけ、最終的な効果は別途確認します。

どの調整をしても必要サンプルに届かない場合は、固定サンプルのA/Bテストという枠組み自体が、そのサイト規模に合っていない可能性があります。トラフィックを少しずつ勝ち筋に寄せていくバンディットアルゴリズムとトンプソンサンプリングのような逐次的な手法が選択肢になります。

07.設計を誤るとどうなるか｜過小設計と過大設計

サンプルサイズ設計の失敗には、足りない方向（過小設計）と多すぎる方向（過大設計）の2つがあります。実務で深刻なのは圧倒的に過小設計です。

過小設計が怖いのは、「有意差なし」という結果が、検出力不足のせいなのか本当に差がないのか、結果だけ見ても区別できないことです。検出力0.3でテストして「有意差なし」が出ても、それは「効果がない」ではなく「このテストには効果を見つける力が無かった」だけかもしれません。テスト前に検出力を確保していなければ、空振りの結果から何も学べません。

サンプルが先に決まっている（期間や流入が固定されている）ときは、逆に「そのサンプル数で検出力がいくつになるか」を事前に逆算しておきます。

# サンプルが先に決まっているとき、達成できる検出力を逆算する
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize

effect = proportion_effectsize(0.035, 0.030)   # MDE +0.5pt

power = NormalIndPower().solve_power(
    effect_size=effect,
    nobs1=5000,            # 期間内に1群で集まる見込み
    alpha=0.05,
    alternative="two-sided",
)
print(f"このサンプル数で得られる検出力: {power:.2f}")  # → 約 0.29

この例では、必要な約2万件に対して5,000件しか集まらず、検出力は0.29――本当に +0.5pt の効果があっても、検出できるのは3回に1回未満です。この数字をテスト前に知っていれば、「この設計のままテストしても結論は出ない」と判断し、MDEを緩めるなり期間を延ばすなりの手を打てます。事後に「有意差なし」を眺めて悩むより、はるかに安上がりです。

一方の過大設計は、過小設計ほど深刻ではありませんが無害でもありません。サンプルが多すぎると、実務的にはどうでもいい +0.02pt のような差まで統計的に有意になります。「有意である」と「意味のある差である」は別物なので、過大設計のテストでは結局、効果量と信頼区間を見てMDEと照らす判断が欠かせません。サンプルサイズ設計は、足りなさだけでなく『ちょうど良さ』を狙う作業です。

08.よくある質問（FAQ）

09.まとめ

サンプルサイズ設計は、テスト後の分析テクニックではなく、テストを始める前の準備です。必要サンプル数は、ベースライン率・MDE・有意水準α・検出力という4つの入力から逆算される出力で、4つを先に決めなければサンプル数は決まりません。検出力（statistical power）は「差があるとき気づける確率」で、過誤コストの非対称性と収穫逓減のバランスから、慣例的に0.8を取ります。

実務で押さえる要点は3つです。

• 必要サンプルは検出したい差の2乗に反比例します――差を半分にすると必要数は約4倍に膨らみます。
• トラフィックが少なく必要数に届かないときは、勘で走り出すのではなく、MDEを緩める・上流の指標で測る・対象を絞るといった設計側の調整で折り合いをつけます。
• 最も避けるべきは過小設計で、検出力不足の「有意差なし」は何も教えてくれません。

テスト前に「この設計は何日かかり、検出力はいくつか」を逆算する習慣だけで、空振りのA/Bテストは大きく減らせます。