統計的仮説検定の基礎｜p値・有意水準・第一種/第二種の過誤・信頼区間の読み方

A/Bテストの「勝ち負け」、施策の効果測定、回帰分析の係数――データ分析で出てくる結論は、ほぼ例外なく「観測した差が偶然で説明できるか」を判定する統計的仮説検定の上に成り立っています。p値や有意差という言葉は日常的に使われますが、その意味を取り違えたまま運用すると、偶然のノイズを「成果」と誤読してしまいます。

01.まず結論：仮説検定は『観測した差が偶然か』を判定する手続き

手元のデータで「B群の方がCVRが0.7pt高い」と分かったとします。問題は、その0.7ptが本当の差なのか、それともたまたまサンプルがそう出ただけなのかを切り分けられないことです。仮説検定は、この切り分けを行うための標準的な手続きで、4つのステップに分解できます。

02.帰無仮説と対立仮説｜検定は『差がない』を棄却する形で進む

検定では、対になる2つの仮説を立てます。帰無仮説（H₀）は「差がない・効果がない」という主張、対立仮説（H₁）は「差がある・効果がある」という、本来確かめたい主張です。検定は H₀ が正しいと仮定して計算を進め、それが苦しくなったら H₀ を棄却して H₁ を採用します。

03.p値と有意水準α｜p値が答えること・答えないこと

p値とは、「帰無仮説が正しいと仮定したとき、実際に観測された差（以上に極端な差）が得られる確率」です。p値が小さいほど、「差がない」という仮定のもとでは今回のデータが起こりにくい――つまり仮定の方が怪しい、ということになります。

有意水準αは、検定を始める前に決めておく棄却の基準値です。慣例的に0.05（5%）が使われ、重要な意思決定では0.01にすることもあります。p < α なら帰無仮説を棄却し「統計的に有意」と判断します。

# 2群のCVR差を比率のZ検定で調べる（statsmodels）
import numpy as np
from statsmodels.stats.proportion import proportions_ztest

count = np.array([120, 160])     # CV件数（A群 / B群）
nobs  = np.array([5000, 5000])   # 訪問数（A群 / B群）

stat, p = proportions_ztest(count, nobs)
print(f"検定統計量: {stat:.3f}")
print(f"p値: {p:.4f}")           # 0.05 を下回れば有意

alpha = 0.05
print("有意差あり" if p < alpha else "有意差ありとは言えない")

なぜCVRの差にこの検定が使えるのか｜二項分布と正規近似

上のコードはproportions_ztestというZ検定を使っていますが、これは「平均を比べるt検定」とは別の理屈で成り立っています。CVRのような比率は、訪問1件ごとに「コンバージョンした／しなかった」という2択の結果（ベルヌーイ試行）の積み重ねです。表が出る確率pの偏ったコインを何度も投げて、表が出た回数を数えるのと同じ構造で、その合計コンバージョン数は二項分布に従います。二項分布はサンプル数nと確率pの2つだけで形が決まり、平均は np、分散は np(1−p) です。

二項分布は、np と n(1−p) がどちらも十分大きいとき、正規近似という性質を持ちます。平均 np・分散 np(1−p) の正規分布にほぼ重なるため、2群の比率の差を「正規分布に従う1つの統計量」として扱え、平均の差の検定と同じZ検定の枠組みに載せられます。逆に、サンプルが少なくこの近似が崩れる場面では、二項分布（あるいは超幾何分布）そのものを直接使う厳密な検定に切り替える必要があります。A/Bテスト設計の基礎で紹介した「期待度数が5未満ならFisherの正確検定」は、この切り替えの目安の一例です。

「nは100くらいあれば十分」という思い込みに注意｜必要な数はpで変わる

どこからが「十分大きい」かに決まった数（たとえば n=100）があるわけではありません。上の図のn=10のように、山の形がまだ非対称でガタついて見える場合は近似がまだ粗いサインです。pが0.5から離れる（0や1に近づく）ほど、同じ精度の近似を得るのに必要なnは増えます。つまり必要なnはp次第で変わるということです。

ここで「じゃあ確率さえ計算すればよくて、統計学は要らないのでは」という疑問が浮かびます。実は確率の計算そのものは同じです。p値も確率の一種にすぎません。統計学（仮説検定）が付け加えているのは、その確率をいつ・どう判断に使うかというルールです。

04.第一種の過誤・第二種の過誤・検出力

検定はデータからの推測なので、必ず誤る可能性があります。誤り方は2種類あり、それぞれ別の名前と記号がついています。

αとβはトレードオフの関係にあります。αを厳しく（0.05→0.01に）すれば偽陽性は減りますが、その分だけ見逃し（β）は増えます。両方を同時に下げる唯一の現実的な方法がサンプルサイズを増やすことです。テスト前に「検出したい効果量・α・検出力」から必要サンプル数を逆算する手順は、A/Bテスト設計の基礎で詳しく扱っています。

05.信頼区間｜p値とセットで『どれくらいの差か』を示す

p値は「差があると言えるか」をイエス・ノーの二値で答えるだけで、「どれくらいの差か」「その推定がどれだけ不確かか」には答えません。それを担うのが信頼区間です。95%信頼区間とは、ざっくり言えば「真の差はこの範囲に収まっていそうだ」という幅を示します。

両側検定（α=0.05）と95%信頼区間は表裏一体です。「差なし」を表す0 を信頼区間が含めば有意でなく、含まなければ有意になります。さらに信頼区間は、p値だけでは見えない2つの状況を見分けてくれます。

信頼区間の幅を決める「平均の標準誤差」は、当サイトの無料ツール基本統計量の計算ツールにデータを貼り付けると、標準偏差・四分位数と合わせてその場で確認できます。

A/BテストのCVRの差については、ここまでのp値・信頼区間の読み方を次のツールでそのまま試せます。各パターンの訪問数とCV数を入れると、p値・信頼区間・有意差の判定をその場で計算します。

06.片側検定と両側検定の使い分け

対立仮説の立て方には2種類あります。両側検定は「差がある（どちら向きでもよい）」を、片側検定は「特定の方向の差がある（例：B群の方が高い）」を対立仮説にします。

実務では両側検定をデフォルトにします。片側検定は検出力で有利ですが、「新施策で数値が下がる」という現実に起こりうる結果を構造的に検出できません。さらに、結果を見てから「上がる方を期待していた」と後付けで片側に切り替えるのは、実質的に有意水準を甘くする操作で、偽陽性を増やします。片側にするなら、データを見る前に方向を決め、逆方向の悪化を許容できる根拠を持っておく必要があります。

07.多重比較問題と実務でつまずく落とし穴

単発の検定を正しく行えても、検定を何度も繰り返すと偽陽性が積み上がります。これが多重比較問題です。α=0.05 の検定を20回独立に行うと、すべて「本当は差がない」場合でも、少なくとも1回は偶然有意になる確率が約64%（1 − 0.95²⁰）に達します。

# 複数の検定をまとめて多重比較補正する（statsmodels）
from statsmodels.stats.multitest import multipletests

p_values = [0.012, 0.041, 0.039, 0.250, 0.008]  # 5回ぶんのp値

# Bonferroni：αを検定数で割る（厳しめ）
rej_b, p_b, _, _ = multipletests(p_values, alpha=0.05, method="bonferroni")
# Benjamini-Hochberg：偽発見率(FDR)を制御（バランス型）
rej_f, p_f, _, _ = multipletests(p_values, alpha=0.05, method="fdr_bh")

print("Bonferroni 後に有意:", rej_b)
print("FDR(BH) 後に有意:   ", rej_f)

08.実務での使い方｜LPのA/Bテストを例に

ここまでの概念を、よくある場面――LPのCTAボタンのコピーを変えてCVRを上げたい――に当てはめてみます。仮説検定は、テストの前・最中・後でやることが型として決まっています。難しい数式を覚えるより、この型をなぞる方が実務では確実です。

テスト前：3つの数字を決めてからテストを始める

1. 帰無仮説と対立仮説を一文で書く。H₀「新コピーと旧コピーのCVRは等しい」、H₁「異なる」。上がるか下がるか事前に断定できないので両側検定にします。
2. 「これ以上の差なら改修する価値がある」という基準を先に決める。現状CVRが3%なら、「+0.5pt（3.5%）以上なら勝ち」とビジネス側と合意します。これが検出したい効果量（MDE）で、後の判定基準になります。
3. α・検出力からサンプルサイズを逆算する。α=0.05・検出力0.8・上記のMDEなら、1群あたり約2万件が目安です。日次の流入数で割れば「何日回せばよいか」が出ます。期間内に集まらないなら、MDEを緩めるか期間を延ばします。

3つのうち判断が最も難しいのが、2つ目のMDEです。「+0.5pt」は勘で置く数字ではなく、改修で増える売上から逆算して決めます。逆算の軸は2つあります。

軸1：改修コストを回収できる最小の向上か（売上換算）

MDE は「この差未満なら、そもそも改修しない」という損益分岐ラインです。改修で増える売上が、改修とテストにかかるコストを上回る最小の向上幅を、売上換算で求めます。

逆に、CV 1件の粗利が小さく、+0.5pt の向上でも月 +5 万円にしかならない商材なら、改修とテストのコストを回収できません。その場合はMDEをもっと大きく取り直します――「+1pt 以上で初めて勝ち」のように。同じ +0.5pt でも、商材の単価しだいで「価値ある差」かどうかは変わります。

軸2：その差を現実に検出できるか（トラフィック制約）

ビジネス的には +0.1pt の向上でも嬉しいはずです。しかし小さい差ほど、検出に必要なサンプルは急増します――必要サンプルは効果量の2乗に反比例するため、+0.1pt を検出するには +0.5pt の約25倍のサンプルが要ります。テスト期間内に集められない差をMDEに設定しても、結果は「有意差なし」にしかなりません。MDE は「ビジネス的に意味のある最小の差」と「現実に検出できる差」の折り合いで決まります。

テスト中：覗き見して途中で止めない

テストを始めたら、事前に決めた期間・サンプル数に達するまで、結果を見て止めないのが鉄則です。「3日目にp<0.05になったから勝ち」で止めるのは、検定を何度も繰り返すのと同じで、偽陽性が大きく増えます（多重比較・ピーキングの問題）。途中経過は見てよいですが、勝敗の判定は予定日まで保留します。

テスト後：2つの問いに両方Yesなら採用する

期間が終わったら、p値だけでなく効果量と95%信頼区間を出します。そのうえで、次の2つを両方満たすときだけ「採用」と判断します。

判定例を見てみます。同じ「点推定 +0.7pt」でも、信頼区間しだいで結論はまったく変わります。

上の表と図の2行目・3行目は、「統計の問い」と「ビジネスの問い」が別物であることをそのまま示しています。2行目は点推定では +0.7pt とMDEを超えているのに、統計が「ノイズかもしれない」と止める。3行目は統計が「本物の差だ」と認めるのに、ビジネス基準では小さすぎて見送る。片方だけでは判断を誤ります。

ここで「MDEをビジネス側が決めるなら、なぜ統計が要るのか」という疑問が出ます。答えは、観測した数字が、真の数字そのものではないからです。中身がまったく同じLP同士を比べても（A/Aテスト）、CVRはサンプルの引き当てしだいで「B群が +0.3pt 高い」のように必ずズレます。だから手元の「+0.7pt」を見ても、それが真の効果 +0.7pt なのか、真の効果は 0 なのに偶然そう見えただけなのか、数字だけからは区別できません。

逆に言えば、テスト前にこの数字を決めていないA/Bテストは、結果が出ても正しく判定できません。検定の知識は、テスト後の分析よりむしろテスト前の設計でこそ効きます。サンプルサイズの逆算など設計の手順は、A/Bテスト設計の基礎で具体的に扱っています。

09.よくある質問（FAQ）

10.まとめ

統計的仮説検定は、「差はない」という帰無仮説を立て、その仮定のもとで観測データがどれだけ珍しいか（p値）を測り、有意水準αを下回れば棄却する、という手続きです。判定には第一種の過誤（偽陽性）と第二種の過誤（偽陰性）が常に伴い、両者を同時に下げる現実的な手段はサンプルサイズの確保です。

実務で押さえる要点は3つです。第一に、p値は「差がない確率」ではない――サンプル次第でいくらでも小さくなる二値の指標にすぎません。第二に、p値・効果量・信頼区間を3点セットで報告し、「統計的に有意」と「実務的に意味のある差」を切り分けること。第三に、検定を繰り返すなら多重比較補正を行い、探索で見つけた差は別データで確認すること。この3点を守るだけで、データ分析の結論が「偶然のノイズを成果と誤読する」事故を大きく減らせます。