A/Bテスト設計の基礎｜サンプルサイズ・MDE・カイ二乗とt検定の使い分け

A/Bテストの目的は「どちらが良いか」を統計的に切り分けることです。テスト結果が「有意差なし」で終わるか、明確な打ち手につながるかは、開始前にMDE・サンプルサイズ・検出力を揃えられたかに大きく依存します。実装と結果分析は型化できます。

01.まず結論：A/Bテストは『事前設計』で結果の大半が決まる

A/Bテストの実装は 3フェーズ に分解できます。各フェーズでつまずきポイントが違うので、最初に全体像を押さえます。

02.MDE・サンプルサイズ・検出力の3点セット

A/Bテスト設計の中核は3つの数字です。これを事前に決めずにテストを回すと、有意になるまで延々と続けるか、見たい効果を見つけられずに終わります。

# 必要サンプルサイズの計算（statsmodels）
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize

baseline = 0.03         # 現行CVR
mde_abs  = 0.005        # 検出したい絶対差（+0.5pt）
target   = baseline + mde_abs

# 効果量（Cohen's h）を出してから NormalIndPower で n を逆算
h = proportion_effectsize(target, baseline)
analysis = NormalIndPower()
n = analysis.solve_power(effect_size=h, alpha=0.05, power=0.8, ratio=1)

print(f"1群あたり必要サンプル: 約 {int(n)} 件")  # 約 19,700 前後（合計 約 4 万件）

同じ逆算は、次のツールに現行CVR・MDE・有意水準・検出力を入れればその場で計算できます。1群あたりと合計の必要サンプル数に加え、1日あたりの想定流入を入れればテストに何日かかるか、MDEを緩める／厳しくしたときに必要数がどう動くかまで確認できます。サンプルサイズ設計の考え方はサンプルサイズ設計と検出力の基礎で詳しく扱っています。

03.カイ二乗検定｜CVR・CTRなど比率の差を見る

CVR・CTR・購入率・クリック有無のように 「成功した／しなかった」の二値 の比率を A/B で比較するときは、カイ二乗検定（χ²検定）または比率のZ検定を使います。観測度数と「もし差がなかった場合の期待度数」のズレを二乗して足し合わせ、ズレが偶然で説明できるかを判定する仕組みです。この2つの検定が使える理論的な背景（CVRが二項分布に従い、サンプルが十分大きいと正規近似できること）は統計的仮説検定の基礎で整理しています。

# カイ二乗検定の実装（scipy）
import numpy as np
from scipy.stats import chi2_contingency

# CV あり / CV なし
table = np.array([
    [120, 4880],   # A群
    [160, 4840],   # B群
])

chi2, p, dof, expected = chi2_contingency(table)
print(f"カイ二乗統計量: {chi2:.3f}")
print(f"p値: {p:.4f}")  # 0.05 を下回れば有意

# 効果量と信頼区間も併記する（p値だけでは不十分）
from statsmodels.stats.proportion import proportions_ztest, confint_proportions_2indep
count = np.array([120, 160])
nobs  = np.array([5000, 5000])
z, p_z = proportions_ztest(count, nobs)
ci = confint_proportions_2indep(count[1], nobs[1], count[0], nobs[0])
print(f"CVR差の95%CI: {ci}")

上のコード例と同じ計算（比率のz検定＝イェーツ補正なしのカイ二乗検定）は、次のツールで手元のデータからその場で確認できます。初期値には本節の数値例（A: 5000中120CV、B: 5000中160CV）を入れてあります。

04.t検定とWelchのt検定｜平均値の差を見る

滞在時間・客単価・PV/セッション・スクロール深度のような連続値の平均を A/B で比較するときは t 検定を使います。等分散を仮定できれば普通の独立2標本t検定、できなければ Welch のt検定が選択肢です。

# Welch のt検定の実装（scipy）
import numpy as np
from scipy.stats import ttest_ind

a = np.array([...])   # A群の滞在時間（秒）
b = np.array([...])   # B群の滞在時間（秒）

stat, p = ttest_ind(a, b, equal_var=False)  # Welch
print(f"t統計量: {stat:.3f}")
print(f"p値: {p:.4f}")

# 95%信頼区間（差の推定）
from scipy.stats import t as t_dist
mean_diff = b.mean() - a.mean()
se = np.sqrt(b.var(ddof=1)/len(b) + a.var(ddof=1)/len(a))
dof = (b.var(ddof=1)/len(b) + a.var(ddof=1)/len(a))**2 / (
    (b.var(ddof=1)/len(b))**2/(len(b)-1) + (a.var(ddof=1)/len(a))**2/(len(a)-1)
)
ci = mean_diff + np.array([-1, 1]) * t_dist.ppf(0.975, dof) * se
print(f"平均差の95%CI: {ci}")

05.マン・ホイットニーのU検定｜分布を仮定しない検定

売上・客単価・滞在時間のように 分布が歪んでいる、外れ値が多い、または サンプルが少ない ときは、ノンパラメトリック検定の代表格である マン・ホイットニーのU検定（Wilcoxon の順位和検定）が使えます。値そのものではなく順位を使うので、外れ値や対数正規分布に強い性質を持ちます。

# マン・ホイットニーのU検定（scipy）
import numpy as np
from scipy.stats import mannwhitneyu

a = np.array([...])   # A群の客単価
b = np.array([...])   # B群の客単価

stat, p = mannwhitneyu(a, b, alternative="two-sided")
print(f"U統計量: {stat:.1f}")
print(f"p値: {p:.4f}")

# 効果量（rank-biserial correlation）も併記
n1, n2 = len(a), len(b)
r_rb = 1 - 2 * stat / (n1 * n2)
print(f"効果量 r: {r_rb:.3f}")

06.多重比較問題と早期停止（ピーキング）の落とし穴

A/Bテストの統計的判定でハマりやすい2大トピックが、多重比較問題とピーキング（覗き見停止）です。どちらも偽陽性（差がないのに「ある」と判定する）を増やします。

07.実務でつまずく落とし穴と対処

08.よくある質問（FAQ）

09.まとめ

A/Bテストは「事前設計 → 実装 → 分析」の3フェーズで型化できます。事前設計で MDE・サンプルサイズ・検出力を決め、実装でランダム化と SRM サニティチェックを行い、分析で比較対象に応じた検定（比率はカイ二乗、平均はWelchのt、外れ値はマン・ホイットニーU）を使い、p値・効果量・95%信頼区間を必ず併記する。これだけで、A/Bテストの大半の事故は防げます。

最後にもう一度。覗き見停止は最大の偽陽性源。事前計画した期間まで待つか、逐次検定で補正する。これが守れるかどうかが、A/Bテスト運用の成熟度を分けます。