ベイズ統計の基礎｜事前分布・尤度・事後分布とベイズA/Bテストの考え方

A/Bテストで「Bが勝った」と判断するとき、頻度論の仮説検定はp値という遠回りの指標を返します。一方で、現場が本当に知りたいのは「Bが勝っている確率はどれくらいか」「いま切り替えると、どれくらい損をしうるか」という直接的な問いです。この問いに正面から答えるのが、ベイズ統計の枠組みです。

01.まず結論：ベイズ統計は『観測のたびに確信度を更新する』枠組み

ベイズ統計の発想は、日常の判断にとても近いものです。新しいLP（ランディングページ）を公開する前、私たちは経験から「CVRはたぶん2〜4%くらいだろう」とぼんやり見込みを持っています。公開して100人が訪問し3人がコンバージョンすれば、その見込みは少し動きます。さらに1万人ぶんのデータが集まれば、見込みはかなり鋭く定まります。

この「最初の見込み → データ → 更新された見込み」という流れを、確率の言葉で厳密に回す手続きがベイズ統計です。更新前の見込みを事前分布、更新後の見込みを事後分布と呼び、両者をつなぐのがベイズの定理です。

頻度論の仮説検定が「観測した差は偶然で説明できるか」をイエス・ノーで判定するのに対し、ベイズは「真の値はこのあたりにこれくらいの確信で存在する」という分布そのものを出力します。判定ではなく確信の地図を持つ――この違いが、実務での使い勝手に効いてきます。

02.頻度論とベイズ｜確率の2つの解釈

ベイズ統計と頻度論（従来型の統計）の違いは、計算手法より先に「確率」という言葉の意味にあります。同じ「確率」でも、両者は別のものを指しています。

頻度論では、確率は「同じ試行を無限に繰り返したときの長期的な頻度」です。コインの表が出る確率0.5とは、無限に投げれば半分が表になる、という意味です。この立場では、推定したいパラメータ（真のCVRなど）は固定された未知の定数であり、それ自体に確率を語ることはしません。

ベイズ統計では、確率は「ある主張に対する確信の度合い」です。「真のCVRが3%を超える確率は80%」のように、まだ1つに定まらない量に対して、現時点でどれだけ確からしいと考えるかを数値で表します。この立場では、パラメータは確率変数として分布で扱われます。

03.ベイズの定理｜事前分布・尤度・事後分布

ベイズ更新の心臓部がベイズの定理です。推定したいパラメータをθ（シータ、たとえば真のCVR）、観測データをDとすると、次のように書けます。

P(θ|D)  =  P(D|θ) × P(θ)  /  P(D)

事後分布  =  尤度  ×  事前分布  ÷  周辺尤度

実務的には P(D) は定数なので、次の比例関係だけ覚えればよい:

事後分布  ∝  尤度  ×  事前分布

3つの登場人物の役割を整理します。

実務で扱いやすいのは、事前分布と事後分布が同じ種類の分布になる組み合わせです。これを共役事前分布と呼びます。コンバージョン率のような「成功・失敗」を数える問題では、ベータ分布を事前分布に選ぶと、データ（二項分布）で更新した事後分布もまたベータ分布になり、計算が一行で済みます。

ベータ分布は2つのパラメータαとβで形が決まり、直感的には「α回成功し、β回失敗したときの確信」を表すと考えられます。事前分布をベータ(1, 1)（＝一様分布、どのCVRも等しくありえると考える無情報な見込み）にしておけば、観測で成功s回・失敗f回を見たあとの事後分布は、ただの足し算で ベータ(1 + s, 1 + f) になります。

04.ベイズ更新｜データが増えるほど事後分布は絞られる

ベイズ統計の最大の特徴は、事後分布が次の事前分布になる点です。今日のデータで更新した事後分布を、明日また新しいデータで更新する――この逐次更新をベイズ更新と呼びます。データを一度に処理しても、小分けに処理しても、最終的な事後分布は同じになります。

観測が少ないうちは、事後分布は広くなります。これは「真の値がまだ広い範囲のどこにあってもおかしくない」＝確信が薄いことを意味します。データが積み上がるほど分布は真の値の周りに鋭く集中し、確信が強まります。頻度論で「サンプルを増やすと信頼区間が狭まる」のと同じ現象を、ベイズでは分布の形の変化として直接見られます。

# ベータ分布によるベイズ更新（CVRの推定）
import numpy as np
from numpy.random import default_rng

rng = default_rng(0)

# 事前分布 Beta(1, 1)：一様（事前知識なし）
alpha, beta = 1, 1

# 観測：5,000訪問のうち120コンバージョン
visits, conversions = 5000, 120

# 事後分布 = Beta(α + 成功, β + 失敗)
alpha_post = alpha + conversions
beta_post  = beta + (visits - conversions)

# 事後分布から標本を引き、点推定と95%信用区間を出す
samples = rng.beta(alpha_post, beta_post, size=200_000)
print(f"CVRの事後平均: {samples.mean() * 100:.2f}%")
lo, hi = np.percentile(samples, [2.5, 97.5])
print(f"95%信用区間: {lo * 100:.2f}% 〜 {hi * 100:.2f}%")

ここで得られる95%信用区間は、「真のCVRがこの区間に入る確率が95%」とそのまま読めます。頻度論の信頼区間のように「手続きの性質」と解釈をひねる必要はありません。

05.ベイズA/Bテスト｜『Bが勝つ確率』を直接出せる

ベイズ統計がA/Bテストで力を発揮するのは、現場の問いにそのまま答えられるからです。頻度論の検定が返すp値は「差がないと仮定したときの観測の珍しさ」という間接的な指標で、誤解も招きやすいものです。ベイズA/Bテストは代わりに、「BがAに勝つ確率」と「いま判断したときの期待損失」を直接出します。

手順はシンプルです。A群・B群それぞれのCVRについて事後分布を作り、両方の分布から無数のペアを引いて、BがAを上回った割合を数えるだけです。

# ベイズA/Bテスト：P(B>A) と期待損失・期待リフトを求める
import numpy as np
from numpy.random import default_rng

rng = default_rng(0)

# 事前分布 Beta(1, 1)（一様：事前知識なし）
prior_a, prior_b = 1, 1

# 観測：訪問数とコンバージョン数
visits_A, cv_A = 5000, 120   # A群 CVR 2.4%
visits_B, cv_B = 5000, 160   # B群 CVR 3.2%

# 各群の事後分布から大量に標本を引く
post_A = rng.beta(prior_a + cv_A, prior_b + visits_A - cv_A, size=400_000)
post_B = rng.beta(prior_a + cv_B, prior_b + visits_B - cv_B, size=400_000)

p_b_wins = np.mean(post_B > post_A)          # Bが勝つ確率
expected_lift = np.mean(post_B - post_A)     # 期待リフト
# Bを採用したのに実はAが上だった場合の損失の期待値
expected_loss_B = np.mean(np.maximum(post_A - post_B, 0))

print(f"P(BがAに勝つ): {p_b_wins:.3f}")              # 約0.99
print(f"期待リフト: {expected_lift * 100:+.2f}pt")    # 約+0.80pt
print(f"B採用時の期待損失: {expected_loss_B * 100:.3f}pt")

この例では、Bが勝つ確率は約99%、期待リフトは約+0.8pt、Bを採用したときの期待損失はごくわずかになります。「Bが勝つ確率99%」は、p値と違って意思決定者がそのまま理解できる数字です。さらに期待損失――間違ってBを選んでしまったときに失うCVRの期待値――を併せて見れば、「勝つ確率は完全に100%ではないが、外したときの損失も小さいので切り替えてよい」といった、リスクを織り込んだ判断ができます。

06.頻度論のA/Bテストとの比較

ベイズと頻度論は対立する流派ではなく、道具の使い分けです。同じA/Bテストでも、両者は別の問いに答え、別の落とし穴を持ちます。

重要なのは、ベイズに変えれば途中で何度見て止めてもよい、という誤解を持たないことです。確かにベイズの事後分布は「いま見ても解釈が壊れない」性質を持ちますが、「勝率がたまたま閾値を超えた瞬間に止める」という運用をすると、頻度論のピーキングと同じく、偶然の揺らぎを勝ちと誤認する確率が上がります。ベイズでも、サンプル計画を立てるか、期待損失のような揺らぎに強い基準で止めどきを決める規律は必要です。

07.Thompson Sampling（トンプソン抽出）への接続

ベイズの事後分布は、A/Bテストの「判定」だけでなく、「次にどの選択肢を見せるか」をその場で決める用途にも自然につながります。その代表がThompson Sampling（トンプソン抽出）です。

通常のA/Bテストは、訪問者を一定割合でAとBに振り分け続け、最後にまとめて判定します。テスト中は、たとえ早い段階でBが優勢でも、半分の訪問者には負けている可能性のあるAを見せ続けます。Thompson Sampling は、この「テスト中の機会損失」を縮めるために、各選択肢の事後分布から1標本ずつ引き、いちばん大きく出た選択肢を見せるという運用をします。

# Thompson Sampling：各腕の事後分布から1標本引き、最大の腕を選ぶ
import numpy as np
from numpy.random import default_rng

rng = default_rng(0)

def choose_arm(successes, trials):
    # 各腕の事後分布 Beta(1+成功, 1+失敗) から1標本ずつサンプリング
    samples = [
        rng.beta(1 + s, 1 + (n - s))
        for s, n in zip(successes, trials)
    ]
    return int(np.argmax(samples))   # いちばん大きい標本が出た腕を選ぶ

# 例：3つの腕の現在の成績（成功数 / 試行数）
successes = [12, 30, 5]
trials    = [200, 380, 90]
print("次に見せる腕:", choose_arm(successes, trials))

この仕組みのうまい点は、事後分布の幅がそのまま「探索すべき度合い」になっていることです。試行が少なく事後分布が広い腕は、サンプリングのたびに大きな値も小さな値も出るため、ときどき選ばれて探索されます。一方、十分に試行を重ねて高いCVRが確信されている腕は、安定して選ばれて活用されます。探索と活用のバランスを、別途ルールを書かずに事後分布だけで自然に取れる――これがベイズ更新を土台にした適応的最適化の魅力です。

08.実務での使い方と落とし穴

ベイズ統計を実務に持ち込むときに、つまずきやすい点と対処を整理します。

計算面のハードルは下がっています。コンバージョン率のような問題はベータ分布の足し算で済み、複雑なモデルでも PyMC や Stan といった確率的プログラミングのライブラリが事後分布の計算を引き受けます。ベイズ統計で本当に難しいのは計算ではなく、事前分布の選び方と結果の解釈という設計判断であり、そこは人が責任を持つ領域です。

09.よくある質問（FAQ）

10.まとめ

ベイズ統計は、確率を「確信の度合い」と解釈し、推定したい量を分布として持つ枠組みです。データを見る前の見込み（事前分布）に、データの裏付け（尤度）を掛け合わせ、観測後の見込み（事後分布）へ更新する――このベイズ更新を、観測のたびに繰り返します。データが増えるほど事後分布は真の値の周りに鋭く集中し、不確実性が縮みます。

実務での要点は次の3つです。

• ベイズは現場の問いに直接答えられます。「Bが勝つ確率」「期待損失」「真値が区間にある確率」を、p値を介さず出力します。
• 事前分布は自由度であり責任でもあります。事前知識がなければ無情報な事前分布を使い、強い事前分布には根拠と感度分析を添えます。
• ベイズでも止めどきの規律は要ります。勝率が一瞬閾値を超えただけで止めず、サンプル計画や期待損失基準で判断します。

この3点を守れば、ベイズ統計はA/Bテストから Thompson Sampling による適応的最適化まで、一貫した土台として使えます。