バンディット・適応的最適化｜トンプソン抽出で A/B より早く損失少なく改善する

A/B テストは「事前計画した期間が終わるまで両方を均等に見せ続ける」設計です。事業として悩ましいのは、明らかに劣る案にもユーザーの 1/n を割り当て続けるところ。3 つの LP 案を A/B/C テストするとき、明らかに劣る C 案にもユーザーの 1/3 を 30 日間割り当てる損失を、毎回そのまま受け入れて良いかは事業判断になります。

バンディットアルゴリズムは、テストを止めずに「今どれを見せるか」を統計的に切り替えていく適応的最適化の枠組みです。序盤の不確実なうちは均等に試し、確信がついた案により多くトラフィックを回す動きをするため、A/B より早く・損失少なく改善できます。

01.まず結論：A/B は『何が良いか』、バンディットは『今どれを見せるか』

A/B テストとバンディットは、見かけ上どちらも「複数案から選ぶ」道具ですが、設計思想が違います。両者の違いを 1 枚に整理すると次の通りです。

本記事では、最もシンプルな ε-greedy から始めて、不確実性を陽に扱う UCB1、ベイズ的な トンプソン抽出、文脈情報を入れる Contextual Bandit までを順に整理します。

02.バンディットとは｜概念と『いつ有効か』

バンディットは「複数の選択肢（案）から、毎回どれを見せれば長い目で得が大きいか」を、観測しながら自動で決める枠組みです。スロットマシン（one-armed bandit）の台選びになぞらえて名付けられています。やっていることはシンプルで、勝っている案には多く・自信のない案にもときどき試行を回す、これだけ。

いつ有効か｜A/B より早く・損失少なく改善できる 4 つの場面

03.ε-greedy（イプシロン グリーディ）｜最もシンプルな探索-活用バランス

いつ使うか：理解の入口に使う最小構成。本番運用には向きません（劣る案にも常時 ε ぶん流し続けるため）。

動き：ε（例：0.1）の確率でランダムに案を引き、残り（1−ε）の確率でいま勝っている案を引く、それだけ。30 行ほどで書けます。

04.UCB1｜不確実性が大きい案を優先探索

いつ使うか：パラメータ調整がほぼ要らないので、トラフィック量が事前に読めないときの安全策に。

動き：各案に「平均報酬」と「自信のなさ（試行回数が少ないほど大きい）」の合計スコアを出し、毎回スコア最大の案を選びます。試行が少ない案ほど自信のなさが大きく加算されるので、自然と一度は試される設計です。

報酬が 0/1 でない連続値や、遅延報酬・トレンドが変わる非定常環境では、UCB-V・UCB-Tuned・Sliding-Window UCB といった拡張版に置き換えが必要です。

05.トンプソン抽出｜ベイズで案ごとに信念を持つ

いつ使うか：実装が短く性能も高いので、本番運用の第一候補として使います。

動き：各案に「勝ち確率の事後分布（観測データを反映した信念）」を持たせ、毎回そこから 1 サンプルずつ引いて、最大値が出た案を選びます。十分試行した案は分布が尖って活用、試行が少ない案は分布が広くて偶然大きな値が出やすく自然に探索される、という探索-活用の切り替えが 1 つのルールで成立します。Yahoo・Microsoft・LinkedIn・Netflix などで本番採用されている枯れた手法です。

やる手順｜5 ステップで本番に近い形が回る

実装の流れは次の 5 ステップに圧縮できます。学習と運用が同時進行するため、別途「学習期間」を切り出す必要はありません。

ベルヌーイ報酬（クリック / 非クリック、CV / 非 CV）なら、各案に Beta(α, β) を持たせて、成功なら α に +1、失敗なら β に +1、と数えるだけで信念が自動更新されます。理屈は要らず、+1 ルールを覚えれば実装に進めます。

# トンプソン抽出の実装（ベルヌーイ報酬）
import numpy as np
from scipy.stats import beta

rng = np.random.default_rng(42)
true_rates = np.array([0.20, 0.30, 0.25])
n_arms = len(true_rates)

T = 1000
alpha = np.ones(n_arms)   # 事前分布 Beta(1, 1)
beta_ = np.ones(n_arms)
history = []

for t in range(T):
    # 各案の事後分布から 1 サンプルずつ引く
    samples = rng.beta(alpha, beta_)
    a = int(np.argmax(samples))           # 最大のサンプルが出た案を選ぶ

    r = 1.0 if rng.random() < true_rates[a] else 0.0
    alpha[a] += r
    beta_[a] += (1 - r)
    history.append(a)

print("事後分布の平均 (= 推定 CVR):", alpha / (alpha + beta_))
print("各案の試行回数:", alpha + beta_ - 2)   # α0=β0=1 を引く

# 連続値報酬（売上など）の場合は Beta ではなく
# Normal-Inverse-Gamma などの共役事前分布を使う

06.A/B テストにバンディットを組み込む 3 つのパターン

実務でいちばん知りたいのは「結局、A/B テストとバンディットをどう組み合わせるか」です。よくある運用パターンは次の 3 つに整理できます。

07.よくある質問（FAQ）

08.まとめ

バンディットアルゴリズムは「テスト途中で今どれを見せるかを切り替える」適応的最適化の枠組みです。ε-greedy は短く書けて入口にはなるものの長期運用には不向き、UCB1 はパラメータほぼ無しで実用に耐え、トンプソン抽出 は実装も短く性能も高く、Beta(α, β) を α ← α + 1 / β ← β + 1 で更新するだけで動きます。

本番運用で 累積報酬を最大化したい・案が頻繁に入れ替わる・多数バリアントから選びたい、というケースはバンディットが向きます。一方で 因果効果を社内に残したい・プライシングなど致命的判断・統計的有意性が必須、というケースは A/B テストが向きます。最初はトンプソン抽出の 30 行の実装から触ってみて、必要になったら Contextual に拡張するのが取り回し良い進め方です。