A/B テストできない施策の効果測定｜差分の差分と傾向スコアで観察データから効果を取り出す

「全顧客に新機能をリリースした後で、効果を測ってほしいと言われた」「TVCM を打った地域と打たなかった地域があるが、CM の効果はどう出すのか」「キャンペーン応募者は、応募していなければどうなっていたのか」。これらの問いに答えるのが 因果推論 です。A/B テストを仕込めなかった施策でも、観察データから「もし施策がなかったらどうなっていたか」を推定し、純粋な効果の数字を取り出す道具です。

たとえば BtoB SaaS で新機能を全社一斉公開した後、機能を使った顧客と使わなかった顧客の解約率を単純比較すると、もともと熱量の高い顧客が機能を触りやすいという自己選択バイアスで効果を過大評価してしまいます。「機能利用群の解約率が低い」のは機能のおかげではなく、もとから解約しにくい顧客が機能を使っただけかもしれません。こうした観察データから施策の純粋な効果を取り出すやり方が 因果推論 です。

01.まず結論：A/B できない時の効果推定は『どこを比較対象にするか』が勝負

因果推論の各手法は、結局のところ「介入を受けなかったらどうなっていたか」という 反実仮想（カウンターファクト）（もし介入が起きなかった場合の、推定される結果値）をどう作るかの違いです。手法ごとに、どこから比較相手を持ってくるかが変わります。最初にやるのは「自分の手元のデータがどの形（時系列か / 横断か）か」を確認することです。

02.因果推論が必要になる場面｜全員施策・自己選択・観察データ

因果推論を持ち出すのは、無作為割付が物理的・倫理的・運用的に難しい場面です。実務でぶつかる典型は次の 3 つに整理できます。

03.差分の差分｜全員に施策が出た後でも効果を測れる

差分の差分（Difference-in-Differences）は、介入を受けた群と受けなかった群を、介入前後で並べて 2×2 の表で差を取る方法です。介入前後に共通する季節・市況のトレンドを対照群から差し引くことで、純粋な施策効果だけを残します。

# 実際の業務でやるなら、まずこの形（顧客 ID × 月次 × 介入フラグ × 結果値）でデータを準備する。
# 集計が終わっていれば、差の差は statsmodels で 1 行。
import statsmodels.formula.api as smf

# df の列：y（結果値）, treat（介入群=1/対照群=0）, post（介入後=1/前=0）
model = smf.ols("y ~ treat * post", data=df).fit()
print(model.summary())
# treat:post の係数が「差の差」（介入の純粋な効果）

04.傾向スコアマッチング｜似た者同士で比較する

傾向スコアマッチングは、介入群の各対象に「業種・契約年数・利用頻度などが似ている対照群」を 1 対 1 でペアにして、ペアごとの結果差を集計する方法です。介入前後のパネルがなくても、横断データだけで効果を測れるのが強みです。

# 実際の業務でやるなら、まずこの形（顧客 ID × 共変量 × 介入フラグ × 結果値）でデータを 1 枚に揃える。
# 揃ったら scikit-learn だけでマッチングできる。
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import NearestNeighbors

X = df[["industry", "mau", "contract_years", "plan_tier"]]

# 1. 傾向スコアの推定
df["ps"] = LogisticRegression(max_iter=1000).fit(X, df["treat"]).predict_proba(X)[:, 1]

# 2. 1:1 最近傍マッチング（caliper=0.05 で離れ過ぎは除外）
treated = df[df["treat"] == 1]
control = df[df["treat"] == 0]
nn = NearestNeighbors(n_neighbors=1).fit(control[["ps"]].values)
dist, idx = nn.kneighbors(treated[["ps"]].values)
keep = dist[:, 0] < 0.05

matched_treated = treated.iloc[keep]
matched_control = control.iloc[idx[keep, 0]]

# 3. 結果差の平均（介入の効果）
effect = matched_treated["y"].mean() - matched_control["y"].mean()
print(f"効果: {effect:.3f}")

05.仮定チェックと落とし穴｜並行トレンド・共通サポート・隠れ交絡

差分の差分と傾向スコアマッチングは、それぞれ「成立するための前提」が違います。仮定が崩れていると、数字は出ても解釈には使えません。推定値を施策評価に出す前に、最低限この 3 つだけは手を動かして確認します。

並行トレンドは介入後の動きでは確認できません。最初にやるのは、介入前の 3〜6 ヶ月で両群を重ねてプロットし、目視で平行か確認することです。補助として「介入時点より前にダミーの介入日を置いて差分の差分を回し、効果がゼロ近傍に収まるか」を見るプラセボテストも有効です。

共通サポートはヒストグラムを重ね描きすれば一目で判断できます。重なりが薄ければマッチ可能な範囲に対象を絞る、対照プールを別事業部・別期間から広げる、といった手前の設計に戻る判断が必要です。

06.よくある質問（FAQ）

07.まとめ

A/B テストが組めない時の効果測定は、反実仮想（介入がなかったら結果はどう動いていたか）をどう作るかの設計です。介入前後のパネルがあれば差分の差分で対照群のトレンドから作り、横断データで共変量が豊富なら傾向スコアマッチングで似た背景の対象から作る。並行トレンドと共通サポートを目視確認し、隠れ交絡の感度分析を 1 度通せば、施策評価に使える数字になります。

最初にやるのは A/B テストが組めないかを真剣に検討することです。組めない時に、差分の差分と傾向スコアマッチングを並走させ、両手法で効果量の符号と大きさが揃うかを確認するのが、実務での向き合い方です。揃わないなら、どこかの仮定が崩れているサインです。