確率較正（キャリブレーション）の基礎｜事後較正とVertex AIでの運用

分類モデルが「解約確率80%」「不正確率5%」と出力すると、その数字をそのまま信頼度として意思決定に使いたくなります。しかし多くのモデルでは、予測確率と実際に起きる頻度は一致しません。「80%」と出力した予測を集めても、実際に的中するのは60%だったり95%だったりします。この予測確率と実際の頻度のズレを整える工程が確率較正（かくりつこうせい、キャリブレーション、calibration）です。「較正」は「こうせい」と読み、計測機器の目盛りを実際の値に合わせ直す意味の言葉で、ここではモデルの出す確率という「目盛り」を実際の頻度に合わせ直すという意味で使われています。

01.まず結論：予測確率は『賭けてよい信頼度』とは限らない

多くの分類モデルが出力する「確率」は、実は確率ではなくスコアです。ロジスティック回帰やニューラルネットワークの出力層はソフトマックスやシグモイド関数を通すため値は0〜1に収まりますが、この値が「100回のうち何回当たるか」という頻度としての確率と一致する保証はどこにもありません。値が0〜1に収まっているという見た目と、統計的に較正された確率であることは、まったく別の性質です。

較正のズレを放置すると、確率の値をそのまま使う意思決定で誤差が積み重なります。与信スコアリングで「デフォルト確率5%以下なら承認する」というしきい値運用をしているとき、モデルが実際は8%のリスクを5%と過小に見積もっていれば、承認基準そのものが緩くなります。広告の入札やクレジットの与信のように確率の値そのものを金額やしきい値の計算に使う場面では、順位付けの精度が高くても、較正がずれていれば意思決定を誤ります。

分類モデルの良し悪しを測る指標には、適合率・再現率・F1スコア・ROC-AUCなど予測モデル評価の指標がありますが、これらは主に「陽性と陰性を正しい順序に並べられているか（識別力）」を測る指標です。確率較正が測るのは別の軸で、「モデルが出す確率の値そのものが、実際の頻度と一致しているか」です。この2つは独立しており、識別力が高くても較正がずれているモデルは珍しくありません。

02.確率較正とは｜Reliability Diagram（信頼度曲線）とECEで測る

確率較正が取れているとは、予測確率がpのグループを十分たくさん集めたとき、そのうち実際に陽性である割合もほぼpになる状態を指します。「解約確率70%」と予測した顧客を1000人集めたら、そのうちおよそ700人が実際に解約している、という状態です。個々の予測が当たるか外れるかではなく、同じ確信度のグループ全体で見たときの整合性です。

このズレを可視化する図がReliability Diagram（信頼度曲線）です。予測確率を10個程度のビンに区切り、各ビンの平均予測確率（横軸）と実際の陽性率（縦軸）をプロットします。較正が完璧なら、すべての点が45度の対角線に乗ります。

対角線より下に沈む曲線は、モデルが過信（overconfident）していることを示します。「90%の確信」と言いながら実際は70%しか当たっていない、という状態です。逆に対角線より上に浮く曲線は過小確信（underconfident）で、モデルが実際より控えめな確率しか出していません。

曲線を1つの数値にまとめた指標がECE（Expected Calibration Error、期待較正誤差）です。各ビンの「平均予測確率と実際の陽性率の差の絶対値」を、ビンに含まれるサンプル数で重み付けして平均します。

ECE = Σ ( ビンmのサンプル数 / 全体のサンプル数 ) × | ビンmの実際の陽性率 − ビンmの平均予測確率 |

ECEが0に近いほど較正が取れており、値が大きいほど予測確率と実際の頻度のズレが大きいことを意味します。しきい値の絶対的な合格ラインは決まっていないため、較正の手法を変えたりモデルを差し替えたりしたときに、ECEが下がったかどうかで改善を判断します。

03.なぜ較正が崩れるか｜モデルごとの過信・過小確信の傾向

較正の崩れ方は、モデルの学習方法によっておおよそ決まった傾向を持ちます。NiculescuMizilとCaruanaによる実証研究では、モデルの種類ごとに較正の崩れ方が体系的に異なることが示されました（Predicting Good Probabilities with Supervised Learning, ICML 2005）。

2005年時点の実証研究では、当時の（今よりずっと小規模な）ニューラルネットワークとバギング木は較正が比較的良好とされていました。しかしその後、層を深くしパラメータ数を増やした現代のニューラルネットワークでは、精度こそ上がった一方で確信度が過信気味になることがGuoらの2017年の研究（On Calibration of Modern Neural Networks）で報告されています。モデルの学習方法が変われば較正の崩れ方も変わるため、「このモデルなら較正しなくて大丈夫」と決め打ちせず、Reliability DiagramとECEで毎回確認します。

04.事後較正の手法｜Platt Scaling・Isotonic Regression・Temperature Scaling

較正のズレが分かったら、次はそれを補正します。モデル自体を学習し直すのではなく、出力スコアを入力にとり、較正済みの確率を返す小さな変換関数を後付けするのが事後較正の基本発想です。代表的な手法が3つあります。

Platt Scaling｜1本のシグモイドで補正する

Platt Scaling（プラット・スケーリング）は、モデルの出力スコアを1本のシグモイド関数に通す手法です。calibrated = 1 / (1 + exp(A × score + B))という式のパラメータA・Bだけを、較正用データに対する最尤推定で求めます。もともとは1999年にJohn PlattがSVMの出力を確率に変換するために提案した手法です。パラメータが2個しかないため少ない較正データでも安定して学習できるのが利点で、勾配ブースティング木のようなシグモイド状に歪んだ較正にはとくに相性が良い手法です。

Isotonic Regression｜形を仮定しないノンパラメトリックな補正

Isotonic Regression（アイソトニック回帰）は、「予測スコアが大きいほど較正後の確率も単調に大きくなる」という順序関係だけを仮定し、それ以外の形はデータから自由に決めるノンパラメトリックな手法です。Pool Adjacent Violators（PAV）というアルゴリズムで、階段状の変換関数を求めます。シグモイドという決め打ちの形を仮定しないぶん柔軟ですが、scikit-learnの公式ドキュメントが指摘するとおり較正用データが少ない（目安1000件未満）と過学習しやすいという弱点があります（scikit-learn: Probability calibration）。

Temperature Scaling｜ニューラルネット向けの1パラメータ版

Temperature Scaling（温度スケーリング）は、ニューラルネットワーク向けにPlatt Scalingをさらに単純化した手法です。softmaxに入れる前のロジットを、較正用データから求めた1つの温度パラメータTで割るだけで、calibrated = softmax(logits / T)という式になります。パラメータが1個だけなので分類の精度（accuracy、どのクラスが一番スコアが高いか）はまったく変えず、確信度の強さだけを調整します。Platt ScalingのA・Bの2パラメータのうち傾きに相当する1個だけを残した特別なケースと考えると理解しやすい手法です。

# 事後較正：学習済みモデルの出力にPlatt Scaling / Isotonic Regressionを後付けする（scikit-learn）
from sklearn.calibration import CalibratedClassifierCV, calibration_curve
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.frozen import FrozenEstimator
from sklearn.model_selection import train_test_split
import numpy as np

# X, y: 学習用データ。学習・較正・評価の3つに分け、どの用途にも同じデータを使い回さない
X_train, X_rest, y_train, y_rest = train_test_split(X, y, test_size=0.4, random_state=0)
X_calib, X_eval, y_calib, y_eval = train_test_split(X_rest, y_rest, test_size=0.5, random_state=0)

# 1. モデルはいつもどおり学習する（較正は意識しなくてよい）
base_model = GradientBoostingClassifier().fit(X_train, y_train)

# 2. 学習済みモデルを凍結し、較正用データだけで較正器を後付けする
platt = CalibratedClassifierCV(FrozenEstimator(base_model), method="sigmoid").fit(X_calib, y_calib)
isotonic = CalibratedClassifierCV(FrozenEstimator(base_model), method="isotonic").fit(X_calib, y_calib)

# 3. Reliability Diagramで較正前後を比較する（較正器の学習に使っていないX_evalで評価する）
prob_raw = base_model.predict_proba(X_eval)[:, 1]
prob_platt = platt.predict_proba(X_eval)[:, 1]
frac_pos_raw, mean_pred_raw = calibration_curve(y_eval, prob_raw, n_bins=10)
frac_pos_platt, mean_pred_platt = calibration_curve(y_eval, prob_platt, n_bins=10)

# 4. ECE（Expected Calibration Error）を計算する
def expected_calibration_error(y_true, y_prob, n_bins=10):
    bins = np.linspace(0, 1, n_bins + 1)
    idx = np.digitize(y_prob, bins) - 1
    idx = np.clip(idx, 0, n_bins - 1)  # 予測確率がちょうど1.0のときも最後のビンに入れる
    ece = 0.0
    for b in range(n_bins):
        mask = idx == b
        if mask.sum() == 0:
            continue
        acc = y_true[mask].mean()
        conf = y_prob[mask].mean()
        ece += (mask.sum() / len(y_prob)) * abs(acc - conf)
    return ece

print("較正前 ECE:", expected_calibration_error(y_eval, prob_raw))
print("較正後 ECE:", expected_calibration_error(y_eval, prob_platt))

# Temperature Scaling：学習済みニューラルネットのロジットを温度Tで割るだけ（PyTorch）
import torch

class TemperatureScaler(torch.nn.Module):
    def __init__(self, model):
        super().__init__()
        self.model = model  # 学習済みモデルは凍結し、重みは更新しない
        self.temperature = torch.nn.Parameter(torch.ones(1) * 1.5)

    def forward(self, x):
        logits = self.model(x)
        return logits / self.temperature

def fit_temperature(scaler, calib_logits, calib_labels, max_iter=50):
    optimizer = torch.optim.LBFGS([scaler.temperature], lr=0.01, max_iter=max_iter)
    nll = torch.nn.CrossEntropyLoss()

    def closure():
        optimizer.zero_grad()
        loss = nll(calib_logits / scaler.temperature, calib_labels)
        loss.backward()
        return loss

    optimizer.step(closure)
    return scaler.temperature.item()

多クラス分類にPlatt ScalingやIsotonic Regressionを使う場合、scikit-learnの実装は各クラスを1対他（One-vs-Rest）で個別に較正し、合計が1になるよう事後的に正規化します。仕組みは公式ドキュメントで説明されています。

05.事後較正の実務フロー｜データの分け方からVertex AIでの運用まで

事後較正の実務は、モデルを鍛え直す作業ではありません。学習済みモデルはそのまま、出力の後ろにもう一段変換を差し込むだけです。実際の作業は次の5ステップに分解できます。

この5ステップは、Google CloudのVertex AIのようなMLOps基盤の上でも同じ順番で組みます。なお、Vertex AIは2026年に「Gemini Enterprise Agent Platform」へ改称され、AutoMLやカスタム学習は新プラットフォームの「Models」配下の機能として続いています。改称の経緯はAutoMLとGoogleのAutoML（Vertex AI）の使いどころで整理しているので、本記事では読みやすさを優先し、従来の呼称「Vertex AI」で表記します。

Vertex AIのAutoMLは、分類モデルの評価結果として各クラスのconfidence scoreと、confidenceThresholdを変えたときの適合率・再現率の推移を返します。ただしこのconfidence scoreは較正済みの確率であることを保証するものではなく、Vertex AIの評価指標のドキュメントも、閾値ごとの適合率・再現率のトレードオフという識別力側の指標が中心です。較正まで担保したいときは、AutoMLやカスタム学習で作ったモデルに対して、Vertex AI PipelinesのステップとしてStep 2〜3（較正セットの分割・較正器のフィット）を独立したコンポーネントとして組み込み、Vertex AI Predictionへのデプロイ時にカスタム予測ルーチンとして「元モデル→較正器」の2段構えを実装します。

06.よくある質問（FAQ）

07.まとめ

分類モデルが出す予測確率は、そのままでは実際の頻度と一致しません。勾配ブースティング木やSVMは確信度を控えめに、ナイーブベイズや層の深い現代のニューラルネットワークは確信度を強く出しがちで、モデルの学習方法によって崩れ方の傾向が異なります。このズレはReliability Diagram（信頼度曲線）とECE（Expected Calibration Error）で可視化・数値化でき、ROC-AUCやF1スコアといった識別力の指標とは独立に確認する必要があります。

補正には、学習済みモデルの出力にもう一段変換を差し込む事後較正を使います。シグモイド状に歪みやすい勾配ブースティング木・SVMにはPlatt Scaling、較正データが十分あるならIsotonic Regression、ニューラルネットワークにはTemperature Scalingが基本の使い分けです。実務では、学習にもテスト評価にも使っていない較正専用データで較正器を学習し、本番投入後もラベルが確定するたびにECEを再計算して、必要なら較正器だけを再学習します。Vertex AIのようなMLOps基盤も較正を自動でやってくれるわけではなく、較正のステップと継続監視の仕組みは自分で設計して組み込む必要があります。

識別力側の評価指標・確率を出力する回帰モデルの基礎・AutoMLでの運用は、それぞれ別記事で詳しく整理しています。あわせてご覧ください。