適合率（Precision）と再現率（Recall）｜しきい値設計とF1スコアの使い分け

分類モデルを作ると、必ず「どれくらい当たっているか」を1つの数字で聞かれます。ところが正解率（Accuracy）だけでは、スパム判定・不正検知・解約予測のように陽性が数%しかない問題の実態を取り違えます。全件を「陰性」と答えるだけで正解率が95%を超えてしまうからです。

そこで使うのが適合率（Precision）と再現率（Recall）です。この2つは同じモデルのしきい値を動かして押し引きできる一組の指標で、切り離して眺めても判断材料になりません。本記事では、スコアの計算手順から運用への載せ方までを実数の例で追いかけます。

01.結論：しきい値で決まる2つの指標

適合率と再現率が別々の指標に見えるのは、分子が同じで分母だけが違うことが見えていないからです。分子はどちらも「正しく陽性と当てた件数（真陽性）」で、適合率はそれを陽性と予測した件数で割り、再現率は実際に陽性だった件数で割ります。scikit-learn の評価指標ドキュメントによると、適合率は「陰性のサンプルを陽性とラベル付けしない能力」、再現率は「すべての陽性サンプルを見つけ出す能力」と説明されています。

ここから、2つの関係が決まります。しきい値を下げて陽性と判定する件数を増やすと、実際の陽性を拾える数が増えて再現率は上がります。ただし空振りも同時に増えるため、適合率は下がります。だからこそ、どちらか一方だけを100%に近づけても意味がありません。全件を陽性と判定すれば再現率は1.0になりますし、最も自信のある1件だけを陽性と判定すれば適合率は1.0に近づくからです。

02.スコアの出し方｜混同行列の実数からの計算

計算は混同行列の4マスから始めます。ここでは、問い合わせフォームに届いた1,000件のうち実際のスパムが50件あり、モデルがスパムと判定したのが40件、そのうち本当にスパムだったのが32件だった、という例で追いかけます。

この例では適合率が0.80、再現率が0.64です。正解率（Accuracy）は（32＋942）÷1,000で0.974になりますが、この0.974という数字は「ほとんどが通常の問い合わせだった」という事実をなぞっているだけで、スパムを何件取り逃したかを何も語っていません。陽性が少ないデータで正解率だけを報告してはいけないのは、このためです。

scikit-learn では、混同行列を自分で数えなくても classification_report がクラスごとの適合率・再現率・F1スコアをまとめて出してくれます。

from sklearn.metrics import classification_report, confusion_matrix

# y_true: 実際のラベル（1=スパム, 0=通常）, y_pred: しきい値 0.5 で 0/1 にした予測
print(confusion_matrix(y_true, y_pred, labels=[1, 0]))
# [[ 32  18]    <- 実際スパム: TP=32, FN=18
#  [  8 942]]   <- 実際通常  : FP=8,  TN=942

print(classification_report(y_true, y_pred, digits=3))
#               precision    recall  f1-score   support
#            0      0.981     0.992     0.986       950
#            1      0.800     0.640     0.711        50

回帰のRMSEや相関係数まで含めた評価指標の全体像は、別記事の「予測モデル評価の指標と使い分け」で整理しています。本記事はそのうち適合率と再現率に絞り、しきい値をどう決めて運用へ載せるかを扱います。

03.しきい値を動かしたときの変化

多くの分類モデルは0〜1のスコアを返し、そのスコアを0/1に変える境目がしきい値です。scikit-learn の predict() は0.5を境に判定しますが、この0.5はライブラリが置いた初期値にすぎません。

先ほどのスパム判定の例で、しきい値だけを変えたときの数字を並べると、押し引きがはっきりします。実際のスパムは常に50件なので、真陽性が増えれば見逃し（偽陰性）はその分だけ減ります。

しきい値0.1では実際のスパム50件のうち47件を拾えていますが、そのために103件の通常の問い合わせをスパム扱いしています。逆に0.8なら空振りは1件で済むものの、31件のスパムが通り抜けてしまいます。どの行が正解かはデータからは決まらず、業務側の損失の大きさで決まります。

しきい値を総当たりで試す必要はなく、precision_recall_curve がすべてのしきい値に対応する適合率と再現率を一度に返してくれます。

import numpy as np
from sklearn.metrics import precision_recall_curve

proba = model.predict_proba(X_valid)[:, 1]          # 陽性クラスのスコア
precision, recall, thresholds = precision_recall_curve(y_valid, proba)

# precision / recall は thresholds より 1 要素長い（末尾は recall=0, precision=1 の点）
for t, p, r in zip(thresholds[::200], precision[::200], recall[::200]):
    print(f"threshold={t:.2f}  precision={p:.3f}  recall={r:.3f}")

04.優先順位の決め方｜2種類の損失からの逆算

損失を金額に置き換えた合計の比較

しきい値を決める最も納得の得やすい方法は、見逃し1件あたりの損失と空振り1件あたりの損失を金額に置き換え、合計が最小になる点を選ぶことです。精度の議論を業務の議論に翻訳できるので、現場や経営層とも合意しやすくなります。

同じスパム判定モデルでも、置かれた状況によって答えが正反対になります。問い合わせフォームのスパム判定では、空振り（本物の問い合わせをスパム扱いする）が商談機会の損失に直結するため高くつきます。ここでは空振り1件を30,000円、見逃し1件を担当者の対応時間として1,000円と置いてみます。

用途による最小しきい値の違い

この置き方では、しきい値を高くして適合率を優先する0.8が最小になります。ところが同じモデルを不正決済の検知に使い、見逃し1件の損失を50,000円、空振り1件を目視確認の手間として500円と置き換えると、順位が完全に入れ替わります。しきい値0.8の合計損失は約1,550,500円まで膨らみ、0.1では201,500円まで下がります。指標の優劣ではなく、2つの損失の比率が答えを決めています。

優先順位の判断フロー

05.1つの数字への集約｜F1スコアとFβ

モデルを何本も比べるときは、適合率と再現率の2つを見比べるより1つの数字に畳んだ方が扱いやすくなります。そのための指標がFβです。scikit-learn の評価指標ドキュメントによると、Fβは適合率と再現率の重み付き調和平均で、Fβ ＝ (1 + β²) × 適合率 × 再現率 ÷ (β² × 適合率 ＋ 再現率) と表されます。β＝1のときがF1スコアで、適合率と再現率を同じ重みで扱います。

単純平均ではなく調和平均を使うのは、片方が極端に低いときに全体を強く引き下げるためです。適合率1.0・再現率0.02のモデルは、単純平均なら0.51と悪くない値に見えますが、F1スコアでは0.039にとどまります。

βを1から動かすと、重みが移ります。先ほどの適合率0.80・再現率0.64のモデルで計算すると、次のようになります。

from sklearn.metrics import fbeta_score, precision_recall_curve
import numpy as np

# beta=0.5 は適合率重視、beta=2 は再現率重視
print(fbeta_score(y_true, y_pred, beta=0.5))  # 0.762
print(fbeta_score(y_true, y_pred, beta=2.0))  # 0.667

# F2 が最大になるしきい値を検証用データで探す
precision, recall, thresholds = precision_recall_curve(y_valid, proba)
beta = 2.0
f_beta = (1 + beta**2) * precision * recall / (beta**2 * precision + recall + 1e-12)
best = int(np.nanargmax(f_beta[:-1]))          # 末尾の点にはしきい値が対応しない
print(f"best threshold={thresholds[best]:.3f}  F2={f_beta[best]:.3f}")

06.PR曲線と平均適合率（AP）｜不均衡データでの読み方

PR曲線と平均適合率（AP）の読み方

しきい値を1つに決める前に、このモデルはどこまで押し引きできるのかを見ておくと判断が早くなります。それを一枚にしたのがPR曲線で、しきい値を端から端まで動かしたときの適合率と再現率の組を並べたものです。

PR曲線を要約した数値が平均適合率（AP: Average Precision）です。scikit-learn の average_precision_score のドキュメントによると、APは隣り合う点の再現率の増分に、そのときの適合率を掛けて足し合わせた値（AP ＝ Σ (Rₙ − Rₙ₋₁) Pₙ）で、ランダムに予測した場合のAPは陽性の割合に一致します。スパム判定の例なら陽性割合は0.05なので、この水準を大きく上回っているかどうかが最初の確認になります。同じドキュメントは、台形則で面積を求める auc のように点と点を直線で結ぶ計算は性能を楽観的に見積もると注意しており、PR曲線の要約には average_precision_score を使うのが安全です。

ROC曲線との使い分け

PR曲線の方が実態を映す場面もはっきりしています。Takaya Saito 氏と Marc Rehmsmeier 氏が2015年に PLOS ONE で発表したThe Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasetsは、クラス比が偏ったデータでは、陽性と予測した中の正解割合を直接扱うPR曲線の方が、将来の分類性能を正しく見積もれると論じています。

なお、PR曲線もROC曲線も測っているのは「陽性と陰性を順位づけできるか」という識別力です。モデルが返した0.82という数字をそのまま82%の確からしさとして報告してよいかは別の論点で、確率の目盛りを実際の頻度に合わせる作業（較正）が必要になります。

07.多クラスの平均化｜macro・micro・weighted

クラスが3つ以上になると、適合率と再現率はクラスごとに出ます。それを1つにまとめる方法が複数あり、選び方で結論が変わります。顧客を「継続900件・アップセル候補80件・解約リスク20件」に分類するモデルで、クラスごとの再現率が0.97・0.55・0.30だった場合を考えます。

scikit-learn の多クラス・マルチラベル評価のドキュメントは、macro平均について、まれだが重要なクラスの性能を際立たせる手段になり得る一方で、すべてのクラスが等しく重要という前提が成り立たない場合は少数クラスの低い性能を過度に強調してしまうという趣旨のことを説明しています。weighted平均は逆に、件数の多いクラスの成績でほぼ決まります。この例では解約リスクの再現率が0.30でも、全体は0.923と好成績に見えてしまいます。

表で weighted 平均と micro 平均がどちらも0.923になっているのは偶然ではありません。再現率に限っては weighted 平均も同じ値になります。各クラスの再現率に件数を掛けて足すと真陽性の合計に戻るためで、適合率やF1スコアでは一般に一致しません。

from sklearn.metrics import classification_report, recall_score

print(classification_report(y_true, y_pred, digits=3))
# 末尾に macro avg と weighted avg の行が付く

print(recall_score(y_true, y_pred, average="macro"))     # 0.607
print(recall_score(y_true, y_pred, average="weighted"))  # 0.923

# 多数クラス（継続）を除いて micro 平均を取る
print(recall_score(y_true, y_pred, average="micro",
                   labels=["アップセル候補", "解約リスク"]))

多クラス分類そのものの組み立て方（ソフトマックスで各クラスの確率を出す仕組みや、陽性が少ないときの学習側の対策）は、別記事で整理しています。

08.検索・推薦・RAGでのPrecision@k・Recall@k

検索結果や推薦枠、社内文書を根拠にAIが答えるRAG（検索拡張生成）では、候補の全件を判定せず、上位k件だけを取り出して使います。この場合、しきい値ではなく「何件取るか」が押し引きのつまみになり、適合率と再現率もk件に限定して測ります。

RAGの評価ライブラリ Ragas は、この考え方をそのまま指標にしています。Ragas の Context Precision のドキュメントによると、Context Precision@K は上位k件までの Precision@k を関連度で重み付けして平均する形で定義されています。Context Recall のドキュメントでは、正解文書に含まれる主張のうち検索結果で裏付けられたものの割合として定義され、文書IDだけを突き合わせる方式など複数の算出方法が用意されています。

実務で先に見るべきは Recall@k です。検索の段階で根拠が落ちていれば、生成側のプロンプトをどう工夫しても回答は直りません。逆にRecall@kが十分高いのに回答品質が上がらない場合は、Precision@kの低さ（無関係な文書の混入）か、生成側の指示に原因があると切り分けられます。

09.運用で踏みやすい落とし穴

スコアの計算自体は数行で終わりますが、数字の意味を取り違える原因はその手前にあります。実務で頻度の高いものを並べます。

このうちラベルの揺れは、モデルを直しても解消しません。複数の評価者やモデルの判定がどれくらい揃っているかを測る手順は、別記事で扱っています。

10.よくある質問（FAQ）

11.まとめ

適合率と再現率は、真陽性という同じ分子を、予測した件数と実際の件数という違う分母で割った指標です。しきい値を動かせば片方が上がり片方が下がるので、決めるべきなのはしきい値そのものです。その決め方は、見逃し1件と空振り1件の損失を比べて合計が最小になる点を選ぶのが基本で、重みを決めきれないときはF1スコア、見逃しを重く見たいときはF2スコアが出発点になります。陽性が少ないデータではPR曲線と平均適合率でモデルの上限を確かめ、多クラスではmacro平均とweighted平均のどちらで報告するかを先に決めておくと、数字の解釈がぶれません。

こうした指標の設計は、モデルの性能そのものより「業務のどの損失を重く見るか」を決める作業に近く、分析担当と現場のあいだで合意を取る工程がキーとなります。弊社でもこの部分を一緒に詰めるところから支援しています。