予測モデル評価の指標と使い分け｜分類のF1・回帰のRMSE・相関のPearson

予測モデルの評価指標は、種類が多く感じられますが「何を予測するか」（分類／回帰／関係性）で選ぶ指標は決まります。本記事ではよく使う指標を、混同行列と ROC 曲線、回帰の残差、相関の散布図と一緒に整理します。

01.まず結論：タスクで指標を選ぶ

予測モデルは大きく 3 タスクに分けて整理できます。タスクが決まれば、自然に候補指標が絞れます。

02.分類モデル：混同行列と F1スコア の読み方

分類モデルの評価は、まず混同行列（Confusion Matrix）を描くところから始まります。実際の正解と予測の組み合わせを 4 つのマスに分け、そこから適合率（Precision）・再現率（Recall）・F1スコアを計算します。

適合率（Precision）と再現率（Recall）は、しきい値を動かすと片方が上がり片方が下がる関係にあります。その押し引きをどう決めるか（Fβ での重み付け、損失からのしきい値の逆算、多クラスでの平均化）は別記事で詳しく整理しています。あわせてご覧ください。

03.分類モデル：ROC-AUC と PR-AUC

ROC-AUC（Receiver Operating Characteristic - Area Under the Curve）は、分類モデルがどれくらい「陽性と陰性を区別できるか」を、閾値を変えずに評価できる指標です。値は 0.5（ランダム）〜 1.0（完璧）の範囲で、左上に近い ROC 曲線ほど良いモデルです。

ROC-AUC は閾値非依存で便利ですが、極端な不均衡データでは値が楽観的に出やすい性質があります。陽性が少ない問題では、適合率（Precision）と再現率（Recall）を直接プロットする PR-AUC（Precision-Recall 曲線の下の面積）の方が、現実的な性能を映しやすくなります。ROC-AUC や PR-AUC が測るのは「陽性と陰性を区別できるか」という識別力で、モデルが出す確率の値そのものが実際の頻度と一致しているかは別の軸です。後者は確率較正（キャリブレーション）で扱います。

04.回帰モデル：MAE・RMSE・R²

回帰モデルは「予測値と実測値の差（残差）」をどう要約するかで指標が変わります。基本は次の 3 つです。

05.関係性の指標：ピアソン相関とスピアマン相関

ピアソン相関（Pearson）とスピアマン相関（Spearman）は、2 つの数値がどれくらい連動しているかを測る指標です。-1 〜 1 の範囲で、絶対値が大きいほど強い関係を意味します。

例えば「広告費とコンバージョン数」が直線的に伸びるならピアソン相関の方が直感的、「ユーザーの満足度と購入金額」のように順位的な関係ならスピアマン相関が向きます。「相関は因果ではない」点は別途意識する必要があります。

06.よくある誤解

07.実装例（scikit-learn）

分類・回帰・相関の主要指標は、scikit-learn と scipy で 1 行ずつ計算できます。本番運用前のレポートではタスクごとに 2〜3 指標並べて記録すると、後で問題があった時に切り分けやすくなります。

# 分類モデルの評価
from sklearn.metrics import (
    confusion_matrix,
    precision_score, recall_score, f1_score,
    roc_auc_score, accuracy_score, matthews_corrcoef,
)

y_true = [1, 0, 1, 1, 0, 1, 0]
y_pred = [1, 0, 0, 1, 1, 1, 0]
y_score = [0.9, 0.2, 0.4, 0.8, 0.6, 0.7, 0.3]  # 予測確率

confusion_matrix(y_true, y_pred)   # 混同行列
precision_score(y_true, y_pred)    # 適合率（Precision）
recall_score(y_true, y_pred)       # 再現率（Recall）
f1_score(y_true, y_pred)           # F1スコア
accuracy_score(y_true, y_pred)     # 正解率（Accuracy）
matthews_corrcoef(y_true, y_pred)  # MCC（マシューズ相関係数）
roc_auc_score(y_true, y_score)     # ROC-AUC（予測確率を渡す）

# 回帰モデルの評価
import numpy as np
from sklearn.metrics import (
    mean_absolute_error, mean_squared_error, r2_score,
)

y_true = [3.0, 5.0, 7.0, 4.0]
y_pred = [2.8, 5.2, 6.5, 4.3]

mean_absolute_error(y_true, y_pred)             # MAE（平均絶対誤差）
np.sqrt(mean_squared_error(y_true, y_pred))     # RMSE（二乗平均平方根誤差）
r2_score(y_true, y_pred)                        # R²（決定係数）

# 相関の指標
from scipy.stats import pearsonr, spearmanr

x = [1, 2, 3, 4, 5]
y = [2, 4, 5, 4, 7]

pearsonr(x, y)    # ピアソン相関（直線関係）
spearmanr(x, y)   # スピアマン相関（順位ベース）

本番運用では、これらをまとめて出力する評価関数を作っておき、モデル更新時に必ず同じ並びで記録するのがおすすめです。

08.よくある質問（FAQ）

09.まとめ

予測モデルの評価指標は、まず分類・回帰・関係性のどのタスクかを決めると候補が絞れます。分類なら混同行列をベースに適合率（Precision）・再現率（Recall）・F1スコア・ROC-AUC を、回帰なら平均絶対誤差（MAE）・RMSE・決定係数（R²）を、関係性ならピアソン相関（Pearson）・スピアマン相関（Spearman）を、それぞれ最低 2 指標並べて読むのが基本です。

単一指標で判断しない、不均衡データには適した指標を選ぶ、相関を因果と取り違えない。この 3 点を押さえれば、初学者でも実務でブレない評価が組めます。