一致度・信頼性の指標と使い分け｜Cohen's Kappa・Fleiss' Kappa・ICC

アンケート回答のラベル付け、AI 出力の品質チェック、社内の問い合わせカテゴリ分類——人間や AI（ChatGPT、Claude、Geminiなど）が判定を行う場面では、必ず「ばらつき」が出ます。複数の評価者で同じ基準で判定できているかを確かめないと、データの信頼性そのものが揺らぎます。

01.まず結論：単純な一致率では不十分

「2 人の評価者が同じ判定をした割合」をそのまま使うと、偶然の一致まで含めてしまいます。例えば 2 値分類（はい／いいえ）で 2 人がランダムに答えても、50% は偶然一致します。一致率 80% といっても、その内訳が「実力で 60%、偶然で 20%」なのか「実力で 80%」なのかが分かりません。

この問題を解くため、本記事で扱う 4 つの指標はすべて「偶然どれくらい一致するか」を差し引いてから、評価者の本当の合意度を測るように設計されています。

02.4つの主要な指標を概観

実務でよく使う一致度・信頼性の指標は、対応する評価者数とデータの型で使い分けます。それぞれ役割が違うので、優劣ではなく場面で選びます。

どれも目的は同じで、「偶然や尺度の歪みを差し引いて、本当の合意度を測る」ことです。Cohen's Kappa の式は κ = (po - pe) / (1 - pe) で、観測一致率 po から偶然一致率 pe を差し引きます。実装は Python の sklearn / statsmodels / krippendorff で揃っているため、数式を覚えなくても実用可能です。

03.値の解釈レンジ（共通の目安）

いずれの指標も値そのままでは「これは良い数字なのか」が分かりにくいので、Landis & Koch (1977) の解釈基準が広く使われます。Cohen's Kappa を起点に Fleiss' Kappa・ICC でも同じレンジで読まれることが多い目安です。

04.実務での使い分けと注意点

一致度指標を使うときに、初学者が引っかかりやすいポイントを整理します。

05.実装例（scikit-learn ほか）

4 つの指標とも Python ライブラリで 1 行で計算できます。Cohen's Kappa は scikit-learn、Fleiss' Kappa は statsmodels、ICC は pingouin、Krippendorff's Alpha は krippendorff パッケージを使うのが定番です。

# Cohen's Kappa（コーエンのカッパ係数）：2人の評価者
from sklearn.metrics import cohen_kappa_score
y1 = [1, 0, 1, 1, 0]
y2 = [1, 0, 0, 1, 0]
cohen_kappa_score(y1, y2)     # → 約 0.615

# Fleiss' Kappa（フライスのカッパ係数）：3人以上
import numpy as np
from statsmodels.stats.inter_rater import fleiss_kappa
# rows=items, cols=各カテゴリに何人が投票したか
ratings = np.array([[2, 0], [1, 1], [0, 2], [2, 0]])
fleiss_kappa(ratings)         # → 約 0.467

# ICC（級内相関係数）：連続値スコアの評価者間信頼性
import pandas as pd
import pingouin as pg
df = pd.DataFrame({
    "item":   [1, 1, 2, 2, 3, 3],
    "rater":  ["A", "B", "A", "B", "A", "B"],
    "score":  [4.0, 4.5, 3.0, 3.2, 5.0, 4.8],
})
pg.intraclass_corr(data=df, targets="item", raters="rater", ratings="score")

# Krippendorff's Alpha（クリッペンドルフのアルファ係数）：欠損ありOK
import krippendorff
data = [[1, 1, 0, np.nan], [1, 1, 0, 0]]
krippendorff.alpha(reliability_data=data, level_of_measurement="nominal")

どの関数も値域は -1〜1（あるいは 0〜1）で、本記事 03 章のレンジで読みます。値が低いときは評価基準・ガイドラインの見直しから入るのが定石です。

06.よくある質問（FAQ）

07.まとめ

評価者やモデルの判定が揃っているかを測るときは、単純な一致率ではなく、評価者数とデータの型で Cohen's Kappa（コーエンのカッパ係数）（2 人）・Fleiss' Kappa（フライスのカッパ係数）（3 人以上）・ICC（級内相関係数）（連続値）・Krippendorff's Alpha（クリッペンドルフのアルファ係数）（複雑な状況）を使い分け、偶然の一致を差し引いて評価します。実務では 0.6 以上を目安に、アノテーションガイドラインや評価基準を整える材料として読みます。

Kappa paradox など独特の落とし穴があるため、不均衡データでは他の指標（F1・MCC など）と併用します。詳しい予測モデルの評価指標は次の記事で扱います。