🔖 拡張キーワード索引

本ページで扱うトピックの早見表。 各チップをクリックすると該当セクションへジャンプ。

AUC に関する用語を 曲線・指標・計算法・注意点 別に索引化します。AUC は「閾値を全部試したときの平均的な性能」を 1 つの数字にしたものだ、という一点を軸に整理すると混乱しません。

🎨 直感で掴む

AUC (Area Under the Curve) は、 二値分類モデルの「閾値を変えても全体としてどれだけ良い分類器か」を 1 つの数値 (0〜1) で要約する指標。 直感的には「ランダムに選んだ陽性サンプルが、 ランダムに選んだ陰性サンプルより高いスコアを得る確率」と等価。

ROC 曲線の直感

横軸に偽陽性率 (FPR)、 縦軸に真陽性率 (TPR) を取り、 分類の閾値を 0 から 1 まで動かしてプロットしたのが ROC 曲線。 閾値を緩めると TPR も FPR も上がるが、 良い分類器は TPR が早く 1 に近づき FPR は低く抑えられる → 曲線が左上に張り出す。 その曲線下の面積 (Area Under the Curve) が AUC。

具体例: 病気の検査

1000 人の検査結果を「病気スコア」でランキングし、 真の陽性 (実病者) が高スコア側に固まっているか確認する。 完璧なら 病者全員が上位 → AUC = 1.0。 完全にランダムなら 病者が一様に分布 → AUC = 0.5。 0.5 を下回ると「予測を反転した方が良い」状態。

AUC の目安

• 0.9 以上: 優秀。 ただし簡単すぎるタスクの可能性も疑う
• 0.8 - 0.9: 実用的に良好
• 0.7 - 0.8: 一般的な機械学習タスクで通常レベル
• 0.5 - 0.7: 改善の余地大
• 0.5 付近: ランダム選択と同等 (情報無し)

AUC は閾値非依存・クラス不均衡に対して比較的頑健である一方、 「実運用上の閾値」での性能は別途確認が必要。 本ページでは定義 → 計算 → Python 実装 → 落とし穴の順で詳しく見ていく。

📐 定義

ROC曲線下の面積（分類性能の総合指標）

英語名 Area Under Curve。 同義・関連語：AUROC。

📐 数式を言葉で読み解く詳細版・記号一覧

AUC (Area Under the ROC Curve) は、 ランダムに選んだ正例と負例のスコア順序が正しい確率と等価。

離散版 (Mann–Whitney U 統計量) では:

記号一覧

🔬 部分 AUC（pAUC）・標準化 pAUC・McClish 補正の使い分け

🔬 部分 AUC（pAUC）・標準化 pAUC・McClish 補正の使い分け

「偽陽性を絶対許せない」運用、 たとえば がん検診の二次検査トリガー、 セキュリティの自動遮断、 詐欺の即時アラートでは、 全 FPR 領域を平均する AUC ではなく、 「FPR ≤ 0.1（あるいは 0.05）」だけの ROC 曲線下面積、 つまり部分 AUC（partial AUC, pAUC）を主指標にする。 sklearn の `roc_auc_score(..., max_fpr=0.1)` は McClish の補正を自動適用して、 通常の AUC と同じ [0.5, 1.0] レンジに正規化した「標準化 pAUC」を返す。 補正は $\frac{1}{2}(1 + \frac{\text{pAUC} - \text{pAUC}_{\min}}{\text{pAUC}_{\max} - \text{pAUC}_{\min}})$ という式で、 ランダム識別が 0.5、 完全分離が 1.0 になるように線形変換する。

pAUC は通常の AUC より分散が大きいため、 信頼区間は広くなる。 報告時は「pAUC（FPR ≤ 0.1）= 0.78 [95%CI: 0.70-0.85]」のように、 FPR 範囲も併記するのが標準作法。 また、 pAUC を最大化したい場合は、 通常の Logistic 損失ではなく、 低 FPR 領域を重視する重み付け損失や、 pAUC を直接近似する研究的損失関数（pAUCRanking など）が使われる。 業務で「偽陽性 5% 以下の領域での性能だけが重要」というケースでは、 pAUC を主指標とし、 AUC は補助指標として併走させるのが現実的。

なお、 pAUC と対になる概念として「TPR を一定範囲に絞った AUC」もあり、 こちらは「高感度領域での特異度を見たい」ケースで使われる。 sklearn には標準実装が無く、 自前で TPR ベースに ROC を反転して計算する必要がある。 医療分野では「感度 95% 固定時の特異度」を直接報告することも多く、 AUC・pAUC・固定感度時の特異度・固定特異度時の感度の 4 つを並べる報告様式が確立している。

📈 ROC 曲線の「形」だけで分かる 6 つのモデル特性

AUC が同じ値でも、 ROC 曲線の形が違えば実運用での挙動は大きく異なる。 形を見るだけで分かるモデル特性を 6 パターン整理する。

1. 左上角に張り付く曲線：低 FPR 領域で TPR が急上昇。 偽陽性を許せない医療スクリーニング・セキュリティ警告に最適。 pAUC（FPR ≤ 0.1）も高くなる。
2. 中央が膨らむ曲線：中 FPR 領域での TPR がバランスよく上昇。 マーケティング・推薦など「上位 K% を選ぶ」用途に向く。 リフトチャートで見るとなだらか。
3. 右下角まで遠回りする曲線：高 FPR 領域でようやく TPR が上がる。 「弱い特徴量しか持たないモデル」の典型。 AUC が中程度でも実運用は困難。
4. 階段状の曲線：サンプル数が少ない or スコアが離散的。 滑らかな曲線にならないので AUC の信頼区間が広く、 報告時は CI を必ず併記する。
5. 対角線に近い曲線：ほぼランダム識別。 モデルが学習できていないか、 特徴量が役立っていない。 AUC ≈ 0.5。
6. 下凸の曲線（対角線より下）：予測が反転している。 ターゲット定義の誤りやラベルノイズを疑う。 予測を反転すれば AUC は 1 から元値を引いた値になる。

この 6 パターンを意識しながら ROC 曲線を見ると、 「AUC 数値だけでは見えないモデルの個性」が分かるようになる。 特に「左上型」と「中央膨らみ型」の区別はアプリケーション選定で死活的に重要で、 同じ AUC=0.85 でも前者は医療向け、 後者はマーケ向けと完全に用途が変わる。

🚨 実務で AUC を誤読した「実話」5 件 — 教訓集

AUC は強力な指標だが、 誤読は実害をもたらす。 教育用ハンズオン教材として、 実際に起きた（または起こりうる）誤読事例を 5 件まとめる。 自分のプロジェクトで同じ罠に陥らないよう、 チェックリストとして活用してほしい。

事例 1：医療スクリーニングで「AUC=0.92 だから即実用化」と判断 → 偽陽性で医療現場が混乱

ある病院で、 新しい血液検査スコアの AUC が 0.92 と報告された。 経営層は「優秀」と判断し全患者に導入したが、 有病率 1% の集団で閾値 0.5 を採用したところ偽陽性率が 8% に達し、 不必要な精密検査が殺到。 PPV（陽性的中率）が 11% しかなく、 「陽性と出ても 9 割は健康な人」という運用に陥った。 教訓：AUC だけでは閾値選択の妥当性は分からない。 有病率と合わせた PPV・NPV を計算し、 業務インパクトを試算してから導入する。

事例 2：詐欺検知で「AUC=0.97」を喧伝 → 実運用で PR-AUC=0.15 が判明

クレジット詐欺検知モデルが AUC=0.97 でモデル選定を勝ち抜き、 本番投入された。 ところが運用後、 オペレーターが調査する案件のうち真の詐欺が 15% しか無く、 残り 85% は無駄調査と判明。 PR-AUC を見るとわずか 0.15 で、 「陽性 0.05% という極端不均衡では AUC は楽観的すぎる」典型例。 教訓：陽性比率 1% 以下では必ず PR-AUC を主指標にする。

事例 3：時系列リークで「AUC=0.99」が出現 → 本番では AUC=0.62 に激減

マーケティング応答予測で、 学習データに「未来のキャンペーン回数」を含めてしまった結果、 検証 AUC が 0.99 という異常値に。 本番投入後、 実 AUC は 0.62 まで落ち、 ターゲティング効率は事前評価より遥かに低かった。 原因はターゲット漏洩。 教訓：AUC が業界平均より大幅に高い場合、 まず時系列リークと特徴量漏洩を疑う。 評価は時系列 split で行う。

事例 4：CV AUC=0.85 vs テスト AUC=0.68 のギャップを「サンプル数のせい」と片付けた

クロスバリデーション AUC が 0.85 だったモデルが、 ホールドアウトテストでは 0.68 に落ちた。 当初は「サンプル数の偶然」と片付けられたが、 後に CV の fold 分割で「同一顧客のデータが学習と検証に分散」していたことが判明。 顧客 ID で stratified group k-fold に変更したところ CV AUC が 0.70 まで落ち、 テストとほぼ一致。 教訓：データに「グループ構造」がある場合、 単純な k-fold は AUC を過大評価する。 GroupKFold を使う。

事例 5：「2 モデルの AUC が 0.82 vs 0.84 だから後者を採用」が間違い

A/B テストでモデル A の AUC=0.82、 モデル B の AUC=0.84 と出て B を採用したが、 後で bootstrap で 95% 信頼区間を計算したところ A=[0.78, 0.86]、 B=[0.80, 0.88] と完全に重なっていた。 統計的にはほぼ同等で、 サンプル数 N=500 では 0.02 の差は誤差範囲内。 教訓：AUC は必ず信頼区間で報告し、 DeLong 検定または bootstrap で 2 モデル差の有意性を確認する。 微小差で意思決定しない。

AUC の離散版 $\text{AUC} = (1/N_+ N_-) \sum \mathbb{1}[s_i > s_j]$ を言葉で読み直す:

• $N_+, N_-$: 「正例と負例の総数」
• $\sum \mathbb{1}[s_i > s_j]$: 「全ての (正例, 負例) ペアで、 正例のスコアが負例より高い回数を数える」
• 分子 / 分母: 「順位が正しいペアの割合」 = 順位確率

例: 正例 3 個・負例 5 個 → 全 15 ペア中 12 ペアで正例 > 負例 → AUC = 12/15 = 0.80。 AUC は『閾値を全範囲で動かしたときの平均的順位識別力』であり、 単一スコアで分類器の質を要約する強力な指標。 連続版 (積分) は閾値を連続的に動かしたバージョン。

🧮 数式に値を入れて手で計算する

合成データ（正例 3 件 + 負例 3 件、 多様な予測スコア）を用いて、 AUC = ∫TPR(FPR)dFPR を台形公式で計算する。 同じ計算を Python (sklearn.metrics.roc_auc_score) で再現し、 結果が完全一致することを確認する。

📐 用語の主要数式 (再掲)

$$ \text{AUC} = \int_0^1 \text{TPR}(\text{FPR})\, d(\text{FPR}) \approx \sum_{k=1}^{K} \frac{\text{TPR}_{k-1} + \text{TPR}_{k}}{2} \cdot (\text{FPR}_{k} - \text{FPR}_{k-1}) $$

Step 1: データ準備 (合成、 多様な予測スコア)

N+ = 3 (正例 B, D, E)、 N- = 3 (負例 A, C, F)。

Step 2: スコア降順にしきい値を動かし、 (FPR, TPR) を作る

Step 3: 台形公式で AUC を計算

FPR が 0 → 1/3 → 2/3 → 1 と動く 3 区間 (TPR は 3 区間とも 1.000 のまま) について台形面積を合計：

正例 3 件のスコア (0.9, 0.8, 0.7) がすべて負例の最大スコア (0.4) より大きいため、 完全に分離されており AUC = 1.0 となる。

🐍 同じ計算を Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import numpy as np
from sklearn.metrics import roc_auc_score, roc_curve

y_true  = np.array([0, 1, 0, 1, 1, 0])
y_score = np.array([0.1, 0.8, 0.4, 0.9, 0.7, 0.3])

# 1) sklearn の roc_auc_score (Mann-Whitney U 等価)
auc_sklearn = roc_auc_score(y_true, y_score)

# 2) 台形公式で手計算と同じ手順
fpr, tpr, thr = roc_curve(y_true, y_score)
auc_trapz = np.trapz(tpr, fpr)

print(f"FPR = {fpr}")
print(f"TPR = {tpr}")
print(f"AUC (sklearn)       = {auc_sklearn:.4f}")
print(f"AUC (台形公式 手計算) = {auc_trapz:.4f}")

📤 実行結果

💬 手計算 (Step 3 合計 = 1.0000) と Python 出力 (sklearn = 1.0000、 np.trapz = 1.0000) が完全一致。 正例 3 件のスコアが負例の最大スコアより全て大きいため、 AUC は理論上限の 1.0 になる。

🎯 いつ・どこで使うか

• 「評価指標」分野の標準的な道具として、 多くの分析で登場します。
• 📚 評価指標 を学ぶときに必ず通過する基本概念です。
• 論文・実務レポートで頻出する用語なので、 1 度はちゃんと理解しておくと後が楽です。

📋 前提条件・適用範囲

この用語を理解・使用するときは、 次のような前提を意識してください：

• データの性質：尺度（名義/順序/間隔/比例）と分布を確認
• サンプル数：手法によって最低限のサンプル数が異なります
• 独立性：観測が独立であるかを確認（時系列・パネル等では別の手法が必要）
• 欠損・外れ値：前処理の方針を明確に

🧮 SSDSE-B-2026 47 都道府県データで実値計算 + 🐍 Python 実装

🎯 このコードでやること：SSDSE-B-2026 47 都道府県データで『高齢化県』(65 歳以上比率 30% 超) を二値分類するロジスティック回帰の AUC を実測する。 特徴量は総人口・出生数・転入者数。

📥 入力データ (data/raw/SSDSE-B-2026.csv (47 都道府県 × 12 年 = 564 行、 下表は 2023 年の例))：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, roc_curve
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2,
                 header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns.tolist()
df.columns = cols

# 高齢化県ラベル: 65 歳以上 / 総人口 > 0.30
df = df.dropna(subset=['A1101','A1303','A4101','A5101'])
df['aging_ratio'] = df['A1303'] / df['A1101']
df['y'] = (df['aging_ratio'] > 0.30).astype(int)

X = df[['A1101','A4101','A5101']].values
y = df['y'].values

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3,
                                          stratify=y, random_state=42)
model = LogisticRegression(max_iter=1000).fit(X_tr, y_tr)
proba = model.predict_proba(X_te)[:, 1]

auc = roc_auc_score(y_te, proba)
print(f'AUC = {auc:.4f}')
print(f'正例数 (テスト): {y_te.sum()} / {len(y_te)}')
fpr, tpr, _ = roc_curve(y_te, proba)
print(f'ROC: FPR={fpr[:5].round(3)}, TPR={tpr[:5].round(3)}')

📤 実行すると次の出力が得られる (実行結果 (実 47 県データ))：

💬 結果の読み方：AUC = 0.92 は『高齢化県』分類が極めて良好に機能していることを示す。 65 歳以上比率は人口総数・出生数・転入数と強く相関するため、 単純な 3 特徴量でも 92% の順位精度が出る。 AUC > 0.9 は実務的に十分な識別力 — モデル評価の標準指標として AUC を用いるのは、 閾値非依存で『順位の質』を測れるから。

🏢 産業界での活用事例 6 件

「AUC」は学術用語に留まらず、 産業現場で日々使われている。 業界別の代表的活用例:

📊 関連手法・概念の比較表

「AUC」と混同しやすい概念を整理:

💥 実務での失敗例

「AUC」の典型的な失敗パターン:

📝 演習問題 5 問 (解答付き)

理解度確認用の演習問題:

❓ FAQ 20 問

よくある質問とその回答:

📖 関連用語辞典 10 語

本ページと密接に関係する 10 用語の簡易定義:

ROC 曲線

FPR-TPR の閾値変化曲線。 AUC はその下面積。

混同行列

TP/FP/TN/FN の 2×2 表。 全評価指標の基盤。

適合率

TP / (TP+FP)。 陽性判定の正確さ。

再現率

TP / (TP+FN)。 真陽性の検出率。 = TPR。

F1 スコア

Precision と Recall の調和平均。 閾値依存。

特異度

TN / (TN+FP)。 真陰性の検出率。 = 1−FPR。

分類問題

離散ラベル予測の総称。 AUC はその標準評価指標。

モデル選択

複数モデルから最良を選ぶ手続。 AUC 比較が定石。

検証によるモデル選択

Hold-out / CV で汎化 AUC を推定。

仮説検定

DeLong test 等で AUC 差の有意性検定。

🧮 SSDSE-B-2026 追加分析 (47 県データの深掘り)

🎯 このコードでやること：SSDSE-B-2026 で『出生率の高い県』を二値分類するモデルの AUC を、 単変量モデル・多変量モデル・GBM の 3 種で比較する。

📥 入力データ (data/raw/SSDSE-B-2026.csv (47 都道府県 × 12 年 = 564 行))：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2,
                 header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns.tolist()
df.columns = cols
df = df.dropna(subset=['A1101','A1303','A4101','A5101','J2503','C3301'])
df['br'] = df['A4101'] / df['A1101'] * 1000
df['y'] = (df['br'] > df['br'].median()).astype(int)
X = df[['A1101','A1303','A5101','J2503','C3301']].values
y = df['y'].values

# 1. 単変量 (転入数のみ)
auc1 = cross_val_score(LogisticRegression(max_iter=1000),
                        df[['A5101']].values, y, cv=5, scoring='roc_auc').mean()
# 2. 多変量 LR
auc2 = cross_val_score(LogisticRegression(max_iter=1000),
                        X, y, cv=5, scoring='roc_auc').mean()
# 3. GBM
auc3 = cross_val_score(GradientBoostingClassifier(random_state=0),
                        X, y, cv=5, scoring='roc_auc').mean()
print(f'単変量 LR (転入のみ): AUC = {auc1:.3f}')
print(f'多変量 LR (5 変数): AUC = {auc2:.3f}')
print(f'GBM (5 変数):        AUC = {auc3:.3f}')

📤 実行すると次の出力が得られる (3 モデル AUC 比較)：

💬 結果の読み方：単変量 0.48 → 多変量 LR 0.66 → GBM 0.48。 特徴量を増やすと AUC が上昇するが、 このデータでは多変量 LR が最良で GBM はむしろ低い。 AUC 差が業務的に意味あるかは別途検証 (DeLong test や cost analysis)。 564 行 (47 都道府県 × 12 年) でも出生率の中央値二値化は分離が難しく、 CV 分散も大きいため LOOCV 併用が望ましい。

📝 より正確な分析：上のコードを実データで実測すると、 単変量 LR=0.475・多変量 LR=0.664・GBM=0.483 となり、 「特徴量を増やし非線形の GBM にすれば単調に良くなる」わけではない。 むしろ最も単純な多変量ロジスティック回帰が最良で、 GBM は 5 変数・二値化ラベルの弱いシグナルに対して過学習気味で汎化 AUC が伸びない。 「複雑なモデルほど強い」という一般化は誤りで、 モデルの優劣は必ず交差検証で確認すべきである。 なお AUC の絶対値・順位は乱数シードや scikit-learn のバージョンで多少変動しうるため、 数値そのものより「単変量→多変量で改善、 GBM が万能ではない」という傾向を読むのが妥当。

🧮 SSDSE-B-2026 高度分析 (時系列・回帰・異常検知)

🎯 このコードでやること：47 都道府県 × 12 年 (564 行) データで『高齢化進行県』(65 歳以上比率 > 中央値) のロジスティック回帰モデルを構築し、 訓練/テスト分割で AUC を測定。 特徴量重要度も SHAP 風に評価。

📥 入力データ (data/raw/SSDSE-B-2026.csv (47 都道府県 × 12 年 = 564 行))：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2,
                 header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns.tolist()
df.columns = cols

feats = ['A1101','A4101','A5101','C3301','J2503','J2505','J2506']
df = df.dropna(subset=feats + ['A1303'])
df['aging'] = df['A1303'] / df['A1101']
y = (df['aging'] > df['aging'].median()).astype(int).values
X = StandardScaler().fit_transform(df[feats].values)

aucs = []
for seed in range(20):
    Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3,
                                          stratify=y, random_state=seed)
    m = LogisticRegression(max_iter=1000).fit(Xtr, ytr)
    aucs.append(roc_auc_score(yte, m.predict_proba(Xte)[:, 1]))

print(f'AUC: mean = {np.mean(aucs):.3f}, std = {np.std(aucs):.3f}')
print(f'95% range: [{np.percentile(aucs,2.5):.3f}, {np.percentile(aucs,97.5):.3f}]')

# 係数 (= 標準化特徴量の重要度)
m_full = LogisticRegression(max_iter=1000).fit(X, y)
for f, c in sorted(zip(feats, m_full.coef_[0]), key=lambda x: abs(x[1]), reverse=True):
    print(f'  {f}: coef = {c:+.3f}')

📤 実行すると次の出力が得られる (AUC 分布 + 特徴量重要度)：

💬 結果の読み方：20 回の異なる分割で AUC 0.909 ± 0.023 — 安定して高い識別力。 A4101 (出生数) が負の係数で最強 (出生数の少ない県ほど高齢化)、 A1101 (総人口) が正で次点。 AUC が >0.85 で安定するので、 この 7 特徴量モデルは実用化可能。

🏭 産業活用 12 事例 (拡張版)

「AUC」を実際に運用している業界別 12 ケース:

🧮 4th Python 分析 (経年トレンド・モデル比較)

🎯 このコードでやること：47 都道府県 × 12 年 (564 行) データで、 LogisticRegression / RandomForest / GBM の 3 モデルの AUC を Cross-validation で比較。 DeLong 検定 (簡易版) で差の有意性も確認。

📥 入力データ (data/raw/SSDSE-B-2026.csv (12 年・47 県 = 564 行))：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.model_selection import cross_val_score, StratifiedKFold
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2,
                 header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns.tolist()
df.columns = cols

feats = ['A1101','A4101','A5101','J2503','J2505','C3301','E1101']
df = df.dropna(subset=feats+['A1303'])
df['aging'] = df['A1303'] / df['A1101']
y = (df['aging'] > df['aging'].median()).astype(int).values
X = StandardScaler().fit_transform(df[feats].values)

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
models = {
    'LR': LogisticRegression(max_iter=1000),
    'RF': RandomForestClassifier(n_estimators=100, random_state=0),
    'GBM': GradientBoostingClassifier(random_state=0),
}
for name, m in models.items():
    aucs = cross_val_score(m, X, y, cv=cv, scoring='roc_auc')
    print(f'{name}: AUC = {aucs.mean():.3f} ± {aucs.std():.3f}')

📤 実行すると次の出力が得られる (3 モデル CV AUC)：

💬 結果の読み方：LR 0.893 → GBM 0.949 → RF 0.967。 非線形モデル (RF・GBM) が LR を上回り、 このデータではRF が最良。 標準偏差 (±0.02〜0.03) を考慮しても LR との差は明確だが、 RF と GBM の差は 1σ 前後で確定的ではない。 業務判断としては『RF/GBM 採用 + LR ベースライン併存』が安全。 どの非線形モデルが勝つかはシード・実装依存で変動しうる。

🐍 Python での扱い

SSDSE-B-2026 のような公的統計データを Python で扱う際の基本パターン：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import pandas as pd
import numpy as np

# データ読み込み
# 先頭列名は 'SSDSE-B-2026'（＝年度）。2 行目の和名見出しを skiprows=[1] で除き
# 列コード（A1101 など）をヘッダにする。日本語 CSV なので encoding='cp932'。
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 最新年度（2023）に絞る
print(df.shape)          # -> (47, 112) 47 都道府県 × 112 列
print(df[['Prefecture', 'A1101', 'A4101']].head())

具体的なコードは 評価指標 を参照してください。

📝 レポートでの報告

分析結果を報告するときに含めるべき情報：

• 使ったデータ：出典・期間・サンプル数
• 適用条件の確認：前提が満たされているか
• 計算結果：数値だけでなく不確実性（CI・SE）も
• 解釈：何を意味するか、 何を意味しないか
• 限界：適用範囲外への拡張は避ける

✅ チェックリスト

• □ 「AUC」を使う場面か再確認したか
• □ データの尺度・分布・サンプル数を確認したか
• □ 前提条件を満たしているか
• □ 計算した値だけでなく不確実性も把握したか
• □ 解釈と限界を区別したか
• □ 関連グループ教材で全体像を確認したか

🧠 AUC を「面積以上の意味」で読む — 相関基準まで深掘り

AUC（ROC 曲線下面積）は、 一見すると「0 と 1 の間の数字」でしかない。 しかし実務では、 この 1 つの数字に「クラス不均衡への頑健性」「閾値非依存性」「ペアワイズ順序の正解率」「U 統計量との等価性」「キャリブレーションとの分離」など、 評価指標としての多くの性質が凝縮されている。 本節では SSDSE-B-2026 を用いて AUC のさまざまな顔を確認しながら、 「なぜ AUC を使うのか／どこで AUC を使ってはいけないのか」を相関ページと同じ深さで整理する。

📊 図解 1：散布図で見る「高 AUC とは何か」

AUC の最も直感的な解釈は「ランダムに選んだ正例のスコアが、 ランダムに選んだ負例のスコアより大きい確率」である。 これは Mann-Whitney の U 統計量を $n_+ \cdot n_-$ で割った値と数学的に同じであり、 「すべての正負例ペアについて、 何 % のペアで正しく順序付けできているか」を表す。 つまり AUC=0.85 は「100 ペアの正負例を取り出すと 85 ペアでは正例の方が高いスコアを得られる」ことを意味する。 散布図でクラス分布の重なりが少ないほど AUC は 1 に近づく。

📊 図解 2：ヒストグラムで「閾値を動かすと何が変わるか」を視覚化

Accuracy（正解率）や F1 スコアは「特定の閾値」での性能を測る。 そのため、 同じモデルでも閾値を 0.5 から 0.7 に変えるだけで Accuracy が動く。 一方 AUC は閾値を 0 から 1 まで連続的に動かしたときの ROC 曲線全体の面積なので、 「モデルが本質的にどれだけ正例と負例を分離できているか」だけを評価できる。 これがクラス比が変動するアプリケーション（例：詐欺検知、 医療スクリーニング、 マーケティング応答予測）で AUC が好まれる根本理由である。

📊 図解 3：箱ひげ図で「正例と負例のスコア分離」を確認

複数モデルの AUC を比較するとき、 まず正例・負例のスコア分布を箱ひげ図で並べると、 「どのモデルがどれだけクラスを分離しているか」が一目で分かる。 中央値の差が大きく、 箱の重なりが小さい方が AUC が高くなる。 これは AUC が「ペアワイズ順位」の指標であることの直接的な視覚表現と言える。

🔬 AUC の数式を 7 つの異なる表現で読み解く

AUC は同じ値を複数の数式で表現できる珍しい指標である。 それぞれの表現は AUC の異なる側面を強調するため、 すべて押さえておくと「ROC 曲線・順位統計量・確率解釈・Wilcoxon 検定」を縦断的に理解できる。

1. 面積表現：$\text{AUC} = \int_0^1 \text{TPR}(\text{FPR}^{-1}(u))\, du$。 ROC 曲線下の面積として直接定義する古典的な書き方。
2. 確率表現：$\text{AUC} = P(s_+ > s_-)$。 ランダムに選んだ正例スコア $s_+$ と負例スコア $s_-$ について、 前者が大きい確率。
3. U 統計量表現：$\text{AUC} = U / (n_+ n_-)$。 Mann-Whitney U 統計量を可能なペア数で割った値。
4. 順位和表現：$\text{AUC} = \frac{R_+ - n_+(n_+ + 1)/2}{n_+ n_-}$、 ここで $R_+$ は正例の順位和。 順位データだけで計算できる。
5. 離散和表現：$\text{AUC} = \frac{1}{n_+ n_-} \sum_{i \in +} \sum_{j \in -} \mathbb{1}[s_i > s_j]$。 直接的な定義で、 ブルートフォース実装に対応。
6. 台形近似表現：$\text{AUC} \approx \sum_k \frac{1}{2}(\text{TPR}_k + \text{TPR}_{k-1})(\text{FPR}_k - \text{FPR}_{k-1})$。 sklearn など多くの実装が採用。
7. 確率積分表現：$\text{AUC} = E[F_-(s_+)]$、 ここで $F_-$ は負例スコアの累積分布関数。 連続版で扱いやすい。

これらはすべて数学的に同値であり、 同じ値を返す。 重要なのは「AUC は順位統計量である」という性質で、 スコアの絶対値ではなく順序のみに依存するため、 確率キャリブレーションが崩れていても順序が正しければ AUC は高くなる。 逆に言うと、 AUC が高くてもキャリブレーションが悪い可能性があり、 リスク値そのものを使う応用（保険料計算、 医療リスクスコア）では別途キャリブレーション評価（Brier スコア、 信頼性曲線、 期待較正誤差 ECE）が必要になる。

🧮 SSDSE-B-2026 で AUC の振る舞いを実証する

このコードでやること：SSDSE-B-2026（2023 年度）の都道府県データから「総人口（A1101）100 万人以上か否か」という二値ターゲットを作り、 「出生数（A4101）の対数」を予測スコアと見立てて AUC を計算する。 さらに、 年少人口（A1301）をスコアにした場合・無関係なノイズをスコアにした場合に AUC がどう変化するかを確認する。

📥 入力データ（SSDSE-B-2026 抜粋）：1 行目に列コード見出し（先頭列名は SSDSE-B-2026＝年度）、 2 行目に和文列名がある CSV。 主要列は A1101（総人口）・A4101（出生数）・A1301（15 歳未満人口）などで、 47 都道府県 × 各年度の行データを持つ。

📤 実行例（このページのコードを実 CSV と組み合わせて動かした結果）：

💬 結果の読み方：出生数の対数を「総人口 100 万人超か」の予測スコアにすると AUC=0.997 と非常に高い。 これは出生数が人口規模と強く相関しているためで、 「人口の大きい県ほど出生数も多い」という単調関係がほぼ崩れない。 さらに年少人口（15 歳未満人口）は総人口とほぼ比例するため AUC=1.000（完全分離）に達する。 一方、 無関係なノイズスコアでは AUC=0.605 となり、 期待値 0.5（ランダム識別）付近に落ちる。 ノイズが 0.5 ちょうどにならないのは、 サンプルが 47 件・正負比 37:10 と小さく偏っているため、 1 回の乱数引きでは 0.5 の周りに大きくばらつくからで、 乱数シードを変えて平均すれば 0.5 に近づく。 ここから「AUC=0.5 はチャンスレベル、 AUC=1.0 は完全分離」という基準が SSDSE で実証できる。

⚠️ AUC を使うときに犯しがちな 8 つの落とし穴

1. キャリブレーション無視：AUC は順位のみを見るため、 スコアが確率としてズレていても高くなる。 リスク値そのものを使う応用では Brier スコアや信頼性曲線で補完すること。
2. クラス不均衡下の過大評価：極端な不均衡（例：陽性 0.1%）では PR-AUC（Precision-Recall AUC）の方が実態を反映することが多い。 AUC は陰性に多数派寄りなので不均衡に対して楽観的になりがち。
3. 業務 KPI との乖離：AUC が高くても、 実運用では「閾値 0.5 でどれだけ取りこぼすか」が問題になる。 AUC は閾値非依存だが、 業務はほぼ常に閾値依存なので、 PR 曲線・F1・コスト関数併用が必須。
4. サンプルサイズ不足：正例 10 件以下では AUC の信頼区間が極端に広くなる。 bootstrap で 95% CI を必ず算出すること。
5. 同点（タイ）の扱い：スコアに同点があると実装によって AUC が変わる場合がある。 sklearn は中央順位を使うが、 自前実装では注意。
6. 多クラスへの拡張：3 クラス以上では One-vs-Rest 平均か One-vs-One 平均かで結果が変わる。 sklearn では `multi_class='ovr'` か `'ovo'` で明示すること。
7. 時系列リークの見落とし：時系列データで未来情報を使った特徴を含むと AUC が異常に高くなる。 評価は必ず時系列 split で行うこと。
8. 0.5 未満の AUC を捨てる：AUC が 0.5 未満なら「予測を反転すればよい」だけで、 情報量はある。 ただし「過学習後の検証セット」で 0.5 未満ならモデル設計の根本的な見直しが必要。

🌐 AUC と他指標の役割分担を表で整理

AUC 単独で評価を終えるのは危険で、 実務では PR-AUC・F1・Log Loss・Brier の最低 2-3 指標を併走させる。 特に医療や金融など「予測確率の値そのもの」が意思決定に直結するドメインでは、 AUC ではなく Brier や較正曲線が主役になる場面が多い。

🧠 AUC を理解するための「物語的」3 場面

場面 1：医療スクリーニング。 ある疾患の有病率が 1% の集団で、 検査スコアの AUC が 0.92 だったとする。 これは「ランダムに選んだ患者の検査スコア＞ランダムに選んだ非患者のスコア」となる確率が 92% という意味で、 検査の識別力としては優秀。 ただし閾値を下げて再現率を上げると偽陽性が大量発生するため、 実際には PPV（陽性的中率）と組み合わせて閾値を決める必要がある。 AUC が高い＝即実用、 とはならない例。

場面 2：詐欺検知。 数百万件の取引のうち 0.05% が詐欺という極端な不均衡で、 AUC=0.97 と報告された。 一見素晴らしいが、 PR-AUC を見ると 0.18 しかない。 これは「閾値を絞ると Precision が極端に低くなる」状態で、 オペレーターが調査する案件 1000 件のうち真の詐欺が 180 件しかいない計算になる。 不均衡データでは AUC が楽観的に見える典型例。

場面 3：マーケティング応答予測。 ターゲット顧客リストを AUC 順に並べ、 上位 10% にダイレクトメールを送るキャンペーン。 ここでは AUC は「リストの順序の正しさ」を直接表すため、 AUC=0.75 なら上位 10% で応答率が 3-5 倍になることが期待できる。 この場合は AUC が業務 KPI と直結する珍しいケース。

📚 AUC の bootstrap 信頼区間と検定

AUC は点推定値だけで報告すると過信を招くため、 bootstrap で 95% 信頼区間を計算するのが実務の標準。 また、 2 モデルの AUC 差の有意性は DeLong 検定（相関 ROC 曲線比較）で評価する。 sklearn 単体には DeLong 検定が無いため、 `scipy.stats` や `roc_comparison` などの追加ライブラリを使うか、 bootstrap で AUC 差の信頼区間を出す方法が一般的。

具体的な手順：(1) 評価データを正例・負例別に層化サンプリングで bootstrap、 (2) 各 bootstrap サンプルで AUC を計算、 (3) 1000 回繰り返して AUC 分布から 2.5 / 97.5 パーセンタイルを取り 95% CI を得る。 サンプルサイズが小さいほど CI は広くなり、 正例 30 件・負例 100 件で AUC=0.85 なら 95% CI が [0.74, 0.92] 程度になることも珍しくない。 これを知らずに「AUC 0.85 vs 0.82 だから A の方が良い」と結論すると、 統計的にはほぼ差が無い可能性が高い。

🔁 AUC とランキング指標の関係（NDCG・MRR との比較）

AUC は二値分類のランキング指標だが、 検索・推薦の文脈では NDCG（Normalized Discounted Cumulative Gain）や MRR（Mean Reciprocal Rank）が使われる。 違いは「AUC は全ペアを均等に評価」「NDCG は上位の順位ほど重みが大きい（対数割引）」という点。 上位 10 件しかユーザーに見せない検索アプリでは NDCG@10 の方が実態に即している。 AUC は「全閾値・全順位を平均化」するため、 「上位を間違えても下位が正しければ高くなる」性質があり、 検索品質の指標としては鈍感すぎる場合がある。

AUC を「上位重視」に改造した指標として「部分 AUC（pAUC）」がある。 これは FPR を 0 から 0.1 までの範囲だけで ROC 曲線下面積を取る方法で、 「ほぼ偽陽性を許さない用途」（医療スクリーニング、 セキュリティ警告）に適する。 pAUC は sklearn の `roc_auc_score(..., max_fpr=0.1)` で計算可能。

💡 AUC と相関係数の意外な関係

AUC は U 統計量と等価であり、 U 統計量は順位データの相関を測る Wilcoxon-Mann-Whitney 検定の統計量である。 一方、 スピアマン順位相関係数も順位データの単調関係を測る。 両者は「順位の一致度を測る」という共通点を持ち、 二値ターゲットの場合 AUC とスピアマン相関には $\text{AUC} = 0.5 + 0.5 \cdot r_s \cdot \sqrt{p(1-p)} / \sigma$ のような近似関係が成立する。 つまり AUC は「二値ターゲットに対する順位相関の一種」と理解でき、 連続ターゲットでの相関係数の二値拡張版という見方ができる。

この関係は、 連続スコアの予測モデル評価で 相関係数 を使うのと同じ感覚で、 二値分類の評価に AUC を使ってよい根拠を与える。 ただし、 相関係数は対称（X と Y を入れ替えても同じ）だが、 AUC は「正例スコア > 負例スコア」の方向性を持つため、 0 から 1 の範囲で「0.5 が無情報」になる点で異なる。

🛠 AUC 計算の実装上の注意（C++ / Python / R / SQL の差）

AUC は実装によって計算方法が異なる。 sklearn は台形近似で計算するため、 ROC 曲線が階段関数のときに微小な誤差が出る。 R の `pROC` パッケージは順位和ベースで厳密計算する。 BigQuery などの SQL では `ML.ROC_CURVE` 関数で TPR/FPR を出してから自前で台形和を取る必要がある。 また、 LightGBM・XGBoost の `metric=auc` は内部的に厳密計算しているが、 学習中の AUC は「葉重みの順位」で計算されるため、 予測確率の AUC とは微妙にズレることがある。

大規模データ（1 億件以上）では AUC の厳密計算は O(N log N) でも重くなるため、 近似手法（HyperLogLog 風のサンプリング AUC、 ヒストグラム AUC）が使われることもある。 ただし誤差を 0.001 以内に抑えるには十分なサンプリングが必要で、 中小規模なら厳密計算で問題ない。

📊 AUC が向かない場面のチェックリスト

• □ クラス比が極端（陽性 1% 以下）→ PR-AUC を優先
• □ 確率値そのものを使う（保険料計算など）→ Brier・較正曲線を併用
• □ 上位 K 件のみ重要（検索・推薦）→ NDCG・MRR・pAUC を採用
• □ ビジネス KPI が「閾値固定の正解率」→ Accuracy・F1 で評価
• □ 偽陰性のコストが偽陽性の 100 倍以上 → 重み付き AUC・コスト関数で評価
• □ 多クラス分類（クラス 3 以上）→ macro/micro 平均 AUC、 OvR と OvO の使い分け
• □ 時系列 split が正しく組まれていない → 時系列 CV に変更

✅ 理解度チェック — AUC を本当に分かっているかの 8 問

以下の問いに即答できれば、 AUC を業務で使う基礎力は十分。 詰まった項目は本ページの該当節（番号でリンク）に戻って復習しよう。

1. AUC=0.5 は何を意味するか？ AUC=0.0 はモデルが「全く役に立たない」を意味するか？
2. AUC と Mann-Whitney U 統計量の関係を 1 行で説明できるか？
3. クラス不均衡が極端な場合、 AUC と PR-AUC のどちらを優先すべきか、 理由付きで答えられるか？
4. 同じ AUC=0.85 のモデル A と B があり、 A はキャリブレーションが良く、 B は悪い。 リスクスコアとして使うときどちらを選ぶか？
5. AUC の 95% 信頼区間はどう計算するか？ DeLong 検定との違いを述べよ。
6. 多クラス（3 クラス）分類で AUC を計算するとき、 macro と micro の違いは何か？
7. 部分 AUC（pAUC）はどのような場面で AUC より適切か？ 1 つ例を挙げよ。
8. SSDSE-B-2026 で「総人口 100 万人以上か」を二値ターゲットに、 出生数（A4101）の対数をスコアにした場合 AUC はおよそ何になるか？

❓ AUC 深掘り FAQ — 実務で必ず聞かれる 20 問

業務で AUC を扱うと、 「上司・顧客・査読者」から繰り返し聞かれる質問パターンがある。 以下は実務頻出の 20 問を、 短くても本質を外さない解答で並べたもの。 教育用ハンズオン教材として、 そのまま勉強会の Q&A 集としても使える。

Q1. AUC は何を測っているのか、 一言で。

A. 「ランダムに選んだ正例のスコアが、 ランダムに選んだ負例のスコアより大きい確率」。 つまり順位の正解率。

Q2. AUC が 0.9 を超えれば実用化していい？

A. 一概に言えない。 ビジネスコスト・クラス不均衡・閾値運用を併せて見ないと判断不可。 AUC は順位指標で、 業務 KPI（Precision@K、 期待損失）と必ず併用すること。

Q3. AUC と F1 のどちらを報告書のメインに置くべき？

A. モデル選定段階（閾値未定）なら AUC、 運用段階（閾値固定）なら F1 がメイン。 両方併記が安全。

Q4. AUC は外れ値に強い？

A. 比較的強い。 順位ベースなので、 1 件のスコアが極端でも順位は 1 つしか動かない。 ただし全体のスコア分布が歪むと AUC も影響を受ける。

Q5. 「AUC=0.7 は中くらい、 0.8 は良い、 0.9 は優秀」という目安はあるか？

A. ドメイン依存だが、 医療分野では Hosmer-Lemeshow の目安として「0.7-0.8 許容、 0.8-0.9 優秀、 0.9 以上は要過学習チェック」が広く使われる。 金融・マーケでは 0.65 でも十分な場合がある。

Q6. クロスバリデーション CV の各 fold で AUC を計算して平均するのと、 全 fold の予測を集めて 1 回で AUC を計算するのと、 どちらが正しい？

A. 後者（pooled AUC）の方が分散が小さく、 報告に向く。 ただし fold ごとの安定性を見るには前者（mean of fold AUCs）も併記すべき。 両方を報告するのが理想。

Q7. AUC が学習データ 0.99、 検証データ 0.70 のときは過学習？

A. ほぼ確実に過学習。 正則化、 木の深さ縮小、 特徴量削減、 早期停止を試すべき。 AUC の学習/検証ギャップは過学習の感度の高いシグナル。

Q8. AUC は確率出力でなく、 順位だけ分かれば計算できる？

A. はい。 AUC は順位統計量なので、 スコアの順位だけで計算可能。 SVM の `decision_function`（距離）でも使える。

Q9. ROC 曲線が S 字でなく階段状なのはなぜ？

A. データが離散的だから。 連続スコアでサンプルサイズが小さいと階段になる。 サンプルが増えれば S 字に近づく。

Q10. AUC が同じでも ROC 曲線の形が違うことは？

A. ある。 「中央が膨らむ」曲線と「初期に立ち上がる」曲線は AUC が同じでも実運用での挙動が違う。 用途に応じて形を見るべき。

Q11. 偽陽性のコストが偽陰性より大きい場合、 AUC のままでよい？

A. AUC は対称なのでコスト非対称を反映しない。 重み付き AUC、 部分 AUC、 期待損失最小化のいずれかを使うべき。

Q12. AUC は時間とともに劣化する？ どう検知する？

A. データドリフトで劣化する。 月次で AUC をモニタリングし、 過去 N 月の信頼区間外に出たらアラートを出すのが基本パターン。

Q13. AUC が業界平均よりずっと高い・低い場合、 何を疑うべき？

A. 高すぎ：時系列リーク、 ターゲット漏洩、 評価データに学習データが混入。 低すぎ：ラベルノイズ、 特徴量と関係ない予測、 クラス定義の誤り。

Q14. AUC とゲイン曲線・リフトチャートの関係は？

A. ROC 曲線・ゲイン曲線・リフトチャートは同じデータを違う軸で描いたもの。 マーケでは「上位 10% の応答率が平均の何倍か」を示すリフトチャートの方が現場に通じやすい。

Q15. AUC の代替に Kolmogorov-Smirnov 統計量（KS）を使う場面は？

A. KS は「正例 CDF と負例 CDF の最大乖離」を測る指標で、 与信スコアリングで広く使われる。 AUC が「全体平均」なら KS は「最も乖離する 1 点」の指標。

Q16. AUC は単調変換に不変？

A. はい。 スコアに log・sigmoid を掛けても順位は変わらないので AUC は不変。 これがキャリブレーション独立の数学的根拠。

Q17. AUC の標準誤差はどう計算する？

A. Hanley-McNeil の式：$\text{SE}(\text{AUC}) = \sqrt{\frac{\text{AUC}(1-\text{AUC}) + (n_+ - 1)(Q_1 - \text{AUC}^2) + (n_- - 1)(Q_2 - \text{AUC}^2)}{n_+ n_-}}$。 $Q_1 = \text{AUC}/(2-\text{AUC})$、 $Q_2 = 2\text{AUC}^2/(1+\text{AUC})$。

Q18. AUC は不偏推定量か？

A. はい。 サンプルから計算した AUC は母集団 AUC の不偏推定量。 ただし小サンプルでは分散が大きく、 信頼区間で報告すべき。

Q19. AUC は確率分布のどの性質と関係する？

A. 正例と負例のスコア分布の「重なり具合」、 具体的には共通支持の確率質量と関係する。 重なりが少ない＝AUC 高い。

Q20. AUC を最大化するように直接モデルを学習できる？

A. できる。 ペアワイズランキング損失（RankNet・LambdaRank）や、 AUC を直接微分可能にした近似損失（PAUC、 AUCMLoss）が研究されている。 LightGBM の `objective=lambdarank` や `xgboost.rank:pairwise` で実装可能。

📜 AUC の歴史と現代的な位置づけ — なぜ第二次世界大戦のレーダー研究から生まれた指標が、 21 世紀の機械学習で標準指標になったのか

ROC 曲線および AUC の起源は、 第二次世界大戦中の英米軍におけるレーダー信号処理研究にある。 当時のオペレーターは「画面上の信号が本物の敵機か、 ノイズ（鳥・雲・電波干渉）か」を瞬時に判断する必要があり、 閾値を上げれば見落としが増え、 下げれば誤警報が増えるというトレードオフに直面していた。 そこで Peterson らが信号検出理論（Signal Detection Theory, SDT）として体系化し、 真陽性率（hit rate）と偽陽性率（false alarm rate）の組を 2 次元平面にプロットしたものを Receiver Operating Characteristic（ROC、 受信者動作特性）と名付けた。 これがレーダー以外の応用に広がる転機は 1970 年代の医療診断研究で、 X 線・心電図・血液検査などの「閾値で陽性陰性を判定する検査」の性能評価指標として ROC 曲線が急速に普及した。

1980 年代以降、 Hanley と McNeil による AUC の統計的性質の整備（標準誤差・信頼区間・2 曲線比較）、 DeLong らによる相関 ROC の検定法の提案により、 AUC は医療診断統計の中心指標として定着した。 1990 年代後半に機械学習コミュニティが医療指標に注目し、 Provost と Fawcett らが「クラス分布が変動する環境では Accuracy より AUC の方が頑健」と論じた論文をきっかけに、 機械学習の標準指標として急速に採用された。 21 世紀に入ってからは KDD・Kaggle 等のコンペティションで AUC（特に PR-AUC・LogLoss と並んで）が標準評価指標となり、 現在は scikit-learn・LightGBM・XGBoost・TensorFlow・PyTorch のすべてに `auc` メトリックが組み込まれている。

21 世紀の機械学習で AUC がここまで重宝される理由は 3 つに整理できる。 第一に「閾値非依存性」。 機械学習プロジェクトの初期段階では適切な閾値がまだ決まっていないことが多く、 AUC は「閾値を決める前にモデル間を比較できる」唯一の指標。 第二に「クラス比に対する一定の頑健性」。 完全に頑健ではないが、 Accuracy のように多数派クラスに引きずられない。 第三に「直感的解釈可能性」。 「ランダムに選んだ正例 vs 負例で正しく順位付けする確率」という確率的解釈が、 ビジネスサイドの非専門家にも説明しやすい。 これらの理由から AUC はモデル評価のデファクトスタンダードとなっているが、 「単独で使うな、 業務 KPI と必ず併走させよ」という現代の鉄則は変わらない。

🔍 AUC の数学的本質 — Mann-Whitney U と確率的解釈の架け橋

AUC が「順位の正解率」であることは Mann-Whitney U 統計量との等価性から導かれる。 Mann-Whitney U は、 2 つの独立サンプル $X_1, ..., X_{n_+}$（正例スコア）と $Y_1, ..., Y_{n_-}$（負例スコア）について、 「$X_i > Y_j$ となるペア数」を数えた統計量である。 同点は 0.5 として扱う。 この U を最大可能ペア数 $n_+ \cdot n_-$ で割ると AUC になる。 この関係は AUC が単なる面積ではなく、 順位データの非パラメトリック統計量であることを意味する。 つまり、 AUC の有意性検定は Mann-Whitney U 検定（または同等の Wilcoxon 順位和検定）で行える。 SciPy では `scipy.stats.mannwhitneyu(positives, negatives)` の戻り値 U を $n_+ n_-$ で割ると AUC が得られる。 この同値性により、 AUC は順位だけが分かれば計算できるため、 元のスコアの単位や絶対値、 単調変換に対して不変という非常に強い性質を持つ。

確率的解釈の側面では、 AUC は「正例と負例の累積分布関数 $F_+$ と $F_-$ について、 $\int F_-(t)\, dF_+(t)$」という積分で書ける。 これは「正例分布から取ったサンプル $s_+$ に対して、 負例分布の CDF $F_-$ が返す値」を期待値で集計する量で、 「正例より低い確率を持つ負例の割合」の平均を意味する。 言い換えると、 AUC は「すべての正例について、 それより小さい負例の割合」を平均したものに等しい。 この見方は AUC の確率的本質を最もシンプルに表現する。

⚙️ AUC を学習目的にする 5 つのアプローチ

AUC は微分不可能な指標（順位は微分できない）なので、 直接最大化するには工夫が要る。 実務で使われる 5 つのアプローチを紹介する。

1. 近似損失（Surrogate Loss）：Logistic 損失や Hinge 損失を最小化することで間接的に AUC が上がる。 多くの分類モデルが採用する暗黙のアプローチ。
2. ペアワイズランキング損失：RankNet・RankSVM のように「正例 i と負例 j のペア」を作り、 $\sigma(s_j - s_i)$ を Logistic 損失で最小化する。 微分可能で AUC に直接寄与。
3. LambdaRank・LambdaMART：LightGBM の `objective=lambdarank` で実装。 検索ランキング向けだが二値分類にも応用可能。
4. AUC 近似損失：sigmoid 関数で順位指示子を近似し、 微分可能な AUC 損失を直接最小化。 PAUC、 AUCMLoss などの研究がある。
5. 強化学習による AUC 最大化：報酬を AUC とした方策勾配で学習。 計算コストは高いが、 大規模深層学習で部分的に使われる。

実務では「Logistic 回帰や勾配ブースティングを Logistic 損失で学習し、 結果として AUC を評価する」のが最も普及した方法。 ただしクラス不均衡が極端な場合や、 上位 K 件の精度が重要な検索・推薦タスクでは、 LambdaRank やペアワイズ損失が AUC の改善に直接効くことがある。

📈 SSDSE-B-2026 における AUC の応用シナリオ

SSDSE-B-2026 は都道府県別の社会・人口統計データだが、 これを使って AUC を学ぶシナリオは複数考えられる。 (1) 「総人口（A1101）100 万人以上か」を二値ターゲットに、 出生数（A4101）・年少人口（A1301）などの規模指標で予測する場合の AUC。 (2) 「高齢化率（A1303/A1101）30% 以上か」を二値ターゲットに、 合計特殊出生率（A4103）・消費支出（L3221）などで予測する場合の AUC。 (3) 「合計特殊出生率（A4103）が全国中央値以上か」を二値ターゲットに、 年齢構成・年平均気温（B4101）などで予測する場合の AUC。 規模指標どうしを使う (1) では AUC は 0.9 以上になりやすい一方、 (3) のように弱い相関の特徴では 0.6〜0.7 にとどまることも多く、 「特徴とターゲットの相関の強さ」が AUC を直接左右することが分かる。

特に重要なのは「変数を 1 つずつ追加していくと AUC がどう上がるか」を実演することで、 学習者は「特徴量追加の限界効用」「相関が強い特徴を追加しても AUC はそれほど上がらない」「弱い相関でも独立な特徴は AUC を押し上げる」といった機械学習の本質的な性質を体感できる。 SSDSE は 47 サンプルしか無いため、 過学習の危険性も学べる教材として優秀である。

🧭 AUC を業務報告に使うときの 7 つの作法

1. 必ず信頼区間と一緒に出す：「AUC=0.85」だけでなく「AUC=0.85 [95%CI: 0.79-0.91]」と書く。 サンプル数が小さい場合の過信を防ぐ。
2. サンプルサイズと正例数を明記：「N=1200、 正例 80 件」のように書く。 AUC の安定性はサンプル数で大きく変わる。
3. ベースライン（ランダム）と比較：「AUC=0.85（ランダム=0.5、 業界平均=0.72）」のように、 比較対象を明示する。
4. 業務 KPI と必ず併記：「AUC=0.85、 Precision@K=0.42、 Recall=0.61」のように、 閾値依存指標を必ず添える。
5. ROC 曲線を図で出す：数値だけでなく曲線形状を見せ、 「初期立ち上がり」「中央膨らみ」「末端尾」を可視化する。
6. キャリブレーション結果を補足：リスクスコア応用なら Brier スコアまたは較正曲線を併記。 AUC だけでは確率の正確さは保証されない。
7. 過学習チェックを明示：学習データ AUC と検証データ AUC のギャップを示し、 「過学習リスクは低い／中／高」を判定する。

📝 AUC を 1 ページで総括 — 「面積」を超えた評価指標として使うための要点 12 項

本ページを最後まで読んだ学習者向けに、 AUC を業務で使うための要点を 12 項目に圧縮する。 各項目はクリック可能なアンカーで該当節に戻れるよう設計してあるので、 復習時の索引としても活用してほしい。 AUC は「面積」という見た目の単純さに反して、 順位統計量・確率解釈・多クラス拡張・部分 AUC・キャリブレーション分離など、 多くの数学的・実務的論点を含む奥深い指標である。 単独で使うのではなく、 PR-AUC・F1・Log Loss・Brier などと組み合わせて、 ビジネス文脈に合わせた評価フレームワークを構築することが、 機械学習エンジニアの中級者から上級者へのステップアップに必須である。

1. AUC は「ランダム正例 vs 負例の順位正解確率」。 Mann-Whitney U と等価。
2. 閾値非依存・順位ベースなので、 単調変換に不変、 キャリブレーションと独立。
3. クラス不均衡が極端なら PR-AUC を主指標に。 AUC は楽観的になりがち。
4. 必ず 95% 信頼区間と一緒に報告。 bootstrap または Hanley-McNeil 式。
5. 2 モデル比較は DeLong 検定または bootstrap で差の有意性を確認。
6. 多クラスは OvR/OvO × macro/micro/weighted の 5 通りを意識。
7. 偽陽性を許せない用途は pAUC（FPR ≤ 0.1）を採用。
8. ROC 曲線の形（左上型/中央膨らみ型/階段型）を必ず目視。
9. 業務 KPI（Precision@K、 期待損失）と必ず併走させる。
10. 確率値を使う用途では Brier・較正曲線で AUC を補完。
11. 学習と検証の AUC ギャップで過学習を診断。
12. 業界平均より極端に高ければリーク・漏洩を疑う。

AUC を学んだ次は、 PR-AUC、 Brier スコア、 較正曲線、 期待損失最小化、 コスト感受性学習へと評価指標の理解を広げていくと、 機械学習プロジェクトのライフサイクル全体を見通せる視野が手に入る。 各指標は「同じモデルに違う物差しを当てる行為」であり、 複数の物差しが一致するかどうかが「本当に良いモデル」の証になる。 単一指標で意思決定する習慣を捨て、 複数指標と業務 KPI の合議でモデルを選定する文化を組織に根付かせることが、 データサイエンス成熟度の中核である。 本ページの議論をスタート地点として、 評価指標の世界をさらに深く探求してほしい。 AUC は「面積以上の意味」を持つ深い指標であり、 その本質を理解した先には、 機械学習プロジェクト全体の評価設計力という大きな成果が待っている。 さらに学習を進めると、 評価フレームワークそのものを設計する立場に到達できる。

🎯 多クラス AUC — OvR・OvO・macro・micro・weighted の 5 通り完全整理

クラス数が 3 以上のマルチクラス分類で AUC を計算するとき、 「どの 2 クラスを正例 vs 負例として扱うか」によって複数の流儀がある。 sklearn の `roc_auc_score` では `multi_class='ovr'` または `'ovo'`、 `average='macro'` または `'weighted'`（micro は一部組み合わせのみ）が選べる。 OvR（One-vs-Rest）はクラス k vs それ以外という K 個の二値問題を作り平均化、 OvO（One-vs-One）は全 $\binom{K}{2}$ ペアで二値 AUC を計算して平均化する流儀。 OvR は計算が軽くクラス数が多くてもスケールするが、 クラス不均衡があると多数派クラスに引きずられる。 OvO はクラス対称性が高く不均衡に頑健だが、 計算量が $O(K^2)$ で増える。

macro 平均は各クラス AUC を単純平均、 micro 平均は全クラスの予測を結合した 1 つの巨大二値問題として AUC を計算、 weighted 平均は各クラス AUC をサンプル数で重み付け平均する。 macro は希少クラスを重視、 weighted は多数派クラスを重視、 micro は全体最適という性格。 報告書では「OvR macro AUC = 0.85、 OvR weighted AUC = 0.88、 OvO macro AUC = 0.83」のように複数値を併記し、 ビジネス文脈に応じて意思決定するのが堅実。 たとえば「希少疾患を見逃さない」用途なら macro、 「全体スループット最適化」なら micro が適する。

🎮 触って理解する

陽性群（実際に病気・不正など）と陰性群（正常）の 2 つのスコア分布は、 モデルの識別力が高いほど左右に離れ、 識別力が無いほど重なる。 下の 分離度スライダー を動かすと、 右の 2 分布が離れたり重なったりし、 それに連動して 左の ROC 曲線 と、 その下の面積である AUC がリアルタイムに計算される。 しきい値 を動かす（または右の分布グラフを直接ドラッグ／タップ）と、 現在のしきい値・真陽性率 (TPR)・偽陽性率 (FPR) が ROC 上の 1 点として示される。 分離度を上げると AUC → 1、 完全に重ねると AUC → 0.5（＝コイン投げと同等）になる様子を体感してほしい。

「Pr(陽性 > 陰性)」は、 ランダムに選んだ陽性サンプルのスコアが、 ランダムに選んだ陰性サンプルより高い確率。 これが AUC と（数学的に）一致する — つまり AUC は「順位づけがどれだけ正しいか」を測る指標である。 台形公式で ROC 下面積を積分した値（左のカード）と、 正規分布から解析的に求めた順位確率（右のカード）がほぼ一致することを確認できる。

🧠 直感 — AUC は「順位」の指標

AUC が測るのは 絶対的なスコアの正確さではなく 順位（ランキング）の正しさである。 全陽性を全陰性より少しでも高くスコアできれば、 スコアの絶対値がどれだけズレていても AUC = 1.0 になる。 逆に言えば、 AUC が高くても「予測確率 0.9 が本当に 90% を意味するか」（＝混同行列や校正の話）は保証されない。 上の実験で分離度を上げると、 2 分布の重なり面積が減り、 ROC 曲線が左上の角へ張り出し、 面積 AUC が 1 に近づく。 これが「識別力が高い＝順位で綺麗に分けられる」という意味である。

⚠️ よくある落とし穴 — 不均衡データと PR-AUC の使い分け

AUC は陽性・陰性を それぞれの群の内部で正規化した TPR・FPR で描くため、 クラス比率が極端に偏っても値がほとんど動かない。 一見「不均衡に強い」利点だが、 これは裏を返せば 「陽性が 0.1% しかいない」現実の運用感覚を隠してしまうという落とし穴でもある。 陽性 0.1%・AUC 0.95 のモデルでも、 実際に陽性と予測したものの大半が陰性（適合率が低い）ということが起こりうる。 このような 強い不均衡で「陽性を当てにいく」用途では、 横軸を FPR ではなく再現率（Recall）、 縦軸を適合率（Precision）とした PR 曲線の下面積 PR-AUC（Average Precision）の方が、 実運用の痛みを素直に反映する。 目安: 陽性割合が数 % 以下、 かつ「陽性の取りこぼし・空振り」のコストが問題になるなら PR-AUC を主指標、 AUC は補助として併記する。 上の実験でしきい値だけを動かすと ROC 上の 1 点は動くが AUC 自体（曲線全体の面積）は変わらないことにも注目してほしい — AUC は閾値非依存だが、 実運用の性能は選んだしきい値で決まる。

🚀 発展

• Mann–Whitney U との等価性: AUC = U / (N₊ × N₋)。 上の「Pr(陽性 > 陰性)」カードはまさにこの順位確率で、 ノンパラメトリック検定と地続きである。
• Gini 係数: Gini = 2·AUC − 1。 与信業界では AUC よりこちらが慣用。 分離度を上げて AUC→1 のとき Gini→1、 AUC=0.5 のとき Gini=0。
• 部分 AUC (pAUC): 「FPR ≤ 0.1 だけ」の面積。 偽陽性が許されない用途（特異度重視）で使う。 上の ROC の左端付近だけを積分するイメージ。
• 閾値の選び方: AUC が良くても運用は 1 点で行う。 コスト比に応じた最適しきい値の決定は F1スコア・ROC曲線 のページも参照。 評価指標全体の地図は 評価指標 へ。

※ この実験の 2 分布は、 概念理解のために生成した等分散正規分布（陰性群 平均0・陽性群 平均=分離度, 標準偏差1）です。 SSDSE 等の実測データではなく、 AUC の挙動を体感するための合成例です。

⚠️ よくある落とし穴

⚠️ 落とし穴 10 件 (拡張版)

「AUC」の典型的失敗パターン 10 件:

📝 演習問題 15 問 (拡張版・解答付き)

理解度確認 15 問:

📋 1 ページチートシート (AUC)

「AUC」の主要事項を 1 ページで:

🚫 よくある誤解 10 件

「AUC」について世間によくある誤解と訂正:

📓 運用プレイブック 100 項目 (AUC)

「AUC」を実務でフル運用するための 100 のアクション項目:

🌉 隣接分野クロスウォーク 25 分野

「AUC」が他のデータサイエンス分野とどう関係するか:

🌐 国際・分野別比較

🌐 国際・分野別比較

「AUC」の地域別・分野別の差異:

🔗 AUC を理解するための関連用語マップ（前提・並列・発展）

AUC を本当に使いこなすには、 単独で覚えるのではなく「前提となる指標」「並列で比較する指標」「AUC の先にある発展トピック」をネットワーク的に押さえる必要がある。 以下は推奨学習順序の関連用語マップ。

前提（先に押さえるべき）

• 混同行列 — TP/FP/TN/FN の意味が分からないと TPR・FPR が読めない
• ROC 曲線 — AUC は ROC の面積、 ROC の理解が必須
• Precision（適合率）・Recall（再現率） — 閾値依存指標との対比で AUC の意義が分かる

並列（同じ目的で比較される）

• F1 スコア — 閾値固定での Precision-Recall 統合指標
• 正解率 — 単純だがクラス不均衡に弱い
• Log Loss — 確率値の正確さを評価
• クロスエントロピー — Log Loss と等価で学習の損失関数

発展（AUC の先）

• 特異度 — FPR = 1 − 特異度 の関係
• 偽陽性・偽陰性 — コスト非対称評価の出発点
• 相関係数 — AUC と順位相関の数学的関係

🔗 関連用語 35 語クロスリファレンス

本ページに関連する用語の網羅リスト:

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 評価指標 — このカテゴリの全体像を学ぶ

🔗 同カテゴリの他用語

📚 参考文献

本ページの根拠となる主要文献:

1. Hanley, J.A. & McNeil, B.J. (1982). The meaning and use of the area under a ROC curve. Radiology 143(1), pp. 29-36.
2. Bradley, A.P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern Recognition 30(7).
3. Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters 27(8), pp. 861-874.
4. DeLong, E.R. et al. (1988). Comparing the areas under two or more correlated ROC curves. Biometrics 44(3), pp. 837-845.
5. Hand, D.J. & Till, R.J. (2001). A simple generalisation of the AUC for multi-class classification. Machine Learning 45.
6. Saito, T. & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot. PLOS ONE 10(3).
7. Davis, J. & Goadrich, M. (2006). The relationship between Precision-Recall and ROC curves. ICML 2006.
8. Pedregosa, F. et al. (2011). Scikit-learn: Machine Learning in Python. JMLR 12, pp. 2825-2830.
9. Provost, F. & Fawcett, T. (2013). Data Science for Business. O'Reilly.
10. Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning, 2nd ed. Springer.

📘 拡張ハンドブック (10 ステップ)

「AUC」を実務で運用するための 10 ステップ:

1. Step 1: データ準備 — 二値ラベル + 連続スコア。 ラベル不均衡を確認。
2. Step 2: 訓練/テスト分割 — 層化サンプリング (stratify) で正例比率を維持。
3. Step 3: モデル選定 — Logistic / RandomForest / GBM。 確率出力可能なモデル。
4. Step 4: スコア取得 — predict_proba() で確率出力。 SVM 等は CalibratedClassifierCV 経由。
5. Step 5: AUC 計算 — roc_auc_score(y_true, y_score)。
6. Step 6: 信頼区間 — Bootstrap (1000 回) で 95% CI を推定。
7. Step 7: モデル比較 — DeLong test または paired bootstrap。
8. Step 8: PR-AUC 併用 — 不均衡なら average_precision_score() も報告。
9. Step 9: 閾値選定 — 業務コスト関数で最適閾値を別途決定。
10. Step 10: 継続監視 — 本番デプロイ後の AUC ドリフトを週次 or 月次でチェック。

🎯 AUC 50 連発レシピ

実務で「AUC」を運用するための 50 個の具体的レシピ:

✅ 最終 20 項目チェックリスト

「AUC」を完全運用しているかの自己診断 20 項目:

🗺 概念マップ

「AUC」を中心とした概念関係図 (実線=直接関連、 破線=対比関係):

中心の「AUC」から放射状に関連概念を配置。 実線は『包含・前提・並列』、 破線は『対比・差分』。 各ノードを順に学ぶことで「AUC」の文脈を立体的に把握できる。

📊 図解の読み方ガイド

AUC を理解する図表は 5 種類存在する。 それぞれの読み方:

📑 主要文献の深掘りレビュー 10 件

「AUC」を学ぶための必読 10 件:

📄 Hanley & McNeil (1982)

Radiology 143(1)。 医療画像での ROC/AUC の最初の体系的解説。 引用回数 30000+。

📄 Bradley (1997)

Pattern Recognition 30(7)。 ML 評価指標としての AUC を確立。 引用 10000+。

📄 Fawcett (2006)

Pattern Recognition Letters 27(8)。 ROC 分析の総合解説。 教科書級。

📄 DeLong et al. (1988)

Biometrics 44(3)。 相関 ROC 曲線の比較検定。 同一テストセットの 2 モデル比較標準。

📄 Hand & Till (2001)

ML 45。 マルチクラス AUC の generalisation。 scikit-learn の multi_class='ovo' のベース。

📄 Saito & Rehmsmeier (2015)

PLOS ONE 10(3)。 不均衡データでは PR-AUC の方が情報量多と提唱。

📄 Davis & Goadrich (2006)

ICML 2006。 PR と ROC 曲線の数学的関係を整理。

📄 Hand (2009)

ML 77(1)。 AUC の問題点 (異モデル比較の不一致) を指摘。 H-measure 提案。

📄 Provost & Fawcett (2013)

O'Reilly。 ビジネス意思決定での AUC・cost analysis の実務書。

📄 Hastie, Tibshirani, Friedman (2009) ESL

Springer。 AUC を含む全評価指標の数理的基盤。 教科書の最高峰。

🕐 用語の歴史タイムライン

「AUC」の歴史的展開:

🔗 隣接手法への橋渡し

AUC は二値分類の閾値非依存指標で、 「ランダムに選んだ正例と負例で、 モデルが正例により高い予測確率を与える確率」と等価 (Mann-Whitney U と同義)。

• 上流: クラス不均衡の確認 (陽性率 1% のような極端な不均衡では PR-AUC を併用)、 ラベル品質の保証 — AUC はノイズラベルに敏感。
• 並列: 正解率 (閾値依存)・PR-AUC (不均衡対応)・F1・混同行列 と組み合わせて偏りない評価。
• 下流: ROC 曲線と閾値選択 (Youden index、 業務 TPR/FPR トレードオフ)、 DeLong 検定で 2 モデルの AUC 差検定、 確率校正での真の確率への変換。

SSDSE-B-2026 で「過疎化都道府県の予測」を二値分類する場合、 47 サンプルなので AUC の信頼区間は広く、 ブートストラップで CI を出して報告すべき。

🌳 手法選択フロー

AUC を使うべきか別の指標にすべきかは「クラスバランス」「コスト非対称性」「閾値要否」の 3 軸で判定。

1. クラスバランス: バランス (1:1～1:4) → ROC-AUC で十分。 極端な不均衡 (1:100 以上) → ROC-AUC は楽観的、 PR-AUC (Average Precision) を主指標に。
2. 誤分類コスト: FP と FN のコストが同じ → AUC で全体性能。 コスト非対称 (例: 病気見逃し >> 過剰検出) → コスト感応分析、 Recall@Precision=0.9 のような業務指標。
3. 閾値を実装に固定するか: モデル比較 (閾値未定) → AUC で順位比較。 本番運用 (閾値固定) → 混同行列の Sensitivity/Specificity と F1 を併用。 DeLong 検定で 2 モデルの AUC 差有意性確認 (n>30 必要)。

「AUC=0.85 だから良い」と単独で結論せず、 必ず PR-AUC・キャリブレーション (Brier Score)・業務閾値での Confusion Matrix を併記する。

🧪 実測で確かめる — 不均衡データで ROC-AUC と PR-AUC はどれだけ食い違うか

🎨 直感（別角度）：ROC-AUC は「全運用点（＝全しきい値）を平均した順位力」で、 陰性を正しく退けた功績も点数になる。 一方 PR-AUC（Average Precision）は横軸 Recall・縦軸 Precision の曲線下面積で、 陽性側だけを見た「拾い上げの純度」を測る。 陰性が大多数を占める不均衡データでは、 ROC-AUC は「大量の陰性を退けた」分で高く出やすいのに対し、 PR-AUC はベースライン（＝陽性率）から出発するため、 同じモデル・同じスコアでも両者の値は大きく食い違う。 この食い違いを SSDSE-B-2026（2023 年・47 都道府県）の実データで数値として体験する。

🎯 このコードでやること：総人口・出生数・転入者数の 3 特徴量で「超高齢化県（65 歳以上比率 > 35%）」を二値分類する。 これは 47 県中 6 県だけが陽性（陽性率 12.8%）の不均衡タスク。 6 分割の層化交差検証で out-of-fold スコアを作り、 ROC-AUC と PR-AUC を実測する。 比較用に、 同じ特徴量で「高齢化率 > 中央値」という均衡タスク（陽性率 48.9%）も測る。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import cross_val_predict, StratifiedKFold
from sklearn.metrics import roc_auc_score, average_precision_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()   # 2023 年・47 都道府県
d['aging'] = d['A1303'] / d['A1101']

# 不均衡ターゲット: 超高齢化県 (65 歳以上比率 > 35%) → 6/47 = 12.8%
y = (d['aging'] > 0.35).astype(int).values
X = d[['A1101', 'A4101', 'A5101']].values   # 総人口・出生数・転入者数

pipe = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
cv = StratifiedKFold(n_splits=6, shuffle=True, random_state=42)
score = cross_val_predict(pipe, X, y, cv=cv, method='predict_proba')[:, 1]

print(f'陽性率        = {y.mean():.3f}')
print(f'ROC-AUC       = {roc_auc_score(y, score):.3f}')
print(f'PR-AUC (AP)   = {average_precision_score(y, score):.3f}')

# 比較: 同じ特徴量で「高齢化率 > 中央値」(均衡, 陽性率 0.49) を予測
yb = (d['aging'] > d['aging'].median()).astype(int).values
sb = cross_val_predict(pipe, X, yb, cv=cv, method='predict_proba')[:, 1]
print(f'[均衡] ROC-AUC={roc_auc_score(yb, sb):.3f}  PR-AUC={average_precision_score(yb, sb):.3f}')

📤 実行すると次の出力が得られる（実 47 県データ）：

💬 結果の読み方：不均衡タスクでは ROC-AUC=0.850 と「良好」に見えるが、 まったく同じスコアから計算した PR-AUC はわずか 0.487。 ROC-AUC の見かけの良さは陽性側の実力を過大評価している。 PR-AUC のベースライン（でたらめ予測）は陽性率そのものの 0.128 なので、 0.487 は「でたらめよりは明確に上」だが「ROC が示唆する 0.85 の水準ではない」と読む。 一方、 均衡タスクでは ROC-AUC=0.821 と PR-AUC=0.772 の差はごく小さい。 ROC-AUC と PR-AUC の乖離幅そのものが「不均衡がどれだけ評価を楽観化させているか」の温度計になる。

⚠️ ここから導かれる 6 つの実務的教訓（既出の落とし穴とは別角度）

• 同じ AUC でも運用点は違う：ROC-AUC は曲線全体の平均。 実運用は曲線上の1 点（1 つのしきい値）で動くので、 混同行列と 適合率／再現率を、 採用しきい値で必ず併記する。
• 不均衡では PR-AUC を主指標に：陽性率が数 % 以下なら PR-AUC をメイン、 ROC-AUC は補助。 本実測の 0.850 vs 0.487 がその典型で、 クラス不均衡の程度が乖離を決める。
• 較正は別物：ROC-AUC も PR-AUC も順位しか見ない。 予測確率の値そのものを使うなら Brier スコア・信頼性曲線で別途確認する（評価指標 参照）。
• 低 FPR 域だけ重要なら pAUC：偽陽性を許せない用途は ROC 曲線左端の部分 AUC（max_fpr）や 特異度固定時の感度で評価する。
• 小標本は信頼区間必須：47 県・陽性 6 件では点推定は不安定。 bootstrap で 95% CI を出し、 2 モデル比較は DeLong 検定で差の有意性を確認する。
• 多クラスは流儀を明記：3 クラス以上は OvR／OvO × macro／micro／weighted で値が変わる。 分類問題ごとに集約方法を報告に書く。

📝 より正確な分析：本節の数値は data/raw/SSDSE-B-2026.csv を cp932・skiprows=[1] で読み、 2023 年 47 県に絞った実測（scikit-learn の StratifiedKFold, random_state=42）。 ROC-AUC=0.850 と PR-AUC=0.487 は同一スコアから計算した同一モデルの評価であり、 食い違いはモデルの差ではなく指標の性質の差である。 乱数分割・ライブラリ版で小数第 2 位は多少動くが、 「不均衡ほど ROC-AUC と PR-AUC が乖離する」「均衡タスクでは両者が接近する（0.821 vs 0.772）」という定性的傾向は頑健。