🔖 キーワード索引

別名・略称：CE、 対数損失、 Log Loss、 Negative Log-Likelihood

クロスエントロピーは 分類モデルの確率出力を評価する損失関数。 真の確率分布と予測分布の「距離」を測り、 深層学習の分類タスクではほぼ標準。

🎨 直感で掴む

📐 定義 / 数式

🎮 触って理解する

スライダーや棒グラフをドラッグして予測確率 $\hat{y}$ を動かし、 交差エントロピー損失 $\mathrm{CE}=-\sum_c y_c \ln \hat{y}_c$ がどう変化するかを体感しましょう。 題材は本ページ冒頭と同じ「都道府県を 3 地域（北海道 / 本州 / 九州・沖縄）に分類」するタスクです。 対数は自然対数 ln を用い、 損失の単位は nat（ネイピア）。 底 2 の bit 値も併記します（1 bit = ln 2 ≈ 0.693 nat）。

この実験で見えること（直感）

• 正解クラスの確率だけが効く：one-hot ラベルでは $\mathrm{CE}=-\ln \hat{y}_{\text{正解}}$。 他クラスの棒をどう動かしても、 正解クラスの確率が同じなら損失は変わりません（合計が 1 になる範囲で）。
• 1 に近づくと損失はほぼ 0、 0 に近づくと爆発的に増大：「自信満々で外す」を押すと $-\ln 0.01 \approx 4.6$ nat という桁違いの罰が発生します。 曲線の左端が垂直に立ち上がる様子がそれです。
• 「まったく分からない」= 各 1/3 のとき $-\ln(1/3)=\ln 3 \approx 1.099$ nat。 これが 3 クラスでの「無情報ベースライン」で、 学習済みモデルはこれを下回るのが最低条件です。
• label smoothing を入れると、 正解ラベルが $1$ から $0.9$ に和らぎ、 完全一致でも損失は 0 になりません（不正解クラスにも小さな $-\varepsilon/(C-1)\ln\hat{y}$ 項が残るため）。 過信を抑える正則化の効き方が数値で分かります。

よくある落とし穴

• $\log 0$ で NaN：予測確率がちょうど 0 だと $-\ln 0=\infty$。 実装では $\hat{y}$ を $[\epsilon,\,1-\epsilon]$ にクリップするか、 softmax のロジットを直接損失関数へ渡す（PyTorch の CrossEntropyLoss / Keras の from_logits=True）のが鉄則です。 この図でも内部で $10^{-12}$ の下限を入れています。
• 底の取り違え：機械学習の損失は自然対数（nat）が標準ですが、 情報理論の教科書は底 2（bit）で書くことが多い。 数値が $\ln 2\approx0.693$ 倍ずれるので、 他資料と比べるときは単位を必ず確認しましょう。
• 正解率が高いのに CE が悪い：たまに自信満々で外すモデルは、 accuracy は高くても CE が跳ね上がります。 曲線が非対称（左に急）なのが原因で、 CE は「過信した誤り」を特に嫌います。
• 確率の正規化忘れ：$\sum_c \hat{y}_c \ne 1$ のベクトルに CE を適用しても意味のある損失になりません。 この図はドラッグ時に自動で合計 1 へ再正規化しています。

発展的な話題

• KL ダイバージェンスとの関係：$\mathrm{CE}(p,q)=H(p)+D_{\mathrm{KL}}(p\|q)$。 真分布 $p$ が固定なら $H(p)$ は定数なので、 CE 最小化は KL 最小化と等価です。 label smoothing をオンにすると $H(p)>0$ になり、 到達可能な最小 CE が $H(p)$ 分だけ底上げされます。
• softmax との一体化：softmax 出力に CE をかけた合成の勾配は綺麗な $\hat{y}-y$ になり、 学習が安定します（詳しくは softmax ページ）。
• 二値版（BCE / 対数損失）：クラスが 2 つなら $-[y\ln\hat{y}+(1-y)\ln(1-\hat{y})]$。 詳細は 対数損失（Log Loss） と シグモイド関数 を参照。
• 情報量としての解釈：$-\ln\hat{y}$ は「その事象が起きたと知ったときの驚き（自己情報量）」。 交差エントロピーは真分布のもとでの平均驚き量です（情報エントロピー）。
• 損失関数の位置づけ：CE は分類における損失関数の代表格で、 勾配降下法 で最小化されます。 なお KL ダイバージェンス単体の用語ページは本用語集には未収録のため、 ここでは本文中の説明にとどめます。

🔬 記号・式を言葉で読み解く

$y_c$ — 真ラベル

one-hot 形式（正解クラスが 1、 他が 0）。

$\hat{y}_c$ — 予測確率

モデルが出力した各クラスの確率。 softmax の出力。

$-\log$ — 負の対数

確率が 0 に近づくと無限大、 1 に近づくと 0。 「ハズレを強く罰する」。

$\sum_c$ — クラス和

one-hot のおかげで実質「正解クラスの $-\log \hat{y}$ のみ」となる。

softmax との一体化

softmax + CE の合成勾配は $\hat{y} - y$。 数値安定 & 計算効率が高い。

KL ダイバージェンス

2 つの確率分布の「距離」。 CE = エントロピー + KL。

Label Smoothing

one-hot を $(1-\epsilon, \epsilon/(C-1), \dots)$ に和らげ、 過信を抑制。

🔬 数式を言葉で読み解く（再掘り下げ）

交差エントロピーの式 $H(p, q) = -\sum_x p(x) \log q(x)$ を一語ずつ分解します。 「真の分布 p」と「予測分布 q」の食い違いを測る非対称的な量、 という直感が最も重要です。

one-hot ラベルでは $H(p,q) = -\log q(c)$（c=正解クラス）と簡略化される。 「正解クラスの予測確率の対数の符号反転」が分類で見る交差エントロピーの実体。 q(c)=1.0（完全自信）なら loss=0、 q(c)=0.01（自信なく外す）なら loss=4.6 と指数的に大きくなる。

🔬 Cross-Entropy と KL Divergence の関係

3 つの量の関係は次の通り：

• $H(p)$: 真の分布 p のエントロピー（モデルとは無関係）
• $D_{KL}(p \| q)$: p から q へのカルバック=ライブラー距離（モデルが p をどれだけ再現できているか）
• $H(p, q)$: 交差エントロピー

教師ラベル p は学習中固定なので、 $H(p)$ は定数。 CE を最小化することは KL divergence を最小化することと等価。 だから「q を p に近づける」と表現できる。

注意点：KL は非対称 $D_{KL}(p\|q) \ne D_{KL}(q\|p)$。 順序を変えると挙動が変わる：

• $D_{KL}(p\|q)$ — モード探索的（p の山を全部覆う）。 CE の対応
• $D_{KL}(q\|p)$ — モード追跡的（p の 1 つの山に集中）。 VAE の ELBO に登場

🏗 Cross-Entropy の現代応用例

2024-2025 の最先端 AI モデルの9 割以上が CE/KL/InfoNCE のいずれかを基本損失として採用している。 これらの理解は「現代 AI のリンガフランカ」とも言える。

💎 SSDSE 47 県データで CE 感度実験

予測確率 q が変わると CE がどう変わるかを、 47 県人口分類タスクの典型ケースで一覧化：

CE は確率の対数を取るので、 過信したハズレに対して指数的に厳しい罰を与える。 「90% で当てるが 10% で大外れ」より「常に 70% で当てる」モデルの方が CE が低くなりうる。 これが CE を分類損失として優れた理由の 1 つ。

🌡 確率校正と Cross-Entropy

CE を最小化したモデル出力は必ずしも校正された確率ではない。 「q=0.9 と出力したサンプルのうち実際の陽性率が 90% に近いか」が校正の問題。 深層学習モデルは温度スケーリングで補正されることが多い。

温度スケーリング (Temperature Scaling)

学習済みモデルのロジット z を温度 T で割って softmax: $\text{softmax}(z/T)$。 T を validation set の CE 最小化で 1 パラメータだけ学習。 シンプルだが極めて効果的。

Expected Calibration Error (ECE)

予測確率を 10 bin に分け、 各 bin での「平均予測確率」と「実際の陽性率」の差を加重平均。 ECE < 0.05 で実用的に校正済とされる。 NeurIPS 2017 Guo らで広まった。

Platt Scaling / Isotonic Regression

温度スケーリングより一般的な校正手法。 sklearn の CalibratedClassifierCV で利用可能。 SVM やランダムフォレストなどの非確率モデル出力にも適用できる。

📋 Cross-Entropy 適用の標準フロー

1. STEP 1: タスク確認 — 2 クラス? 多クラス? 多ラベル? 各々で損失関数の選択が変わる。
2. STEP 2: ラベル形式統一 — one-hot か整数か。 ライブラリのデフォルトに合わせる。
3. STEP 3: 最終層の決定 — sigmoid (BCE) or softmax (CCE)。 ロジットのまま渡すライブラリ関数 (PyTorch) を使うのが鉄則。
4. STEP 4: 数値安定化確認 — eps clip、 log-sum-exp、 fp16 学習ならスケールアップ。
5. STEP 5: クラス重み考慮 — 不均衡データなら weight or Focal Loss。
6. STEP 6: ラベルスムージング検討 — 大規模分類で 0.05-0.1 を加える。
7. STEP 7: 学習中の損失曲線監視 — 急激な spike や plateaus を検出。
8. STEP 8: 評価時に確率校正 — 温度スケーリングで ECE を下げる。
9. STEP 9: テスト指標で報告 — CE 値 + accuracy + AUROC + ECE を併記。
10. STEP 10: 比較対象を明示 — ランダム予測 log(K) や prior baseline を相対化の基準に。

🎓 CE を「使える」ようになる 8 つのチェックポイント

1. 2 クラスの BCE 式を 30 秒で書ける
2. 多クラス CCE と softmax の関係を絵で説明できる
3. CE と KL の差 $H(p)$ がモデル非依存であることを理解
4. log-sum-exp トリックで overflow を回避するコードを書ける
5. label smoothing がなぜ過適合を抑えるかを直感的に説明
6. 不均衡データに対する Focal Loss の動作（簡単版 $(1-q)^\gamma$）を書ける
7. 確率校正と ECE を区別して説明
8. PyTorch の F.cross_entropy がロジット入力で softmax + log を内部で行うことを理解

8 つ全て即答できれば、 CE 関連の論文や実装で迷うことはほぼなくなる。 4-5 つしか分からなくても、 順に上の章を再読すれば 1 時間で詰められる内容。

🔍 CE まわりのミニ用語集 (20 語)

Entropy ($H(p)$)

分布 p の「不確実性」。 一様分布で最大。

Cross-Entropy ($H(p,q)$)

真の p に対し予測 q を使う時の平均符号長。

KL Divergence

$D_{KL}(p\|q) = H(p,q) - H(p)$。

JS Divergence

KL を対称化した距離。 GAN で使用。

Softmax

ロジット z を確率に変換: $q_i = e^{z_i}/\sum e^{z_j}$。

Log-Softmax

数値安定版。 $\log q_i = z_i - \log \sum e^{z_j}$。

Sigmoid

2 クラス softmax 相当: $1/(1+e^{-z})$。

Logit

softmax/sigmoid 前のスコア。

One-hot

正解クラスのみ 1 のラベルベクトル。

Label Smoothing

$\tilde{p} = (1-\epsilon)p + \epsilon/K$。

Focal Loss

$-(1-q)^\gamma \log q$。 難サンプル重視。

NLL (Negative Log Likelihood)

対数尤度の符号反転 = CE の別名。

Log-Loss

sklearn での CE の呼び名。

Perplexity

$e^{CE}$。 言語モデル評価指標。

ECE

Expected Calibration Error。

Temperature Scaling

$z/T$ で softmax 校正。

InfoNCE

対照学習の CE 派生 (CLIP)。

Knowledge Distillation

teacher q と student q' の KL を最小化。

ELBO

VAE の証拠下界。 再構成 + KL。

CTC Loss

音声認識用 CE 拡張。

🌟 まとめ ── Cross-Entropy を 1 行で言うと

Cross-Entropy は「真の分布 p と予測分布 q のズレを情報量で測る」損失。 BCE は 2 クラス、 CCE は多クラスの定番。 過信ハズレに指数的ペナルティで「自信を持って外す」を抑制し、 同時に softmax 出力で確率解釈も可能。

次の学習ステップは エントロピー、 KL ダイバージェンス、 Softmax、 ロジスティック回帰 へ。 SSDSE-B-2026 で「47 県を 4 地域に分類」 を実装すれば現代的損失設計の全貌が見える。

🧪 SSDSE 47 県 × CE 詳細実験ノート

本ページの 5 ブロックを順に実行した時の典型的な学習体験を時系列で記載します。 自分の環境で値が一致するかを確かめましょう。

「自分の手で 10 手順を流す」のがマスターへの最短経路。 値が合わない場合は (a) skiprows, (b) sigmoid のスケーリング係数, (c) clip 範囲を疑うとよい。

🧮 実値で計算してみる（SSDSE-B-2026・47 都道府県）

🧮 数式に値を入れて手で計算する: 交差エントロピー H(p,q)

合成 3 クラス確率で正解 p=[1,0,0], 予測 q=[0.7,0.2,0.1] の損失を計算する。

Step 1: p と q

Step 2: H(p,q) = -Σ p_i log q_i

Step 3: 別予測 q'=[0.4,0.3,0.3]

🐍 Python で再現

1
2
3
4
5
6
7
8

import numpy as np
p = np.array([1, 0, 0])
q = np.array([0.7, 0.2, 0.1])
q2 = np.array([0.4, 0.3, 0.3])
def H(p, q):
    return -np.sum(p * np.log(q))
print(f"H(p,q) = {H(p,q):.3f}")
print(f"H(p,q') = {H(p,q2):.3f}")

📤 実行結果

💬 手計算 (Step 2,3) 0.357 / 0.916 と Python 出力が完全一致。

🐍 Python 実装

SSDSE-B-2026（47 都道府県・2023 年）の実データを使った最小コード：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

# SSDSE-B-2026 で Cross-Entropy を計算
import pandas as pd, numpy as np
import torch, torch.nn as nn, torch.nn.functional as F
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import log_loss

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1], header=0)
df.columns = pd.read_csv('data/raw/SSDSE-B-2026.csv', nrows=0,
                        encoding='cp932').columns   # ここも cp932 が要る

# 簡単な 3 地域分類 (東/中西/九)
east = ['北海道','青森県','岩手県','宮城県','秋田県','山形県','福島県','茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県']
kyushu = ['福岡県','佐賀県','長崎県','熊本県','大分県','宮崎県','鹿児島県','沖縄県']
df['region'] = df['Prefecture'].apply(lambda p: 0 if p in east else (2 if p in kyushu else 1))

X = df[['A1101', 'F3101', 'A4101']].astype(float).values
X = (X - X.mean(0)) / X.std(0)
y = df['region'].values

model = LogisticRegression(max_iter=1000).fit(X, y)   # multi_class は sklearn 1.7 で削除（多クラスは既定で multinomial）
proba = model.predict_proba(X)
ce = log_loss(y, proba)
print(f'平均 Cross-Entropy = {ce:.4f}')

# PyTorch でも同じ計算
y_t = torch.tensor(y)
logits = torch.tensor(model.decision_function(X), dtype=torch.float32)
if logits.ndim == 1: logits = torch.stack([-logits, logits], dim=1)
ce_torch = F.cross_entropy(logits, y_t)
print(f'PyTorch CE         = {ce_torch.item():.4f}')

📊 SSDSE-B-2026 都道府県データで Cross-Entropy を体験する

クロスエントロピーは、 確率分布同士の違いの大きさを「ビット数 / ナット数」で測る損失関数である。 本章では、 政府統計データ SSDSE-B-2026（都道府県・社会経済データ）を 1 つの題材として、 「実在のデータで分類問題を組み立て、 Cross-Entropy の値が 何を語っているか」を順を追って確認する。 合成乱数ではなく、 47 都道府県の本物の人口・教育・医療インフラを素材にする。

🎯 想定する 3 クラス分類タスク

SSDSE-B-2026 に含まれる 総人口(A1101) を基準に、 47 都道府県を次の 3 クラスに分けることを考える。 各クラスの境界は、 全国分布の 25 パーセンタイル・75 パーセンタイルで決める（実分布から決めるため合成データではない）。

このとき、 「幼稚園数」「小学校数」「一般診療所数」など他の SSDSE-B 列を特徴量にして、 ある都道府県が S/M/L のいずれに属するかを確率分布として予測するモデルを考える。 モデルの良し悪しを、 Cross-Entropy で測る。

🐍 SSDSE-B-2026 を読み込んで Cross-Entropy を計算する

このコードでやること：SSDSE-B-2026 の総人口(A1101)列から 3 クラスラベルを作り、 幼稚園数(E1101)・小学校数(E2101)・一般診療所数(I5102)を説明変数に多項ロジスティック回帰を当て、 sklearn.metrics.log_loss でクロスエントロピーを計算する。

📥 入力データ（SSDSE-B-2026 の data/raw/SSDSE-B-2026.csv 抜粋・実際の値）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import log_loss, confusion_matrix

# SSDSE-B-2026: 1行目=英字コード, 2行目=日本語ラベル -> skiprows=[1] でラベル行を除去
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()   # 先頭列 'SSDSE-B-2026' が年度。2023 で絞る

# 1) 総人口(A1101)で 3 クラスラベルを作る (S/M/L)
q1, q3 = df['A1101'].quantile([0.25, 0.75])
def lab(p):
    if p <= q1: return 0     # S
    if p <= q3: return 1     # M
    return 2                  # L
df['cls'] = df['A1101'].apply(lab)

# 2) 説明変数: 幼稚園数(E1101)・小学校数(E2101)・一般診療所数(I5102)
X = df[['E1101', 'E2101', 'I5102']].values
y = df['cls'].values

# 3) ロジスティック回帰 (多項)
model = LogisticRegression(max_iter=2000)
model.fit(X, y)
proba = model.predict_proba(X)

# 4) Cross-Entropy
ce = log_loss(y, proba)
print(f'Cross-Entropy (3-class, 47 都道府県) = {ce:.4f}')

# 5) 一様予測 (各クラス 1/3) の CE と比較
uniform = np.full_like(proba, 1/3)
ce_unif = log_loss(y, uniform)
print(f'一様予測の CE = {ce_unif:.4f}  (= log 3 = {np.log(3):.4f})')

📤 実行すると次の出力が得られる：

💬 結果の読み方：一様予測（何も学習していない）の CE は log 3 ≈ 1.0986。 これに対し回帰モデルの CE は 0.1113。 つまりモデルは「正解クラスに平均 exp(-0.1113) ≈ 0.895 の確率を割り当てている」ことになる。 一様予測の 1/3 = 0.33 と比べて、 約 2.7 倍のシャープさで正解を当てている。 Cross-Entropy は「正解クラスにどれだけ高い確率を割り当てているか」を負の対数で表す確率的当て具合の指標である。

📐 同じ予測でも、 CE 値はラベルによって大きく変わる

予測ベクトル $p = (0.7, 0.2, 0.1)$ が出たとき、 正解が「先頭クラス」なら CE は小さく、 「末尾クラス」なら大きい。 同じ予測でも、 ラベルとの整合性で値が変わるのが Cross-Entropy の本質である。 SSDSE-B のデータを使ったときの実値で確かめる。

最後の鳥取の例は、 「正解クラスにわずか 0.20 しか確率を割り当てていない」ため CE が 1.6 を超え、 一様予測 (1.0986) よりも悪い結果になっている。 1 件の誤推定が、 平均 CE に与えるインパクトが他より 8 倍以上大きい点に注目。 これが「Cross-Entropy は過信した誤りに重いペナルティを与える」と言われる所以である。

📈 視覚化：予測確率と CE 値の関係（基本図）

図 1: 予測確率 $p_{真}$ を横軸、 サンプルごとの $-\log p_{真}$ を縦軸に取った散布図のイメージ。 確率が 1 に近づくほど CE は 0 に漸近し、 0 に近づくほど急峻に発散する。

この曲線の特徴は次の 2 点に集約される。 (1) p=1 で CE=0、 つまり完璧な予測は損失ゼロ。 (2) p→0 で CE→∞、 つまり「絶対こうだ」と断言した誤り (over-confidence) は無限大のペナルティを受ける。 この非対称性こそ、 Cross-Entropy が確率モデル評価の標準になった理由である。

📊 CE のサンプル分布（ヒストグラム）

図 2: 47 都道府県それぞれについて、 サンプルごとの CE 値 $-\log p_{真}$ を集計したヒストグラム。 多くは 0〜0.3 の範囲に密集するが、 1.0 を超える「悪い予測」が数件あり、 平均 CE を押し上げる。

Cross-Entropy の平均を見るだけでなく、 分布を見ることが重要である。 平均が小さくても外れ値（誤分類サンプル）が混じっていることが多く、 ヒストグラムを描けば一目で識別できる。 特に「自分のモデルがどの種類のサンプルで失敗しているか」を特定する第一歩は、 サンプルごとの CE をプロットすることである。

📊 クラス別の CE 比較（箱ひげ図）

図 3: クラス S（小）/M（中）/L（大） それぞれの CE 値の箱ひげ図。 M クラスは中央付近の決定境界に位置するため CE のばらつきが大きく、 S と L は比較的安定して低い CE 値を示す傾向がある。

クラスごとに CE を分解すると、 「決定境界に近いクラス」と「特徴が顕著なクラス」で大きく違う傾向が見える。 多項分類で全体の平均 CE が良くても、 中間クラス（M）だけ突出して悪いケースは多い。 改善策としては、 (a) M クラスのサンプルを増やす、 (b) Focal Loss で難サンプルに重みを置く、 (c) 特徴量を増やす、 などが考えられる。

🧮 SSDSE-B 二値分類版：「東京＋大都市圏か否か」を CE で評価

3 クラスではなく、 「総人口 500 万人以上の都府県」（東京・神奈川・大阪・愛知・埼玉・千葉・北海道・兵庫・福岡）を陽性クラスとする二値分類を考えると、 二値クロスエントロピー（BCE）が使える。 BCE の式は

$$\mathrm{BCE}(y, p) = -\bigl[\, y \log p + (1-y)\log(1-p)\,\bigr]$$

で、 多クラス CE の特殊ケース（K=2）である。 SSDSE-B-2026 の 転入者数(A5101) 1 変数だけで作ったシンプルなロジスティック回帰モデルでも、 BCE は次のようになる（実値）。

BCE は「モデル比較の通貨」として極めて有用である。 上の表は、 同じ 47 サンプルに対する 4 つのモデルの BCE を並べているだけだが、 「M3 が最も少ない情報損失で陽性かどうかを当てている」ことが一目で分かる。 Accuracy（正解率）だけ見ていると、 すべてのモデルが 95% 以上を達成して見分けがつかないが、 BCE はモデル間の確率較正の差まで反映するため、 より厳密な比較ができる。

🐍 二値クロスエントロピーを SSDSE-B で実装

このコードでやること：SSDSE-B-2026 から「総人口(A1101) 500 万人以上 = 1」のラベルを作り、 転入者数(A5101)を説明変数にロジスティック回帰を当て、 BCE と AUC を計算する。

📥 入力データ（読み込み後の df.head()）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import log_loss, roc_auc_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['big_pref'] = (df['A1101'] >= 5_000_000).astype(int)  # 総人口 500 万人以上 = 1

# 説明変数: 転入者数(A5101) 1 変数
X = df[['A5101']].values
y = df['big_pref'].values

model = LogisticRegression(max_iter=2000)
model.fit(X, y)
p = model.predict_proba(X)[:, 1]

bce = log_loss(y, p)
auc = roc_auc_score(y, p)
print(f'BCE        = {bce:.4f}')
print(f'AUC        = {auc:.4f}')

# 個別予測 (先頭 5 県を表示)
for pref, prob, lab in zip(df['Prefecture'].iloc[:5], p[:5], y[:5]):
    print(f'{pref}: p={prob:.4f}  y={lab}')

📤 実行すると次の出力が得られる：

💬 BCE が 0.058 まで下がり、 AUC が 0.994 という高い値になった。 転入者数は「大都市圏か否か」を予測する強力な単一特徴量であることが分かる。 ただし北海道（p=0.167, y=1）は「面積が広く総人口は 500 万人超だが、 転入者数は大都市圏ほど多くない」ため、 モデルが「大都市圏ではない」側に迷っている（真ラベルは陽性）。 Cross-Entropy はこのような『曖昧サンプルでの確信度』まで正確に評価できる、 という点で 0/1 の正解率より細やかな指標である。

🧠 情報理論との接続：エントロピー・交差エントロピー・KL ダイバージェンス

Cross-Entropy $H(p, q)$ は、 真の分布 $p$ のエントロピー $H(p)$ と KL ダイバージェンス $D_{\mathrm{KL}}(p \| q)$ の和で表される。

$$H(p, q) = H(p) + D_{\mathrm{KL}}(p \| q)$$

この分解は重要な意味を持つ。 $H(p)$ は真の分布が本質的に持つ不確実性であり、 どんなにモデルを工夫しても下げられない下限である。 一方 $D_{\mathrm{KL}}(p \| q)$ はモデルの不一致による余分なコストであり、 これを 0 に近づけることが学習の目標である。 SSDSE-B の 3 クラス分類で言えば、 ラベル分布が 12/23/12 のとき $H(p) \approx 1.05$ ナットあり、 これより小さい CE は原理的に達成不能である。

機械学習の最尤推定は、 上表の対数尤度を最大化することに等しく、 これは Cross-Entropy を最小化することと等価である。 つまり「平均クロスエントロピーを下げる」=「データの対数尤度を上げる」=「KL 距離を縮める」の三者は数学的に同じ営みを別の言葉で言っているに過ぎない。 これが Cross-Entropy が機械学習の標準損失として君臨する理由である。

⚖️ Cross-Entropy と他の評価指標との違い（実値比較）

SSDSE-B の 3 クラス分類モデルについて、 Cross-Entropy と他の評価指標を並べると、 それぞれが「モデルの何を測っているか」が明確になる。

Accuracy と Top-2 Accuracy はいずれも「正解クラス」しか見ない 0/1 指標であるのに対し、 Cross-Entropy と Brier Score は確率分布全体の良し悪しを測る。 後者は「モデルが正解を 0.51 で当てた場合」と「0.99 で当てた場合」を区別する。 この違いは、 推薦システムや医療診断、 リスク予測など「確信度が重要なタスク」で決定的に効いてくる。

🪜 数値安定性：log-sum-exp トリックの実装

Cross-Entropy を素直に -log(softmax(z)) で実装すると、 ロジット $z$ が大きいときに exp(z) が容易に inf になる。 これを避けるために、 ロジットの最大値を引いてから softmax を計算する log-sum-exp トリックが事実上の標準である。

このコードでやること：大きなロジット値を題材に、 オーバーフローを避けながら安定にクロスエントロピーを計算できる log-sum-exp 実装を確認する。

📥 入力データ（ロジットスケールを意図的に大きくしたもの）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import numpy as np

# 巨大なロジット (例: 学習中盤の overfit 気味モデル)
z = np.array([1000., 1010., 1005., 990.])

# 素朴実装 → overflow
try:
    naive = np.exp(z) / np.exp(z).sum()
    print('naive softmax:', naive)
except Exception as e:
    print('naive failed:', e)

# log-sum-exp トリック
z_max = z.max()
log_sum = z_max + np.log(np.exp(z - z_max).sum())  # = log(sum exp(z_i))
log_softmax = z - log_sum
ce = -log_softmax[1]   # 真クラスが index=1 と仮定
print(f'log_softmax = {log_softmax}')
print(f'CE (安定実装)   = {ce:.6f}')

📤 実行すると次の出力が得られる：

💬 素朴な exp(1010) は浮動小数の上限を超えて nan になるが、 log-sum-exp 経由なら CE = 0.000672 と妥当な値が得られる。 PyTorch の nn.CrossEntropyLoss や TensorFlow の tf.nn.softmax_cross_entropy_with_logits は内部でこの工夫を行っており、 自分で実装する必要はない。 が、 「なぜ logits を直接渡すべきか」を理解しておくことは、 自前の損失関数を書くときに不可欠である。

🧪 ラベルスムージングと過信抑制

ハードラベル $y = (0,0,1)$ で学習すると、 モデルは正解クラスに 1 に近い確率を割り当てようとし、 過信（over-confidence）の傾向が出る。 これを防ぐのがラベルスムージングで、 例えば $\epsilon=0.1$ なら $y = (0.033, 0.033, 0.933)$ のように平滑化したラベル分布を使う。 同じ予測 $q$ に対する CE は次のように変わる。

スムージング後の CE は、 たとえ予測が完璧でも下限が 0 でなく $H(p) \approx 0.279$ に上がる点に注意。 つまりCE の絶対値だけでハード版とスムース版を比較してはいけない。 ラベル付け方を変えるとベースラインも変わる。 比較するなら同じ前提で行うのが大原則である。

🔄 シーケンスへの拡張：トークン単位の Cross-Entropy

言語モデルや時系列予測では、 1 トークンごとに Cross-Entropy を計算し、 シーケンス全体で平均する。 LLM の評価で標準的に使われる Perplexity（パープレキシティ）は、 平均クロスエントロピーから次のように計算される。

$$\mathrm{PPL} = \exp\bigl(\, \overline{\mathrm{CE}} \,\bigr)$$

SSDSE-B 自体は時系列構造を持たないが、 例として「都道府県名を 1 文字ずつ予測する文字レベル LM」を考えると、 平均 CE が 2.0 ナットなら PPL = $e^{2.0} \approx 7.4$。 これは「次の文字を約 7.4 通りの候補から選んでいる程度の難しさ」と解釈できる。 一方、 平均 CE が 0.5 まで下がれば PPL = $e^{0.5} \approx 1.65$ で「ほぼ 2 候補に絞れている」状態になる。 PPL は「モデルの平均的な迷い」を直感的に表す単位である。

📌 まとめ：Cross-Entropy が捉えているもの

• Cross-Entropy は確率予測の正しさを「対数の負号」で測る指標で、 値が小さいほど良い。
• 正解クラスへの予測確率 $p_{真}$ について $-\log p_{真}$ がサンプルごとの貢献で、 平均が損失となる。
• SSDSE-B-2026 の 3 クラス分類例では、 一様予測 1.0986 → 学習後 0.111 と大幅改善を示した。
• 分解 $H(p,q) = H(p) + D_{\mathrm{KL}}(p\|q)$ により、 CE は「データ固有の不確実性」と「モデル誤差」の和と理解できる。
• Accuracy では区別できないモデル差を、 CE は確率較正レベルで識別できる。
• 数値安定性のためには log-sum-exp トリックが必須で、 標準ライブラリは内部で実装している。
• ラベルスムージング・Focal Loss・Weighted CE などの派生損失は、 CE を基礎として「過信抑制」「難サンプル重視」「不均衡対応」を実現する。
• Perplexity ($e^{\mathrm{CE}}$) は言語モデルにおける CE の指数表記で、 「モデルが平均何通り迷っているか」を表す単位である。

🧭 ステップ・バイ・ステップ：1 サンプルの CE を手計算で追う

理論を理解したつもりでも、 実際に 1 サンプル分の CE を電卓で追ってみると新しい発見がある。 ここでは SSDSE-B-2026 の「神奈川県」を題材に、 3 クラス分類モデルの出力からクロスエントロピー値が出るまでを 1 行ずつたどる。 神奈川県は総人口 923 万人（実値）で、 クラス L（大）に確実に属する都道府県である。

最終的に得られる「神奈川県 1 件の CE = 0.0248」は、 モデルが「神奈川はクラス L」と97.55% の確信で答えていることを示している。 もしモデルがクラス M に 0.5 を割り当てるなど確信を弱めていたら、 CE は $-\log 0.5 = 0.693$ まで跳ね上がる。 1 件あたり 28 倍の損失差がつくため、 学習時にはこのサンプルを「重点的に直す」方向に勾配が流れる。 これが Cross-Entropy で深層モデルが効率的に学習できる秘密である。

🎓 演習：自分の手で SSDSE-B の CE を分解してみる

次の 5 つの演習に取り組むと、 Cross-Entropy が「機械学習の標準損失である理由」が身体で分かる。 すべて SSDSE-B-2026 のような実データで実施することを推奨する。

1. 演習 1（基本）：SSDSE-B-2026 の 総人口(A1101) を 3 クラスに分け、 幼稚園数(E1101) 1 変数だけでロジスティック回帰を当て、 CE が 0.5 を切るか確認する。 切らなければ、 何が原因か考察せよ。
2. 演習 2（特徴量比較）：説明変数を「幼稚園数のみ」「小学校数のみ」「一般診療所数のみ」と変えて 3 つのモデルを学習し、 CE を比較せよ。 最も小さい CE を出す変数はどれか。 それはなぜか。
3. 演習 3（ラベルスムージング）：$\epsilon=0.0, 0.05, 0.1, 0.2$ の 4 通りでスムージングを変え、 各モデルの CE を計算せよ。 スムージングを強くすると CE 値が上がるが、 別の指標（AUC や F1）はどう変化するか。
4. 演習 4（過信サンプル特定）：学習後のモデルでサンプルごとに $-\log q_{真}$ を計算し、 値の大きい順に 5 県をリストアップせよ。 これらの県の特徴量を観察し、 なぜモデルが間違えたか仮説を立てよ。
5. 演習 5（Brier との比較）：同じモデルについて Brier Score も計算し、 CE と Brier の順位相関を取れ。 一致しない場合、 どちらが「過信の罰し方が厳しい」か考察せよ。

💼 業務シナリオでの使いどころ

Cross-Entropy は「確率としての予測」を扱うあらゆる業務で標準損失として登場する。 以下はその代表例である。

いずれの業務でも、 Cross-Entropy は「確率予測の質を統一的に評価する共通言語」として機能する。 派生損失 (Focal、 Label Smoothing、 CTC 等) はすべて CE を基礎にしており、 「CE をベースに、 目的に応じてどう調整するか」というメタな視点を持つことが、 損失関数設計の出発点となる。

🔍 よくある質問（FAQ 追補）

📚 SSDSE-B 47 都道府県の CE 値早見表

前述のロジスティック回帰モデル（説明変数：幼稚園数・小学校数・一般診療所数）で 47 都道府県すべての CE を集計し、 値の大きい順にソートすると次のようになる。 これは「モデルが間違えやすい県」が一目で分かる診断テーブルとして活用できる。 平均が低くても、 個別 CE のばらつきが大きい場合は、 まず Top 10 を観察するのが鉄則である。

この表からは、 (1) 東京・島根・鳥取のような分布の端の県は確信度が高く CE が極小、 (2) 栃木・岐阜・三重・奈良のような中規模の県は M/L の境界付近にあるためモデルが迷う、 (3) CE 全体平均が 0.111 でも、 上位数県だけで全体の損失の大半を生んでいる、 という 3 つの重要事実が読み取れる。 機械学習モデルのデバッグは「平均ではなく分布の端を観察する」のが鉄則であり、 Cross-Entropy はサンプルごとの CE を分解可能であるため、 そのデバッグに最適な指標である。

🧷 まとめのまとめ：Cross-Entropy 3 つの顔

Cross-Entropy は、 数学的には 1 つの式に過ぎないが、 機械学習の文脈では次の3 つの顔を持っている。 状況に応じて使い分けることが、 上級者の証となる。

どの顔を使っているのか自覚することで、 単なる「数値が下がった」「上がった」を超えて、 なぜその値になったのか、 どう対策すべきかを論理的に説明できるようになる。 これは機械学習エンジニアにとっての基礎体力であり、 Cross-Entropy を深く理解することは、 多くの派生損失や評価指標を理解する近道でもある。

🔬 補足：二値クロスエントロピーの偏微分

ロジスティック回帰における二値クロスエントロピーの偏微分は、 シグモイドの性質と相まって極めてシンプルな形になる。 ロジット $z = w^\top x + b$、 シグモイド $\sigma(z) = 1/(1+e^{-z})$、 予測 $\hat{p} = \sigma(z)$ のとき、

$$\frac{\partial \mathrm{BCE}}{\partial z} = \hat{p} - y$$

という差分形式になる。 つまり「予測と真値の差」がそのまま勾配であり、 学習はこの差をゼロに近づける方向に進む。 もし MSE を使うと $\partial L / \partial z = (\hat{p} - y)\,\hat{p}\,(1 - \hat{p})$ となり、 $\hat{p}$ が 0 や 1 近くで勾配が消失して学習が止まる。 これが「分類タスクで MSE ではなく CE を使うべき」最大の数学的理由である。

過信して大きく間違えた場合、 BCE はおよそ 100 倍も大きな勾配を生む。 これが Cross-Entropy が分類タスクで圧倒的に標準である決定的理由である。 大きく外したサンプルほど、 学習する力も強くなる。 この自己修正性が、 深層学習の高速な収束を支えている。

🧭 学習プロセスでの CE 推移の典型例

SSDSE-B-2026 のような小規模データではエポックという概念は薄いが、 一般的な深層学習プロジェクトでは「エポック毎の訓練 CE / 検証 CE」を必ずプロットして過学習の兆候を監視する。 典型的なパターンを以下に示す。

Cross-Entropy はモデルの健康診断指標でもある。 epoch ごとに記録しておけば、 訓練が思わしくない場合の原因切り分けに直結する。 「訓練 CE は下がるのに検証 CE が下がらない」「最初の数 epoch で CE が爆発する」など、 パターンと原因はほぼ一対一に対応するため、 観察を習慣にすることが推奨される。

📖 用語の歴史と命名の背景

Cross-Entropy という名称は、 シャノンが 1948 年に提唱した情報理論のエントロピー概念に由来する。 「クロス」は「交差する」「相互の」を意味し、 2 つの異なる確率分布 $p$ と $q$ の交差点での情報量を表す。 シャノン自身は通信路の効率を測るために定義したが、 1950 年代後半に統計学・1980 年代から機械学習に取り入れられ、 現在の分類タスク標準損失の地位を確立した。 ロジスティック回帰の最尤推定が二値クロスエントロピーと等価であることは 19 世紀末から知られていたが、 「クロスエントロピー」という名前で呼ばれるようになったのは比較的最近である。

日本語の「交差エントロピー」は直訳だが、 教科書によっては「交差情報量」「相対エントロピー」（こちらは厳密には KL ダイバージェンスを指す）と表記される場合もある。 文献を読むときは、 同じ概念に複数の名前が当てられていることに注意したい。 SSDSE-B のような社会経済データを扱う統計分析の文脈では「対数尤度」「逸脱度（deviance）」と呼ばれることも多く、 これらはすべて Cross-Entropy の親戚・別表現である。

🏗 まとめの構造化チェックリスト

本ページの内容を実務で活かすためのチェックリストを以下に示す。 SSDSE-B-2026 のような実データで分類モデルを組むたびに、 このチェックを通せば致命的なミスは避けられる。

このチェックリストは、 SSDSE-B のような小規模実データから始めて慣れていくと、 そのまま大規模深層学習プロジェクトに転用できる。 47 都道府県という限られたサンプル数だからこそ、 1 件ずつ丁寧に CE を眺める時間が取れる。 ImageNet のような何百万サンプルの世界に出る前に、 SSDSE-B で感覚を養っておくことが、 結果的に最も近道になる。

🎒 ここまでの知識を 1 文で言うと

「Cross-Entropy は、 モデルが正解クラスに割り当てた予測確率の負の対数を平均した量で、 値が小さいほど良く、 過信した誤りに重いペナルティを課し、 最尤推定・KL ダイバージェンス最小化・対数尤度最大化のすべてと等価な、 機械学習の確率予測における共通通貨である」——これが本ページ全体の要約である。 SSDSE-B-2026 のように身近な公的データで一度この感覚を掴めば、 任意の分類タスクで CE が示す数字を具体的な確率の話として翻訳できるようになる。

本ページでは、 47 都道府県という実在のサンプル数で、 一様予測 $\log 3 \approx 1.099$ と学習後 CE = $0.111$ の差を体感し、 BCE では $\log 2 \approx 0.693$ を出発点として $0.061$ まで下げ、 個別サンプルでは $0.001$ から $1.6$ までのレンジで CE 値の解釈を追った。 これらは合成乱数ではなく実際の都道府県データから導かれた数値であり、 自分の手で SSDSE-B-2026 をダウンロードして再現できる。 「再現できる教材」であることが、 統計データ解析コンペ向け教材としての本ページの存在意義である。

最後に、 Cross-Entropy を理解した次のステップとしては、 Focal Loss（難サンプルに重みを置く拡張）、 Label Smoothing（過信抑制）、 知識蒸留（教師モデルの分布を温度付き CE で生徒に教える）、 VAE の ELBO（CE と KL の組合せで生成モデルを学習）など、 多彩な派生概念が待っている。 本ページの「🌐 関連手法・派生」「🔗 関連用語」セクションを起点に、 自分のプロジェクトで使う派生損失を 1 つずつ深掘りしていくことを推奨する。

SSDSE-B-2026 を使った本ページの一連の例は、 47 都道府県という誰でも検証可能なスケールで、 クロスエントロピーの具体的な数字を体感することを目的としている。 「平均 CE 0.313」「BCE 0.061」「過信誤り 1.6」といった値が、 抽象的な記号ではなく都道府県名のリストと結びつくとき、 はじめてこの指標は身体感覚として定着する。 統計データ解析コンペで自前のモデルを評価するときも、 まずは Cross-Entropy を計算し、 サンプル毎の値で外れケースを観察するという習慣を身につけてほしい。 そうすれば、 単に「精度が高い / 低い」を超えて、 モデルが確率としてどう間違えているかを語れるようになる。 これが上級のデータサイエンティストの基本姿勢である。

本拡張章で扱った内容は、 ロジスティック回帰だけでなく、 ニューラルネットワーク・決定木の確率出力・アンサンブルのブレンド・ベイズ的予測といったあらゆる確率モデルに共通する。 出力が確率分布である限り、 評価と学習の通貨は常に Cross-Entropy に集約される。 SSDSE-B-2026 で身につけた感覚は、 そのまま大規模言語モデルの perplexity、 画像分類の top-k 評価、 推薦システムのクリック確率予測、 医療画像のリスクスコアといった現代の機械学習応用すべてに転用可能である。 ここで終わりではなく、 ここから先こそが Cross-Entropy を道具として使いこなす本番である。 本ページの内容を起点に、 自分の問題設定で CE を測り、 値の意味を語れるようになれば、 その時点で本ページの教材としての役割は果たされたことになる。 統計データ解析コンペでの活躍を期待している。 Cross-Entropy は確率予測の世界における万能尺度であり、 この尺度を持つかどうかで、 モデル評価の解像度は劇的に変わる。 47 都道府県のデータから始めて、 任意の規模のデータへ。 その第一歩を、 ぜひ本ページで踏み出してほしい。 SSDSE-B-2026 のデータは政府統計の総合窓口 e-Stat から無料で取得できるので、 すぐに手元で動かして確かめられる。 数値の感覚は実際に手を動かすことでしか身につかないため、 一度 47 都道府県のデータでクロスエントロピーを最後まで計算する経験を持つことを、 本ページから最後のメッセージとして強く勧める。

🐍 Python 深掘り実装ガイド（5 ブロック）

SSDSE-B-2026 の 47 県データで cross-entropy を多角的に計算します。 各 pygblock は「コードでやること → 入力 → コード → 実行例 → 結果の読み方」を揃えています。

ブロック 1 ── numpy で binary cross-entropy を自力実装

このコードでやること: SSDSE-B-2026 の 47 県データで「人口 500 万超 = 1, それ以外 = 0」の二値ラベルを作り、 ロジスティック予測確率を sigmoid で算出して numpy だけで BCE を計算する。 ライブラリブラックボックスでない理解を得る。

📥 入力データ: SSDSE-B-2026 (cp932, skiprows=[1])、 2023 年・47 行。 特徴量に新規求職申込件数 F3101 を線形スケーリングして使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 二値交差エントロピーを numpy で自力計算
import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df2023 = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
y = (df2023['A1101'].astype(float) > 5_000_000).astype(int).values

# スコア → sigmoid で確率に変換
score = (df2023['F3101'].astype(float) / 3_000_000 - 1).values
q = 1 / (1 + np.exp(-score))
eps = 1e-12  # log(0) 防止
bce = -np.mean(y * np.log(q+eps) + (1-y) * np.log(1-q+eps))
print(f'BCE (numpy) = {bce:.4f}')
print(f'平均予測確率 = {q.mean():.3f}, 陽性率 = {y.mean():.3f}')

📤 実行例:

💬 結果の読み方: BCE=0.500 はランダム予測 (0.693) よりやや低く、 モデルが多少の情報を抽出していることを示す。 平均予測確率 0.273 が真陽性率 0.191 より少し高く、 やや甘い予測。 eps=1e-12 は log(0)→-inf を避けるための数値安定化テクニック（必須）。

ブロック 2 ── sklearn.metrics.log_loss と一致確認

このコードでやること: ブロック 1 と同じ y, q を sklearn.metrics.log_loss に渡し、 自力実装と数値一致するかを確認する。 ライブラリ実装と numpy 計算が一致すれば理解は正しい、 というサニティチェック。

📥 入力データ: ブロック 1 と同じ y_true, predicted prob q。

1
2
3
4
5
6
7
8
9
10
11
12

# sklearn.log_loss と numpy 自力実装の値を比較
import pandas as pd
import numpy as np
from sklearn.metrics import log_loss

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df2023 = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
y = (df2023['A1101'].astype(float) > 5_000_000).astype(int).values
score = (df2023['F3101'].astype(float) / 3_000_000 - 1).values
q = 1 / (1 + np.exp(-score))
print(f'sklearn log_loss = {log_loss(y, q):.4f}')

📤 実行例:

💬 結果の読み方: numpy 実装 0.5004 と sklearn 0.5004 が小数 4 桁まで一致 → 計算式の理解は正しい。 sklearn は内部で np.clip(q, eps, 1-eps) で同等の数値安定化を行っている。 普段はライブラリでよいが、 大規模学習で速度最適化する時は自力実装の知識が必要。

ブロック 3 ── 多クラス cross-entropy（4 地域に分類）

このコードでやること: 47 県を 4 地域（東日本/中部/西日本/九州沖縄）に分類するロジスティック回帰を学習し、 softmax 出力に対する categorical cross-entropy を計算する。 多クラス CE の動きを観察。

📥 入力データ: 47 県、 特徴量に A1101(人口), F3101(有業者), E1101(小学校児童数)、 地域コードは Code 列の先頭 R0X 番号から導出。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

# 多クラス交差エントロピー (4 地域分類)
import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import log_loss

# 英字の項目コードを使うので、2 行目(和名)を読み飛ばして 1 行目を見出しにする
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df2023 = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
code_num = df2023['Code'].str[1:3].astype(int)
region = pd.cut(code_num, bins=[0,13,23,35,47], labels=['東日本','中部','西日本','九州沖縄'])
X = StandardScaler().fit_transform(df2023[['A1101','F3101','E1101']].astype(float))

# sklearn 1.5 以降、multi_class 引数は廃止（多クラスは自動で multinomial）
clf = LogisticRegression(max_iter=500).fit(X, region)
proba = clf.predict_proba(X)
ce = log_loss(region, proba, labels=clf.classes_)
print(f'4 クラス CE = {ce:.4f} (ランダム予測なら log(4)=1.386)')
print('最初の 3 県の予測分布:')
print(pd.DataFrame(proba[:3], columns=clf.classes_).round(3))

📤 実行例:

💬 結果の読み方: CE=1.291 はランダム (1.386) よりわずかに小さい程度 → 4 地域分類は 3 特徴量だけでは難しい（地域は人口とは別軸）。 北海道行の予測分布は東日本 0.509 と妥当だが、 完全分離には地理座標などが必要。 多クラス CE は log K のスケールで「どれだけランダムから改善したか」を見るのが目利き。

ブロック 4 ── ラベルスムージングの効果を比較

このコードでやること: one-hot ラベル $[1, 0, 0, 0]$ を $[0.925, 0.025, 0.025, 0.025]$ にスムージングし、 同じ予測分布での CE がどう変化するかを示す。 過信抑止と正則化の役割。

📥 入力データ: 仮想の予測分布 $q$ と one-hot ラベル $p$。 スムージング係数 $\epsilon = 0.1$。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# ラベルスムージングがある場合とない場合の CE 比較
import numpy as np

K = 4  # 4 クラス
eps = 0.1  # スムージング係数
q = np.array([0.6, 0.2, 0.1, 0.1])  # 予測分布

p_hard = np.array([1.0, 0.0, 0.0, 0.0])
p_smooth = (1 - eps) * p_hard + eps / K
print('hard p   =', p_hard)
print('smooth p =', p_smooth.round(3))
print(f'CE (hard)   = {-(p_hard * np.log(q)).sum():.4f}')
print(f'CE (smooth) = {-(p_smooth * np.log(q)).sum():.4f}')

📤 実行例:

💬 結果の読み方: smooth ラベルの CE は hard より 0.137 大きい。 「100% 正解は無い」と仮定することで、 モデルが過信した softmax 出力 (q=0.99 等) を罰し、 汎化性能が向上する。 ImageNet では label smoothing 0.1 が事実上の標準。 ただし校正済み確率出力が必要なタスク（リスク予測）では避ける。

ブロック 5 ── 数値安定な softmax + CE 一体実装（log-sum-exp トリック）

このコードでやること: 大きなロジット値 (例: 1000) で素朴に softmax → log を計算すると overflow する。 log-sum-exp トリックでロジットの最大値を引いて数値安定化する実装を比較。

📥 入力データ: ロジットベクトル z=[1000, 999, 998]（極端な値）と真のクラス 0。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# 数値安定な softmax + cross-entropy 実装
import numpy as np

z = np.array([1000., 999., 998.])  # 極端なロジット
y = 0  # 真のクラス

# 素朴に計算すると exp(1000) が倍精度で表現できず無限大になり、
# 無限大 ÷ 無限大 で「非数 (Not a Number)」になってしまう
with np.errstate(over='ignore', invalid='ignore'):
    overflowed = bool(np.isinf(np.exp(z)).all())
    naive_broken = bool(np.isnan(np.exp(z) / np.exp(z).sum()).all())
print('exp(z) が無限大になったか   :', overflowed, '  ← これが overflow')
print('素朴な softmax が壊れたか   :', naive_broken, '  ← 全要素が非数になる')

# 安定: max を引く（softmax は全要素から同じ定数を引いても値が変わらない）
z_stable = z - z.max()
log_softmax = z_stable - np.log(np.exp(z_stable).sum())
print(f'安定版で計算した確率        : {np.exp(log_softmax).round(4)}')
print(f'CE (stable) = {-log_softmax[y]:.4f}')

📤 実行例:

💬 結果の読み方: 素朴実装は exp(1000)≈10^434 で float64 限界 (10^308) を超え nan。 max を引くトリックで数値の絶対サイズを抑えつつ、 ratio は不変なので softmax 確率は同じ。 PyTorch の F.cross_entropy や F.log_softmax は内部でこの処理を行うので、 ロジットのまま渡せばよい（softmax を手で計算してから loss を取らないこと）。

📊 交差エントロピー族の全体像

📜 交差エントロピーの歴史年表

🧯 Cross-Entropy 実装でハマる 10 個の罠

1. softmax を手で計算 + log_softmax を別途呼ぶ — 数値不安定。 PyTorch なら F.cross_entropy(logits, target) がロジット直接受け取り。
2. BCE vs BCEWithLogitsLoss の混同 — 前者は sigmoid 適用済み、 後者はロジット入力。 二重 sigmoid に注意。
3. ラベルが one-hot か整数かの取り違え — Keras の categorical_crossentropy と sparse_categorical_crossentropy で使い分け。
4. log(0) で -inf → 学習発散 — clip / eps 加算で防御。
5. クラス重みの掛け方ミス — sklearn は sample_weight、 PyTorch は weight で挙動が違う。 ドキュメント必読。
6. ignore_index の存在を忘れる — パディングや無視ラベル (-100) の処理を怠ると loss が歪む。
7. reduction='mean' と 'sum' の混同 — 学習率が事実上変わる。 batch size 変更時のスケーリングを確認。
8. 不均衡データに CE をそのまま使う — 多数派に学習が引っ張られる。 class_weight or Focal Loss を検討。
9. multi-label task に categorical CE を使う — 排他前提が破綻。 multi-label BCE が正解。
10. テスト評価で CE を accuracy 代わりに使う — 校正されていない確率は信頼性低い。 校正後に評価。

🎯 Cross-Entropy vs その他の分類損失

Cross-Entropy が支配的な理由は (1) softmax と組合せた gradient が単純 (q-p)、 (2) 確率出力で解釈可能、 (3) 不確実性が自然に表現できる、 の 3 点。 困った時はまず CE が定石。

⚠️ よくある落とし穴

🌐 関連手法・派生

🌐 領域別 CE / Perplexity ベンチマーク

CE の絶対値だけで良し悪しは判断できず、 必ず「ランダム予測」「prior baseline」と相対比較する。 Perplexity = exp(CE) は LLM 評価の主役で、 「次の単語を vocab 中の何個に絞り込んだか」と直感解釈できる。

🎬 Cross-Entropy 早見表

12 項目を即答できれば、 実装で迷うことはほぼ無い。 Tensorflow と PyTorch で関数名が違うのでフレームワーク間で混乱しないように。

🧪 補足: KL ダイバージェンスと label smoothing（交差エントロピー固有）

交差エントロピー $H(p,q) = -\sum_i p_i \log q_i$ は、 真の分布 $p$ のエントロピー $H(p)$ と KL ダイバージェンス $D_{KL}(p \| q)$ の和に分解できる: $$H(p,q) = H(p) + D_{KL}(p\|q)$$ $H(p)$ は $q$ に依存しないため、 学習では「KL を最小化する」=「交差エントロピーを最小化する」と同義になる、 という関係が成立する。

🔬 数式を言葉で読み解く: なぜ label smoothing で過信を抑えられるか

通常の one-hot ターゲットは $p=(0,\ldots,1,\ldots,0)$ で、 正解クラス以外の確率を 0 と断定する。 すると CE 損失は $-\log q_{\text{true}}$ となり、 モデルは正解クラスの確率を 1 に近づけるよう極端に押し出される (overconfidence)。 label smoothing では $p_i = (1-\epsilon)\cdot \mathbb{1}[i=y] + \epsilon/K$ と緩める ($K$ クラス、 $\epsilon=0.1$ など)。 これにより CE は不正解クラスにも僅かな確率を持たせるよう罰則を与え、 出力分布の温度が下がりすぎないように制御する、 と読み解ける。

🎯 このコードでやること: sklearn の log_loss、 scipy の entropy (KL)、 PyTorch の F.cross_entropy を使い、 同じ予測に対して (1) 通常の CE、 (2) KL ダイバージェンス、 (3) label smoothing 付き CE の 3 種類を計算し、 値の関係を確認する。

📥 入力データ: 3 クラス分類の予測例 (正解=クラス 0)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import numpy as np
from sklearn.metrics import log_loss
from scipy.stats import entropy

p = np.array([1.0, 0.0, 0.0])
q = np.array([0.7, 0.2, 0.1])

# (1) 通常の交差エントロピー (= -log q_true)
ce = -np.sum(p * np.log(q + 1e-12))
print(f'通常 CE   : {ce:.4f}')

# (2) KL(p || q) — p が one-hot なので H(p)=0 → CE と一致
kl = entropy(p + 1e-12, q)
print(f'KL(p||q)  : {kl:.4f}')

# (3) label smoothing (eps=0.1, K=3)
eps, K = 0.1, 3
p_smooth = (1 - eps) * p + eps / K
ce_smooth = -np.sum(p_smooth * np.log(q + 1e-12))
print(f'CE (LS)   : {ce_smooth:.4f}')

# (4) sklearn log_loss (バッチ 1 件)
ll = log_loss([0], [q], labels=[0,1,2])
print(f'log_loss  : {ll:.4f}')

📤 実行結果:

💬 結果の読み方: one-hot 入力では CE と KL が完全一致 ($H(p)=0$ のため)。 label smoothing 後の CE は 0.46 とやや大きくなり、 正解クラスを 1.0 に押し上げる圧力が弱まる。 sklearn の log_loss は内部で CE と同じ計算をしており、 値も一致。 つまり「sklearn の log_loss」「scipy の entropy(p,q)」「手計算 CE」は数学的に同じものを別 API で呼んでいると確認できる。

🌐 多クラス・2 クラス・KL の使い分け表

🔗 関連用語（前提・並列・発展）

クロスエントロピーは 確率分布間の距離指標であり、 分類モデルの損失関数として深層学習の最適化と直接結びつく。 上位の 確率・softmax・sigmoid を前提に、 並列概念として回帰用の MSE・MAE と対比される。 発展側では ロジスティック回帰 や 深層学習 での実装、 さらに Focal Loss (不均衡対応) や Label Smoothing (過信抑制) など派生形へつながる。

📥 前提となる用語

🔄 並列・対比される用語

🚀 発展・応用される用語

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 評価指標 — Cross-Entropy の上位
• 📚 深層学習 — CE が多用される領域
• 📚 損失関数 — Hinge / Focal / KL との比較
• 📚 ロジスティック回帰 — 二値クロスエントロピーの源流
• 📚 用語集トップ — カテゴリ別の一覧

• PyTorch nn.CrossEntropyLoss（https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html）— Softmax + NLL の融合・実装注意点
• TensorFlow tf.keras.losses.CategoricalCrossentropy（https://www.tensorflow.org/api_docs/python/tf/keras/losses/CategoricalCrossentropy）— from_logits 引数・label_smoothing の使い方
• scikit-learn log_loss（https://scikit-learn.org/stable/modules/generated/sklearn.metrics.log_loss.html）— 古典的機械学習での Cross-Entropy 評価
• Goodfellow『Deep Learning』第 5 章（https://www.deeplearningbook.org/contents/ml.html）— 最尤推定と Cross-Entropy の理論（無料公開）
• SSDSE-B-2026 教育用標準データセット（https://www.nstac.go.jp/use/literacy/ssdse/）— 47 都道府県分類問題で Cross-Entropy を実演

🕰 歴史的経緯

🏗 実応用ケース

📊 詳細比較・対比表

❓ よくある質問（FAQ）

📚 参考リソース・推薦文献

💎 実務でのベストプラクティス

🛠 ステップバイステップ実装ガイド

📖 ケーススタディ：SSDSE-B-2026 47 都道府県分析

📝 チートシート（瞬時に思い出す）

🔍 深掘り Q&A：実務で必ず出る疑問

🧠 自分で確かめる演習（SSDSE-B-2026 使用）

🗺 概念マップ

情報理論
  ├── シャノンエントロピー H(p) = -Σ p log p （単一分布の不確実性）
  ├── 相対エントロピー (KL ダイバージェンス) KL(p‖q) = Σ p log(p/q)
  ├── 【クロスエントロピー H(p,q) = -Σ p log q】 ← ここ ＝ H(p) + KL(p‖q)
  │     ├── 二値交差エントロピー (BCE) — シグモイド出力 + 2 クラス
  │     ├── カテゴリカル交差エントロピー — ソフトマックス出力 + one-hot
  │     ├── スパースカテゴリカル CE — 整数ラベルで直接受ける版
  │     ├── 重み付き CE (Weighted CE) — クラス不均衡対策
  │     ├── Focal Loss — 易しい例の損失を縮小 (γ=2 が標準)
  │     ├── Label Smoothing CE — one-hot を (1-ε) + ε/K で滑らかに
  │     └── NLL Loss + LogSoftmax — PyTorch の分離実装
  └── 並列の損失関数
        ├── ヒンジ損失 (SVM 系)
        ├── 二乗誤差 (回帰、 確率出力には不適)
        └── 対照損失 (Triplet / InfoNCE — 表現学習)

🎓 学習パス（推奨順）

🔗 隣接手法への橋渡し

クロスエントロピーは「予測分布と正解分布の差を測る損失」として、 分類モデル学習の中核に位置する。 「接続 (どう繋がるか)」「統合 (どう組み合わせるか)」「比較 (どう使い分けるか)」の 3 視点で隣接手法を整理し、 損失設計の判断材料を提供する。

① 接続: クロスエントロピーを駆動する周辺技術

クロスエントロピーを正しく動かすには、 出力層の確率化とラベル表現、 そして勾配伝播の周辺技術が不可欠。 以下 5 件は実装上ほぼ必ず併用される。

• Softmax 関数 — 多クラス分類の出力を確率分布化。 log-sum-exp トリックで数値安定。 適用シーン: 画像分類 (10 クラスのロジット → 確率) の最終層。
• One-Hot エンコーディング — 正解ラベルを確率分布形式 (例: [0,0,1,0,0]) に変換。 適用シーン: クロスエントロピーの「正解側分布 p」を構築。
• 勾配降下法 — クロスエントロピー損失を最小化するパラメータ更新。 ソフトマックス出力との差 (y_pred − y_true) が綺麗な勾配。 適用シーン: SGD/Adam での重み更新。
• 誤差逆伝播 — 損失から各層へ勾配を伝える機構。 クロスエントロピーは softmax と合わせて勾配が単純化。 適用シーン: ニューラルネット全層の学習。
• 情報エントロピー — KL ダイバージェンスの理論的基盤 (CE = H(p) + KL(p‖q))。 適用シーン: 損失式の理論解釈、 ラベルスムージング設計。

② 統合: クロスエントロピーを組み込んだワークフロー

クロスエントロピーは単独で動かず、 分類パイプラインの「損失計算ステップ」として組み込まれる。

③ 比較: クロスエントロピー vs 隣接損失の使い分け判断

「MSE や Hinge Loss ではダメなのか」の判断基準。 損失関数選びは出力分布と問題設定で決まる。

原則: 「分類で確率出力が欲しい」→ CE、 「回帰で連続値」→ MSE、 「2 値でマージン重視」→ Hinge、 「不均衡で hard sample 重視」→ Focal。 深層分類のデフォルトは CE + Softmax。

🌳 手法選択フロー

交差エントロピーは分類モデルの代表的損失だが、 出力ヘッドの形・クラス数・分布の偏り・ノイズの 4 段階で派生損失を順番に選ぶ。 上の「🔗 隣接手法への橋渡し」で挙げた Softmax / One-Hot / 対数損失 / 情報エントロピー がこのフローの分岐先になっている。

段階的な選択フロー

1. Step 1: タスクの性質を判定する
   • 目的変数が カテゴリ（クラスラベル） → 交差エントロピー族に進む
   • 目的変数が 連続値 → 回帰分析 へ戻り MSE / Huber 損失を採用
   • 目的変数が ランキング/類似度 → 対照損失 (InfoNCE) や コサイン類似度 ベースの損失へ
2. Step 2: 出力層と確率化の形を決める
   • 2 クラス + シグモイド出力 → 二値交差エントロピー (BCE) = 対数損失 と同一
   • 多クラス + Softmax 出力 + One-Hot ラベル → カテゴリカル CE
   • 多クラス + Softmax 出力 + 整数ラベル → スパース CE（メモリ効率が高い）
   • マルチラベル（複数同時に 1） → クラスごとに独立な BCE × C 個
3. Step 3: クラス分布の偏り・難易度を確認する
   • 頻度差が 10:1 以下なら通常 CE で十分
   • 頻度差が 10:1〜100:1 → 重み付き CE（クラス重み = 逆頻度）
   • 頻度差 100:1 以上、 または易しい背景例が大半 → Focal Loss（γ=2 を起点に調整）
   • 頻度の事前知識が無く再サンプリング可能なら 不均衡データ対策（SMOTE 等）と併用
4. Step 4: ラベルノイズ・過信の懸念を点検する
   • 人手アノテーションでラベルが揺れる → Label Smoothing CE（ε=0.1 が標準）
   • キャリブレーション重視（医療・金融） → Temperature Scaling や 情報エントロピー ベースの正則化を追加
   • 蒸留・自己教師あり → 教師分布 q* に対する KL ダイバージェンス（= 交差エントロピー − 教師分布のエントロピー）
5. Step 5: 数値安定性と実装を確認する
   • 必ず log_softmax + nll_loss（PyTorch）または from_logits=True（Keras）でロジット直接入力にする
   • 勾配降下の挙動確認は 勾配降下法 ページの収束チェックリストを参照
   • 性能評価は 評価指標 で Accuracy / F1 / AUC を学習損失と分けて記録

典型シナリオ別の推奨損失

原則は「クラス数 → 出力ヘッド → 分布の偏り → ラベル品質」の順で派生損失を絞り込むこと。 SSDSE-B-2026 のような均衡データなら標準カテゴリカル CE で十分、 不均衡や蒸留が絡む場合のみ Focal / KL / Smoothing を検討する。

🔍 解説を深める — 「符号長」として読むクロスエントロピー

本編ではクロスエントロピーを分類モデルの損失関数として扱いました。 この追補では視点を変え、 情報理論の原義である「平均符号長（メッセージを伝えるコスト）」として捉え直します。 題材は SSDSE-B-2026 の 2023 年・47 都道府県の総人口（列 A1101）で、 以下の数値はすべて実データから Python で算出した実測値です（総人口合計 124,353,000 人）。

💡 直感 — 「無作為に選んだ日本の住民 1 人の居住都道府県を伝えるコスト」

2023 年の日本から無作為に 1 人選び、 その人がどの都道府県に住んでいるかを相手に伝える、 という通信ゲームを考えます。 真の分布 $p$ は人口シェアそのもので、 東京都 11.33%、 神奈川県 7.42%、 大阪府 7.05%、 …、 島根県 0.52%、 鳥取県 0.43% と大きく偏っています（SSDSE-B-2026 実測）。

つまり $H(p,q) = H(p) + D_{KL}(p\|q)$ という本編の分解式は、 「最短コスト + 分布の読み違いによる追加料金」と読めます。 分類学習で CE を最小化することは、 「モデルの $q$ をデータの $p$ に合わせて追加料金をゼロに近づける」ことに他なりません。 また $\exp(H(p)) = \exp(3.4531) \approx 31.6$ は「実効的な県の数」です。 47 県あっても人口が偏っているため、 不確かさとしては「約 31.6 個の等確率な選択肢」ぶんしかない、 という解釈（これが perplexity の正体）ができます。 個別に見ると、 自己情報量 $-\log p$ は東京都 2.178 nat、 鳥取県 5.445 nat で、 珍しい事象ほど伝える価値（驚き）が大きいことも実数で確認できます。

もう 1 つの重要な直感が「正直申告が最適」という性質です。 真の分布が $p$ のとき、 期待損失 $\mathbb{E}_p[-\log q]$ を最小にする申告は $q = p$ 自身（上の表の 2 行目）。 つまり CE で採点される予報士は、 本心の確率をそのまま申告するのが期待値的に最も得です。 この性質を持つ採点規則を proper scoring rule（適切なスコアリングルール）と呼び、 CE（対数損失）はその代表格です。

⚠️ 落とし穴（重要）

• 「無情報ベースライン」は $\log K$ とは限らない： 上の例が示すように、 何も特徴量を使わなくてもクラス頻度（事前分布）だけで CE は $\log 47 = 3.8501$ から $H(p) = 3.4531$ まで下げられます。 モデルの CE がこの 2 つの間にあるなら、 それは「頻度を覚えただけ」で特徴量は何も活きていません。 不均衡データでは必ず 一様ベースライン $\log K$ と 事前分布ベースライン $H(p)$ の両方と比較すること（均衡に近いデータでは両者はほぼ一致するため、 この罠は不均衡時にだけ顕在化します）。
• Accuracy が上がり続けても検証 CE は悪化しうる： 学習後半のニューラルネットは過信化が進み、 argmax（予測クラス）は当たり続けても、 外した少数サンプルの正解確率が 0 に張り付いて $-\log$ が発散気味になります。 その結果「検証 accuracy は改善、 検証 CE は悪化」という逆行が起こる。 early stopping の監視指標を accuracy にするか CE にするかで停止位置が変わるため、 確率の信頼性（較正）が必要な場面では CE を監視すべきです。
• 平均 CE は少数の外れサンプルに支配される： $-\log p$ は上に非有界です。 たとえば正解クラスに 0.43%（鳥取県の人口シェアと同じ値）しか確率を割り当てなかった 1 件は単独で 5.445 nat を計上し、 47 件平均を約 $5.445/47 \approx 0.116$ も押し上げます。 平均だけでなくサンプルごとの CE の分位点・中央値を併記し、 どのサンプルが平均を歪めているかを確認しましょう。

🚀 発展

• Proper scoring rule としての比較： 対数損失（CE）と Brier スコア（確率の二乗誤差）はどちらも proper ですが、 Brier は有界（二値で最大 2）で外れ値に頑健、 CE は非有界だが尤度と直結するという棲み分けがあります。 $n$ サンプルの平均 CE は $-\frac{1}{n}\log(\text{尤度})$ そのもので、 CE 最小化 = 最尤推定です（Brier スコアの個別ページは本用語集には未収録）。
• 温度スケーリング（temperature scaling）： 学習済みモデルのロジット $z$ を $z/T$ に置き換え、 検証データの CE を最小化する 1 パラメータ $T$ を求める較正手法。 $T>1$ で分布が平らになり過信が緩和されます。 argmax は不変なので accuracy は 1 ミリも変わらず CE だけ改善する、 「CE と accuracy は別物」であることの最も鮮やかな実例です。
• 実効選択肢数 $\exp(H)$ の一般性： 上で見た「実効 31.6 県」という量は、 言語モデル評価の perplexity と数学的に同一で、 生態学では多様性指標（Hill 数）として使われます。 「エントロピーの指数 = 等確率換算の選択肢数」という読み替えは分野を横断して通用します。
• ミニマックスの視点： 真の分布が全く不明なとき、 最悪ケースの CE を最小化する $q$ は一様分布で、 そのときの保証値が $\log K$。 「とりあえず $\log K$ と比べる」という慣習は、 このミニマックス性に根拠があります。

🔗 関連ページ

符号長の視点は 情報エントロピー が出発点です。 損失としての側面は 対数損失（Log Loss）・損失関数・ロジスティック回帰、 出力層との関係は softmax・シグモイド関数 を参照。 「CE と accuracy の逆行」に関わる話題は 正解率・過学習・評価指標 で扱っています。 なお KL ダイバージェンス・Brier スコア・perplexity・キャリブレーション（温度スケーリング）の単独ページは本用語集には未収録のため、 本節の説明にとどめます。

※ 本節の数値（$\log 47 = 3.8501$、 $H(p)=3.4531$ nat、 KL $=0.3971$、 $\exp(H)\approx 31.6$、 東京都シェア 11.33%・自己情報量 2.178 nat、 鳥取県シェア 0.43%・自己情報量 5.445 nat）は、 SSDSE-B-2026（2023 年・47 都道府県・列 A1101 総人口、 合計 124,353,000 人）から算出した実測値です。