🔖 キーワード索引

🔖 キーワード索引

このページを高速ナビゲートするための索引チップです。クリックで該当セクションへ。

🔖 キーワード索引（拡張版 — AIC の関連トピック）

クリックで該当章にジャンプします。 論文・実務で頻出する派生語まで網羅。

🎨 直感で掴む

「当てはまりの良さ」と「パラメータ数による複雑さペナルティ」のトレードオフを数値化。AIC が小さいモデルが「予測誤差期待値が小さい」と期待される。AIC差 2 以上で実質的差ありと判断する慣習。

🎨 概念図で押さえる — AIC の3つの視点

AIC を実務で活用するには、 (1) モデル複雑度と汎化誤差のトレードオフ、 (2) 残差分布の妥当性、 (3) 候補モデルの相対比較 の 3 つを同時に把握する必要があります。 ここでは html/glossary/figures/ の既存図を使い、 AIC によるモデル選択の「土地勘」 をビジュアルに刻みます。

読み取るポイント:

• U 字の底が AIC 最小モデルにほぼ一致する
• 変数増加 → 訓練誤差は必ず減るが、 AIC は増える場合がある
• 正則化と AIC は同じトレードオフを別側面から表現

読み取るポイント:

• ファン形 → 異分散、 対数変換や WLS を検討
• 曲線 → 非線形、 多項式項や GAM を導入
• 外れ値が一点 → robust 回帰や除外を検討

読み取るポイント:

• ΔAIC=0-2 → 同程度の支持、 アンサンブル候補
• ΔAIC=4-7 → 明確に劣る、 採用しない
• Akaike 重みでモデル平均 → 単一モデルへのコミットを避ける

この 3 枚を順に読むと、 「トレードオフ理解 → 仮定点検 → 相対比較」 という AIC 活用の正攻法が体系化される。 図 B (残差プロット) を最初に確認し、 仮定が満たされていなければ AIC の値自体を信頼してはいけない。 関連用語 BIC / クロスバリデーション / モデル選択 へ進めば、 AIC と他指標の関係を整理できる。

📐 数式または定義

AIC (赤池情報量基準) の中心となる数式・定義は次の通りです。

$$ \mathrm{AIC} = -2\ln L + 2k $$

AIC は 最大対数尤度 $\ln L$ から パラメータ数 $k$ によるペナルティを差し引いた量を −2 倍した値。 値が小さいモデルほど「データへの当てはまり」と「モデルの簡潔さ」のバランスが良いと判定される。 サンプルサイズが小さい場合 ($n/k < 40$) は補正版 AICc:

$$ \mathrm{AICc} = \mathrm{AIC} + \frac{2k(k+1)}{n-k-1} $$

を使う。 BIC ($-2\ln L + k \ln n$) と異なり、 AIC は 予測誤差 (Kullback-Leibler 情報量) を最小化する観点で導出されている。 つまり「真のモデル選び」ではなく「未来データへの当てはまりを最適化する選び方」を提供する。

🔬 数式を言葉で読み解く

• L：最大尤度
• k：自由パラメータ数
• −2 ln L：当てはまり項（小さいほど良い）
• 2k：複雑さペナルティ

前節の数式に含まれる記号を、 日本語の意味に翻訳する。

• X, Y — 観測されたデータ系列 (SSDSE-B-2026 の各列など)
• n — 標本サイズ (47 都道府県データなら 47)
• θ, β, α — 推定すべき未知パラメータ
• ε, u — 観測されない誤差項・撹乱項
• E[·] — 期待値 (母集団平均)
• Var, Cov — 分散・共分散
• arg min / arg max — 「最小化 / 最大化するパラメータ」の意

aic の数式は、 これらの記号を組み合わせて「データから未知量を推定する」あるいは「データの構造を要約する」プロセスを記述している。

🧮 SSDSE-B-2026 実値計算例 — モデル比較で AIC を使う

「出生数（A4101）」を目的変数として、 説明変数の数を変えた 4 モデルの AIC を比較し、 最も小さいモデルを選びます。 47 都道府県の小標本では AICc（補正版 AIC）も併記すべきです（n/k 比が小さいとき AIC は罰則不足）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np, pandas as pd, statsmodels.api as sm
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]        # 2023年の47都道府県
y = df['A4101'].astype(float)              # 出生数を被説明変数に
candidates = {
    'M1': None,                            # 切片のみ
    'M2': ['A1101'],                       # 総人口
    'M3': ['A1101', 'A1303', 'B4101'],     # 総人口+65歳以上人口+年平均気温
    'M4': ['A1101', 'A1303', 'B4101', 'L3221'],
}
for name, cols in candidates.items():
    if cols is None:
        X = np.ones((len(y), 1))
    else:
        X = sm.add_constant(df[cols].astype(float))
    r = sm.OLS(y, X).fit()
    k = X.shape[1]; n = len(y)
    aic = r.aic
    aicc = aic + 2*k*(k+1) / (n - k - 1)
    print(f'{name}: k={k}, AIC={aic:.2f}, AICc={aicc:.2f}')

※ AICc は n/k < 40 の小標本で必須の補正です。 SSDSE-B-2026（n=47）では k が 5 を超えるとほぼ全モデルで AICc を使うべきです。

🧮 実値で計算してみる（SSDSE-B-2026）

政府統計の総合窓口 e-Stat が公開する SSDSE-B-2026.csv（47都道府県×項目）を用いた具体的計算例を示します。

SSDSE-B-2026（2023年）の「出生数（A4101）」を被説明変数、説明変数として「総人口（A1101）」(k=2) と「総人口+65歳以上人口（A1101+A1303）」(k=3) で線形回帰し、両モデルの AIC を比較します。 65歳以上人口を加えて対数尤度が十分改善すれば ΔAIC が大きくなり k=3 モデルを採用、 改善がペナルティ 2 に満たなければ k=2 モデルを残す、 という判断を上のコードで実測してください。

🧮 SSDSE-B-2026 拡張ハンズオン — AIC でモデルを比較する

SSDSE-B-2026 の出生数（A4101）を被説明変数として、 説明変数の組み合わせを変えた 4 つのモデルの AIC を比較します。 単純に「AIC 最小モデルを選ぶ」のではなく、 「ΔAIC が 2 未満なら同等、 2-7 で弱い差、 10 超で明確な差」というガイドラインを実データで体感します。

🎯 学習目的

説明変数の数を 1 → 2 → 3 → 4 と増やしたとき、 AIC がどこで頭打ちになるかを SSDSE-B-2026 で確かめる。

📥 入力

data/raw/SSDSE-B-2026.csv の A4101（出生数）を y、 説明変数候補は A1101（総人口）・ A1303（65歳以上人口）・ B4101（年平均気温）・ L3221（消費支出）。

📤 出力

4 つの入れ子モデルの AIC と ΔAIC、 BIC、 調整済み R^2。

💬 解説

AIC は対数尤度に対して「説明変数 1 個追加につき +2」のペナルティを課す。 つまり、 説明変数を増やして対数尤度が +1 しか改善しないなら AIC は悪化する。 BIC は標本サイズに応じて重いペナルティを課すため、 同じデータで AIC・BIC のどちらが小さくなるかは標本サイズに依存する。

🐍 ネスト型モデル比較

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import pandas as pd
import statsmodels.api as sm

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]        # 2023年の47都道府県
y = df['A4101'].astype(float)              # 出生数

candidates = [
    ['A1101'],
    ['A1101', 'A1303'],
    ['A1101', 'A1303', 'B4101'],
    ['A1101', 'A1303', 'B4101', 'L3221'],
]
rows = []
for cols in candidates:
    X = sm.add_constant(df[cols].astype(float))
    m = sm.OLS(y, X).fit()
    rows.append({
        'k': len(cols),
        'AIC': m.aic,
        'BIC': m.bic,
        'R2adj': m.rsquared_adj,
    })
print(pd.DataFrame(rows))

読み解きの観点

• ΔAIC = AIC_i - AIC_min を全モデルで計算し、 2 未満のモデルが複数あれば「同等」と扱う。
• AIC 最小モデルが過剰適合の懸念が無いかを残差プロットで確認する。
• BIC 最小モデルと AIC 最小モデルが食い違ったとき、 説明（BIC）か予測（AIC）かで使い分ける。

追加の落とし穴

• AIC は y の単位に依存しないが、 異なる y（変換した y）を比較してはいけない。 例: log(y) と y を直接 AIC で比べない。
• 異なるデータセット間の AIC 比較は無意味。 同じデータに対する複数モデルの比較に限る。
• AICc（小標本補正版）は n/k が 40 未満で必要。 SSDSE-B-2026 の N=47 はギリギリ AIC で良いが、 県別細分析ではしばしば AICc が必要。

❓ よくある質問 — AIC の使いどころ 10 問

Q1. AIC は何の略か

Akaike Information Criterion（赤池情報量規準）。 1973 年に赤池弘次が提案。

Q2. AIC は対数尤度のどこを罰しているか

$\text{AIC} = -2\ln L + 2k$。 説明変数 1 個追加で +2、 対数尤度が +1 程度しか改善しないモデルは AIC が悪化する。

Q3. AIC が小さいほど良いのか

その通り。 ΔAIC が 2 未満なら同等、 2-7 で弱い差、 10 超で明確な差、 というのが一般的な指針。

Q4. AIC と BIC のどちらを使うべきか

予測精度重視なら AIC、 真のモデル選択なら BIC。 BIC のペナルティは $k\ln n$ で n に依存し、 通常 AIC より厳しい。

Q5. AIC は機械学習でも使えるか

使えるが、 クロスバリデーションの方が一般的。 線形混合モデル ・ GLM ・ 時系列モデルでは AIC が標準ツール。

Q6. AICc（補正版）はいつ必要か

n/k が 40 未満の小標本で必要。 SSDSE-B-2026 の N=47 で k=10 なら n/k=4.7 と小さく、 AICc 推奨。

Q7. 異なる y で AIC を比較してよいか

不可。 同じ y（変換していない、 同じ単位）に対する複数モデルでのみ比較可能。

Q8. AIC で逐次的に変数を入れていって良いか

ステップワイズ AIC 選択は標準的だが、 結果が初期モデルに依存する。 全探索 AIC（全部分集合）の方が原則的。

Q9. AIC 最小モデルが過剰適合になることは

あり得る。 AIC は「予測誤差の漸近的最小化」を目指すが、 有限標本では過剰になりうる。 ホールドアウトで再評価が必要。

Q10. ベイズ的な AIC の代替

WAIC（広く適用可能な情報量規準）と LOO-CV。 PyMC では arviz.compare() でこれらを比較できる。

🚀 発展研究の方向性 — モデル選択の最前線 5 題

• WAIC / LOO-CV: ベイズモデルでの情報量規準。 PSIS-LOO は Stan ・ PyMC で標準。
• FIC（焦点情報量規準）: 「特定の予測量」を最小化する規準。 Claeskens-Hjort の拡張。
• マルチタスク AIC: 複数の被説明変数を同時に予測するモデルでの AIC。
• 機械学習との比較: AIC と CV と PSIS-LOO の三者比較で頑健にモデル選択。
• 説明可能 AIC: 各観測の AIC への寄与を可視化する局所 AIC。

📖 モデル選択用語ミニ辞典 — 10 語

AIC (Akaike Information Criterion)

-2 log L + 2k。 予測誤差の漸近的最小化を狙う規準。

BIC (Bayesian Information Criterion)

-2 log L + k log n。 真のモデル選択を狙う規準。

AICc

AIC の小標本補正版。 n/k < 40 で推奨。

DIC (Deviance Information Criterion)

ベイズモデルでの AIC 類似。

WAIC

広く適用可能な情報量規準。 ベイズで使える。

PSIS-LOO

Pareto Smoothed Importance Sampling LOO-CV。 PyMC で標準。

Mallows' Cp

AIC と類似だが、 線形回帰専用。

調整済み R^2

R^2 に自由度補正を入れた指標。 ペナルティは AIC より緩い。

クロスバリデーション

データ分割で予測誤差を推定。 AIC の数値的代替。

FIC

Focused Information Criterion。 特定の予測量に対する規準。

✨ ベストプラクティス集 — AIC の作法 10 箇条

1. 同じ y、 同じデータ、 同じ尤度関数族でのみ AIC を比較する。
2. n/k < 40 では AICc を使う。 SSDSE-B-2026 の N=47 ではしばしば必要。
3. ΔAIC の解釈: 0-2 で同等、 2-7 で弱い差、 10 超で明確。
4. AIC 最小モデルが過剰適合の兆候を残差で確認する。
5. BIC との結果差は「予測 vs 真モデル」の用途差として整理。
6. 変換した y（log 等）でモデルを比較する場合、 Jacobian 補正が必要。
7. ステップワイズ AIC は初期モデル依存性が強い。 全部分集合探索を併用。
8. 機械学習回帰では CV を併用する。 AIC 単独では不十分。
9. ベイズモデルでは AIC より WAIC ・ LOO-CV。
10. 「説明可能性」を重視する場合は AIC より調整済み R^2 や Mallows' Cp。

📝 練習問題 — SSDSE-B-2026 で AIC モデル選択 3 タスク

練習 1: 全部分集合 AIC

4 つの説明変数の全 16 通りの組み合わせ（空も含む）で AIC を計算し、 最小モデルを特定せよ。

練習 2: AIC vs BIC vs CV

同じデータ・ 同じモデル族で 3 つの規準で選んだ最適モデルを比較せよ。 一致するか／一致しないかは N と説明変数の選び方で変わる。

練習 3: AICc の効果

AIC と AICc を計算し、 N=47 で結果が変わるかを観察せよ。 説明変数 5 以上では明確に変わる。

📜 歴史的文脈 — AIC の発展

AIC は赤池弘次が 1971 年に着想し、 1973 年に Budapest の国際会議で発表しました。 当時、 モデル選択は「真のモデルを当てる」アプローチが主流でしたが、 赤池は「真のモデルとの Kullback-Leibler 距離を最小化する」という予測的視点に転回しました。 これが現代の機械学習における「予測精度を最大化する」考え方の源流となります。

AIC の派生規準

• AICc (Sugiura, 1978): 小標本補正版。
• BIC (Schwarz, 1978): ベイズ的視点で真のモデルを選ぶ。
• QAIC: 過分散モデル用の AIC。
• DIC (Spiegelhalter et al., 2002): ベイズ階層モデル用。
• WAIC (Watanabe, 2010): 広く適用可能な情報量規準。
• PSIS-LOO (Vehtari et al., 2017): Pareto smoothed importance sampling LOO。

✅ AIC モデル選択の最終チェックリスト 10 項目

1. 同じ y ・ 同じデータ ・ 同じ尤度関数族で比較したか。
2. n/k < 40 で AICc を使ったか。
3. ΔAIC を計算し、 「2 未満なら同等」 という解釈を適用したか。
4. AIC 最小モデルの残差プロットで過剰適合の兆候を確認したか。
5. BIC と AIC の結果差を「予測 vs 真モデル」で整理したか。
6. 変換した y で AIC 比較するなら Jacobian 補正を加えたか。
7. ステップワイズ AIC ではなく全部分集合探索を試みたか。
8. 機械学習回帰では CV を併用したか。
9. ベイズモデルでは WAIC ・ LOO-CV を使ったか。
10. 「説明可能性」重視なら調整済み R^2 や Mallows' Cp も比較したか。

📝 まとめノート — AIC

このページは「AIC」を SSDSE-B-2026 (47 都道府県 × 多変量) を題材に体系的に学ぶための一気通貫の教材です。 単なる用語定義集ではなく、 「直感 → 数式 → 実装 → 落とし穴 → 関連手法」 という流れで一周することで、 業務での意思決定にそのまま使える知識に組み上げます。

本ページで取り上げた手法・記号・コード例は、 すべて実データの 47 都道府県を入力として動作する形にしてあります。 合成データに依存しないため、 SSDSE-B-2026 を data/raw/SSDSE-B-2026.csv として配置するだけでコード片を再現できます。

関連グループ教材へのリンクを使い、 「この用語が属する大きな分野」を俯瞰してから戻ってくると、 知識が一段抽象化された形で定着します。 用語ページは点、 グループ教材は線、 概念マップは面 — 三層を往復しながら学習を進めてください。

本ページの内容に不足を感じたら、 関連用語ページを辿りながら、 ご自身の解釈を加筆していくことを推奨します。 教材の完成形ではなく、 学習者自身の理解の出発点として位置付けてください。

最後に、 SSDSE-B-2026 の 47 都道府県データは「N=47 と少ない」という構造的制約があります。 統計検定の漸近近似が崩れる場面、 単一の県（東京都・沖縄県）が全体傾向を支配する場面、 標準誤差が過小評価される場面 — これらは本ページの随所で繰り返し注意喚起しました。 「実データの小ささを軽視しない」 という姿勢が、 実務でのデータサイエンティストの基本姿勢です。

🧮 数式に値を入れて手で計算する: AIC によるモデル選択

3 つのモデル候補 (定数・線形・二次) の対数尤度と自由パラメータ数を代表値として、 AIC が最小のものを選択する手順を示す。 SSDSE-B-2026 (A1101 総人口、 A1303 65歳以上人口、 A4101 出生数 等) の実モデル比較は上の SSDSE-B-2026 実値計算例セクション (章 7 冒頭) を参照。

Step 1: モデルごとの対数尤度と自由パラメータ数

Step 2: AIC 最小を選択

🐍 Python で再現

1
2
3
4
5
6

import numpy as np
logL = np.array([-50, -42, -40])
k    = np.array([1, 2, 3])
aic  = -2*logL + 2*k
print(f"AIC = {aic}")
print(f"最良モデル index = {aic.argmin()} (AIC={aic.min()})")

📤 実行結果

💬 手計算 (Step 2) M3 が最良 (AIC=86) と Python 出力が完全一致。

🎮 触って理解する

下は デモ用の人工データ（40 点・真の関数は 3 次多項式） に多項式を最小二乗で当てはめ、次数スライダーを動かすと AIC がリアルタイムに再計算される実験室です（SSDSE の実測値ではなく、当てはめの挙動を体感するためのサンプルです）。左の図は「データ＋当てはめ曲線」、右の図は「次数を横軸にとった当てはまり項・ペナルティ項・その和（AIC）」を描きます。和が U 字を描き、その谷が AIC 最良モデルであることを目で確かめてください。

🧠 直感：良い当てはまり − 複雑さの罰

AIC は「データにどれだけ合っているか（当てはまり項 −2·lnL＝小さいほど良い）」から「モデルの複雑さ（ペナルティ項 2k）」を引き算・足し算で天秤にかけます。次数を上げると曲線はデータに吸い付き当てはまり項は下がり続けますが、パラメータ数 k が増えペナルティが積み上がります。両者の 和が最小になる「ほどよい次数」が、未来データへの予測に最も強いモデルです。

⚠️ よくある落とし穴

• AIC の絶対値には意味がない：AIC は同じデータ・同じ目的変数で当てはめた複数モデルを相対比較するための量です。単独の「AIC＝123」は良し悪しを語りません。差 ΔAIC を見ます（目安：Δ<2 は差なし、Δ>10 は明確に劣る）。
• 当てはまりだけを追うと過学習：上の図で次数を最大まで上げると当てはまり項は最小でも、和（AIC）は再び増え、曲線がデータの雑音まで拾って波打つ様子（過学習）が見えます。関連: overfitting.html。
• データが違うモデル同士は比較不可：目的変数を変換した（例：対数化した）モデルと生のモデルを AIC で直接比べてはいけません。尤度の基準が変わります。

🚀 発展：BIC・AICc・交差検証との関係

• BIC：ペナルティを 2k ではなく ln(n)·k にした基準（上のチェックボックスで切替）。n が大きいほど罰が重く、AIC より単純なモデルを選びやすい。真のモデルがモデル集合に含まれると仮定して一致性を狙う立場です。
• AICc：小標本補正版 AIC + 2k(k+1)/(n−k−1)。n/k が小さいとき AIC は罰則不足になるため、47 都道府県のような小標本では AICc が推奨されます。
• 交差検証（CV）：AIC は漸近的に leave-one-out CV と等価。CV は計算が重い代わりに仮定が少なく、AIC は速い代わりに尤度モデルの正しさを仮定します。関連: cross-validation.html / model-selection.html。

🐍 Python 実装バリエーション（AIC・AICc・BIC・WAIC を一気に）

🅰️ statsmodels が一番素直

1
2
3
4
5
6
7
8
9

import statsmodels.api as sm, pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]        # 2023年の47都道府県
X = sm.add_constant(df[['A1101', 'A1303', 'B4101']].astype(float))
y = df['A4101'].astype(float)              # 出生数
res = sm.OLS(y, X).fit()
print('AIC =', res.aic)
print('BIC =', res.bic)
print('log-likelihood =', res.llf)

🅱️ scikit-learn では自分で計算（LinearRegression は AIC を持たない）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import numpy as np
from sklearn.linear_model import LinearRegression

X = df[['A1101', 'A1303', 'B4101']].astype(float).values
y = df['A4101'].astype(float).values
m = LinearRegression().fit(X, y)
resid = y - m.predict(X)
n, k = len(y), X.shape[1] + 1   # 切片を含めて k
sigma2 = (resid ** 2).mean()
loglik = -n/2 * (np.log(2*np.pi*sigma2) + 1)
aic = -2*loglik + 2*k
aicc = aic + 2*k*(k+1) / (n - k - 1)
bic = -2*loglik + np.log(n)*k
print(f'AIC={aic:.2f}, AICc={aicc:.2f}, BIC={bic:.2f}')

🅲 scipy.stats で正規分布の対数尤度を直接計算

1
2
3
4

from scipy import stats
sigma = resid.std(ddof=0)
loglik2 = stats.norm(loc=0, scale=sigma).logpdf(resid).sum()
print('log-likelihood (scipy):', loglik2)

🅳 ベイズ階層モデルなら WAIC / LOO（arviz）

1
2
3
4
5

# 例：PyMC で組んだ trace に対して
# import arviz as az
# waic = az.waic(trace)
# loo = az.loo(trace)
# print(waic, loo)

📦 AIC ファミリー早見表

🐍 Python 実装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
import numpy as np
import statsmodels.api as sm

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]                 # 2023年の47都道府県
y = df['A4101'].astype(float)                       # 出生数
X1 = sm.add_constant(df[['A1101']].astype(float))         # 総人口
X2 = sm.add_constant(df[['A1101', 'A1303']].astype(float))  # +65歳以上人口

m1 = sm.OLS(y, X1).fit(); m2 = sm.OLS(y, X2).fit()
print(f'AIC1: {m1.aic:.1f}, AIC2: {m2.aic:.1f}, ΔAIC={m1.aic-m2.aic:.1f}')

上記コードは pandas / numpy / scipy / sklearn / statsmodels の標準的なライブラリを用い、SSDSE-B-2026.csv を直接読み込んで計算します（合成データ不使用）。

⚠️ 落とし穴（補強版 — AIC 比較で踏みやすい7つの罠）

⚠️ 落とし穴

• 小標本では AICc：n/k < 40 のとき AIC は過小評価（過剰モデル選好）。AICc = AIC + 2k(k+1)/(n-k-1) を使う。
• 尤度の同一定義必須：比較するモデルで同じ応答変数・同じ観測数・同じ尤度関数族でないと AIC 比較は無効。
• BIC との違い：AIC は予測誤差最小化、BIC は真のモデル選択。目的が違うので使い分ける。
• 絶対値に意味なし：AIC の絶対値は意味を持たず、差（ΔAIC）でのみ比較する。

🌐 関連手法・派生

• BIC
• AICc
• WAIC
• 交差検証

AIC は赤池弘次 (1973) が提案した情報量基準で、 モデルの当てはまり (尤度) と複雑さ (パラメータ数) を同時に評価する。 BIC・WAIC・LOO-CV など多数の派生・代替指標があり、 用途に応じた使い分けが重要。

• 上位概念: モデル選択理論、 情報理論、 統計的決定理論。
• 並列手法 (同カテゴリ): BIC (ベイズ情報量基準)、 AICc (小標本補正)、 WAIC、 DIC、 LOO-CV、 Mallows Cp。
• 前段処理: 尤度関数の特定、 最尤推定、 候補モデル集合の定義。
• 後段処理: 相対 AIC (ΔAIC) によるモデル順位付け、 Akaike weights による多重モデル推論 (model averaging)。
• 派生・拡張: AICc (小標本補正)、 QAIC (準尤度版)、 cAIC (条件付き AIC、 混合モデル用)、 TIC (高橋情報量基準)。
• 競合・代替: 予測重視なら交差検証 (LOOCV/k-fold CV)、 ベイズ枠組みなら WAIC/LOO/PSIS-LOO、 真モデル選択なら BIC。

これらの関連手法群を意識することで、 aic を「孤立した手法」ではなく「分析の選択肢ネットワーク」の一部として活用できる。

🔗 関連用語（前提・並列・発展）

📚 前提となる用語

• 尤度・対数尤度 — AIC の中核
• 最尤推定 — AIC は ML 推定の上に乗る
• 重回帰 — AIC で比較する代表的モデル
• 過学習 — AIC が罰則項で防ぐ問題
• モデル選択 — AIC の上位概念

🔄 並列・同レベルの用語

• BIC（ベイズ情報量規準） — AIC と双璧
• AICc — 小標本補正
• 自由度調整済み R² — 直感的な代替
• 交差検証 — モデル選択の経験的代替
• Mallows' Cp — 古典的予測誤差規準

🚀 発展・応用

• WAIC — ベイズ汎化情報量規準
• LOO-CV / PSIS-LOO — MCMC ベース安定指標
• DIC — ベイズ階層モデル選択
• ベイズ因子 — モデル比較の根本
• Multi-model inference — Burnham & Anderson の枠組み
• selective inference — モデル選択後の有効推論

📚 統計学習の総合ガイド

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# 必須ライブラリのインストール
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE-B は cp932、2行目は日本語見出し）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\nColumn types:\n{df.dtypes}")
    print(f"\nMissing values:\n{df.isnull().sum()}")
    print(f"\nBasic stats:\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

• 用語ページ一覧（トップ）
• 統計データ分析コンペティション 教育用再現集
• 相関 — 関連する基礎用語
• 仮説検定 — 統計推論の基礎
• 回帰分析 — モデリングの基盤

🗺️ 統計手法選択フローチャート

AIC (赤池情報量規準) は「モデル選択基準」群の代表で、 中心ノードを「AIC」とし、 上位 (尤度ベース情報量規準)、 並列 (BIC、 調整済み R²、 Mallows Cp、 交差検証)、 下位 (重回帰、 ARIMA 次数選択、 GLM、 混合モデル) を放射状に配置する。

AIC は BIC・調整済み R²・Mallows Cp・交差検証と並列の「モデル選択基準」群を成し、 重回帰・ARIMA 次数選択・GLM・混合モデルなど尤度を持つあらゆるモデルの比較に用いる。

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 効果量の参照表

p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：

🗺️ 概念マップ — 3つの視点で体系を理解する

AIC（赤池情報量基準） がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 関連・回帰 › 回帰 › AIC（赤池情報量基準）

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に AIC（赤池情報量基準） を置き、 そこから 重回帰・ステップワイズ・最小二乗法・単回帰・Ridge回帰・LASSO 計 6 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「AIC（赤池情報量基準）」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「AIC（赤池情報量基準）」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは AIC（赤池情報量基準） の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 回帰 → AIC（赤池情報量基準） という入れ子の位置を示します。 「回帰には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

「AIC（赤池情報量基準）」は予測志向のモデル選択規準。 上流の尤度・並列の BIC/CV・下流のモデル選択と連動して使う。 単に「AIC が小さいほうがよい」と一行で済ます指標ではない。

• 上流（前提・基盤）: 尤度、 確率分布 — AIC = -2 log L + 2k の核となる対数尤度。 尤度関数が定義できないモデル（決定木の純粋形等）には AIC が直接適用できない。
• 並列（同レベルの代替・補完）: BIC、 調整済み R²、 交差検証 — BIC は罰則項が k log n で一致性、 調整済み R² は線形回帰専用、 CV は分布仮定不要だが計算コスト大。 状況に応じて使い分け。
• 下流（発展・応用）: モデル選択、 重回帰、 ARIMA — AIC を最小化する変数組合せ・次数を探索するときの上位概念。 時系列の ARMA(p,q) 次数選択は AIC の代表的応用。

AIC は単独で使うのではなく、 ΔAIC（2 番目に良いモデルとの差）・Akaike 重み・BIC との照合とセットで読む。 ΔAIC < 2 なら実質的に等価と判断し、 解釈性で選ぶのが定石。

🌳 手法選択フロー

AIC を使うか、 別の規準に切り替えるかを 4 分岐で判定する。 「AIC 最小化」が万能でないことを意識する。

1. 分岐 1（目的）: モデル選択の目的は何か？ 予測性能 → AIC（KL 情報量を近似的に最小化）、 真モデル特定（一致性） → BIC、 説明力（in-sample） → 調整済み R²。
2. 分岐 2（尤度の計算可能性）: 尤度関数が解析的に書けるか？ Yes → AIC が直接使える、 No → 交差検証誤差で代替（k-fold CV の MSE 最小化）。
3. 分岐 3（サンプルサイズ）: n / k（観測数 / パラメータ数）は十分大きいか？ n/k ≥ 40 → 通常の AIC で可、 n/k < 40 → AICc（補正版：罰則項が 2k + 2k(k+1)/(n-k-1)）を使用。
4. 分岐 4（複数モデルの差）: ΔAIC（最良 vs 候補）はどれくらいか？ ΔAIC > 10 → 候補を除外、 4 < ΔAIC ≤ 10 → 弱い証拠で除外検討、 ΔAIC ≤ 2 → 実質等価、 解釈性・分野知識で最終判断（Burnham & Anderson 2002）。

AIC は予測志向の指標。 「説明力」を見たいなら調整済み R²、 「真モデル」を選びたいなら BIC、 「汎化誤差」を直接見たいなら CV を選ぶ。 用途で使い分けるのが正しい。

🎨 直感をもう一段深める — 「当てはまり」と「複雑さ」の天秤

AIC の式はたった一行 $$\mathrm{AIC} = -2\log L + 2k$$ です。 ここで $\log L$ は「モデルがデータをどれだけうまく説明できたか（対数尤度）」、 $k$ は「モデルが使ったパラメータの個数（複雑さ）」。 第1項 $-2\log L$ は当てはまりが良いほど小さくなり、 第2項 $2k$ はパラメータを増やすほど大きくなります。 AIC はこの2つを足し算して、 小さいほど良いと読みます。

なぜ「引き算ではなく罰を足す」のか。 パラメータを増やせば手元のデータへの当てはまり（$\log L$）は必ず良くなりますが、 その一部は「たまたまこの標本にあった雑音を暗記しただけ」で、 未来のデータでは通用しません（＝過学習）。 $2k$ は「1個パラメータを増やすなら、 当てはまり項を最低でも 2 は改善しないと割に合わない」という入場料のようなもの。 AIC が本当に近似しようとしているのは、 手元データへの当てはまりではなく「将来のデータに対する予測の良さ」（後述する KL 情報量）です。

💡 上の 🎮 触って理解するウィジェット で次数スライダーを動かすと、 まさにこの「当てはまり項の減少」と「ペナルティ項の増加」の綱引きが U 字カーブとして見えます。 谷が AIC 最良モデルです。

🧮 実データで確かめる — SSDSE-B-2026 で AIC を比較（実測値）

抽象論だけでは腑に落ちないので、 SSDSE-B-2026（cp932, skiprows=[1], 2023年・47都道府県, n=47）の実データで実際に AIC を計算しました。 応答変数を A5101（死亡数）とし、 説明変数を段階的に増やした 5 つの入れ子モデルを OLS で当てはめ、 ガウス誤差の対数尤度から AIC / AICc / BIC を算出した実測値です（合成値ではありません）。

この実測表からAICの本質が3つ読み取れます。

• 罰則が効いている決定的な瞬間：M3→M4 で対数尤度はほぼ改善せず（−501.27 → −501.26、 差わずか0.01）、 それでも AIC は 1012.54 → 1014.52 と約2悪化しました。 これは追加パラメータ1個ぶんの罰 $2k$ が、 無視できるほど小さな当てはまり改善を上回った証拠。 「当てはまりが良くなっても AIC は良くなるとは限らない」を実データが示しています。
• ΔAIC で読む：AIC の絶対値（1012 など）自体に意味はありません。 M3 を基準にした ΔAIC を見ると、 M4 は 1.97（＜2 なので実質的に区別困難）、 M2 は 8.81（明確に劣る）。 M4 は捨てきれないので、 M3 と M4 を併記するのが誠実な報告です。
• Akaike 重みでモデル平均：ΔAIC から $w_i \propto \exp(-\Delta_i/2)$ で計算した重みは M3=0.722, M4=0.269, M2=0.009。 「M3 が正しい確率72%」ではなく「候補集合の中での相対的な支持度」です。 予測時はこの重みで複数モデルを加重平均する（モデル平均）と、 単一モデルより頑健になります。

※ ここでの $k$ は回帰係数に加えて誤差分散 $\sigma^2$ も1パラメータとして数えています（ガウス最尤の標準的な数え方）。 n=47 と小標本のため、 本来は AICc を主として読むべき場面ですが、 この例では AIC・AICc・BIC がいずれも M3 を選び、 結論は一致しました。

⚠️ 落とし穴（重要）— AIC を誤用しないための急所

🚀 発展 — AICc・BIC・Cp・交差検証・KL 導出・モデル平均

① AICc（小標本補正）

$\mathrm{AICc}=\mathrm{AIC}+\dfrac{2k(k+1)}{n-k-1}$。 補正項は $n\to\infty$ で 0 に収束し AIC に一致しますが、 $n/k$ が小さいと大きな罰を追加します。 分母 $n-k-1$ が 0 以下になる（$k \ge n-1$）と定義できないため、 高次元では使えません。 迷ったら AICc を既定にして構いません（大標本では AIC と一致するため損がない）。

② BIC との違い — 一致性 vs 効率性

重要な事実：真のモデルが候補集合に含まれないなら BIC の一致性は意味を失い、 予測目的では AIC のほうが優れることが多い。 逆に真の構造が有限次元で候補に含まれるなら BIC が優位。 どちらが「正しい」ではなく前提の違いです。

③ Mallows' Cp

線形回帰（正規誤差・分散既知の近似）では、 Mallows' $C_p = \dfrac{\mathrm{RSS}_p}{\hat\sigma^2} - n + 2p$ が予測誤差の推定量になります。 実は正規線形モデルでは Cp と AIC はほぼ同値（定数差・分散の扱いを除けば順序が一致）。 $C_p \approx p$ となるモデルが望ましい、 という古典的な読み方をします。 AIC の線形回帰版と理解すると位置づけが明快です。（Mallows' Cp の独立ページは本用語集には未収録のためテキストで解説）

④ 交差検証との漸近同等性

Stone (1977) の定理により、 AIC は漸近的に leave-one-out 交差検証（LOO-CV）と等価です。 つまり AIC は「n 回のモデル再学習が必要な LOO-CV を、 1 回の当てはめで近似する高速な代用品」と読めます。 AIC は尤度モデルの正しさを仮定する代わりに速く、 交差検証は分布仮定が少ない代わりに計算が重い、 というトレードオフ。 尤度が書けない手法（決定木など）では CV を使います。 関連: 検証によるモデル選択、 ネスト交差検証、 汎化、 バイアス–バリアンス。

⑤ 赤池の導出 — KL 情報量の近似

AIC は「思いつき」ではなく、 真の分布 $g$ とモデル $f$ の隔たりを測る Kullback–Leibler(KL) 情報量 $D_{KL}(g\|f)=\int g\log(g/f)$ から導かれます。 予測の良さは「将来データに対する期待対数尤度」で測れますが、 これを手元データの最大対数尤度 $\log L$ で推定すると楽観的に偏る（バイアスの分だけ過大評価）。 赤池 (1973) はこのバイアスが漸近的に $k$（パラメータ数）に等しいことを示し、 補正後を 2 倍したものが $-2\log L + 2k = \mathrm{AIC}$ です。 だから「AIC 最小＝KL 情報量が最小＝真の分布に最も近い予測」を近似的に狙う、 という意味になります。 関連: モデル選択、 真の生成過程。

⑥ モデル平均（Multi-model inference）

ΔAIC が小さいモデルが複数あるとき、 1つを選ぶよりAkaike 重み $w_i=\dfrac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)}$ で加重平均するほうが、 予測が頑健でモデル選択の不確実性も表現できます（Burnham & Anderson の枠組み）。 上の実測例では M3=0.722, M4=0.269 なので、 予測値は $0.722\hat y_{M3} + 0.269\hat y_{M4} + \cdots$ のように合成します。 「唯一の勝者を選ぶ」から「候補集団の意見を重みで束ねる」への発想転換です。 正則化（Ridge/Lasso）や モデル複雑度の管理とも問題意識を共有します。

🔗 関連ページ（本用語集内・実在確認済み）

AIC を「孤立した公式」ではなくモデル選択のネットワークの中で捉えるための内部リンク集です（すべて html/glossary/ 内に実在するページ）。

• 並列・代替の規準：BIC（ベイズ情報量規準）、 自由度調整済み R²、 決定係数 R²、 交差検証、 ホールドアウト、 検証によるモデル選択、 ネスト交差検証
• 上位・関連概念：モデル選択、 モデル複雑度、 汎化、 バイアス–バリアンス、 過学習、 真の生成過程
• 適用先モデル・前処理：最小二乗法（OLS）、 重回帰、 ARIMA（次数選択）、 ステップワイズ法、 正則化

※ 本文で触れた 最尤推定／尤度、 Mallows' Cp、 WAIC・DIC・LOO-CV、 ベイズ因子 は独立した専用ページが本用語集に未収録のため、 リンクではなくテキストで解説しています。