🔖 キーワード索引

「hausman」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「hausman」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「hausman の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 Hausman 検定を直感で掴む — Fixed Effects か Random Effects か

パネルデータ（同じ個体を複数時点で観測した縦断データ）を回帰するとき、固定効果モデル (Fixed Effects, FE) と 変量効果モデル (Random Effects, RE) のどちらを使うべきか —— その判定に使うのが Hausman 検定（Wu–Hausman 検定）。 1978 年に Jerry Hausman が提案した。

直感的には: 「個体ごとの未観測ヘテロジニティ $\alpha_i$ が説明変数 $X_{it}$ と相関しているか？」 を問う。 相関していれば RE は不偏でなくなり、 FE しか使えない。 相関していなければ RE がより効率的（小さな分散）。

🧩 FE と RE の違いを 1 枚絵で

パネルデータ分析の 最初の選択肢 として、 Hausman は必ず通る関門。 経済学・労働経済・公衆衛生・政策評価ではほぼ全ての論文が報告する。

🎨 概念図で押さえる

Hausman 検定は固定効果モデルとランダム効果モデルの推定値の差を比較する。 差を視覚化する 3 枚の概念図でイメージを補強する。

✅ 理解度チェック

1. Hausman 検定の帰無仮説と対立仮説をそれぞれ説明できるか。
2. 固定効果モデルとランダム効果モデルの違いを 2 行で書けるか。
3. Hausman 統計量が大きいときに採用すべきモデルはどちらか、 理由とともに答えられるか。
4. 有意水準 5% で p=0.02 が出たときの結論を述べられるか。

🎮 触って理解する — 相関を動かして FE と RE を選ぶ

ハウスマン検定の核心は「2 つの推定量（FE と RE）が食い違うかどうか」で仮定を検定する点にある。 下のスライダーで 個体効果 $\alpha_i$ と説明変数 $X_{it}$ の相関 を強めていくと、 変量効果 (RE) の推定値がじわじわ真値からズレていき、 固定効果 (FE) との差が広がって、 ついにハウスマン統計量 $H$ が臨界値を超えて RE が棄却される —— その一部始終をリアルタイムで体感できる。

ミニパネル（個体数 $N$ × 時点 $T=5$、 真の傾き $\beta=1$）をブラウザ内で毎回その場で回帰し、 FE（within 推定）と RE（GLS 変換）を計算している。 数式は本ページの定義どおりだが、 描画を滑らかにするため乱数は固定シードで生成し、 分散成分は素朴な推定量を使う 近似デモ。 傾向を掴むためのもので、 論文用の厳密値ではない。

🧭 直感 — 「一致するか」で仮定を検定する

FE と RE は帰無仮説（$\mathrm{Cov}(\alpha_i,X_{it})=0$）が正しければどちらも同じ真値に近づく。 唯一の違いは効率性（RE の方が分散が小さい）だけ。 ところが仮定が破れると、 RE だけが偏り、 FE との差が開く。 ハウスマンは「2 つの推定値がズレていないか」を、 差の大きさをその不確実性で割って測る —— 差が誤差の範囲なら $H$ は小さく（p 大＝RE でよい）、 差が誤差を超えれば $H$ は大きい（p 小＝FE を採る）。 スライダーで ρ を上げると橙線（RE）が緑線（FE）から離れ、 それに連動して赤い縦線（H）が右へ滑っていく様子がまさにこの原理。

🕳️ よくある落とし穴 — 「非有意 ＝ RE 採用」ではない

• p ≥ 0.05 は「RE が正しい」証明ではない。 帰無仮説を棄却できなかっただけで、 検定力不足（N・T が小さい、 差の分散が大きい）でも p は大きく出る。 N スライダーを最小に絞ると、 相関があるのに H が伸びずに RE 採択になってしまう —— これが偽陰性。
• 逆に N を上げすぎると過剰に棄却する。 N=120 では ρ がごく小さくても H が 3.84 を超える。 実務的にはほぼ同じモデルなのに「FE を採れ」と言われる。 効果量 |β̂_FE−β̂_RE| や AIC/BIC を必ず併読すること。
• 棄却＝FE 万能ではない。 棄却は「RE が偏る」を意味するだけで、 FE が無条件に正しいとは言わない。 動学パネル（ラグ従属変数）では FE も Nickell バイアスを抱える。
• V_FE−V_RE が負になると H が壊れる。 有限標本では分散差が負定値になり H<0 が出る。 このデモでは同一の σ̂² を両者に使って回避しているが、 実データではロバスト版やブートストラップ版に切り替える。

🚀 発展 — 過剰識別検定・頑健版・中間解

• Durbin–Wu–Hausman（DWH）／過剰識別検定。 同じロジックは OLS vs IV の選択にも使える（内生性検定）。 操作変数が複数あるときは Sargan–Hansen の過剰識別制約検定で「操作変数が本当に外生か」を別途チェックする。 → 操作変数法 (IV)、 内生性。
• 頑健（ロバスト）版ハウスマン。 系列相関・不均一分散があると古典版は無効。 回帰ベースの補助回帰（Wooldridge 型）＋クラスタロバスト標準誤差で計算し直すのが標準。
• Mundlak / Chamberlain アプローチ。 RE に個体平均 $\bar{X}_i$ を追加し、 その係数の有意性で FE 相当か否かを判定する（FE と RE の中間で、 時不変変数も残せる）。 相関の一部だけ許容する柔軟な定式化。
• 関連ページ：固定効果モデル ／ 変量効果モデル ／ パネルデータ ／ χ²検定 ／ p値 ／ 差分の差分法 (DID)。

📐 Hausman 統計量の定義

$\hat\beta_{FE}$ を固定効果推定値、 $\hat\beta_{RE}$ を変量効果推定値とすると、 Hausman 統計量は次式で定義される。

$$ H = (\hat\beta_{FE} - \hat\beta_{RE})^\top \, \left[ \mathrm{Var}(\hat\beta_{FE}) - \mathrm{Var}(\hat\beta_{RE}) \right]^{-1} \, (\hat\beta_{FE} - \hat\beta_{RE}) $$

帰無仮説 $H_0: \mathrm{Cov}(\alpha_i, X_{it}) = 0$（→ RE が不偏）のもとで、 $H \sim \chi^2_k$ （$k$ は時変説明変数の次元）。

🔬 数式を言葉で読み解く

• $\hat\beta_{FE} - \hat\beta_{RE}$: 2 つの推定値の差。 RE が不偏なら差は 0 に近い、 偏ってれば大きい。
• $\mathrm{Var}(\hat\beta_{FE}) - \mathrm{Var}(\hat\beta_{RE})$: 分散の差。 RE は仮定が強い分だけ分散が小さい。 引き算で正定値行列になる（理論上）。
• 逆行列 $[\cdot]^{-1}$: 差を分散でスケーリング。 差が大きくても分散も大きければ「ノイズ範囲内」と判定。
• 二次形式 $\Delta^\top V^{-1} \Delta$: マハラノビス距離の二乗。 $\chi^2$ 分布に従う。
• $\chi^2_k$ の自由度 $k$: 時不変変数を含まない説明変数の数。 切片や時間固定効果は除く。

判定ルール:

• $H > \chi^2_{k, 0.95}$（または p < 0.05）→ $H_0$ 棄却 → FE を採用
• $H \leq \chi^2_{k, 0.95}$（または p ≥ 0.05）→ $H_0$ 採択 → RE で OK（より効率的）

🔬 もう一度: 数式を言葉で読み解く — V_diff の正定値性とロバスト版

古典的 Hausman の弱点は「$V_{FE} - V_{RE}$ が必ずしも正定値でない」こと（小標本や誤特定で頻繁に起こる）。 これを回避するのが Mundlak (1978) や Wooldridge (2010) による「ロバスト Hausman」。

Mundlak 検定: RE モデルに「各個体の説明変数の時系列平均 $\bar{X}_i$」を追加して、 その係数 $\gamma$ が 0 か検定する。 すなわち

$$ y_{it} = \beta X_{it} + \gamma \bar X_i + \alpha_i + \varepsilon_{it} $$

$H_0: \gamma = 0$ ⇔ $\mathrm{Cov}(\alpha_i, X_{it}) = 0$ という同値性が成り立つ。 これなら通常の Wald 検定で済み、 行列の正定値性に悩まされない。

🎯 このコードでやること: Mundlak 流の代替検定を statsmodels で実装。 $\bar X_i$ を追加した RE モデルで F 検定。

📥 入力: 上記 SSDSE パネル df

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import pandas as pd
import statsmodels.formula.api as smf

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': 'year', 'Prefecture': 'pref'})
df['aging'] = df['A1303'] / df['A1101'] * 100
df['birth'] = df['A4101'] / df['A1101'] * 1000
df['spend'] = df['L3221'] / 1000
df = df[['pref', 'year', 'birth', 'aging', 'spend']].dropna()

# 個体平均を追加
df['aging_bar'] = df.groupby('pref')['aging'].transform('mean')
df['spend_bar'] = df.groupby('pref')['spend'].transform('mean')

# Mundlak augmented RE
m = smf.mixedlm('birth ~ aging + spend + aging_bar + spend_bar', df, groups=df['pref']).fit()
print(m.summary().tables[1])

# Wald: H0: aging_bar = spend_bar = 0
from scipy.stats import chi2
import numpy as np
b = m.params[['aging_bar', 'spend_bar']].values
V = m.cov_params().loc[['aging_bar', 'spend_bar'], ['aging_bar', 'spend_bar']].values
W = float(b @ np.linalg.inv(V) @ b)
p = 1 - chi2.cdf(W, df=2)
print(f'Mundlak Wald W = {W:.2f}, df=2, p = {p:.4f}')

📤 実行例:

💬 aging_bar の係数が有意（p < 0.001）→ 高齢化率は個体未観測効果と相関している。 Mundlak Wald (W = 38.06) は古典 Hausman と同じく FE を支持し、 V_diff の正定値性に依存しないので信頼できる。

🧮 SSDSE-B-2026 で Hausman 検定を実演

「都道府県 × 年度」のパネル構造を擬似的に構築し、 高齢化率と消費支出が出生率に与える影響を、 FE モデルと RE モデルの両方で推定して比較します（SSDSE-B-2026 の 2012–2023 年 × 47 都道府県パネル）。

① データ準備

1
2
3
4
5
6
7
8

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': 'year', 'Prefecture': 'pref'})
df['aging'] = df['A1303'] / df['A1101'] * 100     # 高齢化率
df['birth'] = df['A4101'] / df['A1101'] * 1000    # 出生率(千人当たり)
df['spend'] = df['L3221'] / 1000                  # 消費支出(千円)
panel = df.set_index(['pref', 'year'])[['birth', 'aging', 'spend']].dropna()
print(panel.head())

② FE モデル と RE モデルを推定

1
2
3
4
5
6
7

from linearmodels.panel import PanelOLS, RandomEffects
fe = PanelOLS.from_formula('birth ~ aging + spend + EntityEffects',
                           data=panel).fit()
re = RandomEffects.from_formula('birth ~ 1 + aging + spend',
                                data=panel).fit()
print(fe)
print(re)

③ Hausman 検定統計量を手計算

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from linearmodels.panel import PanelOLS, RandomEffects  # ← このコードは linearmodels が必要
import numpy as np
from scipy import stats

cols = ['aging', 'spend']
b_fe = fe.params[cols].values
b_re = re.params[cols].values
V_fe = fe.cov.loc[cols, cols].values
V_re = re.cov.loc[cols, cols].values
diff = b_fe - b_re
H = diff @ np.linalg.inv(V_fe - V_re) @ diff
p = 1 - stats.chi2.cdf(H, df=len(diff))
print(f'Hausman H = {H:.2f}, p = {p:.4f}')

④ 計算結果の解釈表（実データ）

H が大きく p < 0.05 なので「個体効果と説明変数は無相関」という帰無仮説は棄却。 RE モデルは不一致推定量となるため、 FE モデルを採用するのが妥当です。

SSDSE-B-2026 は 年度 × 都道府県 の縦断データ（パネル）として読み込める。 ここでは「出生率 (A4101/A1101×1000) を被説明変数とし、 高齢化率 (A1303/A1101×100) と消費支出 (L3221) を説明変数」というモデルで FE/RE 比較を行う。 47 県 × 12 年 = 564 観測。

📥 入力データ (SSDSE-B-2026 抜粋):

🐍 Python: FE/RE 推定と Hausman 検定 (linearmodels)

🎯 このコードでやること: SSDSE-B-2026 から県 × 年度のパネルを構築し、 linearmodels.PanelOLS で FE、 RandomEffects で RE を推定、 Hausman 統計量を計算する。

📥 入力: 上記 SSDSE-B-2026 抜粋（年度・都道府県・A1101・A1303・A4101・L3221 列）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
import numpy as np
from linearmodels.panel import PanelOLS, RandomEffects

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': 'year', 'Prefecture': 'pref'})

# パネル設定 (entity = 都道府県、 time = 年度)
df['aging'] = df['A1303'] / df['A1101'] * 100   # 高齢化率
df['birth'] = df['A4101'] / df['A1101'] * 1000  # 出生率(千人当たり)
df['spend'] = df['L3221'] / 1000                # 消費支出(千円)
panel = df.set_index(['pref', 'year'])[['birth', 'aging', 'spend']].dropna()

print('observations:', len(panel))
print('entities (都道府県):', panel.index.get_level_values(0).nunique())
print('time (年度):', panel.index.get_level_values(1).nunique())

# Fixed Effects (EntityEffects)
fe = PanelOLS.from_formula('birth ~ aging + spend + EntityEffects', data=panel).fit()
print('FE coef aging:', fe.params['aging'], 'spend:', fe.params['spend'])

# Random Effects
re = RandomEffects.from_formula('birth ~ 1 + aging + spend', data=panel).fit()
print('RE coef aging:', re.params['aging'], 'spend:', re.params['spend'])

# Hausman 統計量を手計算
b_diff = fe.params[['aging', 'spend']] - re.params[['aging', 'spend']]
v_diff = fe.cov.loc[['aging', 'spend'], ['aging', 'spend']] - re.cov.loc[['aging', 'spend'], ['aging', 'spend']]
H = float(b_diff.values @ np.linalg.inv(v_diff.values) @ b_diff.values)
from scipy.stats import chi2
p = 1 - chi2.cdf(H, df=2)
print(f'Hausman H = {H:.2f}, df=2, p = {p:.4f}')

📤 実行例:

💬 H = 162.88 は $\chi^2_{2, 0.95}=5.99$ を大きく超え、 p ≈ 0 で帰無仮説を強く棄却。 → FE を採用すべき。 高齢化率・消費支出とも FE と RE で係数が有意に食い違っており、 個体未観測効果との相関による偏りが直接見えている。

🧮 Hausman を完全に説明するための補足計算 — 補助統計量 5 種

論文で Hausman の結論を補強するために、 並行して報告すべき補助統計量を 5 種挙げる。

🔬 数式を言葉で読み解く — Breusch-Pagan LM

$$ LM = \frac{NT}{2(T-1)} \left[ \frac{\sum_i (\sum_t \hat e_{it})^2}{\sum_i \sum_t \hat e_{it}^2} - 1 \right]^2 $$

• $\hat e_{it}$: Pooled OLS の残差
• 分子と分母: 個体内残差の和の二乗 vs 全残差二乗和 → 個体ごとに残差が偏ってれば 1 を超える
• $\chi^2_1$ 漸近: 棄却なら $\sigma_\alpha^2 > 0$、 つまり RE の必要性あり

F 検定と BP-LM の両方を Hausman の前にやる、 というのが Baltagi (2021) の標準フロー。

🧮 数式に値を入れて手で計算する: Hausman 検定

合成データで Fixed Effect と Random Effect モデルの係数差から H 統計量を計算する。

Step 1: 係数推定値

分散差 (FE-RE) の対角: [0.01, 0.005]

Step 2: H 統計量 (簡略)

🐍 Python で再現

1
2
3
4
5
6
7
8

import numpy as np
from scipy import stats
diff = np.array([0.5, 0.2])
var_diff = np.diag([0.01, 0.005])
H = diff @ np.linalg.inv(var_diff) @ diff
p = 1 - stats.chi2.cdf(H, df=2)
print(f"H = {H:.2f}")
print(f"p = {p:.4f}")

📤 実行結果

💬 手計算 (Step 2) H=33 と Python 出力が完全一致。

🐍 Python 実装バリエーション（linearmodels / statsmodels / scipy.stats）

A. linearmodels の compare（最短コード）

1
2

from linearmodels.panel import compare
print(compare({'FE': fe, 'RE': re}))

B. statsmodels の自前実装（手計算と完全一致）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import statsmodels.api as sm
# 個体ダミーで FE を表現
dummies = pd.get_dummies(panel.index.get_level_values('pref'), drop_first=True)
X_fe = pd.concat([panel[['aging', 'spend']].reset_index(drop=True),
                  dummies.reset_index(drop=True)], axis=1).astype(float)
y    = panel['birth'].reset_index(drop=True)
fe2  = sm.OLS(y, sm.add_constant(X_fe)).fit()
# 通常 OLS（pooled）との係数差
X_pool = sm.add_constant(panel[['aging', 'spend']].reset_index(drop=True).astype(float))
pool   = sm.OLS(y, X_pool).fit()
print(fe2.params[['aging', 'spend']] - pool.params[['aging', 'spend']])

C. scipy.stats を使った χ² テーブル計算

1
2
3

from scipy.stats import chi2
for H in [3.0, 5.99, 10.0, 12.34, 20.0]:
    print(f'H={H:5.2f}  p={1-chi2.cdf(H, df=2):.4f}')

D. R 由来の plm パッケージ互換（rpy2 経由）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import rpy2.robjects as ro
from rpy2.robjects import pandas2ri
pandas2ri.activate()
ro.r('library(plm)')
ro.globalenv['df'] = panel.reset_index()
ro.r('''
fe <- plm(birth ~ aging + spend, data=df, model="within", index=c("pref","year"))
re <- plm(birth ~ aging + spend, data=df, model="random", index=c("pref","year"))
print(phtest(fe, re))
''')

🐍 statsmodels + scipy で手計算 (linearmodels なし)

🎯 このコードでやること: linearmodels が無い環境でも、 within 変換 (de-mean) と GLS で FE/RE を実装し Hausman を計算できる。 アルゴリズムの中身が見える。

📥 入力: 上と同じパネル df（都道府県・年度・income・unemp・aging）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import pandas as pd, numpy as np
import statsmodels.api as sm
from scipy.stats import chi2

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': 'year', 'Prefecture': 'pref'})
df['aging'] = df['A1303'] / df['A1101'] * 100
df['birth'] = df['A4101'] / df['A1101'] * 1000
df['spend'] = df['L3221'] / 1000
d = df[['pref', 'year', 'birth', 'aging', 'spend']].dropna()

# === FE: within (de-mean by entity) ===
def demean(g):
    return g - g.mean()
X_fe = d.groupby('pref')[['aging', 'spend']].transform(demean)
y_fe = d.groupby('pref')['birth'].transform(demean)
fe_ols = sm.OLS(y_fe, X_fe).fit()
beta_fe = fe_ols.params.values
V_fe = fe_ols.cov_params().values

# === RE: mixedlm（分散成分を最尤推定） ===
import statsmodels.formula.api as smf
re_model = smf.mixedlm('birth ~ aging + spend', d, groups=d['pref']).fit()
beta_re = re_model.params[['aging', 'spend']].values
V_re = re_model.cov_params().loc[['aging', 'spend'], ['aging', 'spend']].values

# === Hausman ===
diff = beta_fe - beta_re
V_diff = V_fe - V_re
H = float(diff @ np.linalg.pinv(V_diff) @ diff)
print(f'FE   beta: aging={beta_fe[0]:+7.3f}  spend={beta_fe[1]:+7.3f}')
print(f'RE   beta: aging={beta_re[0]:+7.3f}  spend={beta_re[1]:+7.3f}')
print(f'Hausman H = {H:.2f}, df=2')
print('注意:', 'V_diff 非正定値 (H<0) → Mundlak/linearmodels で判定' if H < 0 else 'FE 採用')

📤 実行例:

💬 mixedlm の RE 分散は linearmodels の GLS 版と異なり、 V_FE − V_RE が非正定値になって H が負値になった（落とし穴⑦の実例）。 この場合は pinv でも救えないので、 正定値性に依存しない Mundlak 版（W = 38.06, p < 0.001）や linearmodels 版（H = 162.88）で判定する。 いずれも FE を支持。

⚠️ Hausman 検定の落とし穴 — 詳細 7 連発

⚠️ Hausman の落とし穴 — 実務でハマる 7 つ

1. V_FE − V_RE が負定値になる: 小標本や誤特定で頻繁。 結果として H < 0 という意味不明な値が出ることがある。 → Mundlak / クラスタロバスト版に切り替えよう。
2. p ≥ 0.05 でも「RE で OK」とは限らない: 検定力不足の可能性。 サンプル数 (NT) が小さいと内生性があっても拾えない。 N ≥ 30、 T ≥ 5 が目安。
3. 時不変変数を含めると FE で消える: 性別・人種・地域固定要因など、 時間で変わらない変数は FE 推定では識別不能。 RE で扱える代わりに RE の不偏性が必要。
4. 不均衡パネルでバイアス: 観測欠損が非ランダムだと両モデルとも偏る。 完全データに絞るか MICE で補完。
5. 系列相関・分散不均一: 古典 Hausman は i.i.d. を仮定。 クラスタロバスト標準誤差を使うと統計量と p 値が変わる。
6. 仮定棄却 = FE 万能ではない: 棄却されても「FE が無条件に正しい」のではなく「RE が偏る」だけ。 動学パネル (lagged y) では FE も Nickell バイアスを抱える。
7. 結果の経済学的解釈を忘れる: 「H=38」と数値だけ示しても意味なし。 「個体の何が未観測で X と相関するか」を文章で説明することが必須。

🌐 Hausman の応用範囲 — IV の内生性検定としての姿

Hausman 検定はパネルの FE vs RE 選択だけでなく、 OLS vs IV (操作変数法) の選択でも使われる。 これを「Durbin–Wu–Hausman 検定 (DWH)」と呼ぶ。

$$ H_{DWH} = (\hat\beta_{IV} - \hat\beta_{OLS})^\top [\mathrm{Var}(\hat\beta_{IV}) - \mathrm{Var}(\hat\beta_{OLS})]^{-1} (\hat\beta_{IV} - \hat\beta_{OLS}) $$

🔬 数式を言葉で読み解く — IV 版の意味

• $H_0$: 説明変数は外生（$\mathrm{Cov}(X, u) = 0$）
• $H_1$: 内生性あり（OLS が偏る）
• 棄却 → IV を使うべき、 採択 → OLS が効率的

パネル版と同じ式構造。 「不偏だが非効率な推定」と「効率的だが仮定依存」の差を分散でスケーリング → $\chi^2$ で判定、 という統一的フレーム。

🐍 statsmodels で DWH を計算

🎯 このコードでやること: 「高齢化率 → 消費支出」モデルで年平均気温 (B4101) を操作変数に使い、 OLS と IV (2SLS) を比較、 DWH で内生性をチェック（操作変数は説明用の例）。

📥 入力: SSDSE-B-2026 抜粋 (A1303 65歳以上人口, A1101 総人口, L3221 消費支出, B4101 年平均気温)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd, numpy as np
from linearmodels.iv import IV2SLS
import statsmodels.api as sm

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df['aging'] = df['A1303'] / df['A1101'] * 100
df['spend'] = df['L3221'] / 1000
df = df.dropna(subset=['aging', 'spend', 'B4101']).rename(columns={'B4101': 'temp'})

# OLS: spend ~ aging
X = sm.add_constant(df[['aging']])
ols = sm.OLS(df['spend'], X).fit()

# IV: aging を 年平均気温(temp) で操作（説明用の例）
iv = IV2SLS.from_formula('spend ~ 1 + [aging ~ temp]', data=df).fit()

print('OLS beta_aging:', ols.params['aging'])
print('IV  beta_aging:', iv.params['aging'])

# Durbin-Wu-Hausman
b_diff = iv.params['aging'] - ols.params['aging']
v_diff = iv.cov.loc['aging', 'aging'] - ols.cov_params().loc['aging', 'aging']
H = b_diff**2 / abs(v_diff)
from scipy.stats import chi2
print(f'DWH H = {H:.2f}, df=1, p = {1 - chi2.cdf(H, 1):.4f}')

📤 実行例:

💬 p < 0.01 で内生性あり → 単純 OLS には逆因果バイアスが乗る可能性が高い、 IV を使うべき。 ただし操作変数の妥当性 (relevance + exclusion) は別途検証必要。

🔗 関連用語（前提・並列・発展）

📘 前提となる用語（先に押さえるべき 4 つ以上）

• パネルデータ — 同一個体を複数時点で観測する構造。
• 固定効果モデル — 個体固有定数を吸収する推定法。
• ランダム効果モデル — 個体効果を確率変数として扱う推定法。
• 最小二乗法 — 推定量の比較に必要な土台。
• 仮説検定の基礎 — H₀ / p値 / 自由度。

⚖️ 並列で比較したい用語

• DID（差の差分法） — 個体・時間効果を組み合わせる別の戦略。
• 操作変数法 — 内生性自体を解決するアプローチ。
• 回帰不連続デザイン — 局所的に処置効果を識別する。
• GMM — 動学パネルでよく使われる推定法。

🚀 発展で学ぶべき用語

• Mundlak アプローチ — Hausman の代替で個体平均を共変量化。
• Hausman-Taylor 推定量 — 時間不変変数も推定可能にする発展形。
• クラスタ標準誤差 — Hausman の前提を実用化する補正。
• ブートストラップ — Hausman 統計量を経験分布から評価する方法。
• マルチレベル分析 — RE の発展としての階層モデル。

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 必須ライブラリのインストール
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE は cp932 エンコーディング）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import matplotlib.pyplot as plt
import seaborn as sns

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\nColumn types:\n{df.dtypes}")
    print(f"\nMissing values:\n{df.isnull().sum()}")
    print(f"\nBasic stats:\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

📚 関連用語と歴史

歴史: Hausman (1978) "Specification Tests in Econometrics", Econometrica 46(6), 1251-1271。 同時期に Wu (1973), Durbin (1954) も同様の検定を提案しており、 IV 文脈では Durbin-Wu-Hausman と呼ぶ。 Mundlak (1978) は同じ年に等価な代替手法を提示した。

🔗 関連用語（前提・並列・発展）

• 前提: 回帰分析 / OLS / 標準化
• 並列: 並行トレンド仮定 / 差分の差分 / 操作変数法
• 発展: 動学パネル / GMM / 階層モデル

📚 関連グループ教材

• 時系列・パネル教材グループ
• 因果推論教材グループ
• 計量経済学・パネル教材グループ

🧠 解説深化 — 直感・落とし穴・発展をひとつにまとめる

ここまでの各章（直感／定義／Mundlak／落とし穴／IV への応用）を横断して、 Hausman 検定の要点を「一枚の地図」として再構成する。 新しい実測値として、 SSDSE-B-2026 にクラスタロバスト標準誤差を効かせた頑健版 Hausman を追加で計算し、 古典版との落差を数字で示す。

🎯 直感 — 「2 つの一致推定量が一致し続けるか」を測る

Hausman の本質は、 2 つの推定量の一致性 (consistency) を突き合わせることにある。 帰無仮説 $H_0:\mathrm{Cov}(\alpha_i,X_{it})=0$ が正しい世界では、 固定効果 $\hat\beta_{FE}$ も変量効果 $\hat\beta_{RE}$ もどちらも同じ真値 $\beta$ に収束する（＝両方とも一致推定量）。 違いは効率だけで、 RE の方が分散が小さい。 ところが仮定が破れると、 FE だけが一致性を保ち、 RE は偏る。 だから「両者の係数差 $\hat\beta_{FE}-\hat\beta_{RE}$ がゼロから統計的に離れているか」を見れば、 RE の外生性仮定を間接的に検定できる。

• 差が誤差の範囲内（$H$ 小・p 大）→ 2 つは一致している → RE の仮定は棄却できず、 効率的な RE を採ってよい。
• 差が誤差を超える（$H$ 大・p 小）→ RE だけが真値から離れた → 外生性仮定が棄却され、 頑健な FE を採用。

つまり Hausman は「一致推定量 (FE) を物差しに、 効率推定量 (RE) がその物差しからズレていないか」を測る比較 (contrast) 検定。 上の 🎮 触って理解するウィジェットで ρ を上げると、 橙線 (RE) だけが緑線 (FE) から離れ、 それに連動して $H$ が臨界値 3.84 を超える —— この「片方だけがズレる」様子が直感の核。

🕳️ 落とし穴（重要）— 解釈を誤りやすい 7 点

1. 帰無仮説の向きを取り違える。 $H_0$ は「RE が適切（個体効果と説明変数が無相関）」。 有意でない＝RE 採用、 有意＝FE 採用。 「有意だから良いモデル」という通常の検定の直感と逆向きで、 非有意こそが RE を許す条件。 混同しやすい。
2. 負のカイ二乗統計量。 有限標本や誤特定では分散差 $V_{FE}-V_{RE}$ が正定値でなくなり、 $H<0$ という定義上あり得ない値が出る。 これは「検定の前提が壊れた」サインで、 $H$ を 0 とみなして採択、 ではなく頑健版・Mundlak 版へ切り替えるべき合図。
3. 外生性の「必要条件」にすぎない。 非有意でも「RE の仮定が全面的に正しい」証明にはならない。 検出力不足（小 $N$・小 $T$・差の分散大）でも p は大きく出る。 Hausman が通っても、 別の内生性（同時性・逆因果）が残る余地はある。
4. 頑健版が必要。 古典 Hausman は球面攪乱項（i.i.d.）を仮定する。 パネルで常態の系列相関・不均一分散があると $H$ 自体が過大評価される。 実測: SSDSE-B-2026 で県クラスタロバスト SE を使うと、 同じモデルで $H$ が 162.88 → 6.96（p=0.0000 → p=0.031）へ激減した（下表）。 結論（FE 採用）は変わらないが、 古典版の「圧倒的有意」は SE を補正すると大幅に穏当化する。
5. 時間不変変数の扱い。 性別・地形・気候など時間で変わらない変数は FE では吸収されて消え、 RE でしか係数が出ない。 両者で差が定義できないため Hausman の比較対象から外すか、 Hausman–Taylor 推定量で扱う。
6. Mundlak アプローチという代替。 RE に個体平均 $\bar X_i$ を加え、 その係数 $\gamma=0$ を Wald 検定する（上記で W=38.1）。 $H_0:\gamma=0 \Leftrightarrow \mathrm{Cov}(\alpha_i,X_{it})=0$ と同値で、 行列の正定値性に悩まされず、 クラスタロバスト SE とも自然に併用できる。
7. 検出力（power）。 $N$ が巨大だとごく僅かな相関でも棄却され、 実務的にはほぼ同一のモデルなのに「FE を採れ」と出る。 逆に $N,T$ が小さいと内生性を見逃す。 $H$ の有意性だけでなく効果量 $|\hat\beta_{FE}-\hat\beta_{RE}|$ と AIC/BIC を必ず併読する（本ページ実データでは aging の差は僅か −0.011、 数字上の有意と実質差の乖離に注意）。

📊 頑健版 Hausman の実測（クラスタロバスト SE, 県クラスタ）

同じ「出生率 ~ 高齢化率 + 消費支出」モデルを、 FE・RE とも cov_type='clustered', cluster_entity=True で推定し直して Hausman を再計算した実測値。

💬 系列相関・不均一分散を補正しただけで $H$ が 20 分の 1 以下に縮む。 結論（FE 採用）は保たれるが、 「古典版の巨大な $H$ は SE の過小評価に由来する部分が大きい」という落とし穴 4 の生きた実例。 論文では頑健版の値を報告するのが安全。

🚀 発展 — Hausman を統一原理として広げる

• 固定効果 vs 変量効果の選択。 Hausman は「効率だが仮定依存」な RE と「頑健だが非効率」な FE のトレードオフを、 係数差 ÷ 分散差 でスコア化する意思決定装置。 → 固定効果モデル ／ 変量効果モデル ／ パネルデータ。
• Mundlak 検定＝補助回帰版 Hausman。 個体平均 $\bar X_i$ を共変量に足した RE の Wald 検定は古典 Hausman と漸近同値。 時間不変変数を残せて、 クラスタロバスト化も容易な「実用標準」。
• 頑健（ロバスト）ハウスマン。 Wooldridge 型の回帰ベース定式化＋クラスタロバスト SE で、 系列相関・不均一分散下でも妥当。 上の実測はまさにこの発想（クラスタ SE で再計算）。
• 過剰識別との関係。 内生性検定を IV 文脈に移すと Durbin–Wu–Hausman（上記）になり、 操作変数が複数あるときは Sargan–Hansen の過剰識別制約検定で「操作変数群が本当に外生か」を別軸で検証する。 Hausman が「外生性の必要条件」、 過剰識別検定が「操作変数の妥当性」を担う相補関係。 → 操作変数法 (IV) ／ 内生性。
• 一般化ハウスマン。 「一致だが非効率な推定量 $\hat\theta_c$」と「効率だが仮定依存の推定量 $\hat\theta_e$」の任意ペアに対し $H=(\hat\theta_c-\hat\theta_e)^\top[V_c-V_e]^{-1}(\hat\theta_c-\hat\theta_e)\sim\chi^2$ という一般形が成り立つ。 空間パネル・GMM・最尤 vs 擬似最尤など、 モデル特定化検定の共通テンプレート。
• 内生性検定・パネル因果への応用。 ラグ従属変数を含む動学パネルでは FE も Nickell バイアスを抱えるため、 Hausman の結論をそのまま鵜呑みにせず GMM（差分・システム）へ。 因果推論の文脈では時間効果・並行トレンドと合わせて設計する。 → パネル因果推論 ／ Granger 因果。 なお GMM・DID・Hausman–Taylor の専用ページは本用語集には未収録（テキストのみ参照）。

🔗 関連ページ

• 固定効果モデル (Fixed Effects) — Hausman で棄却されたとき採る頑健な推定量。
• 変量効果モデル (Random Effects) — 非有意なら採れる効率的な推定量。
• パネルデータ — Hausman が前提とする縦断データの構造。
• 内生性 — Hausman が間接的に検定している問題の本体。
• 操作変数法 (IV) — Durbin–Wu–Hausman として同じ枠組みで内生性を検定。
• パネル因果推論 — FE/RE 選択の先にある因果識別戦略。
• Granger 因果 — パネル・時系列での因果方向の検定と接続。

🗺️ 統計手法選択フローチャート

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 効果量の参照表

p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：

🚀 実務応用の深掘り

典型的なプロジェクトの流れ

1. 問題理解：ステークホルダーとの対話、 KGI/KPI 設定
2. データ収集：内部DB、 公的データ（SSDSE等）、 API
3. EDA：データの全体像把握、 異常検出
4. 仮説立案：ドメイン知識からの仮説
5. モデリング：シンプルから複雑へ段階的に
6. 検証：CV、 ホールドアウト、 A/Bテスト
7. 解釈：可視化、 SHAP、 部分依存プロット
8. 展開：本番デプロイ、 監視

ベストプラクティス

• シンプルなモデルから始める（線形回帰、 単純ルール）
• 必ずベースラインと比較
• 過学習を防ぐ（CV、 正則化、 早期停止）
• 解釈可能性を重視
• 再現可能なコード・ノートブック
• バージョン管理（Git）と環境管理（venv, conda）
• ドキュメント化を怠らない

論文・コンペでよく使う言い回し

統計データ活用コンペでのコツ

• SSDSE データの構造を理解し、 適切なテーブルを選ぶ
• 地域別・年度別の比較で時空間的視点を入れる
• 1つの分析で多角的に切り口を変える
• 仮説と発見の両方を持つ
• ストーリーラインを明確に
• 図表を1枚1枚作り込む
• 政策提言や実務的意義に繋げる

🗺️ 概念マップ — 3つの視点で体系を理解する

Hausman検定 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 因果推論 › パネル分析 › Hausman検定

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心の概念から放射状に、 前提・兄弟・発展形・応用先などの関係性を矢印で結びます。 横の繋がりを見るのに最適。 ノードをドラッグ、 ホイールでズーム、 クリックで遷移。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「Hausman検定」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「Hausman検定」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは Hausman検定 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → パネル分析 → Hausman検定 という入れ子の位置を示します。 「パネル分析には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🗺 パネル分析の意思決定フロー

パネルデータが手元にあるとき、 Hausman の前後でどう動けばよいかを整理する。

この 7 ステップを論文の Methods 節に書けば、 査読でほぼ問題視されない。

🔗 隣接手法への橋渡し

「ハウスマン検定」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。

• 上流: 入力データの前処理・整備 — パネルデータ分析 ・ 固定効果モデル ・ 変量効果モデル
• 並列: 類似目的を持つ代替手法 — Breusch-Pagan LM 検定 ・ F 検定 (固定効果 vs プールド)
• 下流: 出力結果の評価・解釈 — 操作変数法 (内生性対応) ・ GMM 推定

上流の固定効果・変量効果モデルで両推定量を計算し、 並列の Breusch-Pagan・F 検定と一緒にモデル選択の証拠を集め、 下流の頑健標準誤差・クラスター標準誤差で推論を補強する。 ハウスマン検定は固定効果 vs 変量効果の選択基準だが、 帰無仮説棄却の解釈は標本サイズに敏感で、 経済学的妥当性と併せて判断する。

🌳 手法選択フロー

「hausman」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: 標準化 / 欠損処理 / カテゴリ変数のエンコード が適切か
2. ハイパラ調整: 交差検証で安定する値を選ぶ
3. 性能評価: タスクに応じた指標 (RMSE / Accuracy / F1 / AUC / シルエット等) を複数併用
4. 頑健性チェック: 別手法 / 別シードで結果が大きく違わないか確認
5. 解釈: 結果を分野知識と照らし合わせ、 意味のある発見になっているか検討