論文一覧に戻る 統計データ分析コンペ 教育用再現集
2019年度 統計データ分析コンペティション ｜ 統計数理賞（高校生部門）

都道府県別出生率の予測モデル構築
Ridge回帰・Lasso回帰による変数選択と正則化

⏱️ 推定読了時間: 約37分
高校生部門 ｜ SSDSE-B データ使用 ｜ Ridge / Lasso / 交差検証
📝 3行で分かる要約

目次

  1. 研究背景と問題設定
  2. データと変数
  3. 都道府県別 TFR ランキング
  4. 正則化回帰の理論
  5. Lasso 係数パス図
  6. Ridge vs Lasso vs OLS 比較
  7. 交差検証による最適λ選択
  8. 📥 データの準備
  9. 💼 実社会での応用
  10. ⚠️ よくある誤解
  11. 📖 用語集
  12. 📐 手法ガイド
  13. 🚀 発展の可能性
  14. 🎯 自分でやってみよう
  15. 🤔 Q&A

🎯 この記事を読むと何ができるようになるか

📥 データの準備（再現コードを動かす前に）

このページの分析を自分で再現するには、以下の手順でデータを準備してください。コードの編集は不要です。

1
データをダウンロードする 統計センターの SSDSE 配布ページから、以下のファイルをダウンロードします。
SSDSE-B-2026.csv　← SSDSE-B（都道府県データ）📥 直接DL
⬇ SSDSEダウンロードページを開く
2
ファイルを所定のフォルダに配置する ダウンロードしたCSVを、プロジェクトの data/raw/ フォルダに入れます。
2026 統計・データ解析コンペ/ ├── code/ │ └── 2019_H3_suri.py ← 実行するスクリプト └── data/ └── raw/ SSDSE-B-2026.csv ← ここに置く
3
スクリプトをそのまま実行する ターミナルでプロジェクトルートに移動し、以下を実行します。
python3 code/2019_H3_suri.py
図は html/figures/ に自動保存されます。
概
研究背景と問題設定

日本の合計特殊出生率（TFR）は長期低下傾向にあり、2023年の全国平均は 1.20 と過去最低を更新した。しかし都道府県間の格差は大きく、最高（沖縄県）と最低（東京都）の差は0.6以上に及ぶ。この地域差を生む要因を統計的に明らかにすることは、少子化対策の効果的立案に不可欠である。

まず「都道府県別出生率の予測モデル構築Ridge回帰・Lasso回帰による変数選択と正則化」を統計的にとらえることが有効だと考えられる。 その理由は感覚や経験則だけでは、複雑な社会要因の中で「何が本当に効いているか」を見極めにくいからである。 本研究では公開データと統計手法を組み合わせ、この問いに定量的な答えを出すことを目指す。

過学習（Overfitting）問題 出生率に影響すると考えられる説明変数は多数ある（婚姻率・保育環境・経済状況・高齢化率など）。しかし都道府県データはわずか47件。変数を多く入れるほど訓練データへの当てはまりは改善するが、未知データへの予測精度（汎化性能）が悪化する「過学習」が起きやすい。
解決策：正則化（Regularization） Ridge回帰・Lasso回帰は、損失関数に係数の大きさに対するペナルティ項を加えることで過学習を抑制する。Lassoはさらに一部の係数をちょうど0にする「変数選択」機能を持つ。
分析の流れ
47都道府県
SSDSE-B
2023年
→
8説明変数
候補設定
→
標準化
(StandardScaler)
→
Ridge/Lasso
CV でλ最適化
→
係数比較
変数選択

Ridge回帰 Lasso回帰 交差検証 係数パス図 SSDSE-B

データと変数

使用データ

SSDSE（社会・人口統計体系データセット）-B の2023年断面データを使用。全47都道府県、欠損値なし。

項目内容
データソースSSDSE-B-2026.csv（都道府県統計）
使用年度2023年（最新年）
サンプル数47都道府県
目的変数合計特殊出生率（TFR）
説明変数数8変数

目的変数

合計特殊出生率（TFR） 一人の女性が生涯に産む子供の数の期待値。2023年の全国平均は 1.293（本分析データ、47都道府県平均）。

説明変数候補（8変数）

変数名計算方法仮説の方向根拠
婚姻率（‰） 婚姻件数 ÷ 総人口 × 1000 正（＋） 婚姻が出産の前提条件
保育所定員率 保育所等定員数 ÷ 総人口 × 10000 正（＋） 保育環境の整備が出産促進
保育待機児童率（%） 待機児童数 ÷ 在所児数 × 100 負（−） 待機児童多い = 保育不足
高齢化率（%） 65歳以上人口 ÷ 総人口 × 100 正？/負？ 若年人口比の逆代理
年少人口率（%） 15歳未満人口 ÷ 総人口 × 100 正（＋） 子育て環境の豊かさ
総人口（万人） 総人口 ÷ 10000 負（−） 都市化の代理指標
消費支出（円） 消費支出（二人以上の世帯） 正？ 経済水準・生活コスト
保健医療費（円） 保健医療費（二人以上の世帯） 正？ 医療へのアクセス・高齢化
標準化の必要性 変数の単位・スケールがバラバラのまま回帰を行うと、係数の大きさが単位に依存してしまう。 StandardScalerで各変数を平均0・標準偏差1に変換することで、正則化ペナルティを変数間で公平に比較できる。
1
都道府県別 TFR ランキング

2023年の都道府県別合計特殊出生率を低い順に示す。地域差の大きさと地域パターンを確認することが、モデル構築の出発点となる。

都道府県別合計特殊出生率ランキング（2023年）
図1：都道府県別合計特殊出生率ランキング（2023年）。色は地域区分を示す。赤破線は全国平均（47都道府県平均）。

観察されるパターン

地域差の特徴
  • 上位（高TFR）：九州・沖縄が多い。沖縄・宮崎・島根など地方部が高い傾向。
  • 下位（低TFR）：東京・北海道・宮城など大都市圏・北部が低い傾向。
  • 地域差の大きさ：最高と最低の差は約0.6以上。単純な全国統計では見えない地域特性がある。

DS LEARNING POINT 1

なぜ N=47 で正則化が必要か？

OLS（通常の最小二乗法）は観測数 N に対して説明変数 p が少ない場合に最良線形不偏推定量（BLUE）となる。しかし N=47、p=8 という小さいデータでは、変数を多く入れると過学習が起きやすい。

正則化回帰はバイアス（偏り）を少し増やす代わりに、分散（ばらつき）を大きく減らす。これが「バイアス−バリアンス トレードオフ」であり、汎化性能の改善につながる。

from sklearn.model_selection import cross_val_score # 5分割交差検証でOLS vs Ridgeの汎化性能を比較 ols_cv = cross_val_score(LinearRegression(), X_scaled, y, cv=5, scoring='neg_mean_squared_error') ridge_cv = cross_val_score(Ridge(alpha=0.12), X_scaled, y, cv=5, scoring='neg_mean_squared_error') print(f"OLS CV-MSE: {-ols_cv.mean():.4f}") print(f"Ridge CV-MSE: {-ridge_cv.mean():.4f}") # Ridge の方が小さければ正則化が有効
2
正則化回帰の理論

Ridge回帰・Lasso回帰はOLSの損失関数にペナルティ項を加えた手法である。ペナルティの強さを制御するパラメータ λ（正則化パラメータ）が大きいほど係数は0に近づく。

3手法の損失関数

OLS（最小二乗法）:
L(β) = Σ(yᵢ − x'ᵢβ)²

Ridge 回帰（L2正則化）:
L(β) = Σ(yᵢ − x'ᵢβ)² + λ Σβⱼ²

Lasso 回帰（L1正則化）:
L(β) = Σ(yᵢ − x'ᵢβ)² + λ Σ|βⱼ|

Ridge 回帰（L2正則化）

ペナルティ： 係数の二乗和 Σβⱼ²

効果： 全係数を均等に0方向へ縮小（shrinkage）

特徴： 係数は0に近づくが、完全には0にならない

適する場面： 多くの変数が少しずつ影響する場合

本分析の最適λ： 0.121

Lasso 回帰（L1正則化）

ペナルティ： 係数の絶対値和 Σ|βⱼ|

効果： 一部の係数をちょうど0にする（スパース解）

特徴： 自動的に変数選択を行う

適する場面： 少数の変数のみが重要な場合

本分析の最適λ： 0.0010

DS LEARNING POINT 2

L1正則化がスパース解をもたらす幾何学的理由

制約付き最適化の観点から見ると、Ridge はβ空間の 「球形」（円形）の制約集合を持ち、OLS の等高線と接する点は通常、軸上ではない（係数が正確に0にならない）。

一方 Lasso の制約集合は 「ひし形」（L1球）であり、角（頂点）で接することが多い。頂点では複数の係数が0になるため、自然にスパース（疎）な解が生まれる。

# Lasso と Ridge の違いを係数のゼロ個数で確認 lasso = Lasso(alpha=0.001, max_iter=10000) ridge = Ridge(alpha=0.121) lasso.fit(X_scaled, y) ridge.fit(X_scaled, y) n_zero_lasso = (lasso.coef_ == 0).sum() n_zero_ridge = (ridge.coef_ == 0).sum() print(f"Lasso: {n_zero_lasso} 変数を0に（変数選択）") print(f"Ridge: {n_zero_ridge} 変数を0に（通常は0）") # Lasso: 2 変数を0に（変数選択） # Ridge: 0 変数を0に（通常は0）

DS LEARNING POINT 3

バイアス−バリアンス トレードオフ

予測誤差の期待値は「バイアス²」＋「バリアンス」＋「避けられないノイズ」に分解できる。

λ → 0（正則化なし）: バイアス小・バリアンス大（過学習）
λ → ∞（強い正則化）: バイアス大・バリアンス小（未学習）
最適λ: バイアス²＋バリアンスが最小になる均衡点

# 期待予測誤差の分解（概念コード） # MSE_test ≈ Bias² + Variance + Irreducible Noise # バイアス: λ大 → 係数が真の値から離れる # バリアンス: λ大 → データが変わっても係数が安定 # → 交差検証でテストデータの MSE が最小になるλを探す
3
Lasso 係数パス図

正則化パラメータ λ を変化させたとき、各変数の係数がどのように変化するかを示す「係数パス図」（正則化パス）は、変数選択の過程を可視化する重要なツールである。

Lasso係数パス図
図2：Lasso係数パス図。横軸は正則化パラメータλ（対数スケール）、縦軸は標準化後の係数。赤破線は交差検証で選ばれた最適λ。λが大きくなるほど係数が収縮し、一部の変数が0に達する（除外される）。
📌 この回帰係数プロットの読み方
このグラフは
重回帰分析の各説明変数の係数（影響の強さと向き）をバーや点で表したグラフ。
読み方
右（プラス方向）に伸びるバーは「この変数が増えると目的変数も増える」正の影響。左（マイナス方向）は逆。
なぜそう解釈できるか
エラーバー（誤差棒）が0をまたいでいない変数が統計的に有意（p < 0.05）。バーが長いほど影響が大きい。

パス図の読み方

係数パスの解釈
  • 左端（λ小）：ほぼOLS解に近い。各変数の係数はOLSと同程度。
  • λ増大：係数が0方向に縮小。ある変数は早く0に達し（不重要）、ある変数は最後まで残る（重要）。
  • 右端（λ大）：全係数が0に。何も選ばれない。
  • 赤破線（最適λ）：交差検証MSEが最小になる点。ここでの係数が最終モデル。
本分析での結果（最適λ=0.0010付近） 最適λではほとんどの係数が非ゼロだが、保育所定員率と保健医療費の2変数がLassoによって0に設定され（除外）、残る6変数が選択された。

DS LEARNING POINT 4

Lasso変数選択の特性（スパース性）

Lassoはλが大きくなるにつれ、係数を正確に0にする（スパース性）。これはL1ペナルティの微分不可能性（β=0での「折れ」）に起因する。変数が多くサンプルが少ない高次元問題で特に威力を発揮する。

alphas = np.logspace(-3, 1, 100) coefs = [] for a in alphas: lasso = Lasso(alpha=a, max_iter=10000) lasso.fit(X_scaled, y) coefs.append(lasso.coef_) coefs = np.array(coefs) # shape: (100, n_features) # λ=0.001 での係数 idx = np.argmin(np.abs(alphas - 0.001)) print("λ=0.001 の各変数係数:") for name, coef in zip(feature_names, coefs[idx]): status = "選択" if abs(coef) > 1e-6 else "除外（0）" print(f" {name}: {coef:.4f} [{status}]")
4
Ridge vs Lasso vs OLS 係数比較

3手法の標準化後係数を並べて比較することで、正則化がどの変数の係数をどの程度縮小させるかを確認できる。

OLS・Ridge・Lasso 係数比較
図3：OLS・Ridge・Lasso の標準化係数比較（グループ棒グラフ）。Lassoは一部の変数を0に設定し（変数選択）、Ridgeは全係数を均等に縮小する。
📌 この回帰係数プロットの読み方
このグラフは
重回帰分析の各説明変数の係数（影響の強さと向き）をバーや点で表したグラフ。
読み方
右（プラス方向）に伸びるバーは「この変数が増えると目的変数も増える」正の影響。左（マイナス方向）は逆。
なぜそう解釈できるか
エラーバー（誤差棒）が0をまたいでいない変数が統計的に有意（p < 0.05）。バーが長いほど影響が大きい。

数値結果

変数 OLS係数 Ridge係数
（λ=0.121）		 Lasso係数
（λ=0.001）		 Lasso選択
婚姻率（‰） 0.0618 0.0594 0.0476 選択
保育所定員率 −0.0007 −0.0002 0.0000 除外
保育待機児童率（%） −0.0160 −0.0161 −0.0150 選択
高齢化率（%） 0.0950 0.0919 0.0851 選択
年少人口率（%） 0.1136 0.1127 0.1140 選択
総人口（万人） −0.0475 −0.0474 −0.0409 選択
消費支出（円） −0.0026 −0.0034 −0.0023 選択
保健医療費（円） 0.0032 0.0032 0.0000 除外

解釈

Lassoが選んだ重要変数とその解釈
  • 年少人口率（+0.114）：最も強い正の効果。子供の多い地域はさらに出生率が高い（子育て文化の地域性）。
  • 高齢化率（+0.085）：正の係数は一見意外だが、年少人口率と複合的に地域特性を捉えている可能性がある。
  • 婚姻率（+0.048）：婚姻が多い地域ほどTFRが高い。婚外出産が少ない日本では特に強い関係。
  • 総人口（−0.041）：大都市ほど出生率が低い「都市化効果」。
Lassoが除外した変数
  • 保育所定員率：OLS係数もほぼ0（−0.0007）で、TFRへの直接効果が小さい可能性。
  • 保健医療費：他の変数と重複する情報が多く、単独の寄与が小さい可能性。
5
交差検証による最適λ選択

交差検証（Cross-Validation、CV）はデータを複数に分割してモデルの汎化性能を評価する手法であり、過学習を防ぎながら最適な正則化強度λを選択するために使う。

5分割交差検証MSE vs λ
図4：5分割交差検証による平均MSE vs 正則化パラメータλ（両対数スケール）。Ridge（オレンジ）・Lasso（緑）ともに、λが小さすぎると過学習でMSEが上がり、大きすぎると未学習でMSEが上がる。破線は各手法の最適λ。

5分割交差検証の手順

k分割交差検証（k-fold Cross-Validation）
  1. 47都道府県を5グループに分割
  2. 4グループで学習（訓練データ）、残り1グループでMSE計算（検証データ）
  3. これを5回繰り返す（毎回検証グループが異なる）
  4. 5回分のMSEを平均したものが「CV-MSE」
  5. さまざまなλに対してCV-MSEを計算し、最小点のλを選択

最適λと交差検証スコア

手法最適λCV-MSE係数がゼロの変数数
Ridge 0.1207 0.004760 0
Lasso 0.0010 0.004803 2
結果の解釈
  • RidgeとLassoのCV-MSEはほぼ同等（差は小さい）。
  • Lassoは2変数を除外しながら同等の予測精度を達成 → 解釈が容易でよりシンプルなモデル。
  • Lassoの最適λ（0.001）は非常に小さく、本データではOLS解にかなり近い正則化強度が最適。

DS LEARNING POINT 5（まとめ）

交差検証の仕組みと注意点

なぜ訓練データだけでλを選んではいけないか？
λを小さくすればするほど訓練データへの当てはまりは改善する（過学習方向）。訓練データのMSEだけを見ると、常にλ→0（OLS）が最良に見えてしまう。テストデータ相当の「見ていないデータ」でのMSEを評価するCVが必要。

from sklearn.linear_model import RidgeCV, LassoCV # RidgeCVは内部でCVを実行して最適λを選択 ridge_cv = RidgeCV(alphas=np.logspace(-3, 3, 50), cv=5) ridge_cv.fit(X_scaled, y) print(f"Ridge 最適λ: {ridge_cv.alpha_:.4f}") # LassoCVも同様 lasso_cv = LassoCV(alphas=np.logspace(-3, 1, 50), cv=5, max_iter=10000, random_state=42) lasso_cv.fit(X_scaled, y) print(f"Lasso 最適λ: {lasso_cv.alpha_:.4f}") # 最適λで最終モデルを構築 best_lasso = Lasso(alpha=lasso_cv.alpha_, max_iter=10000) best_lasso.fit(X_scaled, y) # 選択された変数を確認 selected = [(name, coef) for name, coef in zip(feature_names, best_lasso.coef_) if abs(coef) > 1e-6] print(f"Lassoが選択した変数: {len(selected)}/{len(feature_names)}")

注意：N=47の小さいデータでは5分割CVでも各フォールドが約9件しかなく、CV-MSEの推定精度は低い。実務では「1標準誤差ルール（1SE rule）」を用いて、最適λより少し大きいλを採用することもある。

まとめ：Ridge vs Lasso の使い分け

Ridge を選ぶ場合

・全変数に何らかの効果がありそうなとき

・変数間の相関が高いとき（多重共線性への耐性）

・予測精度を最優先するとき

・係数の安定性が重要なとき

Lasso を選ぶ場合

・重要な変数が少数と考えられるとき

・変数の解釈・説明が重要なとき

・変数が多くサンプルが少ないとき（p≥N）

・シンプルなモデルが望ましいとき

本研究の結論 都道府県別出生率（2023年）を8つの説明変数でモデル化した結果、Lasso回帰は保育所定員率と保健医療費を除外し、残る6変数（婚姻率、保育待機児童率、高齢化率、年少人口率、総人口規模、消費支出）で説明するシンプルなモデルを構築した。最も強い予測力を持つ変数は年少人口率（+）と高齢化率（+）であり、地域の人口構造が出生率と密接に関連していることが示された。Ridge・Lassoのいずれも交差検証MSE（≈0.0048）でほぼ同等の汎化性能を示し、OLSの過学習リスクを抑制できた。
教育的価値（この分析から学べること）
  • 正則化（Regularization）：説明変数が多いとき、係数を小さく抑える「ペナルティ」を加えることで過学習を防ぐテクニック。Ridge（L2）はすべての係数を縮める、Lasso（L1）は不要な係数をゼロにする。
  • クロスバリデーション（CV）：データを訓練用と検証用に何度も分割して、モデルの「未知データへの強さ」を測る方法。1回の分割で評価するより信頼できる。
  • 変数選択の自動化：Lassoは「どの変数を使うか」をデータから決めてくれる。人間の主観を減らし、再現性の高い分析につながる。
Python コードを見る

使用データ：SSDSE-B-2026.csv（都道府県統計、2023年断面、47都道府県）。合成データは一切使用していない。

⚠️ よくある誤解と注意点

統計分析の解釈で初心者がやりがちな勘違いをまとめます。特に「相関と因果の混同」「p値の過信」は研究現場でもよく起きる落とし穴です。本文を読む前にも、読んだ後にも、目を通してみてください。

❌ 「相関がある＝因果関係がある」ではない
疑似相関（spurious correlation）とは、見かけ上は関係があるように見えるが、実際は無関係、または第三の変数（交絡変数）が両方に影響しているだけの現象です。

古典例： アイスクリームの売上 と 水難事故件数 は強く相関するが、片方が他方を引き起こしているわけではない。両者とも「夏の暑さ」という第三の変数に引きずられているだけ。

論文を読むときの心構え： 「○○と△△に強い相関が見られた」だけで終わっている主張は、本当に因果関係があるのか、それとも第三の変数（人口・所得・地理など）が共通要因として効いているだけではないかを必ず疑ってください。
❌ 「p値が小さい＝重要な発見」ではない
p値が小さい（例えば p < 0.001）ことは「統計的に偶然とは考えにくい」という意味であって、「実用的に大きな効果がある」という意味ではありません。

例： 巨大なサンプルサイズ（n=100,000）では、相関係数 r=0.02 でも p < 0.001 になります。しかし r=0.02 は実用上ほぼ無視できる関係です。

正しい読み方： p値と効果量（係数の大きさ、相関係数の値）の両方をセットで判断してください。p値だけで「重要な発見」と結論づけるのは誤りです。
❌ 「回帰係数が大きい＝重要な変数」ではない
回帰係数の絶対値は、説明変数の単位に強く依存します。「年収（万円）」と「失業率（%）」の係数を直接比較しても意味がありません。

正しい比較方法： (1) 標準化係数（各変数を平均0・分散1に変換した上での係数）を使う、(2) 限界効果（変数を1標準偏差動かしたときのyの変化）で比較する。

また、係数の大きさが「因果関係の強さ」を意味するわけでもありません。あくまで「相関的な関連の強さ」です。
❌ 「外れ値を除外すれば正しい結果」ではない
外れ値（極端な値）を「目障りだから」「結果が綺麗にならないから」という理由で除外するのは分析の改ざんに近い行為です。

外れ値が示すもの： 本当に重要な情報（東京の超高密度、北海道の超低密度など）であることが多い。外れ値を取り除くと「日本全体の傾向」を見誤る原因になります。

正しい対処： (1) 外れ値の出現要因を調査する（なぜ東京だけ突出するのか）、(2) ノンパラメトリック手法（Spearman相関・Kruskal-Wallis）を使う、(3) 外れ値を含む結果と除外した結果の両方を提示し、解釈を読者に委ねる。
❌ 「サンプルサイズが大きい＝信頼できる」ではない
サンプルサイズ（n）が大きいと統計的検定の検出力は上がりますが、それは「偶然による誤差を減らす効果」にすぎません。

nが大きくても解消されない問題：
・選択バイアス（標本が偏っている）
・測定誤差（変数の定義が曖昧）
・欠損値のパターン（欠損がランダムでない）
・交絡変数の見落とし

例： 1万人にWeb調査して「ネット利用と幸福度は強く相関」と言っても、そもそも回答者がネットユーザー寄りに偏っているため、母集団全体の結論にはなりません。
❌ 「複雑なモデル＝より良い分析」ではない
ランダムフォレスト・ニューラルネット・複雑な階層モデルなど、高度な手法を使えば「良い分析」と感じがちですが、必ずしもそうではありません。

過学習（overfitting）の罠： モデルが複雑すぎると、訓練データの偶然のパターンまで学習してしまい、新しいデータでは予測精度が落ちます。

シンプルさの価値： 重回帰分析や相関分析は「結果が解釈しやすい」「再現性が高い」という大きな利点があります。複雑な手法はシンプルな手法で答えが出ない時の最後の手段です。
❌ 「多重共線性は気にしなくていい」ではない
多重共線性とは、説明変数同士の相関が極めて強い状態のこと。これを放置すると、回帰係数の符号や大きさが入れ替わる異常事態が起こります。

典型例： 「総人口」と「労働力人口」を同時に投入すると、両者の相関が r=0.99 になり、係数推定が極端に不安定になります。「総人口は正だが、労働力人口は負」のような解釈不能な結果になりがちです。

診断と対処：
・VIF（分散拡大係数）を計算し、VIF > 10 の変数を確認
・相関行列で |r| > 0.8 のペアをチェック
・対処法：一方を除外、合成変数（PCA）に変換、Ridge回帰で安定化
❌ 「R²が高い＝良いモデル」ではない
決定係数 R² はモデルの「当てはまりの良さ」を示しますが、R² が高くてもモデルが正しいとは限りません。

R² が高くなる罠：
・説明変数を増やせば R² は自動的に上がる（無関係な変数を追加してもR²は下がらない）
・時系列データでは、共通のトレンド（時間とともに増加）があるだけで R² が 0.9 を超える
・サンプルサイズが小さいとR²が過大評価される

代替指標： 調整済み R²（変数の数でペナルティ）、AIC・BIC（モデル選択基準）を併用してください。予測力の真の評価には交差検証（cross-validation）でテストデータの R² を見ること。
❌ 「ステップワイズで選んだ変数は重要」ではない
ステップワイズ法（バックワード・フォワード選択）は便利ですが、p値ベースの変数選択は再現性に問題があると批判されています。

問題点：
・同じデータでも実行順序によって最終モデルが変わる
・p値を繰り返し見ることで「偶然に有意な変数」を拾ってしまう（p-hacking）
・係数の標準誤差が過小評価され、信頼区間が嘘っぽくなる

より良い方法：
・事前に変数を理論で絞る（先行研究から候補を選ぶ）
・LASSO回帰（自動かつ統計的に正当化された変数選択）を使う
・交差検証で AIC/BIC 最小モデルを選ぶ
❌ 「線形回帰なら線形関係を前提にすべき」
重回帰分析は線形関係を前提とします。実際の関係が非線形なのに線形モデルで分析すると、本当の関係を見逃します。

非線形の例：
・U字型関係： 失業率と物価上昇率（フィリップス曲線）
・逓減効果： 所得と幸福度（年収 800万円までは強い正の効果、それ以上は飽和）
・閾値効果： 高齢化率と医療費（ある水準を超えると急激に上がる）

診断と対処：
・残差プロットで残差が0周辺に均等に分布しているか確認
・変数の対数変換・二乗項追加で非線形性を取り込む
・どうしても線形では捉えられないなら、機械学習（RF・GBM）を併用する
❌ 「データに当てはまった＝予測に使える」ではない
「過去のデータでフィットしたから将来も予測できる」と思うのは危険です。

過学習（overfitting）の例： 47都道府県のデータに10個の説明変数を投入すれば、ほぼ完璧にフィットします（自由度がほぼゼロ）。でもそのモデルを新しい年度に適用すると、予測精度はほぼランダム並みに落ちることがあります。

正しい予測力の評価：
・データを訓練用 70%とテスト用 30%に分割し、テスト用での予測精度を見る
・k分割交差検証（k-fold CV）で予測の安定性を確認
・「説明変数の数 ≪ サンプルサイズ」のバランスを意識（目安：n > 10 × 変数数）

📖 用語集（この記事に出てくる統計用語）

統計の基本用語を初心者向けに解説します。本文中で見慣れない言葉が出てきたら、ここに戻って確認してください。

p値
「効果がない」と仮定したときに、観察されたデータ（またはより極端なデータ）が得られる確率。0〜1の値で、慣例的に 0.05（5%）未満を「有意」と判断する。
有意水準
「偶然」と「意味のある違い」を分ける基準。通常 α=0.05（5%）を使う。p値 < α なら「有意」と判定。
信頼区間
「真の値はこの範囲にあるだろう」という幅。95%信頼区間 = 同じ実験を100回繰り返したら95回はこの範囲に真の値が入る。
サンプルサイズ
分析に使ったデータ点の数（n）。一般にnが大きいほど推定が安定し、わずかな差も検出できるようになる。
標準誤差
推定値（係数など）のばらつきの目安。標準誤差が小さいほど推定値が安定している。
正規分布
釣鐘型の左右対称な分布。多くのパラメトリック検定（t検定・F検定など）は「データが正規分布に従う」ことを仮定する。
因果と相関
「相関がある」と「原因と結果の関係（因果）」は別物。アイスクリームの売上と水難事故は相関するが、原因は両者とも「夏の暑さ」。
外れ値
他のデータから極端に離れた値。分析結果を歪める原因になるため、検出して除外するか別途扱う必要がある。
欠損値
データが取得できなかった部分（NaN・空白）。除外するか補完（平均代入・回帰代入など）するかが分析上の重要な判断点。
VIF
Variance Inflation Factor（分散拡大係数）。多重共線性の強さを示す指標。VIF > 10 で「強い多重共線性あり」と判断。
係数（回帰係数）
「説明変数 x が1単位増えたとき、目的変数 y が平均でどれだけ変化するか」を示す数値。正の値は正の影響、負の値は負の影響。
多重共線性
説明変数同士の相関が強すぎる状態。係数推定が不安定になり、解釈を誤る原因になる。VIF > 10 が警告サイン。
標準化係数
変数の単位の影響を取り除いた係数。複数の変数の影響の大きさを単位に依存せず比較するために使う。
決定係数 R²
回帰モデルが目的変数のばらつきの何%を説明できるかを示す指標。0〜1の値で、1に近いほどモデルの説明力が高い。

📐 使っている手法をわかりやすく解説

統計手法について「何のためか」「結果をどう読むか」を初心者向けに解説します。

◆ 統計の基本概念（どの論文にも共通）

🔍 p値（有意確率）とは
何？
「もし本当に効果がなかったとしたら、今回の結果（またはもっと極端な結果）が偶然起きる確率」のこと。
なぜ必要？
帰無仮説（「効果なし」の仮定）のもとで検定統計量の分布から計算する。
何がわかる？
「この関係は偶然ではなく、統計的に意味がある」と主張するための客観的な根拠になる。
読み方
p < 0.05（5%未満）を「統計的に有意」と判断するのが慣例。ただし「p値が小さい＝効果が大きい」ではない。効果量（係数の大きさ）とセットで判断する。
🗂️ ノンパラメトリック検定とは（なぜ使うのか）
何？
「データが正規分布に従う」という仮定を置かない検定手法の総称。Kruskal-Wallis検定・Mann-Whitney U検定などが代表例。
なぜ必要？
データの値ではなく「順位」に変換して検定統計量を計算する。外れ値や偏った分布に対しても安定して機能する。
何がわかる？
サンプルサイズが小さい・データが歪んでいる・外れ値がある場合でも、グループ差の有無を検定できる。
読み方
「なぜノンパラメトリックを選ぶのか」の理由を示すには、正規性検定（Shapiro-Wilk）の結果を添えるのが望ましい。結果の解釈は対応するパラメトリック検定と同様（p < 0.05 で有意差あり）。

◆ この論文で使われている手法

📈 重回帰分析
何？
複数の説明変数（原因候補）が1つの目的変数（結果）にどれだけ影響するかを同時に推定する手法。
どう使う？
目的変数 y を複数の説明変数 x₁, x₂, … で予測する式（y = a₁x₁ + a₂x₂ + … + b）を最小二乗法でフィットさせる。
何がわかる？
複数の要因が混在するなかで「どれが一番効いているか」を一度に検証できる。交絡変数を統制できる。
結果の読み方
係数（a₁, a₂…）のプラスは正の影響、マイナスは負の影響。p < 0.05 で統計的に有意。R²が1に近いほどモデルの説明力が高い。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
✂️ LASSO回帰（L1正則化）
何？
多数の候補変数の中から「重要な変数だけを自動選択」しながら係数を推定する。不要変数の係数を正確にゼロにする。
どう使う？
通常の回帰に「係数の絶対値合計へのペナルティ」を加え、λ（ラムダ）で絞り込みの強さを調整する。λは交差検証で最適化。
何がわかる？
変数が50個あっても「実質的に効く5〜10変数」を自動選択できる。過学習も防げる。
結果の読み方
ゼロでない係数を持つ変数が「選ばれた変数」。符号と大きさで影響の方向・強さを読む。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
🛡️ Ridge回帰（L2正則化）
何？
多重共線性（説明変数間の相関が高い状態）があっても安定した係数を推定するための手法。
どう使う？
係数の二乗和にペナルティを加えることで係数を小さく縮小させる。変数を完全にゼロにはしない。
何がわかる？
相関の高い変数を同時投入しても係数が不安定にならない。
結果の読み方
全変数の係数は残る。係数の大きさで相対的な重要度を比較する。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
🌲 ランダムフォレスト + SHAP（機械学習による変数重要度）
何？
多数の決定木を組み合わせた予測モデル（RF）と、各変数の寄与度を個別に説明する SHAP値の組み合わせ。
どう使う？
RFで予測モデルを構築し、SHAPでゲーム理論的アプローチによって各変数の寄与を計算する。
何がわかる？
線形モデルでは捉えにくい非線形・交互作用関係も含めて「どの変数が重要か」を視覚的に示せる。
結果の読み方
SHAP値プラスが予測値を上昇させる貢献、マイナスが低下させる貢献。変数重要度グラフの上位変数が最も影響力が大きい。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
↔️ VAR（ベクトル自己回帰）/ Granger因果検定
何？
複数の時系列変数が互いに影響し合う関係を分析する手法（VAR）と、「AがBの予測に役立つか」を検定する手法（Granger因果）。
どう使う？
VARは全変数を互いに説明変数として同時回帰。Granger因果はF検定でAのラグ変数がBの予測精度を向上させるかを確認する。
何がわかる？
「女性就業率と出生率はどちらが先に動くか」「リード・ラグ関係」を特定できる。
結果の読み方
Granger因果 p < 0.05 → 「Aの過去値はBの予測に役立つ」（ただし真の因果とは限らない）。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

🚀 発展の可能性（結果 X → 新仮説 Y → 課題 Z）

この研究をさらに発展させるための3つの方向性を示します。「今回わかったこと（X）」から「次に検証すべき仮説（Y）」を立て、「具体的に何をするか（Z）」まで考えてみましょう。

① データ・時間的拡張
結果 X
本論文は特定の年度・地域の断面データ（または限られた時系列）で分析を行った。
新仮説 Y
より新しい年度のデータや市区町村レベルの細粒度データを使えば、知見の時間的頑健性や地域内格差を検証できる。
課題 Z
（1）統計センターから最新の SSDSE をダウンロードし、同じ分析を再実行する。（2）結果が変わった場合、その要因（コロナ・政策変化など）を考察する。（3）市区町村データ（SSDSE-A/C/F）で分析単位を細かくした場合の結果と比較する。
② 手法の発展：重回帰分析 の次のステップ
結果 X
本論文は 重回帰分析 を用いた推定を行った。
新仮説 Y
パネルデータ固定効果モデル（FE）による都道府県固有の差の統制 により、本分析では統制できていない問題を解消できる可能性がある。
課題 Z
（1）パネルデータ固定効果モデル（FE）による都道府県固有の差の統制 を実装し、本論文の係数推定と比較する。（2）操作変数法（IV）による内生性の解消 も試し、結果の頑健性を確認する。（3）推定結果の変化から、元の分析の仮定のどれが重要だったかを考察する。
③ 政策提言・実践への応用
結果 X
本論文は分析結果から特定の変数が目的変数に影響することを示した。
新仮説 Y
分析対象を日本全国から特定地域に絞ること、または逆に国際比較に拡張することで、政策の移転可能性と文脈依存性を検証できる。
課題 Z
（1）有意な変数を「政策で変えられるもの」と「変えにくいもの」に分類する。（2）政策で変えられる変数について、係数の大きさから「どれだけ変えればどれだけ効果があるか」を試算する。（3）自治体・政策立案者への提言として、実現可能なアクションプランを1枚にまとめる。

🎯 自分でやってみよう（5つのチャレンジ）

学んだだけでは身につきません。実際に手を動かすのが最強の学習方法です。本論文のスクリプトをベースに、以下のチャレンジに挑戦してみてください。難易度別に5つ用意しました。

★☆☆☆☆ 入門
CH1. 同じデータで分析を再現する
まずは付属の Python スクリプトをそのまま実行し、論文と同じ図を再現してみてください。
ポイント： 各図がどのコード行から生成されているか辿る。エラーが出たら原因を考える。
★★☆☆☆ 初級
CH2. 説明変数を1つ追加・除外して結果を比較
本論文の分析モデルから説明変数を1つ抜いて再実行、あるいは1つ追加して再実行してください。
ポイント： 係数・p値・R² がどう変わったか観察する。多重共線性が原因で結果が変わる例を見つけられたら理想的。
★★★☆☆ 中級
CH3. 別の年度・別の都道府県で同じ分析を試す
SSDSE の別の年度（例：2015年度・2020年度）または特定都道府県のみのデータで同じ分析を実行してください。
ポイント： 時代や地域によって結論が変わるか？ 変わるならその理由を考察する。
★★★★☆ 上級
CH4. 別の手法を組み合わせる
本論文の手法 + 1つの追加手法（例：重回帰 + LASSO、相関分析 + 主成分分析）で結果を比較してください。
ポイント： 手法の違いで結論が変わるか？ どちらが妥当かを「なぜ」とともに説明できるように。
★★★★★ 発展
CH5. オリジナルの問いを立てて分析する
本論文の手法を借りて、あなた自身の問いを立てて分析してください。 例：「カフェの数と幸福度に関連はあるか」「教育費の高い県は出生率も高いか」など。
ポイント： 問い・データ・手法・結論を1ページのレポートにまとめる。これがデータサイエンスの「実践」。
💡 ヒント： 詰まったら本サイトの他の論文（同じ手法を使っている）のスクリプトをコピーして組み合わせるのが効率的です。手法ガイド・用語集も参考に。

💼 この手法は実社会でこう使われている

本論文で学んだ手法は、研究の世界だけでなく、行政・企業・NPO の現場でも様々に活用されています。具体的なシーンを紹介します。

🏛️
行政の政策立案
都道府県・市区町村の政策担当者は、本論文と同様のデータ分析を用いて「どこに予算を投じれば効果が出るか」を検討します。 例えば医療費削減策、移住促進策、子育て支援策などの効果予測・効果検証に直結します。
🏢
企業のマーケティング・出店戦略
小売チェーン・サービス業の出店戦略では、地域特性（人口構成、所得、ライフスタイル）と売上の関係を本論文と同じ手法で分析します。 ECサイトでも顧客セグメント分析・購買要因分析に類似手法が使われます。
🏥
医療・公衆衛生
感染症の流行予測、医療資源配分の最適化、健康格差の地域要因分析などで、本論文の統計手法は標準的に使われています。 WHO・厚労省レベルの政策評価でも同じ手法が活躍しています。
📊
メディア・ジャーナリズム
新聞・テレビの社会調査記事、選挙予測、世論調査の分析でも、本論文と同じ手法（回帰分析・クラスタリングなど）が使われています。 データジャーナリズムの記事はこの種の分析が中核です。
🎓
学術研究（隣接分野）
経済学・社会学・公衆衛生学・教育学・地理学などの実証研究では、本論文と同じ手法が日常的に使われます。 専門誌に掲載される論文の8割以上が、こうした統計手法に基づいて結論を出しています。
💰
金融・保険業界
与信判断（融資審査）、保険料の地域別設定、不動産価格予測などで、本論文と同様のモデリング手法が広く活用されています。 統計分析の能力は金融業界の必須スキルになっています。

🤔 よくある質問（読者からの想定Q&A）

この論文を読んで初心者が抱きやすい疑問に、教育的観点から答えます。

Q1. この分析、自分でもできますか？
はい、できます。SSDSE データは無料で公開されており、Python の pandas, scikit-learn, statsmodels を使えば全く同じ手順で再現可能です。本ページ下部のスクリプトを実行するだけで結果が得られます。
Q2. 使われている手法は他の分野にも応用できますか？
十分応用可能です。本論文の[手法]は、医療・教育・経済・環境など他のドメインでも標準的に使われる手法です。データの中身（変数）を入れ替えるだけで、別の問いにも適用できます。
Q3. 結論は本当に「因果関係」を示していますか？
本論文は「観察データ」を使った分析であり、厳密な意味での「因果関係」を完全に証明したわけではありません。あくまで「強い関連が見られた」という事実を提示しているにとどまります。真の因果を示すには、無作為化比較試験（RCT）か、自然実験を活用したIV・DiD 等の手法が必要です。
Q4. データの最新版を使うとどうなりますか？
SSDSE は毎年更新されているため、最新版を使えば近年のトレンド（特にコロナ禍以降の変化）も含めて分析できます。ただし、結論が変わる可能性もあります。それ自体が新しい発見につながります。
Q5. もっと深く学ぶには何を読めばいいですか？
「計量経済学」「データサイエンス入門」「統計的因果推論」などのテキストが入門に向いています。Python の場合は『Python ではじめる機械学習』（オライリー）、R の場合は『R で学ぶ統計学』が定番です。本サイトの他の論文も読み比べてみてください。
← 前の論文
都道府県別学力格差の要因分析
次の論文 →
都道府県別社会保障給付費と生活保護受給率の規定要因分析