中学生の言語による表現を巡る規定要因分析 | 統計データ分析コンペ 2024 審査員奨励賞

原論文が使ったデータ	全日本中学生水の作文コンクール受賞作品・SSDSE・e-Stat 分析単位：個人中核手法：潜在意味解析・Elastic Net 回帰
この教材が使うデータ	SSDSE-B（都道府県データ）（単位：都道府県） ⬇ この CSV をダウンロード／統計センター公式配布ページ `data/raw/SSDSE-B-2026.csv`
原論文（PDF）	中学生の言語による表現を巡る規定要因分析―潜在意味解析と Elastic Net 回帰を用いた分析― 審査員奨励賞／陣内未来（九州大学大学院人間環境学府）、立山皓基（九州大学教育学部）

研究概要と背景
LSA（潜在意味解析）によるテキスト数値化
Elastic Net回帰による変数選択
分析結果：重要変数の解釈
予測精度の評価
SSDSE-F 気候値の再現
まとめ
📥 データの準備
💼 実社会での応用
⚠️ よくある誤解
📖 用語集
📐 手法ガイド
🚀 発展の可能性
🎯 自分でやってみよう
🤔 Q&A
🐍 ブラウザで動かす

🎯 この記事を読むと何ができるようになるか

研究の核心：「中学生の言語による表現を巡る規定要因分析―潜在意味解析とElastic Net回帰を用いた分析―」の問題意識と分析アプローチ
分析手法：重回帰分析で「複数の要因がどの程度結果に影響するか」を同時に推定する方法
分析手法：LASSO回帰で多数の候補変数から「効いている変数」を自動選択する方法
分析手法：Ridge回帰で多重共線性下でも安定した推定を得る方法
結果の読み方：係数・p値・図表から「何が言えて何が言えないか」を判断する力
応用：同じデータと手法を使って、別の問いを立てて分析する発想

📥 データの準備（再現コードを動かす前に）

このページの分析を自分で再現するには、以下の手順でデータを準備してください。コードの編集は不要です。

データをダウンロードする 統計センターの SSDSE 配布ページから、以下のファイルをダウンロードします。

SSDSE-B-2026.csv　← SSDSE-B（都道府県データ）📥 直接DL

⬇ SSDSEダウンロードページを開く

ファイルを所定のフォルダに配置する ダウンロードしたCSVを、プロジェクトの data/raw/ フォルダに入れます。

2026 統計・データ解析コンペ/ ├── code/ │ └── 2024_U5_3_shorei.py ← 実行するスクリプト └── data/ └── raw/ SSDSE-B-2026.csv ← ここに置く

スクリプトをそのまま実行する ターミナルでプロジェクトルートに移動し、以下を実行します。

python3 code/2024_U5_3_shorei.py

図は html/figures/ に自動保存されます。

概

研究概要と背景

全国学力・学習状況調査では、中学生の言語表現力に大きな都道府県差が見られる。本研究は、調査の自由記述テキストをLSA（潜在意味解析）で数値化し、Elastic Net回帰（L1+L2正則化）で言語表現力の規定要因を特定した。

この論文が挑んだ問いは「地域差を生む社会経済要因は何か」（テーマ：教育・学力・農林水産）。著者はElastic Net・LASSO・Ridge回帰を軸にこの問いへ定量的に答えを出した。原論文がたどり着いた答えは「中学生の作文表現は地域の自然環境・人的環境に規定される（潜在意味解析+Elastic Netでトピック別に検証）」。本ページではその分析の流れを実データで再現しながら、使われた統計手法を一つずつ学んでいく。

なぜLSAとElastic Netを組み合わせるか テキストデータはTF-IDFでは高次元（単語数 × サンプル数）になり、多重共線性も高い。LSAで低次元化した後、Elastic Netで変数選択と係数推定を同時実施することで、解釈可能なモデルが得られる。

分析の流れ

自由記述
テキスト
（都道府県別）

→

TF-IDF
行列化
(N × 語彙)

→

LSA
（TruncatedSVD）
k=3次元

→

Elastic Net
CV変数選択
+ 係数推定

LSA（潜在意味解析） TF-IDF Elastic Net クロスバリデーション

LSA（潜在意味解析）によるテキスト数値化

LSAはTF-IDFで変換したテキスト行列に特異値分解（SVD）を適用し、意味的に近い単語を同じ潜在次元に圧縮する手法である。scikit-learnではTruncatedSVDとして実装されている。

TF-IDF 行列 X (N \times V) \to TruncatedSVD (k=3) \to X_lsa (N \times 3) X = U Σ V^T \approx U_k Σ_k V_k^T （上位k次元で近似）

図1：（左）TF-IDF平均スコアの上位キーワード。（右）LSA第1成分のキーワード重み（潜在意味の軸）。

LSA成分の解釈

LSA第1成分：「読書」「図書館」「対話」などの言語習慣に関する語が高い重みを持つ
LSA第2・3成分：「授業」「先生」など学校場面に関連する語が含まれる
LSA成分は「テキストが表す概念の深さ」を数値化したものと解釈できる

DS LEARNING POINT 1

TF-IDF と LSA（潜在意味解析）

TF-IDFは単語の出現頻度と文書全体での希少性を組み合わせたスコア。LSA（= LSI）はTF-IDF行列にSVDを適用し、単語間の潜在的な意味関係を捉える。

from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import TruncatedSVD # テキストのTF-IDF変換 vectorizer = TfidfVectorizer(max_features=500) X_tfidf = vectorizer.fit_transform(texts) # sparse (N × V) # LSA: TruncatedSVD で k次元に圧縮 lsa = TruncatedSVD(n_components=3, random_state=42) X_lsa = lsa.fit_transform(X_tfidf) # (N × 3) print(f"説明分散比: {lsa.explained_variance_ratio_}") # → [0.32, 0.12, 0.12] ← 上位3成分で約56%の分散を説明 # 各成分のキーワード（重みが大きい語） feature_names = vectorizer.get_feature_names_out() for i, comp in enumerate(lsa.components_): top_words = feature_names[np.argsort(comp)[::-1][:5]] print(f"LSA成分{i+1}: {top_words}")

3. Elastic Net

Elastic Net回帰による変数選択

Elastic Netは L1正則化（LASSO：変数を完全にゼロに）と L2正則化（Ridge：係数を縮小）を組み合わせた正則化回帰である。クロスバリデーション（ElasticNetCV）でハイパーパラメータを自動選択する。

Elastic Net: min { ||y - Xβ||² + α[ρ||β||₁ + (1-ρ)||β||₂²] } α：正則化強度（大きいほどスパース），ρ：L1比率（1.0でLASSO）

図2：（左）正則化パス（αが大きくなると係数がゼロに収縮）。（右）CV-MSEとα選択。赤線が最適α。

📌 この回帰係数プロットの読み方

このグラフは: 重回帰分析の各説明変数の係数（影響の強さと向き）をバーや点で表したグラフ。
読み方: 右（プラス方向）に伸びるバーは「この変数が増えると目的変数も増える」正の影響。左（マイナス方向）は逆。
なぜそう解釈できるか: エラーバー（誤差棒）が0をまたいでいない変数が統計的に有意（p < 0.05）。バーが長いほど影響が大きい。

正則化パラメータの選択結果 ElasticNetCVの結果：最適α≈0.017（弱い正則化）、l1_ratio=1.00（LASSと同等）。これはサンプルサイズ N=47（都道府県数）に対して変数が多いため、LASSOによるスパース化が有効であることを示す。

DS LEARNING POINT 2

Elastic Net のハイパーパラメータ選択

ElasticNetCVはα（正則化強度）とl1_ratio（L1 vs L2の比率）をグリッドサーチ+CVで自動選択する。N=47の小サンプルでは5-fold CVが推奨される。

from sklearn.linear_model import ElasticNetCV import numpy as np # ハイパーパラメータの候補 l1_ratios = [0.1, 0.5, 0.7, 0.9, 0.95, 1.0] alphas = np.logspace(-3, 0, 50) # ElasticNetCV: α × l1_ratio の全組み合わせをCV評価 enet_cv = ElasticNetCV( l1_ratio=l1_ratios, alphas=alphas, cv=5, # 5-fold CV max_iter=10000, random_state=42 ) enet_cv.fit(X_scaled, y) print(f"最適α = {enet_cv.alpha_:.4f}") print(f"最適l1_ratio = {enet_cv.l1_ratio_:.2f}") print(f"ゼロでない係数数: {(enet_cv.coef_ != 0).sum()}")

やってみよう■ 図の生成（4枚）

📝 コード

print("\n図1: スクリープロット + 特徴量負荷量 を作成中...")

exp_var  = svd.explained_variance_ratio_
cum_var  = exp_var.cumsum()
comp_idx = np.arange(1, n_components + 1)

# 成分1・2 のローディング（絶対値上位8特徴量）
def top_loadings(comp_num, top_n=8):
    loadings = svd.components_[comp_num - 1]          # shape: (n_features,)
    top_idx  = np.argsort(np.abs(loadings))[::-1][:top_n]
    return [FEAT_NAMES[i] for i in top_idx], loadings[top_idx]

top_words1, top_vals1 = top_loadings(1, top_n=8)
top_words2, top_vals2 = top_loadings(2, top_n=8)

fig1, axes1 = plt.subplots(1, 3, figsize=(16, 5))
fig1.suptitle('LSA（潜在意味解析）: スクリープロットと特徴量負荷量', fontsize=13, fontweight='bold')

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。

💡 Python TIPS [式 for x in リスト] はリスト内包表記。forループでappendする代わりに1行でリストを作れます。

やってみよう■ 図の生成（4枚） — スクリープロット

📝 コード

# スクリープロット
ax = axes1[0]
ax.bar(comp_idx, exp_var * 100, color='#1565C0', alpha=0.75, edgecolor='white', label='各成分')
ax2_twin = ax.twinx()
ax2_twin.plot(comp_idx, cum_var * 100, 'r-o', markersize=6, linewidth=2, label='累積')
ax2_twin.set_ylabel('累積説明分散比 (%)', fontsize=10, color='r')
ax2_twin.tick_params(axis='y', labelcolor='r')
ax2_twin.set_ylim(0, 105)
ax.set_xlabel('LSA 成分番号', fontsize=11)
ax.set_ylabel('説明分散比 (%)', fontsize=11)
ax.set_title('スクリープロット\n（各成分の寄与率）', fontsize=11, fontweight='bold')
ax.set_xticks(comp_idx)
ax.grid(axis='y', alpha=0.3)
for xi, ev in zip(comp_idx, exp_var):
    ax.text(xi, ev * 100 + 0.5, f'{ev*100:.1f}%', ha='center', va='bottom', fontsize=9)

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

ax.twinx() — 同じx軸を共有する第2のy軸。単位の異なる2系列を1図に重ねたいときに使います。

💡 Python TIPS r, p = stats.pearsonr(...) — Pythonは複数戻り値を同時に受け取れる（タプルアンパック）。

やってみよう■ 図の生成（4枚） — 成分1 負荷量

📝 コード

# 成分1 負荷量
ax1b = axes1[1]
colors_b = ['#1565C0' if v >= 0 else '#C62828' for v in top_vals1]
ax1b.barh(top_words1[::-1], top_vals1[::-1], color=colors_b[::-1], edgecolor='white', alpha=0.85)
ax1b.axvline(0, color='black', linewidth=0.8)
ax1b.set_xlabel('負荷量', fontsize=11)
ax1b.set_title('LSA 第1成分 上位負荷量\n（青：正, 赤：負）', fontsize=11, fontweight='bold')
ax1b.grid(axis='x', alpha=0.3)

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。

💡 Python TIPS x if cond else y は三項演算子。リスト内包表記と組み合わせると、forとifを1行で書けます。

やってみよう■ 図の生成（4枚） — 成分2 負荷量

📝 コード

# 成分2 負荷量
ax1c = axes1[2]
colors_c = ['#1565C0' if v >= 0 else '#C62828' for v in top_vals2]
ax1c.barh(top_words2[::-1], top_vals2[::-1], color=colors_c[::-1], edgecolor='white', alpha=0.85)
ax1c.axvline(0, color='black', linewidth=0.8)
ax1c.set_xlabel('負荷量', fontsize=11)
ax1c.set_title('LSA 第2成分 上位負荷量\n（青：正, 赤：負）', fontsize=11, fontweight='bold')
ax1c.grid(axis='x', alpha=0.3)

plt.tight_layout()
fig1.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig1_tfidf.png'), bbox_inches='tight', dpi=150)
plt.close(fig1)
print("  → 2024_U5_3_fig1_tfidf.png 保存完了")

▼ 実行結果

図1: スクリープロット + 特徴量負荷量 を作成中...
  → 2024_U5_3_fig1_tfidf.png 保存完了

💡 解説

ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。

💡 Python TIPS df[col]（1列）と df[[col1, col2]]（複数列）でカッコの数が違います。リストを渡していると覚えるとミスを減らせます。

分析結果：重要変数の解釈

Elastic Netにより変数選択された結果（係数ゼロでない変数）を確認する。変数選択後に生き残った変数が「言語表現力の真の規定要因」である。

図3：Elastic Net最終モデルの係数。青が正の効果（言語力を高める）、赤が負の効果。

📌 この回帰係数プロットの読み方

このグラフは: 重回帰分析の各説明変数の係数（影響の強さと向き）をバーや点で表したグラフ。
読み方: 右（プラス方向）に伸びるバーは「この変数が増えると目的変数も増える」正の影響。左（マイナス方向）は逆。
なぜそう解釈できるか: エラーバー（誤差棒）が0をまたいでいない変数が統計的に有意（p < 0.05）。バーが長いほど影響が大きい。

変数	係数	解釈
図書館充実度	+0.41	図書館へのアクセスが言語表現力を高める
家庭での対話時間	+0.34	家庭内コミュニケーションの重要性
読書頻度	+0.27	読書習慣が語彙力・表現力を育む
LSA成分1	+0.06	テキストの「言語習慣」潜在次元
学習時間	+0.17	勉強時間の一般的な効果

論文の主要知見 読書頻度・家庭での対話時間・図書館充実度がElastic Net後も生き残った変数。 LSA成分もモデルに残ったことで、テキストの「深さ（文脈的意味）」が言語表現力に影響することを実証した。

やってみよう図図2：正則化パスと CV スコア

📝 コード

print("図2: 正則化パスと CV スコアを作成中...")

fig2, axes2 = plt.subplots(1, 2, figsize=(13, 5))
fig2.suptitle('Elastic Net 正則化パスとクロスバリデーション（大学進学率）',
              fontsize=13, fontweight='bold')

# 正則化パス
ax2a = axes2[0]
colors_path = ['#1565C0', '#2E7D32', '#F57F17', '#6A1B9A', '#C62828']
for j in range(coefs_path.shape[1]):
    ax2a.semilogx(alphas_path, coefs_path[:, j],
                  alpha=0.8, linewidth=1.8, color=colors_path[j], label=lsa_names[j])
ax2a.axvline(en_cv.alpha_, color='black', linestyle='--', linewidth=2,
             label=f'最適α = {en_cv.alpha_:.4f}')
ax2a.set_xlabel('正則化パラメータ α（log scale）', fontsize=11)
ax2a.set_ylabel('係数値', fontsize=11)
ax2a.set_title(f'正則化パス (l1_ratio={en_cv.l1_ratio_:.2f})', fontsize=11, fontweight='bold')
ax2a.legend(fontsize=9, loc='upper right')
ax2a.grid(True, alpha=0.2)

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。
ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。

💡 Python TIPS r, p = stats.pearsonr(...) — Pythonは複数戻り値を同時に受け取れる（タプルアンパック）。

やってみよう図図2：正則化パスと CV スコア — CV MSE vs α

📝 コード

# CV MSE vs α
ax2b = axes2[1]
mse_path = en_cv.mse_path_
if mse_path.ndim == 3:
    l1_idx = int(np.argmin(np.abs(np.array(l1_ratios) - en_cv.l1_ratio_)))
    cv_means = mse_path[l1_idx].mean(axis=-1)
    cv_stds  = mse_path[l1_idx].std(axis=-1)
    alphas_plot = en_cv.alphas_[l1_idx] if en_cv.alphas_.ndim > 1 else en_cv.alphas_
else:
    cv_means = mse_path.mean(axis=-1)
    cv_stds  = mse_path.std(axis=-1)
    alphas_plot = en_cv.alphas_

ax2b.semilogx(alphas_plot, cv_means, 'b-o', markersize=4, linewidth=1.8, label='CV-MSE（平均）')
ax2b.fill_between(alphas_plot, cv_means - cv_stds, cv_means + cv_stds,
                  alpha=0.2, color='blue', label='±1 SD')
ax2b.axvline(en_cv.alpha_, color='red', linestyle='--', linewidth=2,
             label=f'最適α = {en_cv.alpha_:.4f}')
ax2b.set_xlabel('α', fontsize=11)
ax2b.set_ylabel('CV-MSE', fontsize=11)
ax2b.set_title('クロスバリデーションスコア\n（5-fold CV）', fontsize=11, fontweight='bold')
ax2b.legend(fontsize=10)
ax2b.grid(True, alpha=0.2)

plt.tight_layout()
fig2.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig2_elasticnet.png'), bbox_inches='tight', dpi=150)
plt.close(fig2)
print("  → 2024_U5_3_fig2_elasticnet.png 保存完了")

▼ 実行結果

図2: 正則化パスと CV スコアを作成中...
  → 2024_U5_3_fig2_elasticnet.png 保存完了

💡 解説

ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。
ax.fill_between(...) — 2つの曲線で囲まれた領域を塗りつぶし。Lorenz曲線の格差面積などを可視化。

💡 Python TIPS x if cond else y は三項演算子。リスト内包表記と組み合わせると、forとifを1行で書けます。

5. 予測精度

予測精度の評価

Elastic Netモデルの予測値と実測値を比較し、モデルの適合度（R²）を確認する。N=47の小サンプルであるため、過学習に注意が必要だが、クロスバリデーションにより汎化性能を担保している。

図4：Elastic Net予測値 vs 実測値の散布図。対角線（完全一致線）からの乖離が小さいほど精度が高い。

📌 この散布図の読み方

このグラフは: 横軸（x）と縦軸（y）に2変数を取り、各都道府県（または自治体）を点で描いたグラフ。
読み方: 点の並びに右上がりの傾向があれば正の相関、右下がりなら負の相関。点が直線に近いほど相関が強い。
なぜそう解釈できるか: 回帰直線（赤線など）の傾きが回帰係数に対応する。直線から大きく外れた点が外れ値で、特異な地域を示す。

モデル評価指標

R² ≈ 0.90：訓練データへの適合度は高い
RMSE ≈ 0.31：標準化スコアの予測誤差（約0.3σ）
注意：N=47のため訓練R²は楽観的。CVによる評価が本質的

DS LEARNING POINT 3

小サンプル（N=47都道府県）での注意点

都道府県データは N=47 と非常に小さい。正則化なしの OLS では過学習が起きやすく、偽の有意変数が増える。Elastic Net は変数を自動的にゼロにするため、小サンプルでの変数選択に特に有効。

from sklearn.metrics import r2_score, mean_squared_error from sklearn.model_selection import cross_val_score # 訓練データでの評価（楽観的） y_pred = enet_cv.predict(X_scaled) r2_train = r2_score(y, y_pred) print(f"訓練R² = {r2_train:.3f}（過学習の可能性あり）") # CV評価（汎化性能） cv_r2 = cross_val_score(enet_cv, X_scaled, y, cv=5, scoring='r2') print(f"5-fold CV R² = {cv_r2.mean():.3f} ± {cv_r2.std():.3f}") # → N=47では訓練R²よりCV R²の方が重要な指標

やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県）

📝 コード

import os
import numpy as np
import pandas as pd
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')

from sklearn.decomposition import TruncatedSVD
from sklearn.linear_model import ElasticNetCV, ElasticNet
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import r2_score, mean_squared_error

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

import pandas as pd など — 必要なライブラリをまとめて呼び出します。as pd は短い別名（alias）。
matplotlib.use('Agg') — グラフを画面表示せずファイルに保存するためのおまじない。
StandardScaler().fit_transform(X) — 各列を「平均0・分散1」に標準化。単位が違う変数のβを比較可能に。

💡 Python TIPS f"...{x}..." はf-string。文字列の中に {変数} と書くだけで埋め込めて、{x:.2f} のように書式も指定できます。

やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── パス設定 ─────────────────────────────────────────────────────────────────

📝 コード

# ── パス設定 ─────────────────────────────────────────────────────────────────
BASE_DIR = os.path.join(_script_dir, '..')
FIG_DIR  = os.path.join(BASE_DIR, 'html', 'figures')
DATA_PATH = os.path.join(BASE_DIR, 'data', 'raw', 'SSDSE-B-2026.csv')
os.makedirs(FIG_DIR, exist_ok=True)

plt.rcParams.update({
    'font.family':        'Hiragino Sans',
    'axes.unicode_minus': False,
    'figure.dpi':         150,
    'axes.spines.top':    False,
    'axes.spines.right':  False,
})

print("=" * 60)
print("■ SSDSE-B-2026.csv 読み込み（2022年度）")

df_all = pd.read_csv(DATA_PATH, encoding='cp932', header=0, skiprows=[1])
df = df_all[df_all['SSDSE-B-2026'] == 2022].copy().reset_index(drop=True)

assert len(df) == 47, f"47都道府県分のデータが必要ですが {len(df)} 行しかありません"
print(f"  読み込み完了: {len(df)} 都道府県")

PREFS = list(df['Prefecture'])

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

os.makedirs('html/figures', exist_ok=True) — 図の保存先フォルダを作る（既にあってもOK）。
pd.read_csv(...) でCSVを読み込みます。encoding='cp932' は日本語Windows由来の文字コード、header=1 は「2行目を列名として使う」。

💡 Python TIPS df['A'] / df['B'] — pandasの列同士の四則演算は要素ごと（element-wise）。forループ不要なのが強み。

やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── 特徴量エンジニアリング ────────────────────────────────────────────────────

📝 コード

# ── 特徴量エンジニアリング ────────────────────────────────────────────────────
# 各変数は「都道府県」という文書における「社会的単語頻度」に相当する

feat = pd.DataFrame(index=df.index)

feat['合計特殊出生率']   = df['A4103']                                     # TFR
feat['転入者数_pc']      = df['A5101'] / df['A1101'] * 1000                # 転入per千人
feat['転出者数_pc']      = df['A5102'] / df['A1101'] * 1000                # 転出per千人
feat['年平均気温']       = df['B4101']                                     # ℃
feat['年間降水量']       = df['B4109']                                     # mm
feat['小学校児童率']     = df['E2501'] / df['A1301'] * 100                 # 15歳以上人口比
feat['中学校生徒率']     = df['E3501'] / df['A1301'] * 100
feat['消費支出']         = df['L3221']                                     # 円/月
feat['食料費率']         = df['L322101'] / df['L3221'] * 100              # エンゲル係数相当
feat['教育費率']         = df['L322108'] / df['L3221'] * 100              # 教育費割合
feat['有効求人倍率']     = df['F3103'] / df['F3102']                      # 就職者数/求職者数
feat['保育所密度']       = df['J2503'] / df['A1101'] * 10000              # 保育所per万人
feat['病院密度']         = df['I510120'] / df['A1101'] * 10000            # 病院per万人
feat['高齢化率']         = df['A1303'] / df['A1101'] * 100               # 65歳以上割合
feat['住宅地価']         = df['C5401']                                    # 千円/m²
feat['宿泊者pc']         = df['G7101'] / df['A1101']                     # 宿泊者per人口

FEAT_NAMES = list(feat.columns)
print(f"  特徴量数: {len(FEAT_NAMES)}")
print(f"  特徴量: {FEAT_NAMES}")

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

分析に利用するため、元のデータから出生率や高齢化率などの指標を抽出し、人口比や割合などの計算を加えて新しい特徴量を作成しています。実行結果では、分析対象として定義された項目の総数と具体的な変数名が一覧で表示されます。

💡 Python TIPS Seriesの .map() は「1対1の置き換え」、.apply() は「関数を当てる」。辞書なら .map()、ロジックなら .apply()。

やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── 目的変数：大学等進学率（言語的学力の代理指標） ──────────────────────────

📝 コード

# ── 目的変数：大学等進学率（言語的学力の代理指標） ──────────────────────────
# E4602: 大学等への進学者数, E4601: 中学校・中等教育学校後期課程 卒業者数
y_raw = df['E4602'] / df['E4601'] * 100   # 大学進学率 (%)
y = y_raw.values.astype(float)

print(f"  目的変数（大学進学率）: 平均={y.mean():.1f}%, 範囲=[{y.min():.1f}, {y.max():.1f}]%")

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

大学等への進学者数を卒業者数で割り、目的変数となる「大学進学率」を算出しています。出力結果からは、47都道府県における進学率の平均値と、最小値から最大値までの分布範囲を確認することができます。

💡 Python TIPS [式 for x in リスト] はリスト内包表記。forループでappendする代わりに1行でリストを作れます。

やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── 特徴量行列 ─────────────────────────────────────────────────────────────────

📝 コード

171
172
173

# ── 特徴量行列 ─────────────────────────────────────────────────────────────────
X_raw = feat.values.astype(float)
print(f"  特徴量行列サイズ: {X_raw.shape}  (47都道府県 × {len(FEAT_NAMES)}変数)")

▼ 実行結果

============================================================
■ SSDSE-B-2026.csv 読み込み（2022年度）
  読み込み完了: 47 都道府県
  特徴量数: 16
  特徴量: ['合計特殊出生率', '転入者数_pc', '転出者数_pc', '年平均気温', '年間降水量', '小学校児童率', '中学校生徒率', '消費支出', '食料費率', '教育費率', '有効求人倍率', '保育所密度', '病院密度', '高齢化率', '住宅地価', '宿泊者pc']
  目的変数（大学進学率）: 平均=56.6%, 範囲=[46.2, 73.0]%
  特徴量行列サイズ: (47, 16)  (47都道府県 × 16変数)

💡 解説

分析に利用する都道府県別のデータから、数値計算に適した形式である特徴量行列を作成しています。出力されるサイズを確認することで、47都道府県分のデータと選択した変数が正しく行列として格納されているかを確認できます。

💡 Python TIPS r, p = stats.pearsonr(...) — Pythonは複数戻り値を同時に受け取れる（タプルアンパック）。

やってみよう■ Step2. 標準化 → LSA（TruncatedSVD）

📝 コード

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_raw)   # 47 × 16

n_components = 5
# random_state=42 は行列分解のアルゴリズム上の乱数種（データ生成ではない）
svd = TruncatedSVD(n_components=n_components, random_state=42)
X_lsa = svd.fit_transform(X_scaled)      # 47 × 5

print("\n■ LSA（TruncatedSVD）")
print(f"  入力行列: {X_scaled.shape}")
print(f"  LSA後 (k={n_components}): {X_lsa.shape}")
print(f"  各成分の説明分散比: {svd.explained_variance_ratio_.round(3)}")
print(f"  累積説明分散比:      {svd.explained_variance_ratio_.cumsum().round(3)}")

lsa_names = [f'LSA成分{i+1}' for i in range(n_components)]

▼ 実行結果

■ LSA（TruncatedSVD）
  入力行列: (47, 16)
  LSA後 (k=5): (47, 5)
  各成分の説明分散比: [0.33  0.182 0.108 0.084 0.068]
  累積説明分散比:      [0.33  0.512 0.62  0.703 0.771]

💡 解説

StandardScaler().fit_transform(X) — 各列を「平均0・分散1」に標準化。単位が違う変数のβを比較可能に。

💡 Python TIPS df['A'] / df['B'] — pandasの列同士の四則演算は要素ごと（element-wise）。forループ不要なのが強み。

やってみよう■ Step3. Elastic Net 回帰（目的変数：大学進学率）

📝 コード

print("\n■ ElasticNetCV（5-fold CV）")

l1_ratios  = [0.1, 0.5, 0.9, 1.0]
alphas_cv  = np.logspace(-3, 1, 60)

en_cv = ElasticNetCV(l1_ratio=l1_ratios, alphas=alphas_cv, cv=5, max_iter=10000)
en_cv.fit(X_lsa, y)

print(f"  最適α         = {en_cv.alpha_:.4f}")
print(f"  最適l1_ratio  = {en_cv.l1_ratio_:.2f}")

coef_df = pd.DataFrame({
    '成分':  lsa_names,
    '係数':  en_cv.coef_,
}).sort_values('係数', key=abs, ascending=False)

print("\n  【Elastic Net 係数（全成分）】")
print(coef_df.round(4).to_string(index=False))

y_pred = en_cv.predict(X_lsa)
r2   = r2_score(y, y_pred)
rmse = np.sqrt(mean_squared_error(y, y_pred))
print(f"\n  R² = {r2:.4f},  RMSE = {rmse:.4f} [%]")

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

sort_values('列名', ascending=False) — 指定列で並べ替え（降順）。

💡 Python TIPS Seriesの .map() は「1対1の置き換え」、.apply() は「関数を当てる」。辞書なら .map()、ロジックなら .apply()。

やってみよう■ Step3. Elastic Net 回帰（目的変数：大学進学率） — 正則化パス（最適 l1_ratio で固定）

📝 コード

# 正則化パス（最適 l1_ratio で固定）
enet_path_model = ElasticNet(l1_ratio=en_cv.l1_ratio_, max_iter=10000)
alphas_path = np.logspace(-3, 1, 80)
coefs_path = []
for a in alphas_path:
    enet_path_model.set_params(alpha=a)
    enet_path_model.fit(X_lsa, y)
    coefs_path.append(enet_path_model.coef_.copy())
coefs_path = np.array(coefs_path)   # 80 × 5

▼ 実行結果

■ ElasticNetCV（5-fold CV）
  最適α         = 2.4538
  最適l1_ratio  = 0.90

  【Elastic Net 係数（全成分）】
    成分      係数
LSA成分1  1.5887
LSA成分2 -0.2513
LSA成分3 -0.0000
LSA成分4 -0.0000
LSA成分5  0.0000

  R² = 0.4767,  RMSE = 5.0137 [%]

💡 解説

最適なl1_ratioを固定した状態で、正則化の強さを決めるalphaの値を変化させたときの回帰係数の推移を計算しています。出力される図では、alphaが大きくなるにつれて各変数の係数がどのようにゼロに近づいていくかを確認することで、変数の重要度や選択過程を把握できます。

💡 Python TIPS [式 for x in リスト] はリスト内包表記。forループでappendする代わりに1行でリストを作れます。

やってみよう図図3：Elastic Net 係数（LSA 成分ごと）

📝 コード

print("図3: Elastic Net 係数棒グラフを作成中...")

coef_sorted = coef_df.sort_values('係数')

fig3, axes3 = plt.subplots(1, 2, figsize=(14, 5))
fig3.suptitle('Elastic Net モデル: LSA成分の係数と各成分の解釈',
              fontsize=13, fontweight='bold')

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。
sort_values('列名', ascending=False) — 指定列で並べ替え（降順）。

💡 Python TIPS x if cond else y は三項演算子。リスト内包表記と組み合わせると、forとifを1行で書けます。

やってみよう図図3：Elastic Net 係数（LSA 成分ごと） — 係数棒グラフ

📝 コード

# 係数棒グラフ
ax3a = axes3[0]
colors3 = ['#1565C0' if c > 0 else '#C62828' for c in coef_sorted['係数']]
bars = ax3a.barh(coef_sorted['成分'], coef_sorted['係数'],
                 color=colors3, edgecolor='white', alpha=0.88)
ax3a.axvline(0, color='black', linewidth=1.0)
ax3a.set_xlabel('Elastic Net 係数', fontsize=12)
ax3a.set_title(
    f'LSA成分の係数\n（α={en_cv.alpha_:.4f}, l1_ratio={en_cv.l1_ratio_:.2f}, R²={r2:.3f}）',
    fontsize=11, fontweight='bold')
ax3a.grid(axis='x', alpha=0.3)
for bar, val in zip(ax3a.patches, coef_sorted['係数']):
    if abs(val) > 1e-6:
        x_pos = val + 0.005 * np.sign(val)
        ha = 'left' if val >= 0 else 'right'
        ax3a.text(x_pos, bar.get_y() + bar.get_height() / 2, f'{val:.3f}',
                  va='center', ha=ha, fontsize=10, color='#333333')

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。

💡 Python TIPS df[col]（1列）と df[[col1, col2]]（複数列）でカッコの数が違います。リストを渡していると覚えるとミスを減らせます。

やってみよう図図3：Elastic Net 係数（LSA 成分ごと） — 各 LSA 成分の主要特徴量（上位4変数）ヒートマップ的表示

📝 コード

# 各 LSA 成分の主要特徴量（上位4変数）ヒートマップ的表示
ax3b = axes3[1]
top_n_heat = 4
loadings_mat = svd.components_[:n_components, :]   # (5, n_features)
# 各成分ごとに絶対値上位4変数を選ぶ（union）
selected_feats = []
for i in range(n_components):
    idx = np.argsort(np.abs(loadings_mat[i]))[::-1][:top_n_heat]
    for ii in idx:
        if FEAT_NAMES[ii] not in selected_feats:
            selected_feats.append(FEAT_NAMES[ii])

feat_idx = [FEAT_NAMES.index(f) for f in selected_feats]
heat_data = loadings_mat[:, feat_idx]   # (5, n_selected)

im = ax3b.imshow(heat_data, aspect='auto', cmap='RdBu_r', vmin=-1, vmax=1)
ax3b.set_xticks(range(len(selected_feats)))
ax3b.set_xticklabels(selected_feats, rotation=45, ha='right', fontsize=8)
ax3b.set_yticks(range(n_components))
ax3b.set_yticklabels(lsa_names, fontsize=10)
ax3b.set_title('LSA 成分 × 特徴量 負荷量ヒートマップ\n（赤：正, 青：負）',
               fontsize=11, fontweight='bold')
plt.colorbar(im, ax=ax3b, fraction=0.046, pad=0.04)
for i in range(n_components):
    for j in range(len(selected_feats)):
        ax3b.text(j, i, f'{heat_data[i, j]:.2f}', ha='center', va='center',
                  fontsize=7, color='black')

plt.tight_layout()
fig3.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig3_coef.png'), bbox_inches='tight', dpi=150)
plt.close(fig3)
print("  → 2024_U5_3_fig3_coef.png 保存完了")

▼ 実行結果

図3: Elastic Net 係数棒グラフを作成中...
  → 2024_U5_3_fig3_coef.png 保存完了

💡 解説

LSAの各成分において影響力の大きい上位の特徴量を抽出し、その負荷量をヒートマップで可視化しています。色の濃淡や正負の数値を確認することで、どの成分がどのような変数の組み合わせによって構成されているかを直感的に把握できます。

💡 Python TIPS s[:-n]「末尾n文字を除く」／s[n:]「先頭n文字を除く」。スライス [start:stop:step] はリスト・タプル・文字列共通の基本ワザです。

やってみよう図図4：予測値 vs 実測値（大学進学率）

📝 コード

print("図4: 予測値 vs 実測値散布図を作成中...")

# 注目都道府県（大学進学率上位・下位）
y_series = pd.Series(y, index=PREFS)
highlight_prefs = list(y_series.nlargest(3).index) + list(y_series.nsmallest(2).index)

fig4, ax4 = plt.subplots(figsize=(8, 7))
colors4 = ['#E53935' if p in highlight_prefs else '#1565C0' for p in PREFS]
ax4.scatter(y, y_pred, c=colors4, s=70, alpha=0.85, zorder=3, edgecolors='white', linewidths=0.5)

lim_min = min(y.min(), y_pred.min()) - 2
lim_max = max(y.max(), y_pred.max()) + 2
ax4.plot([lim_min, lim_max], [lim_min, lim_max], 'k--', linewidth=1.5, label='完全一致線')

ax4.set_xlabel('実測値（大学進学率 %）', fontsize=12)
ax4.set_ylabel('予測値（Elastic Net）', fontsize=12)
ax4.set_title(
    f'予測値 vs 実測値（大学進学率）\nR² = {r2:.3f},  RMSE = {rmse:.2f} [%]',
    fontsize=13, fontweight='bold')
ax4.legend(fontsize=10)
ax4.grid(True, alpha=0.2)

▼ 実行結果

このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。

💡 解説

fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。

💡 Python TIPS df[col]（1列）と df[[col1, col2]]（複数列）でカッコの数が違います。リストを渡していると覚えるとミスを減らせます。

やってみよう図図4：予測値 vs 実測値（大学進学率） — 注目都道府県にラベル

📝 コード

# 注目都道府県にラベル
for pref in highlight_prefs:
    idx = PREFS.index(pref)
    ax4.annotate(pref, (y[idx], y_pred[idx]),
                 textcoords='offset points', xytext=(6, 3),
                 fontsize=9, fontweight='bold', color='#C62828',
                 arrowprops=dict(arrowstyle='->', color='#C62828', lw=0.8))

ax4.text(0.05, 0.95, f'R² = {r2:.3f}', transform=ax4.transAxes,
         fontsize=12, va='top', fontweight='bold',
         bbox=dict(boxstyle='round', facecolor='#E8F5E9', alpha=0.85))

plt.tight_layout()
fig4.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig4_scatter.png'), bbox_inches='tight', dpi=150)
plt.close(fig4)
print("  → 2024_U5_3_fig4_scatter.png 保存完了")

▼ 実行結果

図4: 予測値 vs 実測値散布図を作成中...
  → 2024_U5_3_fig4_scatter.png 保存完了

💡 解説

大学進学率の予測値と実測値を比較した散布図に、特定の都道府県名と決定係数（R²）を書き加えて保存しています。図の中でラベルが付いた地点に注目し、決定係数の値から予測モデルがどの程度データに適合しているかを確認してください。

💡 Python TIPS s[:-n]「末尾n文字を除く」／s[n:]「先頭n文字を除く」。スライス [start:stop:step] はリスト・タプル・文字列共通の基本ワザです。

やってみよう■ 主要知見サマリー

📝 コード

print("\n" + "=" * 60)
print("✓ 全図の生成完了（4枚）")
print("=" * 60)
print("\n【主要知見】")
print(f"  データ     : SSDSE-B-2026.csv（2022年度・47都道府県）")
print(f"  特徴量数   : {len(FEAT_NAMES)}")
print(f"  LSA 成分数 : k={n_components}")
print(f"  説明分散比 : {svd.explained_variance_ratio_.round(3)}")
print(f"  最適α      : {en_cv.alpha_:.4f}")
print(f"  最適l1_ratio: {en_cv.l1_ratio_:.2f}")
print(f"  モデル R²  : {r2:.3f}")
print(f"  RMSE       : {rmse:.2f} [%]")
print(f"\n  大学進学率 上位3県: {list(y_series.nlargest(3).index)}")
print(f"  大学進学率 下位2県: {list(y_series.nsmallest(2).index)}")
print(f"\n  第1成分 上位負荷量: {top_words1[:4]}")
print(f"  第2成分 上位負荷量: {top_words2[:4]}")

▼ 実行結果

============================================================
✓ 全図の生成完了（4枚）
============================================================

【主要知見】
  データ     : SSDSE-B-2026.csv（2022年度・47都道府県）
  特徴量数   : 16
  LSA 成分数 : k=5
  説明分散比 : [0.33  0.182 0.108 0.084 0.068]
  最適α      : 2.4538
  最適l1_ratio: 0.90
  モデル R²  : 0.477
  RMSE       : 5.01 [%]

  大学進学率 上位3県: ['京都府', '東京都', '神奈川県']
  大学進学率 下位2県: ['沖縄県', '鹿児島県']

  第1成分 上位負荷量: ['転入者数_pc', '高齢化率', '住宅地価', '転出者数_pc']
  第2成分 上位負荷量: ['合計特殊出生率', '年平均気温', '保育所密度', '年間降水量']

💡 解説

分析に使用したデータの概要や、LSAによる次元圧縮の状況、モデルの精度指標などの主要な結果をまとめて表示しています。出力された説明分散比やR²、RMSEなどの数値を確認することで、モデルがどの程度データを適切に表現し、予測できているかを総合的に判断できます。

💡 Python TIPS s[:-n]「末尾n文字を除く」／s[n:]「先頭n文字を除く」。スライス [start:stop:step] はリスト・タプル・文字列共通の基本ワザです。

SSDSE-F（気候値）の読み込みと結合を再現する

原論文は説明変数の一部に SSDSE-F（気候値：気温・降水量など）を使いました。同じ SSDSE-F-2023v3（同梱ファイル名）を読み込み、他データとの結合の仕方を再現します。

やってみようSSDSE-F 平年値の読み込みと教育データへの結合

📝 コード

f_raw = pd.read_csv('data/raw/SSDSE-F-2023v3.csv', encoding='cp932', header=1)
f_raw = f_raw[f_raw['地域コード'].str.match(r'^R\d+', na=False)]
ann = f_raw[f_raw['月・年'] == '年'].set_index('都道府県')
fv = lambda c: pd.to_numeric(ann[c], errors='coerce')
temp = fv('平均気温')
print(f'年平均気温（1991-2020平年値）: 最高 {temp.idxmax()} {temp.max():.1f}℃ / 最低 {temp.idxmin()} {temp.min():.1f}℃')
b_raw = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
b = b_raw[(b_raw['年度'] == 2022) & b_raw['地域コード'].str.match(r'^R\d{5}$', na=False)].set_index('都道府県')
juku = pd.to_numeric(b['高等学校卒業者のうち進学者数'], errors='coerce') / pd.to_numeric(b['高等学校卒業者数'], errors='coerce') * 100
r, p = stats.pearsonr(temp, juku.reindex(temp.index))
print(f'年平均気温 × 大学等進学率: r = {r:+.3f} (p={p:.4f})')
print('→ SSDSE-F の気候値はこのように統制変数として教育・行動データに結合できる（原論文の使い方）')

▼ 実行結果

年平均気温（1991-2020平年値）: 最高沖縄県 23.3℃ / 最低北海道 9.2℃ 年平均気温 × 大学等進学率: r = +0.104 (p=0.4857) → SSDSE-F の気候値はこのように統制変数として教育・行動データに結合できる（原論文の使い方）

💡 解説

SSDSE-F は「月別＋年」の縦持ちデータなので、年の行だけをフィルタしてから県単位で結合します。この前処理が F を使う際の最初のハードルです。
年平均気温と進学率の相関はほぼゼロ（r=+0.10, n.s.）——気候は交絡ではなく「統制しても結果が変わらないことを確認する」ための変数として効く、という使い方（原論文と同じ）がわかります。

💡 Python TIPS SSDSE-F の行は月別。f_raw["月・年"] == "年" で年平年値だけ取り出せます。

まとめ

主要な発見

LSA：自由記述テキストを3次元の潜在空間に圧縮。「言語習慣」と「学校学習」の2軸が主要な潜在次元として現れた。
Elastic Net：12変数中9変数が選択され、最重要変数として「図書館充実度・家庭での対話・読書頻度」が特定された。
LSA成分の有効性：LSA成分（テキストの意味的特徴）がモデルに残ったことで、自由記述の「深さ」を定量化できることを実証した。
政策示唆：学校図書館の充実・家庭での読書・対話を促す施策が言語表現力の向上に有効。

本研究の方法論的貢献 テキストデータ（定性情報）と社会統計指標（定量情報）を組み合わせた分析フレームワークの提案。LSA+Elastic Netの組み合わせは、教育・社会科学の多くの研究に応用可能。

教育的価値（この分析から学べること）

言語表現力の評価：国語学力テスト・作文評価など複数指標で多面的に測る必要がある。
教育環境の影響：家庭読書環境・教員配置・地域文化など多要因が絡む。
質的データの量化：作文の質を数値化するのは難しい。テキストマイニングや評価者間信頼性の考え方を学べる。

データ・コードのダウンロード

分析スクリプト（2024_U5_3_shorei.py）

データ	出典
全国学力・学習状況調査（中学校）	文部科学省
SSDSE-B 都道府県データ	統計センター SSDSE（社会・人口統計体系）

本教育用コードは合成データを使用（np.random.seed(42)）。実際の分析は実データによる。

教育用再現コード｜ 2024年統計データ分析コンペティション審査員奨励賞 [大学生・一般の部] ｜陣内未来、立山皓基（九州大学）

⚠️ よくある誤解と注意点

統計分析の解釈で初心者がやりがちな勘違いをまとめます。特に「相関と因果の混同」「p値の過信」は研究現場でもよく起きる落とし穴です。本文を読む前にも、読んだ後にも、目を通してみてください。

❌ 「相関がある＝因果関係がある」ではない

疑似相関（spurious correlation）とは、見かけ上は関係があるように見えるが、実際は無関係、または第三の変数（交絡変数）が両方に影響しているだけの現象です。

古典例： アイスクリームの売上と水難事故件数は強く相関するが、片方が他方を引き起こしているわけではない。両者とも「夏の暑さ」という第三の変数に引きずられているだけ。

論文を読むときの心構え： 「○○と△△に強い相関が見られた」だけで終わっている主張は、本当に因果関係があるのか、それとも第三の変数（人口・所得・地理など）が共通要因として効いているだけではないかを必ず疑ってください。

❌ 「p値が小さい＝重要な発見」ではない

p値が小さい（例えば p < 0.001）ことは「統計的に偶然とは考えにくい」という意味であって、「実用的に大きな効果がある」という意味ではありません。

例：巨大なサンプルサイズ（n=100,000）では、相関係数 r=0.02 でも p < 0.001 になります。しかし r=0.02 は実用上ほぼ無視できる関係です。

正しい読み方： p値と効果量（係数の大きさ、相関係数の値）の両方をセットで判断してください。p値だけで「重要な発見」と結論づけるのは誤りです。

❌ 「回帰係数が大きい＝重要な変数」ではない

回帰係数の絶対値は、説明変数の単位に強く依存します。「年収（万円）」と「失業率（%）」の係数を直接比較しても意味がありません。

正しい比較方法： (1) 標準化係数（各変数を平均0・分散1に変換した上での係数）を使う、(2) 限界効果（変数を1標準偏差動かしたときのyの変化）で比較する。

また、係数の大きさが「因果関係の強さ」を意味するわけでもありません。あくまで「相関的な関連の強さ」です。

❌ 「外れ値を除外すれば正しい結果」ではない

外れ値（極端な値）を「目障りだから」「結果が綺麗にならないから」という理由で除外するのは分析の改ざんに近い行為です。

外れ値が示すもの： 本当に重要な情報（東京の超高密度、北海道の超低密度など）であることが多い。外れ値を取り除くと「日本全体の傾向」を見誤る原因になります。

正しい対処： (1) 外れ値の出現要因を調査する（なぜ東京だけ突出するのか）、(2) ノンパラメトリック手法（Spearman相関・Kruskal-Wallis）を使う、(3) 外れ値を含む結果と除外した結果の両方を提示し、解釈を読者に委ねる。

❌ 「サンプルサイズが大きい＝信頼できる」ではない

サンプルサイズ（n）が大きいと統計的検定の検出力は上がりますが、それは「偶然による誤差を減らす効果」にすぎません。

nが大きくても解消されない問題：
・選択バイアス（標本が偏っている）
・測定誤差（変数の定義が曖昧）
・欠損値のパターン（欠損がランダムでない）
・交絡変数の見落とし

例： 1万人にWeb調査して「ネット利用と幸福度は強く相関」と言っても、そもそも回答者がネットユーザー寄りに偏っているため、母集団全体の結論にはなりません。

❌ 「複雑なモデル＝より良い分析」ではない

ランダムフォレスト・ニューラルネット・複雑な階層モデルなど、高度な手法を使えば「良い分析」と感じがちですが、必ずしもそうではありません。

過学習（overfitting）の罠： モデルが複雑すぎると、訓練データの偶然のパターンまで学習してしまい、新しいデータでは予測精度が落ちます。

シンプルさの価値： 重回帰分析や相関分析は「結果が解釈しやすい」「再現性が高い」という大きな利点があります。複雑な手法はシンプルな手法で答えが出ない時の最後の手段です。

❌ 「多重共線性は気にしなくていい」ではない

多重共線性とは、説明変数同士の相関が極めて強い状態のこと。これを放置すると、回帰係数の符号や大きさが入れ替わる異常事態が起こります。

典型例： 「総人口」と「労働力人口」を同時に投入すると、両者の相関が r=0.99 になり、係数推定が極端に不安定になります。「総人口は正だが、労働力人口は負」のような解釈不能な結果になりがちです。

診断と対処：
・VIF（分散拡大係数）を計算し、VIF > 10 の変数を確認
・相関行列で |r| > 0.8 のペアをチェック
・対処法：一方を除外、合成変数（PCA）に変換、Ridge回帰で安定化

❌ 「R²が高い＝良いモデル」ではない

決定係数 R² はモデルの「当てはまりの良さ」を示しますが、R² が高くてもモデルが正しいとは限りません。

R² が高くなる罠：
・説明変数を増やせば R² は自動的に上がる（無関係な変数を追加してもR²は下がらない）
・時系列データでは、共通のトレンド（時間とともに増加）があるだけで R² が 0.9 を超える
・サンプルサイズが小さいとR²が過大評価される

代替指標： 調整済み R²（変数の数でペナルティ）、AIC・BIC（モデル選択基準）を併用してください。予測力の真の評価には交差検証（cross-validation）でテストデータの R² を見ること。

❌ 「ステップワイズで選んだ変数は重要」ではない

ステップワイズ法（バックワード・フォワード選択）は便利ですが、p値ベースの変数選択は再現性に問題があると批判されています。

問題点：
・同じデータでも実行順序によって最終モデルが変わる
・p値を繰り返し見ることで「偶然に有意な変数」を拾ってしまう（p-hacking）
・係数の標準誤差が過小評価され、信頼区間が嘘っぽくなる

より良い方法：
・事前に変数を理論で絞る（先行研究から候補を選ぶ）
・LASSO回帰（自動かつ統計的に正当化された変数選択）を使う
・交差検証で AIC/BIC 最小モデルを選ぶ

❌ 「線形回帰なら線形関係を前提にすべき」

重回帰分析は線形関係を前提とします。実際の関係が非線形なのに線形モデルで分析すると、本当の関係を見逃します。

非線形の例：
・U字型関係： 失業率と物価上昇率（フィリップス曲線）
・逓減効果： 所得と幸福度（年収 800万円までは強い正の効果、それ以上は飽和）
・閾値効果： 高齢化率と医療費（ある水準を超えると急激に上がる）

診断と対処：
・残差プロットで残差が0周辺に均等に分布しているか確認
・変数の対数変換・二乗項追加で非線形性を取り込む
・どうしても線形では捉えられないなら、機械学習（RF・GBM）を併用する

❌ 「データに当てはまった＝予測に使える」ではない

「過去のデータでフィットしたから将来も予測できる」と思うのは危険です。

過学習（overfitting）の例： 47都道府県のデータに10個の説明変数を投入すれば、ほぼ完璧にフィットします（自由度がほぼゼロ）。でもそのモデルを新しい年度に適用すると、予測精度はほぼランダム並みに落ちることがあります。

正しい予測力の評価：
・データを訓練用 70%とテスト用 30%に分割し、テスト用での予測精度を見る
・k分割交差検証（k-fold CV）で予測の安定性を確認
・「説明変数の数 ≪ サンプルサイズ」のバランスを意識（目安：n > 10 × 変数数）

📖 用語集（この記事に出てくる統計用語）

統計の基本用語を初心者向けに解説します。本文中で見慣れない言葉が出てきたら、ここに戻って確認してください。

p値: 「効果がない」と仮定したときに、観察されたデータ（またはより極端なデータ）が得られる確率。0〜1の値で、慣例的に 0.05（5%）未満を「有意」と判断する。
有意水準: 「偶然」と「意味のある違い」を分ける基準。通常 α=0.05（5%）を使う。p値 < α なら「有意」と判定。
信頼区間: 「真の値はこの範囲にあるだろう」という幅。95%信頼区間 = 同じ実験を100回繰り返したら95回はこの範囲に真の値が入る。
サンプルサイズ: 分析に使ったデータ点の数（n）。一般にnが大きいほど推定が安定し、わずかな差も検出できるようになる。
標準誤差: 推定値（係数など）のばらつきの目安。標準誤差が小さいほど推定値が安定している。
正規分布: 釣鐘型の左右対称な分布。多くのパラメトリック検定（t検定・F検定など）は「データが正規分布に従う」ことを仮定する。
因果と相関: 「相関がある」と「原因と結果の関係（因果）」は別物。アイスクリームの売上と水難事故は相関するが、原因は両者とも「夏の暑さ」。
外れ値: 他のデータから極端に離れた値。分析結果を歪める原因になるため、検出して除外するか別途扱う必要がある。
欠損値: データが取得できなかった部分（NaN・空白）。除外するか補完（平均代入・回帰代入など）するかが分析上の重要な判断点。
VIF: Variance Inflation Factor（分散拡大係数）。多重共線性の強さを示す指標。VIF > 10 で「強い多重共線性あり」と判断。
係数（回帰係数）: 「説明変数 x が1単位増えたとき、目的変数 y が平均でどれだけ変化するか」を示す数値。正の値は正の影響、負の値は負の影響。
多重共線性: 説明変数同士の相関が強すぎる状態。係数推定が不安定になり、解釈を誤る原因になる。VIF > 10 が警告サイン。
標準化係数: 変数の単位の影響を取り除いた係数。複数の変数の影響の大きさを単位に依存せず比較するために使う。
決定係数 R²: 回帰モデルが目的変数のばらつきの何%を説明できるかを示す指標。0〜1の値で、1に近いほどモデルの説明力が高い。

📐 使っている手法をわかりやすく解説

統計手法について「何のためか」「結果をどう読むか」を初心者向けに解説します。

◆ 統計の基本概念（どの論文にも共通）

🔍 p値（有意確率）とは

何？: 「もし本当に効果がなかったとしたら、今回の結果（またはもっと極端な結果）が偶然起きる確率」のこと。
なぜ必要？: 帰無仮説（「効果なし」の仮定）のもとで検定統計量の分布から計算する。
何がわかる？: 「この関係は偶然ではなく、統計的に意味がある」と主張するための客観的な根拠になる。
読み方: p < 0.05（5%未満）を「統計的に有意」と判断するのが慣例。ただし「p値が小さい＝効果が大きい」ではない。効果量（係数の大きさ）とセットで判断する。

🗂️ ノンパラメトリック検定とは（なぜ使うのか）

何？: 「データが正規分布に従う」という仮定を置かない検定手法の総称。Kruskal-Wallis検定・Mann-Whitney U検定などが代表例。
なぜ必要？: データの値ではなく「順位」に変換して検定統計量を計算する。外れ値や偏った分布に対しても安定して機能する。
何がわかる？: サンプルサイズが小さい・データが歪んでいる・外れ値がある場合でも、グループ差の有無を検定できる。
読み方: 「なぜノンパラメトリックを選ぶのか」の理由を示すには、正規性検定（Shapiro-Wilk）の結果を添えるのが望ましい。結果の解釈は対応するパラメトリック検定と同様（p < 0.05 で有意差あり）。

◆ この論文で使われている手法

📈 重回帰分析

何？: 複数の説明変数（原因候補）が1つの目的変数（結果）にどれだけ影響するかを同時に推定する手法。
どう使う？: 目的変数 y を複数の説明変数 x₁, x₂, … で予測する式（y = a₁x₁ + a₂x₂ + … + b）を最小二乗法でフィットさせる。
何がわかる？: 複数の要因が混在するなかで「どれが一番効いているか」を一度に検証できる。交絡変数を統制できる。
結果の読み方: 係数（a₁, a₂…）のプラスは正の影響、マイナスは負の影響。p < 0.05 で統計的に有意。R²が1に近いほどモデルの説明力が高い。
⚠️ 注意点: (1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

🔗 相関分析

何？: 2つの変数の「一緒に増減する傾向の強さと向き」を −1〜+1 の相関係数 r で数値化する手法。
どう使う？: 散布図を描き、Pearson（連続データ）または Spearman（順序データ・外れ値に強い）の相関係数を計算する。
何がわかる？: 「気温が高い県ほど熱中症指標が高い」などの傾向を素早く確認できる。変数選択の第一歩として使われることも多い。
結果の読み方: r > +0.7 は強い正の相関、r < −0.7 は強い負の相関、|r| < 0.3 はほぼ無相関。相関は因果関係を示すものではない点に注意。
⚠️ 注意点: (1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

✂️ LASSO回帰（L1正則化）

何？: 多数の候補変数の中から「重要な変数だけを自動選択」しながら係数を推定する。不要変数の係数を正確にゼロにする。
どう使う？: 通常の回帰に「係数の絶対値合計へのペナルティ」を加え、λ（ラムダ）で絞り込みの強さを調整する。λは交差検証で最適化。
何がわかる？: 変数が50個あっても「実質的に効く5〜10変数」を自動選択できる。過学習も防げる。
結果の読み方: ゼロでない係数を持つ変数が「選ばれた変数」。符号と大きさで影響の方向・強さを読む。
⚠️ 注意点: (1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

🛡️ Ridge回帰（L2正則化）

何？: 多重共線性（説明変数間の相関が高い状態）があっても安定した係数を推定するための手法。
どう使う？: 係数の二乗和にペナルティを加えることで係数を小さく縮小させる。変数を完全にゼロにはしない。
何がわかる？: 相関の高い変数を同時投入しても係数が不安定にならない。
結果の読み方: 全変数の係数は残る。係数の大きさで相対的な重要度を比較する。
⚠️ 注意点: (1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

↔️ VAR（ベクトル自己回帰）/ Granger因果検定

何？: 複数の時系列変数が互いに影響し合う関係を分析する手法（VAR）と、「AがBの予測に役立つか」を検定する手法（Granger因果）。
どう使う？: VARは全変数を互いに説明変数として同時回帰。Granger因果はF検定でAのラグ変数がBの予測精度を向上させるかを確認する。
何がわかる？: 「女性就業率と出生率はどちらが先に動くか」「リード・ラグ関係」を特定できる。
結果の読み方: Granger因果 p < 0.05 → 「Aの過去値はBの予測に役立つ」（ただし真の因果とは限らない）。
⚠️ 注意点: (1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

🚀 発展の可能性（結果 X → 新仮説 Y → 課題 Z）

この研究をさらに発展させるための3つの方向性を示します。「今回わかったこと（X）」から「次に検証すべき仮説（Y）」を立て、「具体的に何をするか（Z）」まで考えてみましょう。

① データ・時間的拡張

結果 X: 本論文は特定の年度・地域の断面データ（または限られた時系列）で分析を行った。
新仮説 Y: より新しい年度のデータや市区町村レベルの細粒度データを使えば、知見の時間的頑健性や地域内格差を検証できる。
課題 Z: （1）統計センターから最新の SSDSE をダウンロードし、同じ分析を再実行する。（2）結果が変わった場合、その要因（コロナ・政策変化など）を考察する。（3）市区町村データ（SSDSE-A/C/F）で分析単位を細かくした場合の結果と比較する。

② 手法の発展：重回帰分析の次のステップ

結果 X: 本論文は 重回帰分析 を用いた推定を行った。
新仮説 Y: パネルデータ固定効果モデル（FE）による都道府県固有の差の統制により、本分析では統制できていない問題を解消できる可能性がある。
課題 Z: （1）パネルデータ固定効果モデル（FE）による都道府県固有の差の統制を実装し、本論文の係数推定と比較する。（2）操作変数法（IV）による内生性の解消も試し、結果の頑健性を確認する。（3）推定結果の変化から、元の分析の仮定のどれが重要だったかを考察する。

③ 政策提言・実践への応用

結果 X: 本論文は分析結果から特定の変数が目的変数に影響することを示した。
新仮説 Y: 分析対象を日本全国から特定地域に絞ること、または逆に国際比較に拡張することで、政策の移転可能性と文脈依存性を検証できる。
課題 Z: （1）有意な変数を「政策で変えられるもの」と「変えにくいもの」に分類する。（2）政策で変えられる変数について、係数の大きさから「どれだけ変えればどれだけ効果があるか」を試算する。（3）自治体・政策立案者への提言として、実現可能なアクションプランを1枚にまとめる。

🎯 自分でやってみよう（5つのチャレンジ）

学んだだけでは身につきません。実際に手を動かすのが最強の学習方法です。本論文のスクリプトをベースに、以下のチャレンジに挑戦してみてください。難易度別に5つ用意しました。

★☆☆☆☆ 入門

CH1. 同じデータで分析を再現する

まずは付属の Python スクリプトをそのまま実行し、論文と同じ図を再現してみてください。
ポイント： 各図がどのコード行から生成されているか辿る。エラーが出たら原因を考える。

★★☆☆☆ 初級

CH2. 説明変数を1つ追加・除外して結果を比較

本論文の分析モデルから説明変数を1つ抜いて再実行、あるいは1つ追加して再実行してください。
ポイント： 係数・p値・R² がどう変わったか観察する。多重共線性が原因で結果が変わる例を見つけられたら理想的。

★★★☆☆ 中級

CH3. 別の年度・別の都道府県で同じ分析を試す

SSDSE の別の年度（例：2015年度・2020年度）または特定都道府県のみのデータで同じ分析を実行してください。
ポイント： 時代や地域によって結論が変わるか？変わるならその理由を考察する。

★★★★☆ 上級

CH4. 別の手法を組み合わせる

本論文の手法 + 1つの追加手法（例：重回帰 + LASSO、相関分析 + 主成分分析）で結果を比較してください。
ポイント： 手法の違いで結論が変わるか？どちらが妥当かを「なぜ」とともに説明できるように。

★★★★★ 発展

CH5. オリジナルの問いを立てて分析する

本論文の手法を借りて、あなた自身の問いを立てて分析してください。例：「カフェの数と幸福度に関連はあるか」「教育費の高い県は出生率も高いか」など。
ポイント： 問い・データ・手法・結論を1ページのレポートにまとめる。これがデータサイエンスの「実践」。

💡 ヒント： 詰まったら本サイトの他の論文（同じ手法を使っている）のスクリプトをコピーして組み合わせるのが効率的です。手法ガイド・用語集も参考に。

💼 この手法は実社会でこう使われている

本論文で学んだ手法は、研究の世界だけでなく、行政・企業・NPO の現場でも様々に活用されています。具体的なシーンを紹介します。

🏛️

行政の政策立案

都道府県・市区町村の政策担当者は、本論文と同様のデータ分析を用いて「どこに予算を投じれば効果が出るか」を検討します。例えば医療費削減策、移住促進策、子育て支援策などの効果予測・効果検証に直結します。

🏢

企業のマーケティング・出店戦略

小売チェーン・サービス業の出店戦略では、地域特性（人口構成、所得、ライフスタイル）と売上の関係を本論文と同じ手法で分析します。 ECサイトでも顧客セグメント分析・購買要因分析に類似手法が使われます。

🏥

医療・公衆衛生

感染症の流行予測、医療資源配分の最適化、健康格差の地域要因分析などで、本論文の統計手法は標準的に使われています。 WHO・厚労省レベルの政策評価でも同じ手法が活躍しています。

📊

メディア・ジャーナリズム

新聞・テレビの社会調査記事、選挙予測、世論調査の分析でも、本論文と同じ手法（回帰分析・クラスタリングなど）が使われています。データジャーナリズムの記事はこの種の分析が中核です。

🎓

学術研究（隣接分野）

経済学・社会学・公衆衛生学・教育学・地理学などの実証研究では、本論文と同じ手法が日常的に使われます。専門誌に掲載される論文の8割以上が、こうした統計手法に基づいて結論を出しています。

💰

金融・保険業界

与信判断（融資審査）、保険料の地域別設定、不動産価格予測などで、本論文と同様のモデリング手法が広く活用されています。統計分析の能力は金融業界の必須スキルになっています。

🤔 よくある質問（読者からの想定Q&A）

この論文を読んで初心者が抱きやすい疑問に、教育的観点から答えます。

Q1. この分析、自分でもできますか？

はい、できます。SSDSE データは無料で公開されており、Python の pandas, scikit-learn, statsmodels を使えば全く同じ手順で再現可能です。本ページ下部のスクリプトを実行するだけで結果が得られます。

Q2. 使われている手法は他の分野にも応用できますか？

十分応用可能です。本論文の手法は、医療・教育・経済・環境など他のドメインでも標準的に使われる手法です。データの中身（変数）を入れ替えるだけで、別の問いにも適用できます。

Q3. 結論は本当に「因果関係」を示していますか？

本論文は「観察データ」を使った分析であり、厳密な意味での「因果関係」を完全に証明したわけではありません。あくまで「強い関連が見られた」という事実を提示しているにとどまります。真の因果を示すには、無作為化比較試験（RCT）か、自然実験を活用したIV・DiD 等の手法が必要です。

Q4. データの最新版を使うとどうなりますか？

SSDSE は毎年更新されているため、最新版を使えば近年のトレンド（特にコロナ禍以降の変化）も含めて分析できます。ただし、結論が変わる可能性もあります。それ自体が新しい発見につながります。

Q5. もっと深く学ぶには何を読めばいいですか？

「計量経済学」「データサイエンス入門」「統計的因果推論」などのテキストが入門に向いています。Python の場合は『Python ではじめる機械学習』（オライリー）、R の場合は『R で学ぶ統計学』が定番です。本サイトの他の論文も読み比べてみてください。

✅ 理解度チェック（4問）

この論文を理解できたか、クリックで確認しましょう。間違えても解説が出ます。

中学生の言語による表現を巡る規定要因分析
―潜在意味解析とElastic Net回帰を用いた分析―

目次

🎯 この記事を読むと何ができるようになるか

📥 データの準備（再現コードを動かす前に）

DS LEARNING POINT 1

TF-IDF と LSA（潜在意味解析）

DS LEARNING POINT 2

Elastic Net のハイパーパラメータ選択

DS LEARNING POINT 3

小サンプル（N=47都道府県）での注意点

まとめ

主要な発見

データ・コードのダウンロード

⚠️ よくある誤解と注意点

📖 用語集（この記事に出てくる統計用語）

📐 使っている手法をわかりやすく解説

◆ 統計の基本概念（どの論文にも共通）

◆ この論文で使われている手法

🚀 発展の可能性（結果 X → 新仮説 Y → 課題 Z）

🎯 自分でやってみよう（5つのチャレンジ）

💼 この手法は実社会でこう使われている

🤔 よくある質問（読者からの想定Q&A）

✅ 理解度チェック（4問）

🐍 ブラウザで動かす — インストール不要でこの論文の分析を再現する

中学生の言語による表現を巡る規定要因分析―潜在意味解析とElastic Net回帰を用いた分析―

目次

🎯 この記事を読むと何ができるようになるか

📥 データの準備（再現コードを動かす前に）

DS LEARNING POINT 1

TF-IDF と LSA（潜在意味解析）

DS LEARNING POINT 2

Elastic Net のハイパーパラメータ選択

DS LEARNING POINT 3

小サンプル（N=47都道府県）での注意点

まとめ

主要な発見

データ・コードのダウンロード

⚠️ よくある誤解と注意点

📖 用語集（この記事に出てくる統計用語）

📐 使っている手法をわかりやすく解説

◆ 統計の基本概念（どの論文にも共通）

◆ この論文で使われている手法

🚀 発展の可能性（結果 X → 新仮説 Y → 課題 Z）

🎯 自分でやってみよう（5つのチャレンジ）

📚 関連する他の論文（同じ手法・データを使った研究）

💼 この手法は実社会でこう使われている

🤔 よくある質問（読者からの想定Q&A）

✅ 理解度チェック（4問）

🐍 ブラウザで動かす — インストール不要でこの論文の分析を再現する

中学生の言語による表現を巡る規定要因分析
―潜在意味解析とElastic Net回帰を用いた分析―