SSDSEデータを活用した
全国学習状況調査結果との相関分析

# 原論文 表4「各項目の集計数値データ一覧【都道府県別】」を転記した報告値。
# 左7列＝全国学力・学習状況調査の児童質問紙（学習への関心等、SSDSE未収録）、
# 右4列＝原論文が SSDSE 由来データを加工した4指標（現行SSDSEに収録列なし）。
# いずれも「原論文の報告値」であり、このブロックで数値を作り出してはいない。
TABLE4 = """北海道,5.0,4.9,5.0,4.8,5.1,4.9,5.3,6.78,10.08,0.43,33.06
青森県,5.3,5.3,5.4,5.4,5.4,5.5,5.7,16.60,10.64,0.43,33.00
岩手県,5.4,5.3,5.4,5.1,5.5,5.5,5.6,18.35,7.82,0.38,20.18
宮城県,5.0,5.0,4.9,5.0,5.1,5.1,5.5,14.33,6.76,0.40,18.87
秋田県,6.2,6.1,5.8,6.0,6.1,5.6,6.6,20.13,9.58,0.36,29.15
山形県,5.4,5.0,5.4,5.3,5.3,5.3,5.7,24.66,11.97,0.39,28.17
福島県,5.3,5.1,5.0,4.8,5.1,5.2,5.5,17.98,9.20,0.45,39.71
茨城県,5.3,5.2,5.3,5.2,5.2,5.1,5.4,14.23,13.33,0.43,32.01
栃木県,5.5,5.4,5.4,5.3,5.4,5.5,5.5,14.50,11.49,0.45,32.05
群馬県,5.0,5.1,5.2,5.2,5.0,5.3,5.2,12.15,12.73,0.42,31.93
埼玉県,5.1,5.1,5.2,5.3,5.3,5.5,5.5,8.20,10.89,0.42,39.94
千葉県,4.8,4.7,4.9,4.9,4.7,4.9,4.7,8.66,12.64,0.41,36.76
東京都,4.9,5.0,4.6,4.9,5.0,4.9,4.6,4.86,12.74,0.35,49.37
神奈川県,5.0,5.0,4.7,4.8,4.8,4.8,4.6,6.11,9.22,0.40,39.92
新潟県,5.5,5.3,5.3,5.2,5.6,5.2,5.2,19.44,10.44,0.35,27.73
富山県,4.9,5.0,5.1,5.1,5.0,5.0,5.3,18.91,10.75,0.35,29.70
石川県,5.5,5.5,5.0,5.1,5.3,5.3,5.5,13.60,11.49,0.37,32.05
福井県,5.3,5.4,5.3,5.7,5.2,5.5,5.5,20.91,11.95,0.40,30.52
山梨県,5.4,5.4,5.4,5.3,5.4,5.4,5.3,12.69,10.81,0.41,29.67
長野県,5.1,4.9,4.9,5.0,5.0,5.4,4.6,15.17,11.26,0.40,28.11
岐阜県,5.2,5.0,5.4,5.1,5.2,5.2,5.3,16.11,11.71,0.41,31.21
静岡県,4.6,4.9,4.8,5.0,4.8,4.9,4.8,14.64,10.44,0.44,31.85
愛知県,4.7,4.8,4.9,4.8,4.7,4.8,4.6,9.59,10.83,0.41,36.54
三重県,4.9,5.0,5.1,4.9,4.9,4.9,4.9,11.96,9.53,0.41,33.05
滋賀県,4.6,4.5,4.7,4.9,4.6,4.9,4.9,12.78,13.51,0.41,34.53
京都府,4.8,4.8,5.0,4.9,4.9,4.8,4.9,7.67,9.93,0.367,38.31
大阪府,4.6,4.8,4.6,4.7,4.5,4.6,4.3,6.38,9.81,0.441,45.02
兵庫県,4.8,4.8,5.0,5.0,4.8,4.9,4.7,8.04,10.86,0.40,36.92
奈良県,4.7,4.7,5.0,4.8,4.7,4.8,4.5,10.39,10.94,0.41,34.91
和歌山県,5.0,5.1,5.2,5.0,4.9,5.1,4.8,10.37,8.64,0.45,33.91
鳥取県,5.0,4.8,5.0,4.8,4.9,5.1,5.1,17.40,9.35,0.43,31.62
島根県,4.9,4.8,5.2,5.0,5.0,5.1,5.0,17.97,10.53,0.36,27.49
岡山県,5.1,5.1,5.1,5.1,5.0,5.0,5.2,11.89,10.75,0.42,34.48
広島県,5.2,5.2,5.3,5.4,5.2,5.2,5.3,8.00,10.23,0.39,33.43
山口県,5.2,5.1,5.3,5.1,5.3,5.1,5.2,8.81,10.95,0.36,32.64
徳島県,4.8,5.1,5.2,5.0,4.7,4.9,5.1,12.92,10.86,0.39,34.55
香川県,4.7,4.8,4.8,4.7,4.6,4.8,5.1,11.24,13.77,0.41,34.58
愛媛県,5.1,5.1,5.3,5.2,5.1,4.9,5.3,9.18,11.12,0.38,35.55
高知県,5.6,5.4,5.3,5.2,5.4,5.2,5.2,8.65,8.29,0.39,33.68
福岡県,4.8,4.8,4.8,4.9,4.7,4.6,4.6,8.13,10.33,0.45,36.61
佐賀県,4.9,5.0,5.1,5.0,4.8,5.0,4.7,17.31,10.15,0.46,32.80
長崎県,4.9,5.1,5.0,4.8,4.9,5.1,4.8,10.99,8.10,0.39,34.23
熊本県,5.0,4.9,4.9,4.8,5.0,4.9,4.8,12.96,9.22,0.42,36.41
大分県,5.0,4.9,4.8,4.9,5.0,4.7,4.7,10.41,10.32,0.41,35.67
宮崎県,5.3,5.4,5.3,5.3,5.3,5.2,5.5,8.58,8.33,0.48,35.88
鹿児島県,5.0,5.0,5.1,4.9,5.0,4.8,5.1,5.79,9.11,0.40,34.85
沖縄県,5.0,5.2,4.5,4.9,4.9,4.6,5.1,9.07,11.76,0.66,38.71"""

COLS = ['都道府県', '国語への関心等', '数学への関心等', '規範意識', '自尊感情',
        '言語活動・読解力', '生活習慣', '学習習慣',
        '大家族世帯割合', '教育費割合', '離婚件数割合', '民生費割合']
VARS = COLS[1:]
df = pd.read_csv(StringIO(TABLE4), header=None, names=COLS)

# 原論文が最重要視した「大家族世帯割合」の報告値（表4）を県別に並べる。
# 大家族世帯割合＝(一般世帯数−核家族−単独)/一般世帯数×100。分母・分子の元データ
# （国勢調査の世帯構成）は現行SSDSEに無いため、これは再計算ではなく報告値の可視化。
rank = df[['都道府県', '大家族世帯割合']].sort_values('大家族世帯割合')
mean_val = rank['大家族世帯割合'].mean()
short = rank['都道府県'].str.replace('県', '').str.replace('府', '').str.replace('都', '').str.replace('北海道', '北海道')
colors = ['#E65100' if v >= mean_val else '#1565C0' for v in rank['大家族世帯割合']]

fig1, ax1 = plt.subplots(figsize=(10, 12))
ax1.barh(short, rank['大家族世帯割合'], color=colors, alpha=0.85, edgecolor='white', linewidth=0.4)
ax1.axvline(mean_val, color='black', linewidth=1.8, linestyle='--',
            label=f'全国平均 {mean_val:.1f}%')
for y, v in enumerate(rank['大家族世帯割合']):
    ax1.text(v + 0.2, y, f'{v:.1f}', va='center', fontsize=8)
ax1.set_title('図1 大家族世帯割合の都道府県別ランキング\n【原論文 表4 の報告値の可視化（再計算ではない）】',
              fontsize=13, fontweight='bold', pad=12)
ax1.set_xlabel('大家族世帯割合（%）', fontsize=11)
ax1.set_xlim(0, rank['大家族世帯割合'].max() * 1.15)
ax1.legend(loc='lower right', fontsize=10)
ax1.grid(axis='x', alpha=0.3)
plt.tight_layout()
fig1.savefig(os.path.join(FIG_DIR, '2018_H2_fig1.png'), bbox_inches='tight')
plt.close(fig1)

# 原論文 表4 の報告値データから Pearson 相関行列を「再計算」し、原論文 表6・表7
# （ヒートマップ）と一致するか検証する。SSDSEからの再取得ではない点に注意。
# 原論文はスミルノフ＝グラブズ検定で変数ごとに外れ値を除いてから相関を出しているが、
# ここでは全47県（外れ値除去なし）で計算し、差の出どころを可視化する。
corr = df[VARS].corr(method='pearson')

fig2, ax2 = plt.subplots(figsize=(11, 9))
im = ax2.imshow(corr.values, cmap='RdBu_r', vmin=-1, vmax=1, aspect='auto')
ax2.set_xticks(range(len(VARS)))
ax2.set_yticks(range(len(VARS)))
ax2.set_xticklabels(VARS, rotation=55, ha='right', fontsize=9)
ax2.set_yticklabels(VARS, fontsize=9)
for i in range(len(VARS)):
    for j in range(len(VARS)):
        v = corr.values[i, j]
        ax2.text(j, i, f'{v:.2f}', ha='center', va='center',
                 fontsize=7.5, color='white' if abs(v) > 0.55 else '#222')
cb = fig2.colorbar(im, ax=ax2, fraction=0.046, pad=0.04)
cb.set_label('ピアソン相関係数', fontsize=10)
ax2.set_title('図2 相関行列ヒートマップ（全47県・外れ値除去なし）\n'
              '【原論文 表4 の報告値データからの再計算（SSDSE再取得ではない）】',
              fontsize=12, fontweight='bold', pad=12)
plt.tight_layout()
fig2.savefig(os.path.join(FIG_DIR, '2018_H2_fig2.png'), bbox_inches='tight')
plt.close(fig2)

# 原論文の中心的な発見「大家族世帯割合が高い県は生活習慣等が高い」を散布図で確かめる。
# 生活習慣は外れ値なし（原論文3.3）なので、報告値データから再計算した相関は原論文
# 表6 の 0.5752 と一致するはず。x=大家族世帯割合, y=生活習慣（学習状況の報告値）。
x = df['大家族世帯割合'].values
y = df['生活習慣'].values
slope, intercept, r, p, se = stats.linregress(x, y)

fig3, ax3 = plt.subplots(figsize=(10, 7.5))
ax3.scatter(x, y, s=70, color='#2E7D32', alpha=0.8, edgecolor='white', zorder=3)
for xi, yi, nm in zip(x, y, short):
    ax3.annotate(nm, (xi, yi), xytext=(3, 3), textcoords='offset points',
                 fontsize=7, color='#444')
xl = np.linspace(x.min(), x.max(), 100)
ax3.plot(xl, intercept + slope * xl, color='crimson', linewidth=2.2, zorder=4,
         label=f'回帰直線  r={r:.4f}（原論文報告値 0.5752）')
ax3.set_title('図3 大家族世帯割合 × 生活習慣（学習状況）\n'
              '【原論文 表4 の報告値データからの再計算：r=0.5752 を再現】',
              fontsize=12, fontweight='bold', pad=12)
ax3.set_xlabel('大家族世帯割合（%）＝報告値', fontsize=11)
ax3.set_ylabel('生活習慣スコア＝学習状況の報告値（SSDSE未収録）', fontsize=11)
ax3.legend(loc='upper left', fontsize=10)
ax3.grid(alpha=0.3)
plt.tight_layout()
fig3.savefig(os.path.join(FIG_DIR, '2018_H2_fig3.png'), bbox_inches='tight')
plt.close(fig3)

# 原論文の4指標のうち、現行 SSDSE-B-2026 に実在する唯一の変数が「離婚件数(A9201)」。
# ここだけは実データで再現する。データ仕様: cp932・先頭列=年度・2行目に単位行。
# 2023年を抽出し、離婚件数を総人口で割った対人口比（人口千対）で県別に並べる。
# 【注意】原論文の離婚件数割合は分母が「一般世帯数」(SSDSE未収録)で年も異なるため、
# 数値そのものは原論文と一致しない。あくまで現行SSDSEでの独立した実再現である。
dfb = pd.read_csv(DATA_B, encoding='cp932', header=1)
dfb = dfb[dfb['地域コード'].str.match(r'^R\d{2}000$', na=False)].copy()  # 都道府県行のみ
dfb['年度'] = dfb['年度'].astype(int)
d23 = dfb[dfb['年度'] == 2023].copy()
d23['離婚件数対人口千'] = d23['離婚件数'] / d23['総人口'] * 1000
d23 = d23.sort_values('離婚件数対人口千')
short2 = d23['都道府県'].str.replace('県', '').str.replace('府', '').str.replace('都', '')
mean2 = d23['離婚件数対人口千'].mean()
colors2 = ['#E65100' if v >= mean2 else '#1565C0' for v in d23['離婚件数対人口千']]

fig4, ax4 = plt.subplots(figsize=(10, 12))
ax4.barh(short2, d23['離婚件数対人口千'], color=colors2, alpha=0.85, edgecolor='white', linewidth=0.4)
ax4.axvline(mean2, color='black', linewidth=1.8, linestyle='--', label=f'全国平均 {mean2:.2f}')
for yy, vv in enumerate(d23['離婚件数対人口千']):
    ax4.text(vv + 0.01, yy, f'{vv:.2f}', va='center', fontsize=8)
ax4.set_title('図4 離婚件数の対人口比（人口千対）都道府県別ランキング\n'
              '【実SSDSE-B-2026・2023年・A9201 からの実再現（分母・年は原論文と異なる）】',
              fontsize=12, fontweight='bold', pad=12)
ax4.set_xlabel('離婚件数 ÷ 総人口 × 1000（人口千対）', fontsize=11)
ax4.set_xlim(0, d23['離婚件数対人口千'].max() * 1.15)
ax4.legend(loc='lower right', fontsize=10)
ax4.grid(axis='x', alpha=0.3)
plt.tight_layout()
fig4.savefig(os.path.join(FIG_DIR, '2018_H2_fig4.png'), bbox_inches='tight')
plt.close(fig4)