都市部と地方の教育格差の要因と課題
〜日本の教育現場において〜

df = pd.read_csv(DATA_B, encoding='cp932', header=0, skiprows=[1])
df['SSDSE-B-2026'] = df['SSDSE-B-2026'].astype(int)

d19 = df[df['SSDSE-B-2026'] == 2019].copy()   # 教育費・進学者数・進学率
d20 = df[df['SSDSE-B-2026'] == 2020].copy()   # 大学数

d19['進学率'] = d19['E4602'] / d19['E4601'] * 100   # 進学者数 / 卒業者数 × 100

edu = d20[['Prefecture', 'E6102', 'E4101']].merge(
    d19[['Prefecture', 'L322108', 'E4602', '進学率']], on='Prefecture')
edu = edu.rename(columns={'E6102': '大学数', 'E4101': '高校数',
                          'L322108': '教育費', 'E4602': '進学者数'})
edu['都市部'] = edu['Prefecture'].isin(CITY9)

print('=== [DATA] SSDSE-B から構築した教育格差データセット ===')
print(f'対象: 全{len(edu)}都道府県  /  都市部9都道府県: {" ".join(CITY9)}')
print(f'教育費(月間, 円)  : {edu["教育費"].min():.0f} 〜 {edu["教育費"].max():.0f}')
print(f'進学率(%)         : {edu["進学率"].min():.1f} 〜 {edu["進学率"].max():.1f}')
print(f'大学数(校)        : {edu["大学数"].min():.0f} 〜 {edu["大学数"].max():.0f}')
print('東京都 例: 教育費={:.0f}円, 進学者数={:.0f}人, 大学数={:.0f}校, 高校数={:.0f}校'.format(
    *edu[edu['Prefecture'] == '東京都'][['教育費', '進学者数', '大学数', '高校数']].values[0]))

def scatter(x, y, xlabel, ylabel, title, fname, xreport, yreport):
    """都市部を●、地方を○で描く散布図＋回帰直線（実再現）。報告値も併記して返す。"""
    s, i, r, p, se = stats.linregress(x, y)
    fig, ax = plt.subplots(figsize=(9, 6))
    m_city = edu['都市部'].values
    ax.scatter(x[~m_city], y[~m_city], facecolors='none', edgecolors='#888',
               s=55, linewidths=1.2, label='地方')
    ax.scatter(x[m_city], y[m_city], color='#C62828', s=70, label='都市部（人口集中地区人口300万人超）')
    for pref in LABEL_CITY:
        row = edu[edu['Prefecture'] == pref]
        ax.annotate(pref, (row[x.name].values[0], row[y.name].values[0]),
                    fontsize=9, color='#B71C1C', xytext=(4, 4), textcoords='offset points')
    xr = np.linspace(x.min(), x.max(), 100)
    ax.plot(xr, s * xr + i, color='#1565C0', linewidth=1.8)
    ax.text(0.97, 0.06, f'y = {s:.4g}x + {i:.4g}\n$R^2$ = {r**2:.4f}  (r = {r:.4f})',
            transform=ax.transAxes, ha='right', fontsize=12,
            bbox=dict(boxstyle='round', fc='#EFF3FF', ec='#1565C0'))
    ax.set_xlabel(xlabel, fontsize=12)
    ax.set_ylabel(ylabel, fontsize=12)
    ax.set_title(title, fontsize=13, fontweight='bold')
    ax.legend(fontsize=10, loc='upper left')
    ax.grid(alpha=0.3)
    plt.tight_layout()
    plt.savefig(os.path.join(FIG_DIR, fname), dpi=150, bbox_inches='tight')
    plt.close()
    print(f'  再現値 : r = {r:.4f} , R^2 = {r**2:.4f} , y = {s:.4g}x + {i:.4g} , p = {p:.2e} , N = {len(x)}')
    print(f'  報告値 : r = {xreport} , R^2 = {yreport}  （原論文）')
    return r, r**2


# ============================================================
# [FIG1] 教育費 × 進学者数（原論文 図5 の実再現）
# ============================================================
print('\n=== [FIG1] 教育費 × 高等学校卒業者のうち進学者数（原論文 図5 の実再現） ===')
r1, d1 = scatter(edu['教育費'], edu['進学者数'],
                 '教育費（月間消費支出額）［円］', '高等学校卒業者のうち進学者数［人］',
                 '教育費 × 進学者数（SSDSE-B 2019年・実再現, N=47）',
                 '2022_H4_fig1_ts.png', '0.5286', '0.2694')

r2, d2 = scatter(edu['教育費'], edu['進学率'],
                 '教育費（月間消費支出額）［円］', '高等学校卒業者の進学率［％］',
                 '教育費 × 進学率（SSDSE-B 2019年・実再現, N=47）',
                 '2022_H4_fig2_scatter.png', '0.5961', '0.3554')

# ============================================================
# [FIG3] 大学数 × 進学率（原論文 図10 の実再現）
# ============================================================
print('\n=== [FIG3] 大学数 × 高等学校卒業者の進学率（原論文 図10 の実再現） ===')
r3, d3 = scatter(edu['大学数'], edu['進学率'],
                 '大学数［校］', '高等学校卒業者の進学率［％］',
                 '大学数 × 進学率（大学数2020年・進学率2019年・実再現, N=47）',
                 '2022_H4_fig3_ols.png', '0.5742', '0.3298')

rel_names = ['教育費×\n進学者数\n(図5)', '大学数×\n教育費\n(図8)',
             '教育費×\n進学率\n(図9)', '大学数×\n進学率\n(図10)']
reported = [0.5286, 0.4863, 0.5961, 0.5742]
# 大学数×教育費 も再現しておく（図として保存はしないが比較に使う）
s8, i8, r8, p8, _ = stats.linregress(edu['大学数'], edu['教育費'])
reproduced = [r1, r8, r2, r3]
for nm, rp, rr in zip(['教育費×進学者数', '大学数×教育費', '教育費×進学率', '大学数×進学率'],
                      reported, reproduced):
    print(f'  {nm:12s}  報告値 r={rp:.4f}  /  再現値 r={rr:.4f}  （差 {abs(rp-rr):.4f}）')

fig, ax = plt.subplots(figsize=(10, 5.5))
xpos = np.arange(len(rel_names))
w = 0.38
ax.bar(xpos - w / 2, reported, w, color='#90A4AE', label='原論文の報告値（表2）')
ax.bar(xpos + w / 2, reproduced, w, color='#1565C0', label='本ページの再現値（SSDSE-B）')
for xp, rp, rr in zip(xpos, reported, reproduced):
    ax.text(xp - w / 2, rp + 0.01, f'{rp:.3f}', ha='center', fontsize=10)
    ax.text(xp + w / 2, rr + 0.01, f'{rr:.3f}', ha='center', fontsize=10, color='#1565C0')
ax.set_xticks(xpos)
ax.set_xticklabels(rel_names, fontsize=10)
ax.set_ylabel('相関係数 r', fontsize=12)
ax.set_ylim(0, 0.75)
ax.set_title('原論文の報告値と再現値はほぼ一致する（実再現の検証）', fontsize=13, fontweight='bold')
ax.legend(fontsize=11)
ax.grid(axis='y', alpha=0.3)
plt.tight_layout()
plt.savefig(os.path.join(FIG_DIR, '2022_H4_fig4_gap.png'), dpi=150, bbox_inches='tight')
plt.close()
print('  → 4関係すべてで報告値と再現値の差は0.01前後。SSDSE-Bで原論文を再現できた。')

dig_pref = ['東京都', '愛知県', '大阪府', '石川県', '佐賀県', '岐阜県']
dig_rate = [33.9, 17.5, 21.0, 93.3, 90.7, 81.1]
dig_city = [True, True, True, False, False, False]
eb_pref = ['東京都', '愛知県', '大阪府', '鳥取県', '佐賀県', '石川県']
eb_rate = [82.1, 7.3, 29.8, 132.3, 115.5, 82.6]
eb_city = [True, True, True, False, False, False]
DIG_AVG, EB_AVG = 30.2, 22.3   # 原論文 図13・図14 の全国平均（報告値）

fig, (axL, axR) = plt.subplots(1, 2, figsize=(12, 5))
for ax, prefs, rates, cityflag, avg, ttl in [
        (axL, dig_pref, dig_rate, dig_city, DIG_AVG, 'デジタル教科書の整備率（原論文 表3）'),
        (axR, eb_pref, eb_rate, eb_city, EB_AVG, '普通教室の電子黒板整備率（原論文 表4）')]:
    colors = ['#C62828' if c else '#2E7D32' for c in cityflag]
    ax.bar(prefs, rates, color=colors)
    for xp, v in enumerate(rates):
        ax.text(xp, v + 1.5, f'{v}', ha='center', fontsize=10)
    ax.axhline(avg, color='#555', linestyle='--', linewidth=1.3)
    ax.text(len(prefs) - 0.4, avg + 2, f'全国平均 {avg}%', ha='right', fontsize=10, color='#333')
    ax.set_ylabel('整備率［％］', fontsize=11)
    ax.set_title(ttl, fontsize=12, fontweight='bold')
    ax.grid(axis='y', alpha=0.3)
fig.suptitle('デジタル教育の整備率：都市部3都府県（赤）vs 整備率上位3県（緑）'
             '  ※報告値の可視化（再計算ではない）', fontsize=12.5, fontweight='bold')
plt.tight_layout(rect=[0, 0, 1, 0.96])
plt.savefig(os.path.join(FIG_DIR, '2022_H4_fig5_digital.png'), dpi=150, bbox_inches='tight')
plt.close()
print('  ※ SSDSE-B に整備率の列は無い。上記はすべて原論文 表3・表4・図13・図14 の報告値の転記。')
print(f'  デジタル教科書 全国平均 {DIG_AVG}% / 電子黒板 全国平均 {EB_AVG}%（ともに50%未満）。')