外国人にとっての暮らしやすさとは

import os
import numpy as np
import pandas as pd
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from scipy import stats

plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False
plt.rcParams['figure.dpi'] = 150

FIG_DIR = 'html/figures'
DATA_B  = 'data/raw/SSDSE-B-2026.csv'
os.makedirs(FIG_DIR, exist_ok=True)

df_b = pd.read_csv(DATA_B, encoding='cp932', header=1)
df_b = df_b[df_b['地域コード'].str.match(r'^R\d{5}', na=False)].copy()
df_b['年度'] = df_b['年度'].astype(int)

# 原論文に合わせ 2019 年断面を使用
df = df_b[df_b['年度'] == 2019].copy().reset_index(drop=True)
assert len(df) == 47, f"47都道府県のはずが {len(df)} 行"

# 外国人人口 = 総人口 - 日本人人口（原論文 表2 の定義）
df['外国人人口']     = df['総人口'] - df['日本人人口']
df['外国人人口割合'] = df['外国人人口'] / df['総人口'] * 100

print(f"対象: {df['年度'].iloc[0]}年 {len(df)}都道府県")
print(f"外国人人口割合  平均 {df['外国人人口割合'].mean():.3f}%  中央値 {df['外国人人口割合'].median():.3f}%")

region_map = {
    '北海道': '北海道・東北', '青森県': '北海道・東北', '岩手県': '北海道・東北',
    '宮城県': '北海道・東北', '秋田県': '北海道・東北', '山形県': '北海道・東北',
    '福島県': '北海道・東北', '茨城県': '関東', '栃木県': '関東', '群馬県': '関東',
    '埼玉県': '関東', '千葉県': '関東', '東京都': '関東', '神奈川県': '関東',
    '新潟県': '中部', '富山県': '中部', '石川県': '中部', '福井県': '中部',
    '山梨県': '中部', '長野県': '中部', '岐阜県': '中部', '静岡県': '中部', '愛知県': '中部',
    '三重県': '近畿', '滋賀県': '近畿', '京都府': '近畿', '大阪府': '近畿',
    '兵庫県': '近畿', '奈良県': '近畿', '和歌山県': '近畿',
    '鳥取県': '中国・四国', '島根県': '中国・四国', '岡山県': '中国・四国',
    '広島県': '中国・四国', '山口県': '中国・四国', '徳島県': '中国・四国',
    '香川県': '中国・四国', '愛媛県': '中国・四国', '高知県': '中国・四国',
    '福岡県': '九州・沖縄', '佐賀県': '九州・沖縄', '長崎県': '九州・沖縄',
    '熊本県': '九州・沖縄', '大分県': '九州・沖縄', '宮崎県': '九州・沖縄',
    '鹿児島県': '九州・沖縄', '沖縄県': '九州・沖縄'
}
region_colors = {
    '北海道・東北': '#4e9af1', '関東': '#e05c5c', '中部': '#f0a500',
    '近畿': '#5cb85c', '中国・四国': '#9b59b6', '九州・沖縄': '#f39c12'
}
df['地域'] = df['都道府県'].map(region_map)
df['色']   = df['地域'].map(region_colors)
print(df['地域'].value_counts().to_string())

ds = df.sort_values('外国人人口割合', ascending=False).reset_index(drop=True)
short = [s.replace('県','').replace('府','').replace('都','').replace('道','') for s in ds['都道府県']]

fig1, ax1 = plt.subplots(figsize=(12, 6))
ax1.bar(range(len(ds)), ds['外国人人口割合'], color=ds['色'], edgecolor='white', linewidth=0.5)
ax1.set_xticks(range(len(ds)))
ax1.set_xticklabels(short, rotation=90, fontsize=8)
ax1.set_ylabel('外国人人口割合 [%]', fontsize=12)
ax1.set_title('図1：都道府県別 外国人人口割合ランキング（2019年・SSDSE-Bより再現）', fontsize=13)
ax1.axhline(ds['外国人人口割合'].mean(), color='gray', ls='--', lw=1,
            label=f"全国平均 {ds['外国人人口割合'].mean():.2f}%")
from matplotlib.patches import Patch
handles = [Patch(facecolor=c, label=r) for r, c in region_colors.items()]
handles.append(ax1.get_legend_handles_labels()[0][0])
ax1.legend(handles=handles, fontsize=9, ncol=2)
ax1.grid(True, axis='y', alpha=0.3)
fig1.tight_layout()
fig1.savefig(os.path.join(FIG_DIR, '2021_H4_fig1.png'), bbox_inches='tight')
plt.close(fig1)

print("上位5:"); print(ds.head(5)[['都道府県','外国人人口割合']].to_string(index=False))
print("下位5:"); print(ds.tail(5)[['都道府県','外国人人口割合']].to_string(index=False))

x = df['総人口'] / 10000    # 万人
y = df['外国人人口割合']
r, p = stats.pearsonr(x, y)

fig2, ax2 = plt.subplots(figsize=(9, 7))
for reg, c in region_colors.items():
    m = df['地域'] == reg
    ax2.scatter(x[m], y[m], c=c, s=60, alpha=0.85, label=reg, zorder=3)
xl = np.array([x.min(), x.max()])
sl, ic, rr, pp, _ = stats.linregress(x, y)
ax2.plot(xl, sl*xl + ic, 'k--', lw=1.5, label=f'回帰直線  r={r:.3f}')
for name in ['東京都','愛知県','群馬県','三重県','大阪府']:
    row = df[df['都道府県'] == name].iloc[0]
    ax2.annotate(name.replace('県','').replace('都','').replace('府',''),
                 (row['総人口']/10000, row['外国人人口割合']),
                 fontsize=9, xytext=(4, 4), textcoords='offset points')
ax2.set_xlabel('総人口 [万人]', fontsize=12)
ax2.set_ylabel('外国人人口割合 [%]', fontsize=12)
ax2.set_title('図2：総人口と外国人人口割合（2019年・47都道府県）', fontsize=13)
ax2.legend(fontsize=9, loc='upper left')
ax2.grid(True, alpha=0.3)
fig2.tight_layout()
fig2.savefig(os.path.join(FIG_DIR, '2021_H4_fig2.png'), bbox_inches='tight')
plt.close(fig2)
print(f"人口 × 外国人人口割合  r = {r:.3f}  (p = {p:.2e})")

big = ['北海道','埼玉県','千葉県','東京都','神奈川県','愛知県','大阪府','兵庫県','福岡県']
sub = df[~df['都道府県'].isin(big)].copy()   # 人口400万人以下の38都道府県
rt, pt = stats.pearsonr(sub['年平均気温'], sub['外国人人口割合'])

fig3, ax3 = plt.subplots(figsize=(9, 6.5))
for reg, c in region_colors.items():
    m = sub['地域'] == reg
    ax3.scatter(sub.loc[m,'年平均気温'], sub.loc[m,'外国人人口割合'],
                c=c, s=55, alpha=0.85, label=reg, zorder=3)
xl = np.array([sub['年平均気温'].min(), sub['年平均気温'].max()])
sl, ic, *_ = stats.linregress(sub['年平均気温'], sub['外国人人口割合'])
ax3.plot(xl, sl*xl + ic, 'k--', lw=1.5, label=f'回帰直線  r={rt:.3f}')
ax3.set_xlabel('年平均気温 [℃]', fontsize=12)
ax3.set_ylabel('外国人人口割合 [%]', fontsize=12)
ax3.set_title('図3：年平均気温と外国人人口割合（人口400万人以下・2019年）', fontsize=13)
ax3.legend(fontsize=9)
ax3.grid(True, alpha=0.3)
fig3.tight_layout()
fig3.savefig(os.path.join(FIG_DIR, '2021_H4_fig3.png'), bbox_inches='tight')
plt.close(fig3)
print(f"除外した人口400万人超の県: {len(big)}件 → 残り {len(sub)}都道府県")
print(f"年平均気温 × 外国人人口割合  r = {rt:.3f}  (p = {pt:.3f})")

# ★ 以下は原論文（5章）が報告した相関係数の「そのまま可視化」であり再計算ではない
reported = [
    ('年平均気温',       0.16),
    ('年平均相対湿度',  -0.47),
    ('日本語教育機関数', 0.54),
    ('日本語常勤教師数', 0.54),
    ('完全失業率',      -0.26),
    ('製造品出荷額',     0.72),
]
labels = [x[0] for x in reported]
vals   = [x[1] for x in reported]
colors = ['#C62828' if v < 0 else '#1565C0' for v in vals]

fig4, ax4 = plt.subplots(figsize=(9, 5.5))
ypos = range(len(labels))
ax4.barh(list(ypos), vals, color=colors, edgecolor='white')
for i, v in enumerate(vals):
    ax4.text(v + (0.02 if v >= 0 else -0.02), i, f'{v:+.2f}',
             va='center', ha='left' if v >= 0 else 'right', fontsize=11)
ax4.axvline(0, color='black', lw=0.8)
ax4.set_yticks(list(ypos)); ax4.set_yticklabels(labels, fontsize=11)
ax4.set_xlim(-0.7, 0.9)
ax4.set_xlabel('外国人人口割合との相関係数 r（原論文の報告値）', fontsize=11)
ax4.set_title('図4：外国人人口割合と各要因の相関（原論文 報告値の可視化・再計算ではない）', fontsize=12)
ax4.grid(True, axis='x', alpha=0.3)
fig4.tight_layout()
fig4.savefig(os.path.join(FIG_DIR, '2021_H4_fig4.png'), bbox_inches='tight')
plt.close(fig4)
for lb, v in reported:
    print(f"  {lb}: r = {v:+.2f}")