避難所4,065件 JSON→DataFrame — 構造探索・共起・分布・地理

学習目標

• ネストされた JSON を pd.json_normalize で平坦化し、全フィールドの dtype・null率を一覧化できる
• 「フラグ列」群を 整数化 → 集計 し、Jaccard 係数で カテゴリ間の重なりを測定できる
• ロングテール分布(収容人数) に 対数正規フィット + Q-Q プロットで当てはまりを評価できる
• 市町村別の件数 × 収容力 × バリアフリーを多軸で可視化し、「カバレッジの不均一」を読み解く
• foliumで 4,065 点を重複なく (MarkerCluster + 災害種別カラー) 描画できる

使用データ

• 名称 避難所情報 (広島県下 4,065 施設)
• 出典 DoBoX dataset #42 (毎日更新)
• 形式 JSON (約 4 MB), items 配列に各施設 1 オブジェクト
• フィールド数 36 (うち shelterId / shelterStartTimestamp / shelterEndTimestamp は 100% null = 開設状況用予約フィールド → 実体は 33 列)
• 主要列 name, address01, latitude, longitude, capacity, municipalityName
• 5 災害種別フラグ floodShFlg, sedimentDisasterShFlg, stormSurgeShFlg, earthquakeShFlg, tsunamiShFlg
• 11 バリアフリー / 居住性フラグ handicappedFlg, ostomateFlg, petFlg, parkingFlg, internetFlg, bathFlg, breastfeedingFlg, powerFlg, cookingFlg, heatingFlg, coolongFlg

データ取得手順

一括取得（全レッスン共通, 推奨）:

cd "2026 DoBoX 教材"
py -X utf8 data\fetch_all.py

fetch_all.py はカタログ・追加データを data/ と data/extras/ に再現可能ダウンロード。DoBoX のオープンデータは申請不要、商用・非商用とも利用可。本レッスンの .py スクリプトは、データが無ければ自動取得してから処理を始めるよう実装されています（ensure_dataset() ヘルパ）。

スクリプト（全体ソースコード）

⬇ L03_shelter_analysis.py

cd "2026 DoBoX 教材"
python -X utf8 lessons/L03_shelter_analysis.py

方法

1. JSON 読込 → 平坦化: json.load → pd.json_normalize(raw["items"]) で 4,065 × 36 の DataFrame を得る。latitude / longitude / capacity は文字列で来るため pd.to_numeric(errors="coerce")
2. 構造プロファイル: 各列の dtype・null率・ユニーク数を 1 表にまとめる ('field profiling' = データ理解の最初の一歩)
3. 5 災害種別フラグを {0,1} に整数化し、件数・カバレッジ率を集計
4. Jaccard 共起行列: |A∩B| / |A∪B| を 5×5 で計算 → ヒートマップ。同時対応のしやすさが定量化される
5. capacity 分布: scipy.stats.lognorm.fit で μ_log, σ_log を推定 → ヒストに pdf を重ね、Q-Q プロットで末尾の乖離を可視化
6. 市町村集約: groupby("municipalityName") で件数・capacity合計・BFスコア中央値 → 散布 + 上位 15 バーで二側面提示
7. バリアフリー総合スコア: 11 フラグの >=1 を集計 (0〜11) → 件数上位 12 市町村で箱ひげ比較
8. folium 地図: 主災害カテゴリ (優先順 津波→土砂→洪水→高潮→地震) で 5 色に塗り分け、MarkerCluster で 4,065 点を破綻なく描画

コード解説

↑ L03_shelter_analysis.py 行 19–433

 1
 2
 3
 4
 5
 6
 7
 8
 9
82
83
84
85
86
87
88
89
90
91
92
93
76
77
78
79
80
81
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75

import json
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
import folium
from folium.plugins import MarkerCluster
from _common import ensure_dataset

# === (0) データ自動取得 ===
ensure_dataset("data/shelters.json", dataset_id=42, label="避難所情報 #42")

# === (1) JSON → DataFrame: json_normalize で平坦化 ===
with open("data/shelters.json", encoding="utf-8") as f:
    raw = json.load(f)
df = pd.json_normalize(raw["items"])           # (4065, 36)
for c in ["latitude", "longitude", "capacity"]:
    df[c] = pd.to_numeric(df[c], errors="coerce")

# === (2) 災害種別 5 フラグを整数化 ===
DISASTER = {"洪水":"floodShFlg", "土砂":"sedimentDisasterShFlg",
            "高潮":"stormSurgeShFlg", "地震":"earthquakeShFlg",
            "津波":"tsunamiShFlg"}
for k, c in DISASTER.items():
    df[k] = (df[c].astype(str) == "1").astype(int)

# === (3) フィールド プロファイリング ===
profile = pd.DataFrame([{
    "field": c, "dtype": str(df[c].dtype),
    "null率(%)": round(df[c].isna().mean()*100, 1),
    "ユニーク数": df[c].nunique(),
} for c in df.columns])

# === (4) Jaccard 共起行列: |A∩B| / |A∪B| ===
keys = list(DISASTER)
J = np.zeros((5, 5))
for i, a in enumerate(keys):
    for j, b in enumerate(keys):
        inter = ((df[a]==1) & (df[b]==1)).sum()
        union = ((df[a]==1) | (df[b]==1)).sum()
        J[i, j] = inter / union if union else 0
# imshow で 5x5 ヒートマップ → ファイル保存

# === (5) capacity の対数正規フィットと Q-Q プロット ===
cap = df["capacity"].dropna(); cap = cap[cap > 0]
shape, loc, scale = stats.lognorm.fit(cap, floc=0)
mu, sigma = np.log(scale), shape       # log-平均と log-SD
# 観測 vs 理論の Q-Q
log_sorted = np.sort(np.log(cap.values))
n = len(log_sorted)
theor = stats.norm.ppf((np.arange(1, n+1) - 0.5) / n, loc=mu, scale=sigma)
plt.scatter(theor, log_sorted, s=6)        # 直線に乗れば lognormal が良 fit

# === (6) 市町村集約: 件数 × capacity合計 × BFスコア ===
muni = df.groupby("municipalityName").agg(
    n=("name", "size"),
    cap_total=("capacity", "sum"),
    bf_med=("bf_score", "median"),
).sort_values("n", ascending=False)

# === (7) folium: 主災害カテゴリで 5 色に塗り分け ===
PRIORITY = [("津波","#cf222e"), ("土砂","#fb8500"), ("洪水","#0969da"),
            ("高潮","#8250df"), ("地震","#1f883d")]
def primary(row):
    for k, c in PRIORITY:
        if row[k] == 1: return c
    return "#999"
df["color"] = df.apply(primary, axis=1)
m = folium.Map([34.4, 132.5], zoom_start=9, tiles="cartodbpositron")
mc = MarkerCluster(disable_clustering_at_zoom=13).add_to(m)
for _, r in df.dropna(subset=["latitude","longitude"]).iterrows():
    folium.CircleMarker([r.latitude, r.longitude], radius=3.5,
        color=r.color, fill=True, fill_color=r.color,
        fill_opacity=0.78).add_to(mc)
m.save("lessons/assets/L03_map.html")

結果

(1) 全フィールド プロファイル

36 列のうち shelterId / shelterStartTimestamp / shelterEndTimestamp は 100% null (開設状況の予約フィールド)。capacity の null は 535 件 (13%) — 「収容力不明」の施設が一定数ある。

5 災害種別カバレッジ。最多は洪水 3,071 件 (75.5%)、最少は津波 1,340 件 (33.0%)。津波が極端に少ないのは沿岸市町に偏在しているため

災害種別間 Jaccard 共起行列。洪水×土砂が約 0.59 と最も重なり大、津波は他カテゴリと小さい (海岸線の地理的制約)

(左) 収容人数の log10 ヒストに対数正規 fit (μ=4.78, σ=1.54, 中央値 119 人) を重ね描き／(右) Q-Q プロット — 中央域は直線にほぼ乗るが裾 (大規模施設) は乖離。「全体は対数正規だが極大はべき的」という現象を可視化

(左) 市町村別: 件数 × 収容人数合計の散布。広島市・福山市・東広島市が圧倒的／(右) 上位 15 市町村のスタックバー (青=件数, オレンジ=収容人数(千人))

件数上位 12 市町村のバリアフリー総合スコア (0〜11) 箱ひげ。中央値は概ね 1〜2 と低く、市町村間で分布の散らばり方が違う点に注目

(6) 上位 15 市町村 集計表

(7) 避難所マップ — 主災害カテゴリ別カラー

画面拡大で個別マーカーが現れる (zoom 13 以上で MarkerCluster 解除)。クリックで施設名・住所・収容人数・BFスコア・対応災害種別を表示。

考察

• 「フラグ列」は単純に sum するだけでは情報を取りこぼす: 5 種別の合計件数だけ見ると「広く対応している」と錯覚しがちだが、Jaccard 共起行列で見ると洪水と土砂は同じ施設で対応されることが多い(係数 0.6 近い) 一方、津波は他種別との共起が小さい。これは「内陸=津波非該当」という地理的制約が背後にあり、データの背後の カテゴリ生成プロセスを読む練習になる。
• 収容力はロングテール: 平均 504 人・中央値 320 人前後だが、最大は数万人の大型施設。対数正規フィットの μ_log/σ_log は推定できるが、Q-Q プロットの右上 (大規模施設) で乖離 → 「全体は対数正規 + 末尾だけべき」というハイブリッド構造。「分布フィットは中央域だけ評価しない」を Q-Q で体験する。
• 市町村別は人口とほぼ比例しない: 件数・収容力合計のトップ 3 は広島市・福山市・東広島市で順当だが、人口あたりに直すと中山間地域の市町が高く出る場合がある (発展課題)。「絶対数 vs 相対指標」の使い分けがポリシー議論の出発点。
• バリアフリー総合スコアの中央値は 1〜2: 11 のうち 1〜2 しか満たさない施設が多数派 (=学校体育館等の標準避難所)。災害弱者対応は「特別な施設だけ」という現状が箱ひげ箱ひげで一目瞭然。MDASH 心得タグの「データから社会課題の不均衡を読む」典型例。
• JSON 全フィールドのプロファイリングは「分析の前」にやる: shelterId/Start/End が 100% null だと気付かずに使うとバグる。「最初に dtype と null率の表を眺めろ」がデータ実務の鉄則。

発展課題

1. 人口あたり指標: e-Stat で広島県下市町村の人口を取り、「人口千人あたり収容力」を市町村別に計算 → 散布図上での「過剰／不足」を可視化。
2. クラスタリング: 災害種別 5 フラグ + BF スコア + log(capacity) を特徴量として k-means / HDBSCAN で施設を類型化し、地図上で色分け。「沿岸特化型」「内陸大規模型」などの自然なグループが浮かぶか検証。
3. ハザードマップとの突合: DoBoX #46 (津波浸水想定) と緯度経度で空間結合し、「津波対応フラグが立っているのに浸水想定域にある」避難所を抽出。
4. capacity の欠損補完: 535 件の null を、同一市町村・同一施設種別の中央値で補完して合計収容力を再評価し、補完前後で結論が変わるかを見る。
5. バリアフリースコアの主成分分析: 11 フラグの相関構造を PCA で抽出し、第 1 主成分が「設備充実度」、第 2 主成分が「想定災害弱者種別」を分離するかを検証。