🔖 キーワード索引

このページ内のセクションへ素早く飛べます（クリックで該当箇所へジャンプ）：

「eda」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「eda」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「eda の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む — 探索的データ分析とは何者か

探索的データ分析（Exploratory Data Analysis (EDA)）は、 言葉だけ眺めても「で、 何が嬉しいの？」となりがちです。 ここでは具体例で 『なぜ必要か / どう役立つか』 を一気に体感しましょう。

本ページではこのあと、 数式（または定義）・SSDSE 実データ計算・Python実装・落とし穴 を順番に追いかけて、 用語を「使える知識」にしていきます。

🎨 直感で掴む

データを読み・解釈し・批判する力。 数値の背後にある文脈とバイアスを意識してください。

本ページでは 探索的データ分析 を、 定義・前提条件・使い方・落とし穴の順に整理して解説します。 厳密な定義より、 まず何を、 いつ、 どう使うかを理解することを優先してください。

📐 数式・定義

探索的データ分析 は概念的定義が中心ですが、 ジャストインタイム教育の観点からは「関連量のなかで何を計算しているか」を式で押さえると理解が深まります。 代表的に使われる数式は：

$$ \text{基本量}_{eda} = f(\text{入力データ}, \text{前提}, \text{パラメータ}) $$

定義式の一般形：

$$ Q = \frac{1}{n} \sum_{i=1}^{n} g(x_i) $$

ここで $g(\cdot)$ は用語に応じた評価関数（カウント、 平均、 比、 オッズなど）。 具体形は次セクション「🔬 数式を言葉で読み解く」で確認します。

📐 定義

可視化と集計でデータを探索する分析手法

英語名 Exploratory Data Analysis。 同義・関連語：EDA。

🎯 いつ・どこで使うか

• 「リテラシー」分野の標準的な道具として、 多くの分析で登場します。
• 📚 データリテラシー を学ぶときに必ず通過する基本概念です。
• 論文・実務レポートで頻出する用語なので、 1 度はちゃんと理解しておくと後が楽です。

📋 前提条件・適用範囲

この用語を理解・使用するときは、 次のような前提を意識してください：

• データの性質：尺度（名義/順序/間隔/比例）と分布を確認
• サンプル数：手法によって最低限のサンプル数が異なります
• 独立性：観測が独立であるかを確認（時系列・パネル等では別の手法が必要）
• 欠損・外れ値：前処理の方針を明確に

📐 EDA の中核数式 — 描述統計の完全リスト

EDA で頻出する描述統計を「数式 → 言葉での意味 → SSDSE-B-2026 での値」の 3 段で整理します。

中心傾向 (Central Tendency)

$$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i, \quad \text{median}(x) = x_{(\lceil n/2 \rceil)}, \quad \text{mode}(x) = \arg\max_v |\{i: x_i = v\}|$$

2023 年人口 (n=47): $\bar{x} = 2{,}645{,}809$、 中央値 $= 1{,}549{,}000$。 平均 > 中央値で 右に歪んだ分布と読める。

散らばり (Dispersion)

$$s = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2}, \quad \text{IQR} = Q_3 - Q_1, \quad \text{MAD} = \text{median}(|x_i - \text{median}(x)|)$$

2023 年人口: $s = 2{,}797{,}551$、 $Q_1 = 1{,}034{,}000$、 $Q_3 = 2{,}636{,}500$、 $\text{IQR} = 1{,}602{,}500$。 IQR は外れ値の影響を受けにくく、 都心 9 都道府県を含めても安定。

形状 (Shape)

$$\text{skewness} = \frac{1}{n}\sum_{i=1}^{n}\left(\frac{x_i - \bar{x}}{s}\right)^3, \quad \text{kurtosis} = \frac{1}{n}\sum_{i=1}^{n}\left(\frac{x_i - \bar{x}}{s}\right)^4 - 3$$

2023 年人口: 歪度 = 2.219 (強い右歪み)、 尖度 = 4.951 (正規分布 0 より大きい尖り)。 これだけで「正規分布で扱うのは不適切」と判断できる。 数式を言葉で読み解くと、 歪度は「3 乗の符号で左右非対称を測る」、 尖度は「4 乗で外れ値の影響を強調しつつ正規 (=3) からの偏差を測る」となる。

外れ値判定 (Outlier Detection)

$$\text{Tukey fence (upper)} = Q_3 + 1.5 \times \text{IQR}, \quad \text{Tukey fence (lower)} = Q_1 - 1.5 \times \text{IQR}$$

2023 年人口: 上限フェンス = $2{,}636{,}500 + 1.5 \times 1{,}602{,}500 = 5{,}040{,}250$。 これを超えるのは 北海道、 埼玉、 千葉、 東京、 神奈川、 愛知、 大阪、 兵庫、 福岡の 9 都道府県で、 これは「政令指定都市以上の人口集中圏」と一致。

📐 Tukey の EDA 哲学を数式を言葉で読み解く

EDA の発明者 John W. Tukey (1977) は「データから仮説を発見する」プロセスを 5 数要約 + 箱ひげ図 で形式化した。 Tukey 自身の論文に出る IQR ルールは以下:

🔬 数式を言葉で読み解く

• Q1: データの下から 25% の位置にある値。 「下位 1/4 の上限」
• Q3: データの下から 75% の位置にある値。 「上位 1/4 の下限」
• IQR (Inter-Quartile Range): Q3 − Q1。 中央 50% の幅。 平均より 外れ値に頑健
• 1.5 × IQR: Tukey が経験的に選んだしきい値。 正規分布なら ≒ ±2.7σ 相当 (両側合計 0.7%)
• 下側ヒンジ Q1 − 1.5×IQR / 上側ヒンジ Q3 + 1.5×IQR: この範囲外を「外れ値候補」と判定
• "3 × IQR" は far outlier: 更に厳しい外れ値、 報告書では赤で目立たせる慣習

🎯 このコードでやること：SSDSE-B-2026 の都道府県人口に Tukey の IQR ルールを適用して、 外れ値県を自動抽出。 同時に 5 数要約 + 箱ひげ図を生成して EDA の最初の 1 枚を作る。

📥 入力データ: SSDSE-B-2026 47 県の総人口 A1101 (人、 2023 年)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import numpy as np
import pandas as pd

# SSDSE-B-2026 を読み込み、2023 年・47 都道府県の総人口 A1101 を取り出す
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
sub = df[df['SSDSE-B-2026'] == 2023]
pop = sub['A1101']

# 5 数要約 (Tukey 流: min, Q1, median, Q3, max)
q1, q2, q3 = pop.quantile([0.25, 0.5, 0.75])
iqr = q3 - q1
lower_fence = q1 - 1.5 * iqr
upper_fence = q3 + 1.5 * iqr

print(f"min      : {pop.min():>11,}")
print(f"Q1 (25%) : {q1:>11,.0f}")
print(f"median   : {q2:>11,.0f}")
print(f"Q3 (75%) : {q3:>11,.0f}")
print(f"max      : {pop.max():>11,}")
print(f"IQR      : {iqr:>11,.0f}")
print(f"下側 fence: {lower_fence:>11,.0f}")
print(f"上側 fence: {upper_fence:>11,.0f}")

# 外れ値判定 (Tukey の 1.5×IQR / 3×IQR ルール)
outliers = sub[(pop < lower_fence) | (pop > upper_fence)]
far = sub[(pop < q1 - 3 * iqr) | (pop > q3 + 3 * iqr)]
print(f"\n外れ値 (1.5×IQR 超): {len(outliers)} 県, {list(outliers['Prefecture'])}")
print(f"far outliers (3×IQR 超): {len(far)} 県, {list(far['Prefecture'])}")

📤 実行例:

💬 結果の読み方：47 県の人口は median 約 155 万人、 IQR 約 160 万人、 上側 fence 約 504 万人を超える 9 都道府県 (北海道・埼玉・千葉・東京・神奈川・愛知・大阪・兵庫・福岡) が外れ値。 とくに東京 14,086 千人・神奈川・愛知・大阪の 4 都府県は Q3 + 3×IQR = 7,444,000 を超え far outlier。 これは「分析時に東京を別扱いする」という EDA からの仮説検出。 1.5 を 1.5 のまま使うのは Tukey 1977 の慣行で、 分布が正規でない場合は「外れ値が多数」が正常な姿。 慌てて削除せず、 まず なぜそうなるか を考えるのが EDA の哲学。

🧾 EDA を分析監査として完了させる最終チェック

探索的データ分析は、グラフを数枚描いて印象を述べる作業ではない。最終的には「このデータで、何を信じてよく、何をまだ信じてはいけないか」を切り分ける監査工程である。平均値、中央値、四分位範囲、欠損率、外れ値、カテゴリの偏り、時点のずれ、単位の違い、入力ミス、母集団の取り違えを順に確認し、後続の推定・予測・意思決定に渡してよい状態かを判断する。EDA が弱いと、どれほど高度なモデルを使っても、モデルは単にデータの欠陥を高精度に再現するだけになる。

実務で最初に見るべきなのは、各列の定義と観測単位である。都道府県データなら 1 行が都道府県なのか、市区町村なのか、年度なのか、調査時点なのかを確認する。売上データなら 1 行が明細なのか、注文なのか、顧客月次なのかで解釈が変わる。観測単位を曖昧にしたまま相関係数や回帰係数を読むと、個人レベルの傾向を地域レベルに誤って持ち込む生態学的誤謬や、集計後に符号が反転するシンプソンのパラドックスを見落とす。

次に、欠損の意味を分類する。欠損は単なる空欄ではなく、「本当に値が存在しない」「調査対象外」「測定できなかった」「集計前に秘匿された」「入力処理で落ちた」のどれかである。たとえば自治体統計で小地域の値が秘匿されている場合、0 とみなして合計すれば過小評価になる。アンケートで所得が未回答なら、欠損している人ほど所得が高い、または低い可能性もある。EDA では欠損率を列別・群別に出し、欠損が目的変数や重要属性と関係していないかを必ず見る。

分布確認では、平均と標準偏差だけでは不十分である。歪んだ分布、ゼロ過剰、天井効果、床効果、二峰性、長い裾を見逃すと、後続の分析手法の前提が崩れる。人口、売上、アクセス数、所得、医療費のような量は右裾が長くなりやすいので、対数変換前後のヒストグラムを比較する。割合データは 0 から 1 の範囲に閉じ込められ、境界付近で分散が小さくなる。時系列データは季節性とトレンドを分けて見ないと、単なる月次変動を政策効果と誤読する。

外れ値は削除候補ではなく、まず説明候補である。東京都の人口、年末商戦の売上、災害月の避難者数、キャンペーン日のアクセス数などは、統計的には外れ値でも、分析上は最も重要な観測であることが多い。一方、負の年齢、未来の日付、都道府県コードの桁落ち、単位が円と千円で混在している値は、データ品質上の外れ値である。EDA では「現象としての外れ値」と「誤りとしての外れ値」を分け、削除、補正、別モデル化、ロバスト統計の利用を選択する。

EDA の良し悪しは、作った図の数ではなく、仮説が更新された回数で決まる。最初に「人口が多い地域ほど就業者数が多いはず」と考えたなら、散布図で概ね線形か、対数で見た方がよいか、都市圏と地方圏で傾きが違うかを確認する。想定と違う点があれば、測定誤差、制度差、産業構造、年齢構成、地理条件、サンプル選択のどれで説明できるかを考える。EDA は仮説を守る工程ではなく、仮説を壊してより強い説明へ進む工程である。

相関を見るときは、全体相関、層別相関、順位相関を並べると解像度が上がる。外れ値 1 点で Pearson 相関が大きく動くことは珍しくない。順位相関なら単調関係を捉えやすいが、非線形の形までは分からない。散布図に回帰直線だけを引くと、曲線関係や分散の増大を隠すことがあるため、LOWESS のような平滑線や密度表示を併用する。特に教育データ、医療データ、地域統計では、群ごとの構造差が大きいため、色分けや facet による分割表示が有効である。

時系列を含む EDA では、横断面データと同じ手順だけでは足りない。欠測が連続していないか、集計締め日の変更がないか、制度改定や分類変更で系列が切れていないかを確認する。月次データなら前年同月比、移動平均、季節調整前後を比較する。日次データなら曜日効果、祝日、月末月初、システム障害日の影響を見る。時点のずれを放置すると、説明変数が未来情報を含むリークになり、検証時だけ高精度に見える危険がある。

カテゴリ変数では、件数の少ない水準と表記ゆれが重要である。「東京都」「東京」「Tokyo」「13」のように同じ意味が複数表記されると、集計もモデルも分裂する。逆に「その他」に多様な水準を押し込めると、重要な少数群が見えなくなる。EDA ではカテゴリ別件数、上位水準、下位水準、未知カテゴリの扱いを確認する。モデル投入前には、訓練データに存在しないカテゴリが本番で出た場合のエンコード方針も決めておく必要がある。

数値の単位とスケールも監査対象である。円、千円、百万円が混ざる、人口が人と千人で混ざる、割合が 0.32 と 32 の両方で入る、面積が平方キロメートルと平方メートルで混ざる、といった問題は見た目には気づきにくい。EDA では最小値、最大値、分位点、代表的な実在値との照合で異常を検出する。単位のメタデータを列名だけに頼らず、データ辞書や出典表と突き合わせることで、後続の分析事故を大きく減らせる。

モデル開発に渡す前の EDA では、目的変数との関係だけでなく、説明変数同士の重複も見る。人口、世帯数、就業者数、課税所得総額のように、規模を表す変数は互いに強く相関しやすい。これを知らずに線形回帰へ入れると、多重共線性で係数解釈が不安定になる。予測目的なら許容できる場合もあるが、説明目的なら VIF、相関行列、主成分、標準化後の係数比較を検討する。EDA は、どのモデルを選ぶべきかだけでなく、どの解釈を避けるべきかも教えてくれる。

可視化の設計では、見やすさよりも誤読しにくさを優先する。棒グラフのゼロ起点、折れ線グラフの時系列順、地図の階級区分、ヒートマップの色覚多様性、散布図の点の重なり、箱ひげ図のサンプル数表示は、すべて解釈に直結する。EDA の図は途中成果物であっても、意思決定者に共有される可能性がある。軸ラベル、単位、期間、サンプル数、除外条件を図中または直下に残し、後から見ても同じ解釈に戻れるようにする。

再現性も EDA の品質である。ノートブック上で試行錯誤した結果だけが残り、どの前処理でどの図を作ったか分からない状態は危険である。読み込み、型変換、欠損処理、集計、描画、保存をコードとして残し、乱数シード、ライブラリバージョン、入力ファイル名、実行日時を記録する。特に教材や共同研究では、別の人が同じ図を再生成できることが重要である。再現できない EDA は、説得力のある発見ではなく、たまたま残った画面でしかない。

最後に、EDA の結論は「分かったこと」「分からないこと」「次に確認すること」に分けて書く。分かったことは、分布、外れ値、主要な関係、データ品質の状態である。分からないことは、因果、未観測交絡、測定誤差の程度、制度変更の影響などである。次に確認することは、追加データ、層別分析、ロバスト性確認、モデル比較、専門家レビューである。この 3 区分でまとめると、EDA が単なる観察メモではなく、分析プロジェクト全体の意思決定ログになる。

教育場面では、EDA を「正解を探す前の準備」として教えるより、「データに質問する技法」として教える方が定着しやすい。最初に 5 数要約を出し、次にヒストグラムを描き、外れ値を見つけ、散布図で関係を見て、必要なら層別し、最後に言葉で仮説を書き直す。この循環を短いデータセットで何度も回すと、学生はモデル以前にデータを疑う姿勢を身につける。EDA の最終目標は美しい図ではなく、次の分析で失敗しないための判断材料をそろえることである。

🔬 数式・定義を「言葉」で読み解く

先ほどの数式・定義に出てきた記号や概念を、 一つずつ確認します。 とくに 探索的データ分析 の文脈で意味を取り違えやすい部分を強調します。

記号は手法ごとに少しずつ意味が違うため、 論文・教科書を読むたびに『この本ではこの記号を何の意味で使っているか』を最初に確認するのが鉄則です。 とくに 探索的データ分析 関連の文献では、 ${\sigma}^2$（分散）と $s^2$（標本分散）の区別、 $n$ と $N$（標本サイズ vs 母集団サイズ）の混同に注意。

🧮 SSDSE-B 実値で計算してみる

SSDSE-B-2026（47都道府県・2023 年・112 列）を題材に、 探索的データ分析 に関係する変数を実値で確認します。 とくに東京・大阪・沖縄・秋田 など特徴ある県を比較すると、 用語の重みが体感できます。

これらの値を 探索的データ分析 の観点で読み解くと、 都道府県間の格差・特徴・関係性が浮かび上がります。 具体的な計算手順は次の「🐍 Python 実装」セクションで実演します。

🧮 数式に値を入れて手で計算する: SSDSE-B-2026 A4103 (合計特殊出生率) の 5 数要約

EDA の最初の一歩「5 数要約 (min, Q1, median, Q3, max)」を、 SSDSE-B-2026 の A4103 (合計特殊出生率) の 47 都道府県全データで実行する。 EDA で「分布の中心と幅を一目で掴む」典型操作。

Step 1: SSDSE-B-2026 A4103 の 47 都道府県値 (一部抜粋)

47 県の値をソート (昇順) すると以下のような分布:

Step 2: 5 数 (実 SSDSE 値で)

東京 (0.99) と沖縄 (1.60) で 0.61 差 — TFR で 1 県の差が 0.6 もあるのは非常に大きい。 EDA は「この差をどう読むか」の起点となる。

🐍 Python で再現

このコードでやること: SSDSE-B-2026 を読み込み、 A4103 列の 5 数要約 (min/Q1/median/Q3/max + IQR) を計算する。

📥 入力データ (SSDSE-B-2026.csv 関連列):

1
2
3
4
5
6
7
8
9

import pandas as pd
import numpy as np

# SSDSE-B-2026 を読み込み、2023 年の合計特殊出生率 A4103 を抽出
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
x = df[df['SSDSE-B-2026'] == 2023]['A4103'].values
q = np.percentile(x, [0, 25, 50, 75, 100])
print(f"min={q[0]:.2f}, Q1={q[1]:.2f}, median={q[2]:.2f}, Q3={q[3]:.2f}, max={q[4]:.2f}")
print(f"IQR={q[3]-q[1]:.2f}, 範囲={q[4]-q[0]:.2f}")

📤 実行結果

💬 手計算 (Step 2) min 0.99 / median 1.30 / max 1.60 と Python 出力が一致。 IQR 0.17 に対し range 0.61 — 沖縄 (1.60) が右側の外れ値である可能性を箱ひげ図でさらに検証するのが EDA の次ステップ。

🐍 Python 実装

以下は 探索的データ分析 を SSDSE-B-2026 で扱うときの典型コード。 encoding='cp932' は政府統計の Shift-JIS 対応。 skiprows=[1]（リスト指定）で 2 行目の日本語見出し行だけをスキップし、 1 行目の列コード（A1101 等）をヘッダに採用するのが定石。 skiprows=1（整数）だと逆に 1 行目のコード行が消えてしまう点に注意。

① 基本パターン（読み込み・確認・主要列抽出）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import pandas as pd

# 探索的データ分析 に関連する SSDSE-B-2026 分析の基本パターン
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
# 見出しの下に地域コード以外の行が混ざるので、47 都道府県だけ残して数値に直す
df = df[df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
for _c in df.columns[3:]:
    df[_c] = pd.to_numeric(df[_c], errors='coerce')

print(df.shape)            # (564, 112)
print(df.dtypes.head(10))
print(df.describe().T.head(10))

# 主要列にエイリアス
df['総人口'] = df['総人口']
df['65歳以上'] = df['65歳以上人口']
df['高齢化率'] = df['65歳以上'] / df['総人口'] * 100
print(df[['都道府県','総人口','高齢化率']].head())

② 可視化テンプレ（matplotlib / seaborn）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 探索的データ分析 の探索的データ分析（EDA）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

# 見出しの下に地域コード以外の行が混ざるので、47 都道府県だけ残して数値に直す
df = df[df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
for _c in df.columns[3:]:
    df[_c] = pd.to_numeric(df[_c], errors='coerce')

# 主要変数を取り出して名前を分かりやすく
df['総人口'] = df['総人口']
df['65歳以上'] = df['65歳以上人口']
df['高齢化率']  = df['65歳以上'] / df['総人口'] * 100
df['TFR']      = df.iloc[:, 21]

# ヒストグラム
fig, axes = plt.subplots(1, 2, figsize=(12, 4))
sns.histplot(df['高齢化率'], kde=True, ax=axes[0])
axes[0].set_title('高齢化率の分布（47都道府県）')
sns.histplot(df['TFR'], kde=True, ax=axes[1])
axes[1].set_title('TFRの分布')
plt.tight_layout()
plt.savefig('eda_distribution.png', dpi=120)

③ 前処理：欠損・外れ値・型変換

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

import pandas as pd
import numpy as np

# 探索的データ分析 に関わる前処理の典型パターン
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

# 見出しの下に地域コード以外の行が混ざるので、47 都道府県だけ残して数値に直す
df = df[df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
for _c in df.columns[3:]:
    df[_c] = pd.to_numeric(df[_c], errors='coerce')

# ① 欠損値の確認
print('欠損数:')
print(df.isna().sum().sort_values(ascending=False).head(10))

# ② 数値変換（カンマ・%除去 など）
def to_num(s):
    if isinstance(s, str):
        return float(s.replace(',', '').replace('%', ''))
    return s
_num_cols = [c for c in df.columns
             if c not in ('年度', '地域コード', '都道府県', 'Code', 'Prefecture',
                          'SSDSE-B-2026')]
df[_num_cols] = df[_num_cols].apply(lambda col: col.map(to_num))

# ③ 外れ値検出（IQR）
# 地域コードや都道府県名は大小比較できないので、数値の列だけで判定する
_num = df.select_dtypes(include='number')
q1 = _num.quantile(0.25)
q3 = _num.quantile(0.75)
iqr = q3 - q1
outlier_mask = ((_num < q1 - 1.5*iqr) | (_num > q3 + 1.5*iqr)).any(axis=1)
print('外れ値を含む行数:', outlier_mask.sum())

④ 検定・推定の最小例（scipy.stats）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
from scipy import stats

# 探索的データ分析 文脈での基本的な仮説検定
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
# 見出しの下に地域コード以外の行が混ざるので、47 都道府県だけ残して数値に直す
df = df[df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
for _c in df.columns[3:]:
    df[_c] = pd.to_numeric(df[_c], errors='coerce')

df['aging']  = df['65歳以上人口'] / df['総人口'] * 100
df['region'] = df['都道府県'].apply(lambda p: '東日本' if p in ['北海道','青森県','岩手県','宮城県','秋田県','山形県','福島県','茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県','新潟県','富山県','石川県','福井県','山梨県','長野県','岐阜県','静岡県','愛知県'] else '西日本')

east = df.loc[df['region']=='東日本', 'aging']
west = df.loc[df['region']=='西日本', 'aging']

t, p = stats.ttest_ind(east, west, equal_var=False)
print(f'東日本 平均高齢化率: {east.mean():.2f}%')
print(f'西日本 平均高齢化率: {west.mean():.2f}%')
print(f't = {t:.3f}, p = {p:.4f}')
print('判定:', '有意差あり' if p < 0.05 else '有意差なし')

※ より高度な例（クロス集計、 機械学習、 ベイズ推定）は data-process のグループ教材を参照。

🐍 Python での扱い

SSDSE-B-2026 のような公的統計データを Python で扱う際の基本パターン：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
import numpy as np

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df.shape)
print(df.dtypes)
print(df.describe())

# 「探索的データ分析」の文脈で扱う場合の例：
# 分野: リテラシー
# 関連手法は同カテゴリの他用語を参照してください。

具体的なコードは データリテラシー を参照してください。

📝 レポートでの報告

分析結果を報告するときに含めるべき情報：

• 使ったデータ：出典・期間・サンプル数
• 適用条件の確認：前提が満たされているか
• 計算結果：数値だけでなく不確実性（CI・SE）も
• 解釈：何を意味するか、 何を意味しないか
• 限界：適用範囲外への拡張は避ける

✅ チェックリスト

• □ 「探索的データ分析」を使う場面か再確認したか
• □ データの尺度・分布・サンプル数を確認したか
• □ 前提条件を満たしているか
• □ 計算した値だけでなく不確実性も把握したか
• □ 解釈と限界を区別したか
• □ 関連グループ教材で全体像を確認したか

🐍 Python 実装 — EDA 全工程の追加コード集

② 形状の把握 + 描述統計

🎯 このコードでやること: SSDSE-B-2026 を読み込み、 形状・データ型・欠損数・基本統計量を 1 画面で把握する。 EDA の第 1 ステップ。

📥 入力データ: data/raw/SSDSE-B-2026.csv（cp932 エンコード、 2 行目はヘッダ和訳）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

print('shape:', df.shape)
print('dtypes summary:')
print(df.dtypes.value_counts())
print('missing:')
print(df.isnull().sum().sum(), 'cells')
print()
print(df[['SSDSE-B-2026', 'Prefecture', 'A1101', 'A1303']].describe())

📤 実行結果:

💬 結果の読み方: 564 行 = 47 都道府県 × 12 年 (2012-2023)。 欠損 0 個は SSDSE シリーズの大きな特徴。 人口の最大値 14,086,000 は東京都 2023 年で、 最小 537,000 は鳥取県 2023 年。

③ 単変量分布の可視化（ヒストグラム + 箱ひげ図 + KDE）

🎯 このコードでやること: 2023 年の都道府県人口について、 ヒストグラム + 箱ひげ図 + KDE で分布形を多角的に確認する。

📥 入力データ: df2023 = df[df['SSDSE-B-2026']==2023]（47 行 × 112 列）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import matplotlib.pyplot as plt
import seaborn as sns

df2023 = df[df['SSDSE-B-2026']==2023]
pop = df2023['A1101'] / 10000  # 万人単位

fig, axes = plt.subplots(1, 3, figsize=(15, 4))
axes[0].hist(pop, bins=15, color='steelblue', edgecolor='black')
axes[0].set_title('Histogram (population, 10k)')
axes[0].set_xlabel('Population (10k people)')

axes[1].boxplot(pop, vert=True)
axes[1].set_title('Box plot')
axes[1].set_ylabel('Population (10k)')

sns.kdeplot(pop, ax=axes[2], color='darkred', fill=True)
axes[2].set_title('KDE (density)')
axes[2].set_xlabel('Population (10k)')

plt.tight_layout()
plt.savefig('eda_population_dist.png', dpi=100)
print(f'mean={pop.mean():.1f} median={pop.median():.1f} std={pop.std():.1f}')
print(f'skewness={pop.skew():.3f} kurtosis={pop.kurt():.3f}')

📤 実行結果:

💬 結果の読み方: 歪度 2.29 (> 1) で「強い右歪み」と判定。 平均 264.6 万 ≫ 中央値 154.9 万も右歪みの傍証。 EDA の段階で 「正規分布前提の検定は使えない」「対数変換が必要」と判断できる。

④ 多変量関係の探索 — 散布図行列 (Pair Plot)

🎯 このコードでやること: 人口、 65歳以上人口、 出生数、 死亡数の 4 変量について、 散布図行列で全ペアの関係を一目で確認する。

📥 入力データ: 2023 年データ 47 行 × 4 列 (A1101, A1303, A4101, A4200)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

cols = ['A1101', 'A1303', 'A4101', 'A4200']
labels = ['Population', 'Age65+', 'Births', 'Deaths']
sub = df2023[cols].copy()
sub.columns = labels

g = sns.pairplot(sub, diag_kind='hist', plot_kws={'s': 22, 'alpha': 0.7})
g.fig.suptitle('SSDSE-B 2023: Population-related variables', y=1.02)
plt.savefig('eda_pairplot.png', dpi=100, bbox_inches='tight')

print('Correlation matrix:')
print(sub.corr().round(3))

📤 実行結果:

💬 結果の読み方: 全変量間で r > 0.97 — 「人口規模に支配された冗長な変量群」と分かる。 EDA の段階で 「人口で正規化した比率（出生率・死亡率・高齢化率）に変換すべき」と判断できる。 これが EDA の真骨頂 — モデリング前に変数選択の方向を決める。

⑤ 外れ値の検出と説明 — Tukey Fence

🎯 このコードでやること: 2023 年人口で IQR 法による外れ値を抽出し、 都道府県名と人口を一覧表示する。

📥 入力データ: df2023 の Prefecture 列と A1101 列

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

pop = df2023['A1101']
Q1 = pop.quantile(0.25)
Q3 = pop.quantile(0.75)
IQR = Q3 - Q1
upper = Q3 + 1.5 * IQR
lower = Q1 - 1.5 * IQR

outliers = df2023[(pop > upper) | (pop < lower)]
print(f'Q1={Q1:,.0f}  Q3={Q3:,.0f}  IQR={IQR:,.0f}')
print(f'Upper fence = {upper:,.0f}  (Lower fence = {lower:,.0f})')
print(f'Outliers: {len(outliers)} prefectures')
print(outliers[['Prefecture', 'A1101']].to_string(index=False))

📤 実行結果:

💬 結果の読み方: 外れ値 9 都道府県は「3 大都市圏 + 北海道 + 福岡」とほぼ一致。 EDA の段階で 「これは異常値ではなく説明対象」と判断し、 「人口集中の地理的構造」というモデリング仮説を導ける。

⑥ 正規性の事前検定（Shapiro-Wilk）

🎯 このコードでやること: 2023 年人口の生データと対数変換後の両方で Shapiro-Wilk 正規性検定を行い、 「対数変換が必要か」を客観的に判定する。

📥 入力データ: pop = df2023['A1101']（47 件、 単位: 人）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import numpy as np
from scipy import stats

# 生データ
w1, p1 = stats.shapiro(pop)
# 対数変換後
w2, p2 = stats.shapiro(np.log10(pop))

print(f'Raw scale:  W={w1:.4f}  p={p1:.4g}')
print(f'Log scale:  W={w2:.4f}  p={p2:.4g}')
print()
print('Interpretation:')
print('  p < 0.05 → reject normality')
print(f'  → Raw: {"normal" if p1 >= 0.05 else "NOT normal"}')
print(f'  → Log: {"normal" if p2 >= 0.05 else "NOT normal (but improved)"}')

📤 実行結果:

💬 結果の読み方: 生データの W=0.69 → 対数変換で W=0.93 へと改善。 ただし対数変換後も p < 0.05 で完全な正規分布ではない。 EDA の段階で 「正規性前提の手法（t 検定・線形回帰の係数 CI）は対数スケールで使用するか、 ノンパラメトリック法を選ぶ」と判断できる。

🧩 ケーススタディ — EDA で「秋田 vs 東京」高齢化問題を読み解く

SSDSE-B-2026 の 2023 年データで、 高齢化率 (= A1303 / A1101 × 100) を 47 都道府県で計算すると次のような構造が見えてきます。

EDA でこの構造が見えれば、 次の検証ステップ（地域別重回帰、 縦断分析、 政策効果の差分検定）への扉が開きます。 これが「EDA は仮説生成」の意味です。

🐍 SSDSE-B-2026 47 県 EDA テンプレ (pandas profiling / sweetviz / missingno)

実務 EDA の最大の時短ツールは 自動 EDA レポート。 ypandas-profiling (現 ydata-profiling)、 sweetviz、 dtale、 missingno など、 1 行で 100 列のヒストグラム・相関・欠損可視化が出る。 ここでは SSDSE-B-2026 (47 都道府県 × 約 120 カラム) に対する標準テンプレを示す。

🎯 このコードでやること：SSDSE-B-2026 を読み込み、 ydata-profiling で全列の自動レポート、 missingno で欠損パターン、 seaborn pairplot で 5 列の関係を 1 ファイルで吐き出す EDA テンプレ。

📥 入力データ (SSDSE-B-2026 ヘッダ抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import missingno as msno

# SSDSE-B-2026 は 2 行ヘッダ: header=1 で列名（和訳）行をスキップし列コードを採用
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]           # 2023 年の 47 都道府県だけ抽出
print(f"形状: {df.shape}")                     # (47, 112)
print(f"先頭 3 行 × 6 列:\n{df.iloc[:3, :6]}")
print(f"\n数値列の dtype 件数:\n{df.dtypes.value_counts()}")
print(f"\n欠損数 合計: {df.isna().sum().sum()}")   # SSDSE-B は完全データ

# 1. 自動 EDA レポート (HTML)
# from ydata_profiling import ProfileReport
# ProfileReport(df, title="SSDSE-B-2026 EDA").to_file("eda_report.html")

# 2. 欠損パターン可視化 (matrix プロット)
fig, ax = plt.subplots(figsize=(14, 5))
msno.matrix(df.iloc[:, :30], ax=ax, sparkline=False)
plt.tight_layout()
plt.savefig("eda_missing.png", dpi=110)

# 3. 主要 4 列の pairplot (総人口・高齢者数・出生数・消費支出)
focus = ['A1101', 'A1303', 'A4101', 'L3221']
focus_df = df[focus].apply(pd.to_numeric, errors='coerce')
sns.pairplot(focus_df, diag_kind='kde', plot_kws={'alpha': 0.6})
plt.savefig("eda_pairplot.png", dpi=110)

# 4. 数値要約 (describe + 歪度 + 尖度)
summary = focus_df.describe(percentiles=[0.25, 0.5, 0.75]).T
summary['skew'] = focus_df.skew()
summary['kurt'] = focus_df.kurt()
summary['cv']   = summary['std'] / summary['mean']   # 変動係数
print(f"\n要約統計 (歪度・尖度・CV):\n{summary[['mean','std','skew','kurt','cv']].round(2)}")

📤 実行例:

💬 結果の読み方：47 県の総人口・65歳以上人口・出生数はいずれも 右歪み (skew > 1.8) + 東京が裾の外れ値。 これは log 変換が有効 という EDA 結論を意味する (相関を取る前に対数化を検討)。 一方 消費支出（二人以上の世帯, L3221）は skew=-0.54 とほぼ対称で県差も小さい (CV=0.08)。 自動レポートを見るのは 「考える」EDA の前の 5 分 と割り切る (思考停止しないこと)。

⚠️ よくある落とし穴（7 件）

探索的データ分析 に取り組むときに、 学生・実務者・研究者がよく踏むワナをまとめました。 該当しそうな項目があれば、 自分の分析を見直してみてください。

🧭 詳細解説 — 探索的データ分析 を一段深く掘り下げる

歴史的背景

探索的データ分析（Exploratory Data Analysis (EDA)）は、 プロセス 分野における基本概念の 1 つとして発展してきました。 学術領域では 20 世紀後半に体系化が進み、 21 世紀のデータ駆動社会の中で「実務で使う知識」として急速に普及。 とくに 2010 年代後半以降、 ビッグデータ・IoT・AI の進展に伴い、 用語の意味・適用範囲が再定義されつつあります。

日本では総務省・経産省・内閣府の各種計画（Society 5.0、 デジタル田園都市国家構想、 統計改革基本計画）で繰り返し言及される基幹概念。 SSDSE（教育用標準データセット）も、 これらの教育普及を目的に整備されたデータです。

国際的な位置付け

OECD、 国連、 ISO、 IEC などの国際機関が、 探索的データ分析 に類する概念・標準を整備してきました。 たとえば：

• OECD：データガバナンス・AI 原則・統計教育政策で頻出
• 国連 SDGs：データ駆動の進捗管理の根拠
• ISO/IEC：データ品質・AI マネジメントの国際規格（ISO 8000、 ISO/IEC 42001 など）
• UNESCO：教育における統計・データリテラシーの位置付け

日本の文脈での意味

探索的データ分析 を含むデータ分析の手法は、 日本では次の場面で使われています。 下の表は分野ごとの登場場面で、 この用語だけの話ではなくデータサイエンス全体の広がりを示します：

よく混同される概念

探索的データ分析 は、 隣接概念と混同されやすい用語の代表でもあります。 ここで違いを明確にしておきましょう：

学習・教材としての位置付け

本サイト（用語解説）は「ジャストインタイム型データサイエンス教育」のリソースです。 つまり、 論文・実務・授業で その用語に出会ったタイミングで必要最低限の説明を得る、 という使い方を想定しています。 探索的データ分析 もその一例。

体系的に学びたい場合は、 まずグループ教材（data-process）から始め、 そこから 探索的データ分析 のような個別用語にドリルダウンしていくのが効率的です。

参考文献・標準

• 独立行政法人統計センター『SSDSE（教育用標準データセット）』
  https://www.nstac.go.jp/use/literacy/ssdse/
• 総務省『統計でみる都道府県のすがた』『社会・人口統計体系』
• e-Stat 政府統計の総合窓口：https://www.e-stat.go.jp/
• OECD Data Portal：https://data.oecd.org/
• 『統計学入門』東京大学教養学部統計学教室編、 東京大学出版会（基礎統計の定番）
• 『Python によるデータ分析入門』Wes McKinney、 O'Reilly（pandas 公式書）
• 『データ分析のための統計モデリング入門』久保拓弥、 岩波書店（緑本）

⚠️ よくある落とし穴

⚠️ EDA 特有の落とし穴（追加 5 項目）

• 過剰可視化の罠: 112 列 × 全ペアの pairplot は 12544 個のサブ図になり、 描画も判読も不可能。 ドメイン知識で 4-8 変量に絞ってから可視化する。
• 仮説検定との混同: EDA で見つけた「興味深いパターン」をそのまま検定にかけるのは多重比較問題を引き起こす。 EDA で仮説を立てたら、 別の年度・別データセットで確認するのが原則。
• Cherry-picking: 47 都道府県のうち「目立つ 3 つ」だけ取り上げて結論を出すのは EDA ではなく印象操作。 必ず全 47 件の分布を示す。
• 外れ値の安易な除外: 「東京都が外れ値だから除く」は EDA の精神に反する。 外れ値こそ「説明すべき現象」。
• スケール無視の相関暴走: 人口と 65歳以上人口は r=0.99 — 「規模効果」で当たり前。 EDA では 「比率に変換した後の関係」を見るのが正しい。

🛠 EDA ツールセット比較表

EDA は手作業の pandas + matplotlib が王道ですが、 場面に応じて以下のツール群を使い分けるとスループットが上がります。

💡 実務の現場での推奨組み合わせ: pandas-profiling で全体スキャン → seaborn で深掘り → plotly で報告書用インタラクティブ図。

📊 時系列 EDA — SSDSE-B-2026 で 12 年の推移を見る

SSDSE-B-2026 は 2012-2023 年の 12 年間のデータを含むため、 都道府県別の時系列推移も EDA の対象になります。

🎯 このコードでやること: 全国合計人口と東京都人口の 12 年推移を折れ線で並べ、 集中度の変化を可視化する。

📥 入力データ: df 全行 (564 行)、 年 (SSDSE-B-2026 列) ごとに groupby

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import matplotlib.pyplot as plt

# 全国合計と東京都を年別に集計
nat = df.groupby('SSDSE-B-2026')['A1101'].sum() / 10000  # 万人
tky = df[df['Prefecture']=='東京都'].set_index('SSDSE-B-2026')['A1101'] / 10000
share = (tky / nat * 100).round(2)

fig, ax = plt.subplots(1, 2, figsize=(14, 4.5))
ax[0].plot(nat.index, nat.values, marker='o', label='Japan total', color='steelblue')
ax[0].plot(tky.index, tky.values, marker='s', label='Tokyo', color='crimson')
ax[0].set_xlabel('Year'); ax[0].set_ylabel('Population (10k)')
ax[0].legend(); ax[0].set_title('Population trajectory (2012-2023)')

ax[1].plot(share.index, share.values, marker='D', color='darkorange')
ax[1].set_xlabel('Year'); ax[1].set_ylabel('Tokyo share (%)')
ax[1].set_title('Tokyo population share of Japan')

plt.tight_layout()
plt.savefig('eda_timeseries.png', dpi=100)
print('Tokyo share (%):')
print(share.to_string())

📤 実行結果:

💬 結果の読み方: 12 年間で東京都のシェアは +0.96 ポイント。 単純な比較では小さく見えるが、 47 都道府県の中で 1 県だけがこの分シェアを増やすには、 他 46 県から人口を引き寄せた必要がある。 これが「東京一極集中」の EDA 的根拠。

🌈 相関ヒートマップで多変量を一望

🎯 このコードでやること: SSDSE-B-2026 の人口関連 8 変量について、 全ペアの相関係数をヒートマップで一望する。 強い相関のペアと無相関のペアを瞬時に識別。

📥 入力データ: 2023 年データ 47 行 × 8 列 (人口、 年齢層別人口、 出生数、 死亡数、 転入数、 転出数)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import seaborn as sns

cols = ['A1101', 'A1301', 'A1302', 'A1303', 'A4101', 'A4200', 'A5101', 'A5102']
labels = ['Pop', 'Age0-14', 'Age15-64', 'Age65+', 'Births', 'Deaths', 'InMig', 'OutMig']
sub = df2023[cols].copy()
sub.columns = labels

corr = sub.corr()
plt.figure(figsize=(8, 6.5))
sns.heatmap(corr, annot=True, fmt='.2f', cmap='RdBu_r', center=0,
            square=True, linewidths=0.5, cbar_kws={'shrink': 0.7})
plt.title('Correlation heatmap: Population-related vars (SSDSE-B 2023)')
plt.tight_layout()
plt.savefig('eda_heatmap.png', dpi=100)
print(corr.round(2))

📤 実行結果:

💬 結果の読み方: 全変量が r ≈ 0.9〜1.0 — 「ほぼすべて人口規模に比例」という強烈な結論（人口移動 InMig/OutMig はやや低く r≈0.92〜0.98）。 EDA で「絶対数」のままでは何も区別できないことが分かる。 「比率に変換すれば隠れた構造が見える」という方針が確立する。

❓ FAQ — EDA についてよくある質問

🎭 アンスコム四重奏が教える EDA の必然

EDA の重要性を最も鮮烈に示すのは、 1973 年に統計学者 Frank Anscombe が提示した アンスコム四重奏 (Anscombe's Quartet) です。

4 つの異なるデータセットが、 平均・分散・相関係数・回帰直線という主要な統計量で すべて同一の値を示すにもかかわらず、 散布図を描くと 全く異なる構造を持っていることが視覚的に明らかになります。

⚠️ 数値だけで判断していたら、 4 つのデータセットを「同じ」と見誤る。 これが「EDA を可視化中心で行うべき理由」の数学的根拠。 SSDSE-B-2026 でも、 人口と 65 歳以上人口の相関係数 r=0.99 だけ見て満足するのではなく、 散布図で東京都が右上に大きく離れて位置する（人口・高齢者数ともに突出）ことを確認するのが正しい EDA。

2017 年には Justin Matejka と George Fitzmaurice が「Datasaurus Dozen」を発表し、 「恐竜の絵を含む 13 個のデータセットが、 平均・分散・相関係数まですべて一致する」ことを示しました。 この衝撃的な事例も、 EDA の可視化重視の重要性を裏付けています。

✅ EDA 実施チェックリスト（最終版）

分析を提出する前に、 以下の 15 項目を 1 つずつ確認してください。

• □ データソース・取得日・バージョンを記録した
• □ df.shape, df.dtypes, df.isnull().sum() を確認した
• □ 主要 5-10 変量について describe() を出した
• □ 主要変量のヒストグラムを描き、 分布形を確認した
• □ 歪度・尖度を計算し、 正規分布前提が使えるか判定した
• □ 必要に応じて対数変換・Box-Cox 変換を検討した
• □ 箱ひげ図で外れ値を確認し、 各外れ値の意味を説明できる
• □ 二変量関係を散布図 or ヒートマップで確認した
• □ 相関係数の暴走（多重共線性）に注意して変数を絞った
• □ 比率・割合に変換した派生変量も検討した
• □ 時系列・地域別など、 自然な層別を検討した
• □ EDA で得た仮説を 3 件以上書き出した
• □ 仮説検証は別データ or サブセットで行う計画を立てた
• □ 図は最終レポート用に最大 5-7 枚に絞った
• □ 結論ではなく「次の問い」で EDA を締めくくった（Tukey 流）

🌐 関連手法・派生

探索的データ分析 と同じ「プロセス」カテゴリ、 または直接の上位・派生となる用語：

EDA (探索的データ分析) は仮説検定・モデリングの「前段階」として、 Tukey が提唱した「データに語らせる」アプローチ。 確認的データ分析 (CDA) と対をなす上位概念であり、 統計量算定・可視化・外れ値検出を統合した分析プロセスである。

• 上位概念: データサイエンスの 5 段階 (理解 → 取得 → 前処理 → EDA → モデリング) のうち、 第 4 段階。 CRISP-DM では「Data Understanding」フェーズ。
• 並列アプローチ: CDA (確認的データ分析、 仮説検定中心)、 IDA (初期データ分析、 品質確認中心)。 EDA は「発見」、 CDA は「検証」、 IDA は「健全性」を担当。
• 前段処理: 欠損値処理 (missing-value)、 型変換、 外れ値の初期確認、 サンプリング (大規模データ時)。
• 後段処理: 仮説生成 → t 検定 / 相関検定 / 回帰モデル / クラスタリング。 EDA の発見を統計検定で裏付ける。
• 派生・拡張: 自動 EDA ツール (pandas-profiling / sweetviz / autoviz)、 インタラクティブ EDA (Plotly / Tableau)、 NLP-EDA (テキスト固有の可視化)。
• 競合・代替: ベイズ的探索、 機械学習による特徴量重要度ベース探索 (SHAP / 並べ替え重要度)。 大規模・高次元データでは EDA だけでは追えない。

EDA は単発の手法ではなく「分析の入口でデータと対話する習慣」。 ヒストグラム → 散布図 → 箱ひげ図 → 相関行列の順で 30 分回すだけで、 後続のモデル選択精度は大きく向上する。

🔗 関連用語（前提・並列・発展）

📘 前提（先に理解しておきたい）

探索的データ分析 を学ぶうえで、 これらを先に押さえると吸収が早い：

📗 並列（同じ階層の関連用語）

対比・補完して理解すべき同階層の用語：

📕 発展（一歩進んだ応用・拡張）

探索的データ分析 を理解した後の自然な発展先：

📑 論文・実務での登場パターン

探索的データ分析 は、 統計データ解析コンペティション系の論文・教材で次のような場面に登場します：

論文一覧から該当キーワードで検索すると、 本サイト内の再現論文ハンズオン教材に直接ジャンプできます。 ⇒ 論文一覧に戻る

🖼 図で見る探索的データ分析（3 つの可視化フェーズ）

探索的データ分析 (EDA) の本質は「数値だけでは見えない構造を、 視覚化を通じて炙り出す」ことにあります。 SSDSE-B-2026 の都道府県データ（人口・経済・社会指標）を題材に、 EDA の中で頻出する 3 つの可視化パターンを以下に示します。 散布図で変数間の関係性、 ヒストグラムで単一変数の分布、 箱ひげ図でグループ間の比較 — これら 3 種類だけでも、 一次レポートの 8 割は組み立てられます。

図 1：散布図 — 2 変数の関係を診る（人口 × 65歳以上人口）

散布図は EDA で 最初に作る図と言ってよいほど基本かつ強力です。 図 1 を読み解くポイントは 4 点。 ①点群が右上がりに並ぶ → 正の相関が示唆される、 ②直線的に並ぶか曲線的に並ぶか → 線形/非線形の判別、 ③外れ値（例：東京都が右上に突出）が存在するか、 ④点群の密度が場所によって異なるか（分散の異質性）。 この 4 点を確認しないまま相関係数だけを報告すると、 例えば「相関は強いが外れ値 1 件が結論を引っ張っている」ような誤読が発生します。 EDA では 「数字 → 図 → 解釈」の三段重ねを必ず守りましょう。

散布図に補助情報を載せる手段としては、 ①回帰直線（seaborn.regplot）、 ②点の色分け（地域別の hue）、 ③ローエス曲線（局所回帰）、 ④信頼帯（CI）、 ⑤外れ値ラベル（都道府県名）の 5 つが定番です。 SSDSE-B-2026 では「人口 vs 65歳以上人口」「人口 vs 出生数」「人口 vs 消費支出」など、 散布図を 10 枚並べるだけでも EDA の中盤戦は一気に進みます。 図 1 の読みは「人口が多い県ほど 65 歳以上人口も多く、 概ね正比例（r≒0.99）。 ただし東京・神奈川・大阪は人口・高齢者数ともに突出し、 右上に大きく離れて位置する」というのが定番の解釈です。

図 2：ヒストグラム — 単一変数の分布を診る（人口の分布形）

ヒストグラムは「分布の形」を一目で把握するための EDA の必修ツールです。 図 2 から読み取れるのは、 ①最頻区間（150 万人前後）、 ②右に長い裾（東京・神奈川・大阪が引っ張っている）、 ③ピークが 1 つの単峰性、 ④平均と中央値の乖離（平均 > 中央値で右歪みを示唆）。 EDA の初期段階でこれを見ておくと、 ②に対しては「対数変換すべきか」、 ③に対しては「複数集団の混合ではないか」、 ④に対しては「平均で語るか中央値で語るか」といった次の判断につながります。

ヒストグラムを描く際の実務的注意点を 4 つ挙げておきます。 ①ビン幅（bins）を変えると印象が大きく変わるため、 bins=10、 bins=20、 bins='fd'（Freedman-Diaconis 規則）の 3 通りを試す、 ②x 軸が長い場合は対数スケール（plt.xscale('log')）も検討、 ③カウント表示と密度表示（density=True）を使い分ける、 ④境界条件（最小値・最大値）の扱いを明示する。 図 2 の場合、 人口は厳密に右歪みで 対数変換すると概ね正規分布に近づくことが知られており、 後段の回帰分析・t 検定の前処理として log 変換が定番です。

図 3：箱ひげ図 — 複数グループの分布を比較する（地域ブロック別）

箱ひげ図は「グループ間で分布がどう違うか」を比較するための EDA 標準ツールです。 図 3 の読み方を整理すると、 ①箱の中央線が中央値（Q2）、 ②箱の上下端が第 3 四分位（Q3）と第 1 四分位（Q1）、 ③ひげの長さが分散の代理指標、 ④箱の外側の点（◯）が外れ値（IQR × 1.5 を超える点）。 5 つの数値（min・Q1・Q2・Q3・max）と外れ値が 1 枚の図で同時に分かるため、 EDA の中盤で群間比較を行う際の第一選択肢になります。

箱ひげ図と相性が良いのは、 ①カテゴリ変数 × 数値変数（地域 × 平均寿命など）、 ②時系列 × 分布変化（年度別の箱を横並び）、 ③前処理前後の比較（外れ値除去前 vs 除去後）の 3 ケースです。 図 3 を読み解くと、 例えば「関東ブロックは中央値も高く分散も大きい（東京の影響）」「四国ブロックは中央値が低く分散も小さい」など、 単に平均を出して並べるだけでは得られない 分布全体の情報が見えてきます。 EDA レポートでは、 散布図・ヒストグラム・箱ひげ図の 3 点セットを 「最低 1 枚ずつは載せる」という運用が定着しています。

▶ 図のスキルアップ：上記 3 図に加え、 EDA の上級者は ①ペアプロット（seaborn.pairplot）、 ②ヒートマップ（相関行列）、 ③バイオリンプロット（箱ひげ + 密度）、 ④並列座標プロット、 ⑤ファセットグリッド（条件付き散布図）の 5 種類を駆使します。 関連ページ 散布図・ヒストグラム・箱ひげ図・ヒートマップ を順に巡ると、 1 日で EDA の可視化レパートリーが完成します。

✅ 理解度チェック（EDA 必修 8 問）

本ページで学んだ 探索的データ分析 の要点を、 ご自身の言葉で説明できるかをチェックします。 各問の ▼ 解答・解説を開く をクリックすると、 想定解答と関連ページへのリンクが表示されます。 8 問中 6 問以上を即答できれば、 EDA の入口を抜けたと言える水準です。

▶ 採点目安：8 問中 8 問即答 → EDA エキスパート（学部上級〜大学院水準）／6-7 問即答 → 実務に出られる水準／4-5 問即答 → EDA の基礎は身についているが、 落とし穴の理解が不足／3 問以下 → 本ページの「💡 30 秒結論」「🎨 直感」「⚠️ 落とし穴」を再読することを推奨。

📖 EDA の歴史と思想 — Tukey から現代まで

探索的データ分析 (Exploratory Data Analysis; EDA) という用語は、 アメリカの統計学者 John W. Tukey が 1977 年の同名書籍 Exploratory Data Analysis（Addison-Wesley）で体系化したのが定説です。 それ以前の統計学は「ある仮説を母集団に対して検定する」という確証的データ分析 (Confirmatory Data Analysis; CDA) が主流でした。 Tukey は「データから仮説を発見するプロセスこそ、 統計学の最初の仕事」と主張し、 箱ひげ図・幹葉表示・スムージングなど、 今日に至る EDA の代表的ツールを発明・命名しました。

Tukey の主張は当時「探索 vs 確証」という二項対立として理解されました。 すなわち、 まずデータを丹念に見て仮説を作る (EDA) → その仮説を別の独立データで検証する (CDA) → この 2 段階を踏まないと p ハッキング・データ浚渫の罠に落ちる、 という考え方です。 この思想は現代の機械学習における 訓練データ／検証データ／テストデータの 3 分割に直接つながっており、 EDA は決して「古い手法」ではなく、 むしろ 機械学習時代に再評価された必修プロセスと言えます。

1990 年代後半以降、 R 言語と ggplot2 (Wickham, 2005) の登場により EDA は「コードで再現可能な探索」へと進化しました。 2010 年代には Python の pandas・seaborn がそれを追従し、 さらに plotly・bokeh による 対話型 EDA が一般化。 現在では Jupyter Notebook + pandas + seaborn の組み合わせが世界標準で、 SSDSE-B-2026 のような公開データを扱う際にも同じ環境で完結します。 EDA は Tukey の時代から半世紀を経て、 統計学・データサイエンス・機械学習をつなぐ 共通言語になりました。

2020 年代に入ってからの新潮流として、 自動 EDA ツール（pandas-profiling、 sweetviz、 autoviz）の普及があります。 これらは ProfileReport(df).to_html() 一行で 100 ページ規模の EDA レポートを自動生成しますが、 自動生成された図表を そのまま信じてはいけないのが鉄則。 ①ビン幅の自動選択が不適切な場合がある、 ②外れ値の判定が粗い、 ③ドメイン知識を反映できない、 という 3 つの限界があるため、 自動 EDA はあくまで「初期スクリーニング」に留め、 結論を出す前に必ず手動で図を作り直す習慣をつけてください。

EDA は「結論を出す」プロセスではなく「問いを精緻化する」プロセスです。 Tukey 自身が "An approximate answer to the right question is worth a great deal more than an exact answer to the wrong question."（誤った問いへの正確な答えより、 正しい問いへの近似的な答えのほうが遥かに価値がある）と語ったのは、 EDA の本質を端的に示しています。 SSDSE-B-2026 のような公的データに対しても、 まず「何を問うべきか」を 1 時間考えてから EDA に着手するのが、 結果的にもっとも生産性の高い進め方です。

🧪 EDA 実務ワークフロー — 5 ステップ詳細版

実務で EDA を行う際の標準ワークフローを、 SSDSE-B-2026 を題材に 5 ステップに分解して説明します。 このワークフローは Kaggle 入賞者・データサイエンス職の OJT・大学のデータサイエンス演習で 共通言語として通用するもので、 1 度身につけると 任意のデータセットに 30 分以内で着地できるようになります。

Step 1：データ読み込みと初期把握（5 分）

最初の 5 分で次を確認します。 ①df.shape で行数・列数（SSDSE-B-2026 は 47 行 × 100+ 列）、 ②df.dtypes で型（数値型・文字列型・日付型）、 ③df.head(3) で先頭 3 行（カラム名と値の対応を確認）、 ④df.columns.tolist() で全カラム名を一覧。 この 4 点を 必ずスクリーンショットして手元に置くのが実務の鉄則です。 後段で「あれ、 このカラム何だったっけ」となる時間を節約できます。

Step 2：要約統計と欠損確認（10 分）

次の 10 分で次を確認します。 ①df.describe() で数値型の要約統計（平均・標準偏差・min・四分位・max）、 ②df.describe(include='object') で文字列型の要約（unique 数・最頻値）、 ③df.isna().sum() で欠損数（カラム別）、 ④df.isna().mean() で欠損率、 ⑤df.duplicated().sum() で重複行数。 SSDSE-B-2026 は完全データかつ重複なしですが、 一般のデータでは欠損率 30% 超のカラムは そのカラムを使うべきかの判断を Step 3 に持ち越します。

Step 3：単変量分析（15 分）

数値型カラム 1 つずつに対して ①ヒストグラム、 ②箱ひげ図、 ③要約統計（mean・median・std・skew・kurt）を出します。 SSDSE-B-2026 の場合、 「総人口」「出生数」「65歳以上人口」など 右歪みのカラムが多いため、 対数変換の必要性をこの段階で判定します。 また、 「平均寿命」「合計特殊出生率」などは概ね正規分布に近いため、 そのままで OK。 カテゴリ型カラムに対しては df['col'].value_counts() と棒グラフで頻度分布を確認します。

Step 4：二変量分析（20 分）

注目すべき変数ペアに対して ①散布図、 ②相関係数（Pearson・Spearman の両方）、 ③相関行列ヒートマップ (seaborn.heatmap) を作成します。 SSDSE-B-2026 で典型的な関心ペアは「人口 vs 出生数」（強い正の相関が予想される）、 「高齢化率 vs 合計特殊出生率」（負の相関が予想される）、 「人口 vs 消費支出」（弱い相関にとどまる）など。 仮説と乖離する結果が出たら、 Step 5 に進む前に 必ず原因仮説を 3 つ書き出すのが上級者の習慣です。

Step 5：多変量分析と仮説の精緻化（30 分以上）

最後に多変量の関係性を ①ペアプロット (seaborn.pairplot) で俯瞰、 ②主成分分析 (PCA) で次元削減、 ③クラスタリング (k-means) でグループ構造を発見、 ④ファセットグリッド (seaborn.FacetGrid) で条件付き関係性を可視化、 という手順で深堀りします。 ここまで進めば、 元の問い（リサーチクエスチョン）に対する 初期仮説と検証計画がほぼ立ちます。 SSDSE-B-2026 では「都道府県の社会・経済構造を 3〜4 の潜在因子で説明できるか」という問いが好題材です。

▶ 所要時間の目安：合計 80 分（5+10+15+20+30）。 これより短いと EDA として不十分、 これより長いと仮説検定・モデリングのフェーズを圧迫します。 初学者は最初 3 時間かかっても OK ですが、 10 回繰り返せば 80 分以内に収まるようになります。 関連 → PPDAC サイクル、 CRISP-DM、 データ分析プロセス

📊 ケーススタディ — SSDSE-B-2026 で実演する 5 つの EDA 発見

EDA は 「数値の羅列から意味のあるストーリーを引き出す」プロセスです。 SSDSE-B-2026（47 都道府県 × 100+ 指標）を題材にすると、 30 分の EDA で次のような 5 つの発見が得られます。 これらは仮説検定にかける前の「論点候補リスト」として機能し、 後段の研究計画を大きく加速します。

発見 1：人口集中の度合いはジニ係数 0.6 超

SSDSE-B-2026 の「人口（A1101）」をローレンツ曲線でプロットすると、 上位 5 都道府県（東京・神奈川・大阪・愛知・埼玉）で全国人口の約 35% を占有していることが見えます。 ジニ係数に換算すると 0.6 超で、 これは 所得分配のジニ係数（日本 0.33 前後）の倍近い格差です。 EDA はこのような「直感的には知っていたが、 数値で確認すると衝撃的な事実」を 定量化して提示できるのが強みです。 政策立案・地域分析の出発点として、 ローレンツ曲線とジニ係数は EDA の標準ツールに加えるべきです。

発見 2：高齢化率は西高東低ではなく「日本海側 vs 太平洋側」

SSDSE-B-2026 の高齢化率（A1303 ÷ A1101）を地図上にプロットすると、 単純な西高東低ではなく、 日本海側（秋田・山形・新潟・島根・鳥取）が一様に高く、 太平洋側（神奈川・愛知・大阪・福岡）が低いという構造が浮かびます。 EDA で地理情報を活かすと、 ①若年層の太平洋ベルト集中、 ②日本海側の人口流出、 ③地方都市の若返り政策の成否、 という 3 つの政策論点に直結します。 単なる集計表だけでは見えない構造で、 EDA の真価が発揮される場面です。

発見 3：65歳以上人口と人口の相関は強いが、 高齢化率（比率）にすると大きく分散

「65 歳以上人口（A1303）」と「総人口（A1101）」の相関係数は 0.99 程度で ほぼ完全な比例関係に見えます。 しかし比率指標「高齢化率＝A1303÷A1101」を計算すると、 秋田（39.1%）が最も高く、 東京（22.8%）が最も低く 16 ポイント超の差があります。 EDA で「絶対量が強く相関していても、 比率にすると構造が反転・分散する」ことを確かめるのは典型的な深堀り技法で、 ここから「都道府県間の高齢化格差は何で説明できるか」というリサーチクエスチョンが自然に生まれます。 SSDSE-B-2026 のような複合データでは、 必ず「絶対量」「比率」「変化率」の 3 視点で見直す習慣が重要です。

発見 4：合計特殊出生率は沖縄が突出、 東京が最低という長期トレンド

SSDSE-B-2026 の「合計特殊出生率」をヒストグラムで描くと、 47 都道府県の分布は概ね正規分布に近いものの、 沖縄（1.60）が右端に突出し、 東京（0.99）が左端に位置します。 さらに散布図で「合計特殊出生率 vs 共働き率」「合計特殊出生率 vs 保育所定員率」を見ると、 単純な負の相関ではなく U 字型の関係が見える地域もあります。 これは「両立支援が手薄な地域では共働きが少なく出生率も低い、 両立支援が手厚い地域では共働きが多く出生率も高い」という政策効果の存在を示唆します。 EDA で散布図の 非線形性を見落とすと、 単純な線形回帰では捉えられない政策含意を逃します。

発見 5：平均寿命の都道府県差は男女で逆転する変数がある

SSDSE-B-2026 の「平均寿命（男）」と「平均寿命（女）」を散布図でプロットすると、 多くの都道府県で男女が同じ順位を示すものの、 一部の県で順位が逆転します。 例えば長野県は男女とも上位、 青森県は男女とも下位ですが、 滋賀県・沖縄県では順位差が大きい。 EDA で「2 つの似た変数を比較するときに、 順位相関（Spearman の ρ）と線形相関（Pearson の r）を両方計算する」のは標準テクニックで、 順位の不一致は 性別・年齢別の格差要因が異なることを示唆します。 平均寿命の男女差は健康政策・労働政策・喫煙率・職業ストレスなど、 複合的な要因で説明されます。

▶ ケーススタディの教訓：EDA は単に「図を作る」作業ではなく、 ドメイン知識と数値を往復させて問いを精緻化するプロセスです。 上記 5 つの発見は、 いずれも数値だけでは見えず、 図だけでは語れず、 ドメイン知識だけでも導けません。 EDA は 3 つの軸（数値・図・知識）を統合する技術で、 これを意識的に行えるかが、 中級者と上級者の分岐点です。 関連 → ドメイン知識、 ジニ係数、 高齢化率、 合計特殊出生率

🧰 EDA の道具箱 — ライブラリ別の使い分け

EDA を効率化するために、 Python エコシステムには 役割の異なる複数のライブラリが用意されています。 ここでは「いつ何を使うべきか」を整理します。 すべてを覚える必要はなく、 まず pandas + matplotlib + seaborn の 3 点セットを徹底的に使い込み、 慣れたら自動 EDA ツール・対話型ツールに広げていくのが学習効率の良い順序です。

学習推奨順序（EDA 道具箱の習得ルート）

①pandas の基本操作（read_csv, head, describe, value_counts, groupby）を 10 時間練習、 ②matplotlib の基本（plot, scatter, hist, bar）を 5 時間練習、 ③seaborn の統計プロット（pairplot, heatmap, boxplot, violinplot）を 5 時間練習、 ④欠損・外れ値処理（missingno, IQR 法）を 3 時間練習、 ⑤対話型グラフ（plotly）を 5 時間練習、 ⑥地理可視化（geopandas）を 3 時間練習、 ⑦多変量分析（PCA, KMeans）を 5 時間練習。 合計 36 時間で EDA の道具箱が完成します。 1 日 2 時間×3 週間程度の投資で、 一生使えるスキルになります。

よくある質問：自動 EDA ツールで十分ではないか？

pandas-profiling（現在は ydata-profiling）や sweetviz のような自動 EDA ツールは、 ProfileReport(df).to_html() の一行で 100 ページ規模のレポートを生成します。 これらは 初期スクリーニングには非常に有効ですが、 ①ドメイン知識を反映できない、 ②ビン幅の自動選択が時に不適切、 ③相関係数のみ表示（散布図の確認なし）で誤解を招く、 ④外れ値の判定が機械的、 という 4 つの限界があります。 結論として、 自動 EDA → 30 分で全体像を把握 → 手動 EDA で重要箇所を精査、 という 2 段階運用が現実解です。 関連 → データクレンジング、 pandas、 seaborn、 matplotlib

最後に — EDA 上達の心構え

EDA は 「正解のないプロセス」です。 同じデータでも、 分析者の関心・ドメイン知識・経験によって、 取り出す図の選び方、 注目する変数、 解釈の深さがまったく異なります。 上達の最短ルートは ①真似ること（優れた EDA ノートブックを 10 本写経）、 ②反復すること（同じデータを月 1 回 EDA し直して新発見を探す）、 ③説明すること（他人に EDA 結果を口頭で 5 分で説明する練習）の 3 つです。 SSDSE-B-2026 は EDA の練習材料として最適で、 47 行という扱いやすいサイズと、 100+ という多様な指標、 全国民の関心事という親しみやすさを兼ね備えています。 本ページで紹介した三種の神器（散布図・ヒストグラム・箱ひげ図）と 5 ステップワークフローを土台に、 ぜひ自分なりの EDA スタイルを築いてください。 EDA を 100 回繰り返した先にしか見えない景色があり、 そこから初めて「データから語らせる」境地に到達できます。 統計学・データサイエンスの礎としての EDA は、 ChatGPT・AutoML 全盛の現代においても 人間の判断力を鍛える最高の訓練であり、 機械が自動化できない判断・解釈・問い直しの部分こそが、 人間の価値の源泉なのです。 関連 → PPDAC サイクル、 データ分析プロセス、 ドメイン知識、 データクレンジング、 相関係数

📚 関連グループ教材（全体像）

探索的データ分析 は「プロセス」分野の一部です。 同じグループに属する用語は以下：

• 🎯 data-process（このグループの総合ページ） — 全体像を学びたいときはここから
• CRISP-DM — このグループの構成要素
• PPDACサイクル — このグループの構成要素
• データ分析プロセス — このグループの構成要素
• データ解析サイクル — このグループの構成要素

グループ教材は横断的な視点を提供します。 個別用語だけでなくグループ全体を 1 周しておくと、 各用語の関係性が立体的に見えてきます。

✅ 探索的データ分析 自己チェックリスト

レポート・論文・分析プロジェクトを終える前に、 以下を一通り確認するとつまずきが減ります。

• □ 探索的データ分析 を使う必然性・必要条件を 1 行で説明できるか
• □ データの出典・期間・サンプル数・単位を本文 or 脚注で明示したか
• □ 前提条件（正規性、 独立性、 等分散性、 線形性 ほか）を確認・記録したか
• □ 欠損と外れ値の処理方針を明文化したか
• □ 結果に不確実性（標準誤差、 信頼区間、 効果量）を併記したか
• □ 検定なら事前に α と必要 n を決めたか（事後の覗き見をしていないか）
• □ 多重比較ならBonferroni / FDR 補正を行ったか
• □ 「探索的データ分析」と「プロセス」カテゴリの他用語との関係を 1 文で書けるか
• □ data-process グループ教材で全体像を確認したか
• □ 限界（適用範囲外、 因果なら別手法、 外挿不可など）を明示したか
• □ 図表のキャプションで「単位・期間・出典」を 3 点セットで書いたか
• □ 再現性のため、 使用したコード・データ・乱数シードを共有可能にしたか

❓ よくある質問（FAQ）

📌 早見表 — 探索的データ分析

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 データリテラシー — このカテゴリの全体像を学ぶ

🔗 同カテゴリの他用語

🧠 もう一歩深く — Tukey が EDA に込めた哲学

探索的データ分析（EDA: Exploratory Data Analysis）は、 1977 年に米プリンストン大学の John W. Tukey が出版した「Exploratory Data Analysis」(Addison-Wesley) で体系化されました。 Tukey は当時の統計学が「検定 (Confirmatory) 一辺倒」になっていた状況を批判し、 「データに語らせる前に検定の枠組みを押し付ける」ことの危険性を訴えました。

EDA の中核思想は次の 5 つに集約できます:

1. 仮説より先にデータを見る: 「平均が同じか検定する」前に箱ひげ図やヒストグラムを描く。
2. 外れ値はノイズではなくシグナル: 東京都が人口分布の外れ値であることは「除外」ではなく「説明対象」になる。
3. 多変量を分解して見る: 単一の散布図ではなく、 層別・条件付け・残差プロットでデータの構造を剥がしていく。
4. 頑健 (Robust) な要約統計を優先: 平均より中央値、 標準偏差より MAD (Median Absolute Deviation)。 外れ値に引きずられない指標を採用する。
5. 可視化と数値は両輪: 数値だけでは「アンスコム四重奏」のように分布形が判断できない。 視覚的確認が必須。

Tukey が発明した 箱ひげ図 (Box-and-Whisker Plot)、 幹葉表示 (Stem-and-Leaf)、 残差 vs 適合値プロットなどは、 現在の pandas / matplotlib / seaborn にすべて組み込まれており、 EDA の標準ツールとなっています。

🔭 EDA の実務ワークフロー（6 段階）

教科書的な EDA は順序がはっきりしないことが多いですが、 実務では次の 6 段階を回す形が定着しています。

⚠️ 各段階で停止して問いを書き留めるのが Tukey 流。 EDA は「Yes / No の検定」ではなく「次にどう深掘りするか」を決めるためのプロセスです。

🗺 概念マップ

EDA (探索的データ分析) は記述統計 ・可視化 ・相関分析を行き来する反復作業で、 上流の生データ取り込みと、 下流のモデリング ・仮説検証を繋ぐ。 周辺には Tukey の五数要約 ・boxplot ・散布図行列 ・主成分分析が「可視化の語彙」として並ぶ。

EDA（探索的データ解析）は、 仮説検定やモデリングに進む前に「データに何が含まれているか」を可視化・要約統計・外れ値検出で把握する段階であり、 J.W.Tukey が 1977 年に体系化した。 SSDSE-B-2026 のような新しいデータに対しては、 まず分布・欠損・相関を一通り確認することで、 後段のモデル選択や因果推論の落とし穴を未然に防げる。

🔗 隣接手法への橋渡し

EDA (探索的データ分析) は単独の作業ではなく、 データ取得後の最初の問いかけと、 仮説検証・モデリング前の最終確認を兼ねる反復プロセスである。 記述統計 ・可視化 ・相関分析を行き来して洞察を引き出す。

• 上流（前処理・データ整備）: データクレンジング (欠損処理) / 欠損値処理 / データ型・変数の種類
• 並列（代替・補完手法）: 記述統計 / 可視化 / データプロファイリング (EDA)
• 下流（評価・解釈・応用）: 仮説検定 / モデリング (機械学習) / 特徴量エンジニアリング

EDA は「データの素性を理解するための探索」で、 上流の生データ取り込み直後に行い、 並列の記述統計・可視化・相関分析を組み合わせ、 下流のモデリング・特徴量設計・仮説検証を方向づける羅針盤として機能する。

🌳 手法選択フロー

EDA をどこまで深掘りするかは「データ規模・分析目的の明確さ・締切」の 3 軸で決まる。 探索的な仮説生成が目的なら時間をかけ、 既知の検証だけなら describe + boxplot で打ち切る判断が必要。

1. 目的は仮説を作ることか、 確かめることか
   作るなら時間をかけて広く見る。 確かめるだけなら describe() と箱ひげ図で打ち切り、 検証に進む。
2. まず何を見るか
   行数・列数・型・欠損数。 SSDSE-B-2026 なら 564 行 × 112 列で、 年度が混ざっていることに気づけるかが最初の分岐。
3. 分布の形を確かめたか
   平均だけ見ると、 東京のような外れ値に引きずられる。 ヒストグラムと箱ひげ図で、 裾の長さと外れ値の位置を先に押さえる。
4. 関係を見るのは 2 変数か、 多変数か
   2 変数なら散布図。 多数の列があるなら相関行列のヒートマップで当たりを付ける。 ただし総当たりで相関を探すと偽陽性が混ざるので、 見つけた関係は別途検証する。

SSDSE-B-2026 を例にすると、 まず head/describe で全体感、 次に都道府県別 boxplot で外れ値、 最後に散布図行列で多変量関係を順に確認するのが、 47 行データで現実的な EDA の進め方である。

🎮 触って理解する — 4ステップ EDA ツアー

SSDSE-B-2026 の実測値（2023 年・47 都道府県 × 4 変数 = 総人口 A1101・合計特殊出生率 A4103・住宅地平均価格 C5401・延べ宿泊者数 G7101）を使って、EDA の基本動作「① まず見る → ② 分布を見る → ③ 関係を見る → ④ 外れ値に気づく」を体験できます。ステップボタンと変数セレクタを切り替えるたびに、図と統計量がその場で再計算されます。同じデータでも「見方」を変えると違う発見がある——これが EDA の核心です。

図の上をマウスまたは指でなぞると、県名と実測値が表示されます（タッチ対応）

🧭 直感 — EDA は「モデルの前にデータと対話する」時間

上のツアーが示すように、EDA は特定の 1 枚の図のことではなく、「要約統計 → 分布 → 関係 → 外れ値」と視点を切り替えながらデータに問いかける反復プロセスです。総人口は「平均 264.6 万人」と一言で要約すると普通に見えますが、ヒストグラムを描けば右に強く歪み（歪度 2.22）、箱ひげ図を描けば 9 都道府県が Tukey フェンスの外に出る——数値だけでは見えなかった構造が、見方を変えるたびに一つずつ現れます。モデリングを急ぐ前にこの対話に時間を使うほど、後段の手法選択（対数変換の要否・頑健な統計量の採用・層別の必要性）が的確になります。

⚠️ よくある落とし穴 — 触って分かる 3 つの失敗

• 見ずにモデリング：分布も外れ値も確認せずに回帰や平均比較へ直行する失敗。上のツアーの④で見るとおり、東京都は地価で z スコア +5.4 の別格の外れ値であり、これを知らずに最小二乗法を当てると係数が東京 1 点に引きずられる。箱ひげ図 1 枚で防げる事故。
• 確証バイアス：「都会は出生率が低いはず」と思って③の散布図（人口×出生率、r = −0.56）だけ見て納得する失敗。EDA は自分の仮説に合わない見方（別の変数ペア・層別・対数軸）も意図的に試してこそ探索になる。反例を探しにいく姿勢が本体。
• 偶然の発見を信じ込む（多重比較的な問題）：このツアーの変数ペアは 6 通りだが、SSDSE-B の全 109 変数なら約 5,900 ペアあり、無相関でも |r| が大きく出るペアが偶然混ざる。探索で見つけた相関をそのまま結論にせず、多重検定・疑似相関（人口×宿泊者数 r = 0.84 の背後には「都市規模」という共通要因がいる）を疑うこと。

🚀 発展 — 仮説生成 vs 仮説検証・自動 EDA ツール

仮説生成と検証は分けるのが現代の作法。EDA（探索）で見つけたパターンは「仮説」であって「結論」ではなく、同じデータで有意性検定まで済ませると多重比較の罠に落ちる。理想は、EDA で仮説を立て、仮説検定は新しいデータ（または最初に取り分けた検証用データ）で行う二段構え。Tukey 自身も探索的(exploratory)と確認的(confirmatory)の分析を明確に区別した。また近年は ydata-profiling（旧 pandas-profiling）や sweetviz のような自動 EDA ツールが、欠損・分布・相関のレポートを一括生成してくれる。ただし自動レポートは「①要約統計」を大量に並べるだけで、③④の「どのペアを深掘るか」「外れ値をどう解釈するか」という判断は依然として人間の仕事——上のツアーで体験した視点の切り替えこそが自動化できない部分である。