🔖 キーワード索引（補強・追加分）

クラスタリング 関連の補強キーワード。 クリックで該当箇所へ：

🔖 キーワード索引 — 完全強化版

「クラスタリング」を理解するうえで必要なキーワードを 10 件以上提示します。 各チップから対応セクションへ移動できます。

30 秒結論 文脈 直感 数式 記号読み解き 実値計算 Python 実装 落とし穴 関連手法 関連用語 グループ教材 概念マップ

🎨 直感で掴む

k-means による47都道府県のクラスタリング（k=4）の例。 × が各クラスタの中心。 データ駆動の地域類型化。

図は典型的なクラスタリング結果。 4つの「自然なグループ」がデータから自動的に発見されています。 各クラスタには地理的・経済的に類似した県が集まり、 「データ駆動の分類」として解釈可能。

大事なポイント：このクラスタは「用意した変数（死亡率、 高齢化率）に基づく類似度」での分類。 違う変数（例えば気温や産業構造）で実行すれば、 違う分類が出ます。 「絶対的な真の分類」ではなく、 「分析者の選択を反映した類型化」なのが本質。

🎓 手法選択の判断フロー

「どの手法を使うべきか」迷ったときの判断フロー：

① クラスタ数が事前に決まっているか？

• YES → k-means、 GMM
• NO → 階層クラスタリング（後で k を決められる）、 DBSCAN（密度で自動決定）

② データの形状は球形に近いか？

• YES → k-means が高速で十分
• NO（非球形、 三日月、 渦巻き）→ DBSCAN、 Spectral Clustering

③ ノイズや外れ値が多いか？

• YES → DBSCAN（ノイズ点をクラスタ外として扱う）、 ロバスト手法
• NO → k-means、 階層クラスタリング

④ サンプル数は？

• 大規模（n > 10000）→ k-means、 mini-batch k-means
• 中規模（n < 5000）→ 階層クラスタリング（O(n³) で計算重い）
• 小規模（n < 100）→ 全手法可

⑤ 結果の階層構造を見たいか？

• YES → 階層クラスタリング（デンドログラム）
• NO → 分割型

⑥ 確率的な所属（「東京は60%大都市、 40%中核」）が欲しいか？

• YES → GMM（ソフトクラスタリング）
• NO → ハードクラスタリング（一意に1クラスタへ所属）

複数手法の比較が定石

1つの手法だけで結論を出さず、 複数手法で結果を比較し、 安定して同じグループが出るなら信頼性が高い。 「k-means と Ward法 で同じクラスタ構造が見えた」のような頑健性チェックが論文の品質を上げます。

クラスタリングの限界と批判

クラスタリングには本質的な限界もあります：

• 「真のクラスタ」の存在仮定：データに本当にクラスタ構造があるかは別問題。 連続的に分布するデータを強引にクラスタリングすると、 任意の境界が「クラスタ境界」になる
• パラメータ依存：k、 距離尺度、 結合法など多くの選択肢があり、 結果が大きく変わる
• 解釈の主観性：「このクラスタは何の特徴を持つ群か」の解釈は分析者次第
• 次元の呪い：高次元データでは「全てが等距離」になり、 距離の意味が薄れる → PCA で次元削減してから

これらの限界を意識した上で、 「データを整理する道具」として使うのが正しい使い方。 「客観的真実を発見する魔法」ではない。

🎨 直感で掴む — 完全強化版

クラスタリング を一言でいえば「47都道府県の人口・高齢化率・消費支出を用いたクラスタ分析」。 47 都道府県という小さな母集団でも、 SSDSE-B-2026 の A1101 列に注目すると、 大都市圏と地方の差・人口規模に伴う相対比較など、 様々なパターンが見えてきます。

比喩でいうと、 クラスタリング はデータ分析の「眼鏡」のようなもの。 同じデータでも眼鏡を変えれば、 平均（中心）・分散（ばらつき）・相関（連動）・因果（影響）と、 異なる情報が浮かび上がります。 SSDSE-B-2026 を題材に、 この眼鏡をかけてみるのが本ページの狙いです。

• 具体例 1：47 都道府県の A1101 の中央値 ± 四分位を見ると、 規模感が掴める。
• 具体例 2：A4101 と組み合わせて散布図にすると、 群構造が見える。
• 具体例 3：政令指定都市の有無で群分けすると、 介入研究の素材になる。

📐 数式または定義 — 完全強化版

クラスタリングは「データ点の集合 $\{x_1, ..., x_n\}$ を、 互いに似た点が同じ群に入るように $K$ 個のクラスタ $C_1, ..., C_K$ に分割する」問題。 「似ている」の数値化 (距離) と「最適化目的」(評価指標) の組合せが手法を決める。

1. k-means の目的関数

最も基本的な分割型クラスタリング（詳細は k-means法 のページ参照）。 各クラスタ $C_k$ の中心 $\mu_k$ と所属点の距離二乗和 (SSE; Sum of Squared Errors) を最小化:

$\mu_k$ はクラスタ $k$ の重心 (centroid)。 反復で「最近傍割当て → 重心更新」を繰り返す (Lloyd アルゴリズム)。

2. 距離 (類似度) の定義

「2 点間がどれだけ似ているか」を測る距離 $d(x, y)$ の代表例:

• ユークリッド距離 (連続値・等方分散向け): $d(x, y) = \sqrt{\sum_{i=1}^p (x_i - y_i)^2}$
• マンハッタン距離 (外れ値に頑健): $d(x, y) = \sum_{i=1}^p |x_i - y_i|$
• コサイン類似度 (文書・方向重視): $\text{sim}(x, y) = \dfrac{x \cdot y}{\lVert x \rVert\, \lVert y \rVert}$、 距離は $1 - \text{sim}$
• マハラノビス距離 (相関構造を考慮): $d_M(x, y) = \sqrt{(x-y)^\top S^{-1} (x-y)}$ ($S$ は共分散行列)
• ハミング距離 (カテゴリカル): $d(x, y) = \sum_{i=1}^p \mathbf{1}[x_i \neq y_i]$（$\mathbf{1}[\cdot]$ は条件が真なら 1 の指示関数）

3. 階層クラスタリングの距離 (リンケージ)

2 つのクラスタ $A, B$ 間の距離 $D(A, B)$ をどう定義するかでアルゴリズムが分かれる（詳細は 階層クラスタリング・Ward法・デンドログラム の各ページ参照）:

• 単連結 (single linkage): $D(A, B) = \min_{a \in A, b \in B} d(a, b)$ — 鎖状クラスタを作りやすい
• 完全連結 (complete linkage): $D(A, B) = \max_{a \in A, b \in B} d(a, b)$ — コンパクトなクラスタ
• 群平均 (average linkage): $D(A, B) = \dfrac{1}{|A||B|} \sum_{a \in A} \sum_{b \in B} d(a, b)$
• Ward 法: 合併後の SSE 増加分を最小化 — $\Delta = \dfrac{|A||B|}{|A|+|B|} \lVert \bar{a} - \bar{b} \rVert^2$

4. DBSCAN の密度ベース定義

点 $p$ を中心とする半径 $\varepsilon$ の球内に $\text{MinPts}$ 個以上の点が含まれるとき、 $p$ を コア点 (core point) と呼ぶ:

コア点同士が密度到達可能 (density-reachable) なら同じクラスタ。 いずれのコア点からも到達できない点はノイズ (外れ値) 扱い。

5. クラスタ評価指標

結果クラスタリングの良さを定量化する代表的指標:

• シルエット係数 (Silhouette Coefficient): 点 $i$ について、 同じクラスタ内の平均距離 $a(i)$ と最近接の別クラスタの平均距離 $b(i)$ から $$ s(i) = \frac{b(i) - a(i)}{\max(a(i), b(i))} \in [-1, 1] $$ 全点平均が高いほど良い (0.5 以上が目安、 1 が理想)。
• Calinski-Harabasz 指数: 群間分散 / 群内分散の比。 大きいほど良い。 $$ \text{CH} = \frac{\sum_k |C_k|\, \lVert \mu_k - \mu \rVert^2 / (K-1)}{\sum_k \sum_{x \in C_k} \lVert x - \mu_k \rVert^2 / (n - K)} $$
• Davies-Bouldin 指数: クラスタ内分散とクラスタ間距離の比の平均。 小さいほど良い。 $$ \text{DB} = \frac{1}{K} \sum_{k=1}^K \max_{j \neq k} \frac{s_k + s_j}{d(\mu_k, \mu_j)} \quad (s_k \text{ はクラスタ } k \text{ の内部散らばり}) $$
• 調整ランド指数 (ARI): 真のラベルがある場合に「2 つのクラスタリングの一致度」を $[-1, 1]$ で測る (1 が完全一致、 0 が偶然一致)。

6. Gaussian Mixture Model (GMM) の確率モデル

$K$ 個の多変量正規分布の混合として、 各点の所属を確率で表す:

$\pi_k$ は事前確率、 $\Sigma_k$ は共分散行列。 EM アルゴリズムで最尤推定。 ベイズの定理で各点 $x$ の所属確率 (responsibility) を計算: $$ \gamma_k(x) = \frac{\pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)}{\sum_{j=1}^K \pi_j\, \mathcal{N}(x \mid \mu_j, \Sigma_j)} $$

k-means は GMM で $\Sigma_k = \sigma^2 I$ (等方分散) かつ硬い割当 ($\gamma_k \in \{0,1\}$) とした特殊ケース。

これら 6 種の数式群を理解すれば、 「何を最小化しているか」「どの仮定が崩れたら別手法に切り替えるか」という選択判断が可能になる。 詳細な記号解説は次節で行う。

🔬 数式を言葉で読み解く — 完全強化版

前節の数式に登場した各記号を、日本語の意味に変換します。

• $x_1, ..., x_n$ — 観測されたデータ点（47 都道府県データなら各県が 1 点。 SSDSE-B-2026 の A1101, A4101 列などを並べた $p$ 次元ベクトル）
• $n$ — 標本サイズ（47 都道府県データなら 47）、 $p$ — 変数（次元）の数
• $K$ — クラスタの個数（k-means では事前に指定する）
• $C_k$ — $k$ 番目のクラスタ（そこに属する点の集合）、 $|C_k|$ — そのクラスタに属する点の個数
• $\mu_k$ — クラスタ $k$ の重心（属する点の平均ベクトル）
• $d(x, y)$ — 2 点間の距離（ユークリッド・マンハッタン等）、 $\lVert \cdot \rVert$ — ベクトルのノルム（長さ）。 $\lVert x - \mu_k \rVert$ は点 $x$ と重心の直線距離
• $\arg\min$ — 「（目的関数を）最小にする割当て・パラメータを選ぶ」の意味。 k-means では SSE を最小化
• $a(i), b(i), s(i)$ — シルエット係数の構成要素（同クラスタ内平均距離・最近接他クラスタ平均距離・両者のバランス）
• $\varepsilon$, MinPts — DBSCAN の 2 つのパラメータ（近傍半径・コア点判定の最小点数）
• $\pi_k, \Sigma_k, \gamma_k(x)$ — GMM の混合比率・共分散行列・所属確率（responsibility）

🧮 SSDSE-B 実値計算例（47都道府県データ）

47 都道府県を経済指標 5 次元でクラスタリングし、 地域類型を抽出する完全例。 標準化＋ k-means／階層／DBSCAN を比較。

① 計算コード

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #4。主要な指標（係数・統計量・スコア）を算出します。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score
from sklearn.decomposition import PCA

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)  # 2023年度の47都道府県
df['高齢化率'] = df['A1303'] / df['A1101'] * 100      # 高齢人口 / 総人口 (%)
df['消費支出'] = df['L3221'] / 1000                   # 二人以上の世帯、 千円/月
df['診療所数'] = df['I5102'] / df['A1101'] * 100000   # 人口10万人あたり
features = ['A1101', '高齢化率', '消費支出', '診療所数', 'C5401']  # A1101=総人口、 C5401=標準地価
X = StandardScaler().fit_transform(df[features])

# エルボー法
inertias, silhouettes = [], []
ks = range(2, 11)
for k in ks:
    km = KMeans(n_clusters=k, random_state=42, n_init=10).fit(X)
    inertias.append(km.inertia_)
    silhouettes.append(silhouette_score(X, km.labels_))

fig, axes = plt.subplots(1, 2, figsize=(11, 4))
axes[0].plot(ks, inertias, 'o-'); axes[0].set_xlabel('k'); axes[0].set_ylabel('Inertia (SSE)')
axes[1].plot(ks, silhouettes, 'o-'); axes[1].set_xlabel('k'); axes[1].set_ylabel('Silhouette')
plt.tight_layout(); plt.savefig('cluster_elbow.png', dpi=110)

# シルエット最大は k=2 だが、 解釈しやすさから k=4 で確定
km = KMeans(n_clusters=4, random_state=42, n_init=10).fit(X)
df['cluster'] = km.labels_
print('クラスタごとの代表値:')
print(df.groupby('cluster')[features].mean().round(1))

📤 実行例（実行時の標準出力）
クラスタごとの代表値:
              A1101  高齢化率   消費支出   診療所数     C5401
cluster                                          
0         1003076.9  34.4  271.9   92.6   25023.1
1        14086000.0  22.8  341.3  105.7  404400.0
2         6374750.0  27.1  296.1   79.2  112800.0
3         1849160.0  31.9  306.4   81.1   37436.0

② 期待出力

👉 値は SSDSE-B-2026（2023年度）に上記コードを実行した実測値。 同じ手順で他年度・他変数にも適用可能。

🧮 実値で計算してみる — SSDSE-B-2026 で クラスタリング（完全強化版）

SSDSE-B-2026（公的統計の社会・教育系データセット、 47 都道府県 × 10 年分超 × 100 以上の列）を用いて、 「クラスタリング」を体感します。 ファイル名は SSDSE-B-2026.csv、 読み込みは下記の Python コードで行います。

1
2
3
4
5
6
7
8

import pandas as pd

# SSDSE-B-2026 を読み込む（cp932 / Shift_JIS）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
print(df.shape)          # (564, 112)
print(df['SSDSE-B-2026'].unique())  # 含まれる年度
latest = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()].copy()
print(latest[['Prefecture', 'A1101', 'A4101']].head())

ここで使った中心列 A1101 は SSDSE-B-2026 における 47都道府県の人口・高齢化率・消費支出を用いたクラスタ分析 に関連する指標です。 算出例：

• 47 都道府県・最新年度の A1101 平均と標準偏差を求める
• A1101 と A4101 の相関（線形・順位）を比較する
• 群分け（例：人口上位 10 県 vs それ以外）で平均差を見る

🧮 数式に値を入れて手で計算する — k-means の重心更新

合成データ 3 点と初期重心 (3,3) を代入し、 k-means の重心更新式 c_k = (1/|C_k|) Σ x_i を Step 1〜4 で 1 step ぶん手計算する。 同じ計算を Python（scikit-learn）で再現し、 結果が完全一致することを確認する。

📐 用語の主要数式（再掲）

$$ c_k \;=\; \frac{1}{|C_k|}\sum_{x_i \in C_k} x_i, \qquad d(x_i, c_k) = \sqrt{\sum_j (x_{ij} - c_{kj})^2} $$

c_k はクラスタ k の重心、 C_k はクラスタ k に割り当てられた点集合。 各点を最近傍重心に割り当て、 重心を再計算するのが 1 step。

Step 1: データ準備（点 3 個 + 初期重心 1 個）

k=1（重心 1 個）の最小例。 すべての点が唯一のクラスタに属する。

Step 2: 各点から初期重心までの距離（参考）

距離は割当てには使わない（k=1 なので全点同一クラスタ）が、 重心が初期位置からどれだけ動くかの直感を与える。

Step 3: 重心更新（重心の式に代入）

Step 4: 移動量と SSE（クラスタ内平方和）

重心が (3,3) から (4.33, 5.33) へ約 2.69 移動。 SSE は 25.33（= 5.4444+5.4444+0.1111+0.1111+7.1111+7.1111）で、 これが次の step（k=1 だと最終）の目的関数値。

🐍 同じ計算を Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import numpy as np
from sklearn.cluster import KMeans

# Step 1: データ
X = np.array([[2,3], [4,5], [7,8]])
c_init = np.array([[3,3]])

# Step 2: 初期重心までの距離（手計算照合）
d = np.linalg.norm(X - c_init, axis=1)
print(f"初期重心までの距離: {d.round(4).tolist()}")

# Step 3: 新重心（k=1 なので単純平均）
c_new = X.mean(axis=0)
print(f"新重心 c' = {c_new}")

# Step 4: 移動量と SSE
shift = np.linalg.norm(c_new - c_init[0])
sse = ((X - c_new)**2).sum()
print(f"重心移動量 = {shift:.4f}")
print(f"SSE        = {sse:.4f}")

# sklearn KMeans で同等確認（k=1、 初期重心 (3,3)）
km = KMeans(n_clusters=1, init=c_init, n_init=1, max_iter=1, random_state=0)
km.fit(X)
print(f"KMeans 収束後重心: {km.cluster_centers_}")
print(f"KMeans inertia (SSE): {km.inertia_:.4f}")

📤 実行結果

💬 手計算（Step 2: 距離 1.0/2.236/6.403、 Step 3: 重心 (4.333, 5.333)、 Step 4: 移動量 2.687, SSE 25.333）と numpy 出力・sklearn KMeans の収束結果がすべて完全一致。 k-means の 1 step は「最近傍割当て → 重心平均」の単純反復であることが体感できる。

🐍 Python での実装

① scikit-learn での基本

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #1。最初のスニペットです。SSDSE-B-2026 を読み込みます。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

# ── クラスタリングの例で使うデータを用意します（47 都道府県）──
import pandas as pd
from sklearn.preprocessing import StandardScaler

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_feats = ['総人口', '出生数', '死亡数', '消費支出（二人以上の世帯）']
for _c in _feats:
    _df[_c] = pd.to_numeric(_df[_c], errors='coerce')
_df = _df.dropna(subset=_feats)
X = _df[_feats].values
X_std = StandardScaler().fit_transform(X)
labels_index = _df['都道府県'].values

from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score
import pandas as pd
import numpy as np

# データの標準化（重要！）
scaler = StandardScaler()
X_std = scaler.fit_transform(X)

# k-means
km = KMeans(n_clusters=3, random_state=0, n_init=10)
labels_km = km.fit_predict(X_std)
print(f'クラスタ中心: {km.cluster_centers_}')
print(f'inertia: {km.inertia_}')

# 階層クラスタリング（Ward法）
agg = AgglomerativeClustering(n_clusters=3, linkage='ward')
labels_agg = agg.fit_predict(X_std)

# シルエットスコアで評価
score = silhouette_score(X_std, labels_km)
print(f'シルエットスコア: {score:.3f}')

📤 実行例（実行時の標準出力）
クラスタ中心: [[-0.55266695 -0.52186218 -0.57999927 -1.23236363]
 [ 1.80241337  1.79067417  1.85344621  0.43471069]
 [-0.361482   -0.37327437 -0.36564101  0.48433324]]
inertia: 49.7004245393956
シルエットスコア: 0.463

② 最適クラスタ数の探索

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #2。基本統計量を計算します。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

# ── クラスタリングの例で使うデータを用意します（47 都道府県）──
import pandas as pd
from sklearn.preprocessing import StandardScaler

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_feats = ['総人口', '出生数', '死亡数', '消費支出（二人以上の世帯）']
for _c in _feats:
    _df[_c] = pd.to_numeric(_df[_c], errors='coerce')
_df = _df.dropna(subset=_feats)
X = _df[_feats].values
X_std = StandardScaler().fit_transform(X)
labels_index = _df['都道府県'].values

import matplotlib.pyplot as plt

inertias = []
silhouettes = []
for k in range(2, 11):
    km = KMeans(n_clusters=k, random_state=0, n_init=10).fit(X_std)
    inertias.append(km.inertia_)
    silhouettes.append(silhouette_score(X_std, km.labels_))

# エルボー法
plt.subplot(1, 2, 1)
plt.plot(range(2, 11), inertias, 'o-')
plt.xlabel('k'); plt.ylabel('inertia')

# シルエット法
plt.subplot(1, 2, 2)
plt.plot(range(2, 11), silhouettes, 'o-')
plt.xlabel('k'); plt.ylabel('Silhouette')

📤 このブロックは標準出力には何も出さない

③ デンドログラムの描画

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #3。可視化（散布図／樹形図／時系列プロット）を描きます。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# ── クラスタリングの例で使うデータを用意します（47 都道府県）──
import pandas as pd
from sklearn.preprocessing import StandardScaler

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_feats = ['総人口', '出生数', '死亡数', '消費支出（二人以上の世帯）']
for _c in _feats:
    _df[_c] = pd.to_numeric(_df[_c], errors='coerce')
_df = _df.dropna(subset=_feats)
X = _df[_feats].values
X_std = StandardScaler().fit_transform(X)
labels_index = _df['都道府県'].values

from scipy.cluster.hierarchy import linkage, dendrogram

Z = linkage(X_std, method='ward')
plt.figure(figsize=(14, 6))
dendrogram(Z, labels=df['Prefecture'].values, leaf_rotation=90)
plt.show()

📤 このブロックは標準出力には何も出さない

🚧 クラスタリングの落とし穴

1. 標準化を忘れる：単位の大きい変数が支配的に
2. 「クラスタが見えるはず」と思い込む：データに構造がないこともある
3. 距離指標が不適切：ドメインに合わせて選ぶ
4. k-means は局所最適：n_init を複数回試す
5. 解釈なきクラスタ：結果に意味付けして初めて使える
6. 高次元の呪い：高次元では距離が無意味化、 PCA等で削減

💼 実務での応用例

• 顧客セグメンテーション：マーケティング戦略の最適化
• 画像セグメンテーション：医療画像、 衛星画像
• 異常検知：通常クラスタから外れた点をアラート
• レコメンド：類似ユーザーをまとめて推薦
• 文書クラスタリング：ニュース記事の自動分類
• 遺伝子発現：類似発現パターンの遺伝子グループ化

📜 クラスタリングの歴史

• Tryon（1939）：「cluster analysis」という用語を心理学で使用
• Sokal & Sneath（1963）：「Numerical Taxonomy」で生物分類への応用
• MacQueen（1967）：k-means アルゴリズム提案
• Ward（1963）：Ward 法（最小分散法）
• Ester et al.（1996）：DBSCAN
• Campello（2013）：HDBSCAN

🐍 Python 実装バリエーション（scikit-learn / scipy / Optuna）

A. scikit-learn による実装

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #5。仮説検定・モデル評価を行います。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

# ── クラスタリングの例で使うデータを用意します（47 都道府県）──
import pandas as pd
from sklearn.preprocessing import StandardScaler

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_feats = ['総人口', '出生数', '死亡数', '消費支出（二人以上の世帯）']
for _c in _feats:
    _df[_c] = pd.to_numeric(_df[_c], errors='coerce')
_df = _df.dropna(subset=_feats)
X = _df[_feats].values
X_std = StandardScaler().fit_transform(X)
labels_index = _df['都道府県'].values

from sklearn.cluster import KMeans, DBSCAN
from sklearn.mixture import GaussianMixture
from sklearn.metrics import silhouette_score, adjusted_rand_score

# 複数手法の比較
results = {}
for name, model in [
    ('KMeans-k4', KMeans(n_clusters=4, random_state=42, n_init=10)),
    ('GMM-k4',    GaussianMixture(n_components=4, random_state=42)),
    ('DBSCAN',    DBSCAN(eps=1.2, min_samples=3)),
    ('Hierarchical', AgglomerativeClustering(n_clusters=4, linkage='ward')),
]:
    labels = model.fit_predict(X_std)   # 標準化後のデータで比較する
    if len(set(labels)) > 1 and -1 not in labels:
        sil = silhouette_score(X_std, labels)
        results[name] = (labels, sil)
        print(f'{name:18} Silhouette = {sil:.3f}')

# 手法間の一致度
km_lab = results['KMeans-k4'][0]
for name in ['GMM-k4', 'Hierarchical']:
    if name in results:
        ari = adjusted_rand_score(km_lab, results[name][0])
        print(f'KMeans vs {name}: ARI = {ari:.3f}')

📤 実行例（実行時の標準出力）
KMeans-k4          Silhouette = 0.469
GMM-k4             Silhouette = 0.378
Hierarchical       Silhouette = 0.469
KMeans vs GMM-k4: ARI = 0.637
KMeans vs Hierarchical: ARI = 1.000

B. scipy / statsmodels による実装

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #6。結果を整形して表示します。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

# ── クラスタリングの例で使うデータを用意します（47 都道府県）──
import pandas as pd
from sklearn.preprocessing import StandardScaler

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_feats = ['総人口', '出生数', '死亡数', '消費支出（二人以上の世帯）']
for _c in _feats:
    _df[_c] = pd.to_numeric(_df[_c], errors='coerce')
_df = _df.dropna(subset=_feats)
X = _df[_feats].values
X_std = StandardScaler().fit_transform(X)
labels_index = _df['都道府県'].values

from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
from scipy.spatial.distance import pdist
import matplotlib.pyplot as plt

# 階層クラスタリング + デンドログラム
Z = linkage(X, method='ward')
fig, ax = plt.subplots(figsize=(14, 5))
dendrogram(Z, labels=df['Prefecture'].values, leaf_rotation=90, ax=ax)
ax.axhline(y=6.5, color='r', linestyle='--', label='切り捨て位置 (k=4)')
ax.legend(); plt.tight_layout()
plt.savefig('dendrogram.png', dpi=110)

# 階層から flat なクラスタを取り出す
labels_hier = fcluster(Z, t=4, criterion='maxclust')
print('階層クラスタリング結果:', np.bincount(labels_hier))

📤 実行例（実行時の標準出力）
階層クラスタリング結果: [ 0 21 16  9  1]

C. Optuna でハイパラ・選択最適化

🎯 このコードでやること：クラスタリング — 教師なし学習による群構造発見に関連するステップ #7。47都道府県データに当てはめて確認します。

📥 入力例（df.head()）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023年度の47都道府県
# 総人口・高齢化率・消費支出・診療所数(人口10万対)・標準地価 の5指標でクラスタリング
# 標準化後の X (shape=(47, 5)):
#   pref      A1101  高齢化率  消費支出  診療所数  C5401
# 0 北海道     0.88   0.43    0.04   -1.50   -0.49
# 1 青森県    -0.53   1.10   -1.36   -1.08   -0.61
# 2 岩手県    -0.54   1.03    0.11   -0.76   -0.45

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import optuna
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

# クラスタ数 + アルゴリズムを最適化
def objective(trial):
    algo = trial.suggest_categorical('algo', ['kmeans', 'ward', 'gmm'])
    k = trial.suggest_int('k', 2, 8)
    if algo == 'kmeans':
        m = KMeans(n_clusters=k, random_state=42, n_init=10)
    elif algo == 'ward':
        m = AgglomerativeClustering(n_clusters=k, linkage='ward')
    else:
        m = GaussianMixture(n_components=k, random_state=42)
    labels = m.fit_predict(X)
    if len(set(labels)) > 1:
        return -silhouette_score(X, labels)
    return 0

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=30)
print('Best:', study.best_params, ' Silhouette:', -study.best_value)

📤 実行例（実測）
Best: {'algo': 'gmm', 'k': 2}  Silhouette: 0.7914643636382689

D. ライブラリ早見表

🐍 Python 実装 — 完全強化版

scipy / pandas / scikit-learn / statsmodels を中心とした標準的な実装例です。 まず CSV を読み込み、 次に クラスタリング の解析を行います。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()].copy()

x = df['A1101'].astype(float).values
y = df['A4101'].astype(float).values

# 基本統計量
print('n            =', len(x))
print('mean(x)      =', np.mean(x))
print('std(x)       =', np.std(x, ddof=1))

# クラスタリング の代表的計算（用途に応じて scipy/statsmodels を切替える）
r, p = stats.pearsonr(x, y)
print(f'Pearson r = {r:.4f}, p = {p:.4g}')
rs, ps = stats.spearmanr(x, y)
print(f'Spearman rho = {rs:.4f}, p = {ps:.4g}')

用途別の追加実装：

1
2
3
4
5
6
7
8
9

# 標準化と簡易クラスタリングの例
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans

X = df[['A1101', 'A4101']].astype(float).values
Xs = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=4, n_init=10, random_state=0).fit(Xs)
df['cluster'] = km.labels_
print(df[['Prefecture', 'A1101', 'A4101', 'cluster']].head(10))

1
2
3
4
5
6
7

# 時系列（北海道の A1101）— 例として ARIMA 系の前処理
import statsmodels.api as sm

ts = df.sort_values('SSDSE-B-2026').groupby('SSDSE-B-2026')['A1101'].mean()
print(ts.tail())
res = sm.tsa.stattools.adfuller(ts)
print('ADF stat:', res[0], 'p:', res[1])

⚠️ よくある落とし穴

👁️ 直感 — クラスタリングは「似たもの同士を集める」

クラスタリング（clustering）は、 ラベルなしのデータを類似度に基づいて自動的にグループ分けする教師なし学習の一種。 「47都道府県を、 家計の似た傾向でグループ化」のような問題。

🎯 主要な3つのアプローチ

① 分割クラスタリング

「k個に分ける」とあらかじめ決めて最適化。 代表：k-means、 k-medoids、 ファジー C-means。 計算は高速。

② 階層クラスタリング

近いペアから順にまとめていく（凝集型）、 または大きく分割（分割型）。 結果がデンドログラムに。 任意の数のクラスタが取れる。 代表：Ward法、 群平均法。

③ 密度ベース

「密度が高い領域がクラスタ」と考える。 代表：DBSCAN、 HDBSCAN、 OPTICS。 任意の形状を捉え、 ノイズ判別もできる。

その他

• モデルベース：ガウス混合モデル（GMM）。 確率的、 ソフトクラスタリング
• スペクトラル：グラフラプラシアン分解、 非線形構造に強い
• BIRCH：大規模データ向き

📏 距離指標 — 何を「似ている」とするか

🎯 最適クラスタ数の決め方

図の読み方：左（エルボー法）は k を増やすほど inertia が単調に減少するので、 「下がり方が急に緩くなる折れ目」（この図では k=3〜4 付近）を探す。 右（シルエット係数）は最大となる k を探すが、 この図のように最大が k=6 になるなど、 指標間で最適 k が割れることもある。 その場合は 1 つの指標を鵜呑みにせず、 解釈のしやすさ・事前知識も併せて総合的に決める。

① エルボー法

クラスタ内分散の合計（inertia）を k に対してプロット。 折れ目（elbow）が最適 k。

② シルエット法

各点が自クラスタ内でどれだけ凝集し、 他クラスタからどれだけ離れているかを測る。 1に近いほど良い。

③ Gap 統計量

ランダムデータと比較して「実データの方がクラスタ構造が強い」かを定量化。

④ ドメイン知識

業務的に「3地区に分けたい」「5セグメントが必要」と決まっている場合は、 それを優先する。

📊 クラスタリングの評価指標

内部評価（ラベルなし）

• シルエット係数：-1〜1、 1に近いほど良い
• Davies-Bouldin：小さいほど良い
• Calinski-Harabasz：大きいほど良い
• inertia：k-means の損失関数

外部評価（正解ラベルあり）

• Adjusted Rand Index (ARI)
• Normalized Mutual Information (NMI)
• F-measure

⚠️ 落とし穴（拡張版・各 100 文字以上）

⚠️ 落とし穴 — 完全強化版

クラスタリング を 47 都道府県 × 複数列 で k-means に適用する際に踏みやすい落とし穴を 5 件挙げます。 47 都道府県という小標本(n=47)に固有の問題が多いため、 先に頭に入れておきましょう。

• クラスタ数の事前指定: K-means は K の指定が必要。Elbow / Silhouette / Gap 法を併用。
• スケール非対称: 変数間のスケール差で結果が一変。標準化前提。
• 初期値依存: K-means の結果は初期値次第。n_init を増やす。
• 結果の解釈性: クラスタ番号は意味を持たない。事後の可視化と命名が重要。
• 密度の差: 密度が異なるクラスタは K-means では分けにくい。DBSCAN 等を検討。

🌐 関連手法・派生 — 完全強化版

• k-means — クラスタ数を先に決める代表手法。球状のまとまりを仮定する
• 階層クラスタリング — クラスタ数を後から決めたいときに使う
• デンドログラム — どこで切るかを目で決めるための図
• 標準化 — 尺度の違う列を混ぜないための前処理。距離を使う以上ほぼ必須
• 主成分分析 — 次元を落としてからクラスタリングすると、距離が安定する

🔗 関連用語

🔗 関連用語（前提・並列・発展）

🔗 関連用語（前提・並列・発展） — 完全強化版

本ページ「クラスタリング」に関連する用語を 前提（基礎となる概念）／並列（同カテゴリ）／発展（応用先） の 3 区分で整理します。

📥 前提となる用語

• 平均 — 中心傾向の最も基本的な要約値
• 分散 — ばらつきの定量化
• 標準偏差 — 分散の平方根、原データと同じ単位
• 確率 — 不確実性の数学的基礎
• 正規分布 — 連続確率分布の基盤

↔️ 並列・関連の用語

• 相関 — 2 変数の線形関係
• 共分散 — 相関の規格化前の量
• 線形回帰 — 関係性のモデル化
• 仮説検定 — 統計的判断の枠組み
• 信頼区間 — 推定の不確実性
• p 値 — 帰無仮説下での観測の極端さ
• 効果量 — 実質的な大きさ
• 標準誤差 — 推定量のばらつき

🚀 発展・応用の用語

• t 検定 — 平均差の検定
• ANOVA — 多群比較
• カイ二乗検定 — カテゴリ変数の独立性
• ロジスティック回帰 — 二値結果のモデリング
• クラスタリング — 教師なし分類
• 時系列解析 — 時間構造の解析
• パネルデータ — 時間と個体の二次元構造

📚 関連グループ教材

• クラスタリング教材
• 時系列解析教材
• 処置群・対照群教材
• 対照群教材
• 自然言語処理教材

🎯 まとめ — 完全強化版

本ページでは「クラスタリング」を 12 セクション（🔖 キーワード索引／💡 30 秒結論／📍 文脈／🎨 直感／📐 数式／🔬 数式を言葉で読み解く／🧮 実値計算／🐍 Python 実装／⚠️ 落とし穴／🌐 関連手法／🔗 関連用語／📚 グループ教材）で簡潔に整理しました。 SSDSE-B-2026 を素材に、 概念の輪郭・式の意味・実装手順・典型的な失敗パターンの 4 点を最低限押さえれば、 統計データ分析コンペの現場で迷わず使えるはずです。

🎯 理解度チェック — クラスタリング

以下の練習問題に「自分の言葉で」答えられるか確認しよう。 詰まったら対応する節へ戻る。

1. Q1. 教師なしクラスタリングと分類（教師あり）の本質的な違いを、 入力・出力・評価指標の 3 観点で対比せよ。
2. Q2. k-means・階層的・DBSCAN の 3 手法のうち、 (a) クラスタ数を自動で決められるのは？ (b) 外れ値をノイズ扱いできるのは？ (c) 大規模データに最も強いのは？ それぞれ答えよ。
3. Q3. SSDSE-B-2026 の「人口・面積・高齢化率」を組み合わせて都道府県をクラスタリングする際、 標準化を省略すると何が起きるか説明せよ。
4. Q4. シルエット係数が 0.2 と 0.7 のクラスタ結果、 どちらが望ましいか。 0 近辺と負の値の意味も含めて答えよ。
5. Q5. クラスタリング結果を「ペルソナ」や「セグメント」としてビジネス活用する際、 絶対にしてはいけない解釈を 1 つ挙げよ（ヒント: 因果との関係）。

🛠 自分で手を動かす（5 分課題）：

1. SSDSE-B-2026 から 5 変数（人口・面積・高齢化率・出生率・総生産）を抽出し、 StandardScaler で標準化する。
2. KMeans、 AgglomerativeClustering、 DBSCAN の 3 手法でクラスタリングし、 ラベルの一致度を adjusted_rand_score で比較する。
3. PCA で 2 次元に落として散布図を描画し、 3 手法の境界の違いを 視覚的に確認する。
4. 結果を「東京・大阪型」「地方都市型」「過疎型」など 1 行で命名し、 政策提言として活用可能か議論する。

📝 補足：直感をもう一段掘る（追記）

クラスタリングを一言で言えば 「正解ラベルを一切与えず、 似たサンプル同士を自動でグループにまとめる教師なし学習」。 分類（教師あり）が「先生が付けた正解に合わせる」のに対し、 クラスタリングは「データの内部構造をアルゴリズムが自力で発見する」点が本質的に違います。 だからこそ正解がなく、 評価が難しいという宿命を最初から背負います。

手法は「何をもって近い／似ているとするか」で大きく3系統に分かれます。

• 距離ベース（重心型）：中心（重心）からの距離が近い点を同じ群に。 k-means法 が代表。 「まん丸い塊」を仮定するのが弱点。
• 連結ベース（階層型）：近いペアから順に併合し木構造（デンドログラム）を作る。 階層クラスタリング・Ward法。 後からクラスタ数を選べる。
• 密度ベース：点が密に集まった領域をクラスタとみなす。 DBSCAN。 三日月・渦巻きなど非球形も捉え、 疎な点は「ノイズ（外れ値）」として自動除外。

比喩でいえば、 k-means は「4つの磁石（重心）を置いて鉄粉を引き寄せる」、 階層型は「近いもの同士を手をつながせて家系図を作る」、 DBSCAN は「人が混み合っている場所を1つの群衆とみなし、 ぽつんと立つ人は無視」というイメージ。 同じデータでも、 使う手法・距離・変数が変われば別のグループ分けが出る——「唯一の正しい分類」ではなく「分析者の選択を映した類型化」だ、 というのがクラスタリングを扱う際の最も大切な直感です。

📝 補足：落とし穴を SSDSE-B 実測で確かめる（重要・追記）

本文の落とし穴リストを、 SSDSE-B-2026（2023年・47都道府県）の実測値で「本当にそうなるのか」検証します。 変数は本文と同じ5指標（総人口 A1101・高齢化率・消費支出・人口10万対診療所数・標準地価 C5401）。 数値はすべて実行結果で、 合成データではありません。

① 「標準化を忘れる」と何が起きるか（実測）

標準化ありとなしで k-means（k=4）を実行し、 シルエット係数とクラスタサイズを比べます。

ここが罠です。 標準化を忘れた方がシルエットは 0.735 と一見「高品質」に見える。 しかし中身は、 桁の大きい総人口（数百万）と標準地価（数万円）だけで距離が決まり、 高齢化率（20〜35%）や消費支出はほぼ無視され、 37県が1つの塊に潰れた退化した分割にすぎません。 教訓は2つ——(1) 単位の違う変数は必ず 標準化 する、 (2) シルエットが高い＝良いクラスタリング、 とは限らない（指標は「分かれ具合」を測るだけで「意味のある分かれ方か」は測らない）。

② 「ランダムでも分かれてしまう」を数値で（実測）

構造を持たない乱数データ（$N(0,1)$ の 47×5 行列、 架空データ）を k-means（k=4）で20回クラスタリングした平均シルエットは 0.185（範囲 0.151〜0.229）。 つまりクラスタ構造がゼロでも 0.18 程度は当然出る。 一方、 実データ（47都道府県）の k=4 シルエットは 0.268 で、 乱数ベースラインをわずかに上回る程度。 これは「47県の5指標には強いクラスタ構造は存在せず、 連続的なグラデーションを便宜的に4分割している」ことを示します。 「クラスタが出た＝構造がある」ではない好例で、 乱数データとのギャップ（ギャップ統計量の発想）で確かめるのが定石です。

③ 「指標でクラスタ数の最適解が割れる」を数値で（実測）

標準化後 k-means の $k=2\sim6$ を3指標で評価すると、 最適 $k$ が指標ごとに食い違います（シルエット・CHは大きいほど良い、 Davies-Bouldinは小さいほど良い）。

シルエットと Calinski-Harabasz は $k=2$（都市／地方の二分）を最良とし、 Davies-Bouldin は $k=5$ を最良とする。 エルボー（Inertia）は $k=3\sim4$ で緩む。 単一指標を鵜呑みにすると結論が変わるため、 複数指標＋解釈しやすさ＋事前理論で総合判断するしかありません（本文が $k=4$ を採るのは解釈性重視の実務判断）。

④ 「手法で結果が変わる／どこまで安定か」を数値で（実測）

同じ標準化データ（k=4）で手法を替え、 k-means を基準に一致度（ARI: 調整ランド指数、 1が完全一致）を測りました。

分割型（k-means）と階層型（完全連結・Ward 法）は ARI = 1.000、 つまり 47 県すべてでまったく同じ 4 分割になりました。 GMM だけは ARI 0.637・シルエット 0.378 とやや乖離します。 GMM は楕円形のクラスタと確率的な所属を許すため、 球状を仮定する k-means とは別の切り方をしたわけです。 複数手法で安定して同じ群が出るかを確認するのが頑健性チェックで、 ここでは「k-means と階層法は信頼できるが、 GMM 解は別途吟味が要る」と読めます。

⑤ 「DBSCAN は eps 一つで激変する」を数値で（実測）

DBSCAN（min_samples=3）の近傍半径 $\varepsilon$ を動かすと、 検出クラスタ数とノイズ点数が大きく振れます。

$\varepsilon$ を少し変えるだけで「17県がノイズ」から「全県ほぼ1塊」まで結果が一変します。 5次元・47点という疎で小さいデータでは密度差が乏しく DBSCAN が素直に効かないことも分かります。 $\varepsilon$ は勘で決めず、 k距離プロット（k-distance plot）や、 $\varepsilon$ 不要の HDBSCAN を検討するのが定石です。

📝 補足：発展トピックの地図（追記）

クラスタリングは「手法・評価・クラスタ数決定・前処理」の4層で整理すると全体像が掴めます。 各項目は本サイトの個別ページ（存在するもののみリンク）へ接続します。

① 代表的手法とその守備範囲

② 評価指標（内部／外部）

• 内部評価（正解ラベル不要）：シルエット係数 $s(i)=\dfrac{b(i)-a(i)}{\max(a(i),b(i))}\in[-1,1]$（大きいほど良い）、 Davies-Bouldin 指数（小さいほど良い）、 Calinski-Harabasz 指数（大きいほど良い）。 前節の実測表のとおり指標間で最適 k が割れるため併用が原則。
• 外部評価（正解ラベルがある場合）：調整ランド指数（ARI）、 正規化相互情報量（NMI）、 純度（purity）。 手法間の一致度チェックにも ARI を流用できる（前節④）。

③ クラスタ数 k の決め方

• エルボー法：Inertia（クラスタ内二乗和）を $k$ に対しプロットし「折れ目」を選ぶ（実測では $k=3\sim4$ で緩む）。
• シルエット法：シルエットが最大の $k$（実測では $k=2$）。
• ギャップ統計量：ランダムデータと比べ「実データの方が構造が強い $k$」を選ぶ。 前節②の乱数ベースライン（0.185）との差を見る発想そのもの。
• 情報量規準：GMM なら BIC/AIC でモデル選択。
• 事前理論・実用制約：「3地域に分けたい」等。 最終的に単一指標で決めきれないことが多い。

④ 前処理・次元削減・ソフトクラスタリング

• 標準化：z-score化 はほぼ必須（前節①）。 距離尺度の選択（ユークリッド／マンハッタン／コサイン／マハラノビス）も結果を左右。
• 次元削減との併用：高次元では「次元の呪い」で距離が無意味化。 PCA・UMAP・t-SNE・カーネルPCA で 次元削減してから、 が定石。
• ソフト（ファジー）クラスタリング：GMM や Fuzzy C-means は「東京は60%大都市・40%中核」のような確率的所属を返す。 境界が連続的なデータではハード割当より実態に合う。

📝 リンク方針：本補足のリンクは html/glossary/ 内に実在するページのみに張っています。 シルエット係数・エルボー法・ギャップ統計量は独立ページが未整備のため、 用語のみをテキストで示しています（今後ページが追加されればリンク化予定）。

🗺️ 概念マップ — 3つの視点で体系を理解する

クラスタリング がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 教師なし学習 › クラスタリング › クラスタリング

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に クラスタリング を置き、 そこから PCA・因子分析・標準化・共分散・k-means・階層型 など 計 11 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「クラスタリング」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「クラスタリング」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは クラスタリング の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → クラスタリング → クラスタリング という入れ子の位置を示します。 「クラスタリングには他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🗺 概念マップ — 完全強化版

• 基礎：平均／分散／標準偏差／確率
• 分布：正規分布／標本／中心極限定理
• 関係性：相関／共分散／線形回帰
• 推測：仮説検定／信頼区間／p 値／効果量
• 因果：内生性／IV／DID／平行トレンド／RDD
• 分類：クラスタリング／階層クラスタリング／Ward 法
• 時系列：ARIMA／VAR／グレンジャー因果／自己相関

🔗 隣接手法への橋渡し

「クラスタリング」は教師なしでデータを群に分ける手法で、 上流の標準化と下流の評価指標 (シルエット・エルボー) を欠くと、 クラスタ数の主観で結論が変わってしまう。

• 上流: クラスタリング の入力となる47 都道府県 × 複数列 で k-means を整える前処理 (データクレンジング、 欠損値処理)
• 並列: 類似目的を持つ代替手法 (分類、 階層クラスタリング) と比較・併用
• 下流: 出力結果の評価・解釈 (シルエット係数、 散布図での可視化)

上流の標準化と次元削減で距離を整え、 並列の k-means・階層型・DBSCAN を結果比較し、 下流のシルエット係数とプロット可視化を組み合わせれば、 SSDSE 都道府県を堅牢にライフスタイル群に分けられる。

🌳 手法選択フロー

クラスタリング手法は「クラスタ数 k を事前に決められるか」「クラスタ形状は球形か」「ノイズ点を分離したいか」「所属確率が欲しいか」「データ規模はどれくらいか」の 5 つで選び分ける。 以下に判断フローと典型シナリオを示す。

判断フロー (Yes/No テーブル)

典型シナリオ別の選び方

• 47 都道府県を 4 類型に分けたい (k 既知 / 中規模 / 概ね球形) → sklearn.cluster.KMeans(n_clusters=4)
• 系統樹で「どの段階で何個に分けるか」を可視化したい → scipy.cluster.hierarchy.linkage(method='ward') + dendrogram
• 地理データで非球形クラスタ + ノイズ点を分離 (商圏分析・異常検知) → sklearn.cluster.DBSCAN(eps=0.5, min_samples=5)
• 顧客セグメントで「重なり」許容 (購買行動の確率所属) → sklearn.mixture.GaussianMixture(n_components=k)
• 遺伝子発現で n=数万 (高次元・大規模) → MiniBatchKMeans または事前に PCA で次元削減
• クラスタ数 k 自体が不明 + 形状不明 → HDBSCAN や OPTICS で密度ベースに任せる

選んだ後の検証ステップ

1. 標準化: 変数の単位/分散が違うなら必ず StandardScaler で z-score 化 (これを忘れると距離が桁の大きい変数で支配される)
2. k の決定: エルボー法 (SSE プロット) + シルエット係数 (>0.5 が良) + Calinski-Harabasz の三点セット
3. 初期値依存の確認: k-means は n_init=10 以上で複数初期値、 結果が安定するか確認
4. クラスタの解釈: 各クラスタの変数平均・標準偏差・代表サンプル (中心に近い点) を確認
5. 外部評価 (正解ラベルあれば): 調整ランド指数 (ARI) / 正規化相互情報量 (NMI) / 純度 (purity)
6. 頑健性チェック: 別手法 (例: k-means vs Ward) で結果が大きく違わないか ARI で比較

🎮 触って理解する — 同じデータを4手法で分けてみる

クラスタリングの本質は「手法ごとに『クラスタとは何か』の定義（前提）が違う」こと。 下のキャンバスに 2 次元データを用意し（プリセット選択、 またはクリック / タップで点を追加）、 k-means・階層型（Ward / 単連結）・密度ベース（DBSCAN）がそれぞれ同じデータをどうグループ分けするかを、 その場で見比べられます。 計算はすべてブラウザ内で正確に実行（k-means は k-means++ 初期化 × 10 リスタートの最良解、 階層型は凝集型の全ペア距離計算、 DBSCAN は標準アルゴリズム）。 平均シルエット係数とクラスタ内二乗和（WSS）もリアルタイムで更新されます。

キャンバスをクリック / タップすると点を追加できます（最大 300 点）。 大きい × は k-means の重心。 灰色の × は DBSCAN が「どのクラスタにも属さない」と判定したノイズ点（シルエット係数・WSS の計算から除外）。 座標は [0, 1] × [0, 1] に正規化済み。

👀 観察ポイント — 手法の向き不向きを体感する

1. 「3つの塊」× k-means (k=3)：球状の塊は k-means の得意分野。 シルエット係数はおよそ 0.6〜0.7 と高く、 4 手法ともほぼ同じ答えになる。 手法間で結果が一致する = 構造が頑健という証拠。
2. 「同心円」× k-means：k をいくつにしても、 輪をパイのように放射状に切ってしまい、 内側の輪と外側の輪を分けられない。 k-means は「クラスタ = 重心の周りの球状の塊」と仮定しているため、 重心が同じ位置に重なる同心円は原理的に苦手。
3. 「同心円」× 階層型 (単連結) or DBSCAN：単連結は「近い点を鎖状につないでいく」、 DBSCAN は「密度が連続する範囲」をクラスタとするので、 2 本の輪を正しく分離できる（DBSCAN は ε ≈ 0.06〜0.08 で試す。 ε = 0.05 まで下げると輪が途切れて細切れになる — パラメータ感度も体感できる）。 同じデータでも前提が合う手法なら解ける。
4. シルエット係数の罠：同心円を DBSCAN が正しく 2 輪に分けても、 シルエット係数は低い（0 前後〜負）ことを確認。 シルエット係数は「球状にまとまった凸なクラスタ」を前提とした距離ベースの指標なので、 非凸クラスタでは正しい分割でも低スコアになる。 評価指標にも前提がある。
5. 「2本の帯」：細長いクラスタでは k-means / Ward が帯を途中で分断しがち。 単連結は帯に沿ってつなげられるが、 帯同士が 1 点でも橋渡しされると全部つながる（鎖効果）。 点を 1 つ帯の間に追加して壊してみよう。
6. 「一様ランダム」：構造がないデータでも k-means は必ず k 個に分割し、 それらしい色分けを返す。 しかしシルエット係数は 0.3〜0.4 程度に留まる。 「クラスタが出力された」ことは「クラスタ構造が存在する」ことを意味しない。 本編の落とし穴 ①（クラスタ構造の有無の確認）を体感できる。
7. k を動かす：「3つの塊」で k = 2〜6 を動かし、 シルエット係数が k=3 で最大になることを確認。 これがシルエット法によるクラスタ数決定の原理（エルボー法は WSS の下がり方の折れ目を見る）。

⚠️ この実験が示す落とし穴（本編の再確認)

• 正解ラベルなしの世界：どの分割も「正解」と照合できない。 だからこそ複数手法・複数指標での頑健性チェックが必須。
• 手法の前提：k-means = 球状・等サイズ、 Ward = コンパクトな塊、 単連結 = 連結性、 DBSCAN = 密度の均一性。 前提が崩れたデータ（同心円・帯）で結果が割れるのは上で見た通り。
• スケールの影響：このデモは縦横とも [0, 1] に揃えてあるが、 実データで「総人口（百万単位）」と「高齢化率（%）」を混ぜると距離が人口だけで決まる。 必ず標準化してから距離計算（本ページの実値計算例でも StandardScaler を使用）。
• パラメータ依存：DBSCAN で ε を少し変えるだけで「全部ノイズ」⇔「全部 1 クラスタ」まで結果が激変することを確認。 k の選択と同様、 パラメータの感度分析が必要。

🚀 発展 — 評価指標・次元削減との併用

• 評価指標の使い分け：シルエット係数（凸クラスタ向け）のほか、 Calinski-Harabasz・Davies-Bouldin（本編の数式節参照）、 正解ラベルがあるときの調整ランド指数（ARI）。 密度ベースの結果には DBCV のような密度ベース指標も提案されている。
• 次元削減との併用：高次元では距離が縮退する（次元の呪い）ため、 PCA や UMAP で低次元化してからクラスタリングするのが定石。 ただし UMAP は距離をゆがめるため、 可視化と分割根拠は分けて考える。
• 密度ベースの発展：ε 固定の DBSCAN に対し、 HDBSCAN は密度の異なるクラスタ混在に強く、 k も ε も不要。 ノイズ判定つきの実データ分析ではまず候補になる。
• ソフトクラスタリング：所属を確率で表す GMM は「境界上の点」の扱いが自然。 k-means は GMM の特殊ケース（等方分散＋硬い割当）。
• 各手法の詳細ページ：k-means法／階層クラスタリング／Ward法／デンドログラム／距離／教師なし学習