🎨 直感で掴む

教師なし学習は「正解ラベルが無い大量のデータから、 自分でグループや構造を見つける」アプローチです。 「47 都道府県のうち、 似た特徴を持つ県をまとめてください」と頼まれて、 自分で答えを作る感覚に近い。 教師あり学習が 「先生から正解付き問題を渡されて勉強する生徒」なら、 教師なし学習は 「正解の無い問題集を渡されて『どんな共通点があるか自分で考える』生徒」です。

3 つの代表タスク（SSDSE-B-2026 47 都道府県データでの例）:

• クラスタリング（K-means/階層型）: 総人口 15歳未満人口 65歳以上人口 出生数 の 4 変数で 47 県を K=4 にまとめると、 東京単独 → 大阪・愛知・神奈川 → 福岡・北海道・埼玉ほか中堅 → 残り 40 県の小規模という階層構造が浮かぶ。 ラベルは付与していないのに「都市規模」という概念が結果として現れる。
• 次元削減（PCA/t-SNE/UMAP）: SSDSE-B-2026 の数値列（標準化後）を 2 次元に落とすと、 PCA 第 1 主成分（全 109 数値列で寄与 ≒ 77%）はほぼ 「都市規模」を捉え、 第 2 主成分以降に 高齢化度などの残りの構造が現れる。 これも事前に教えていない解釈軸が自動で立ち上がる。
• 異常検知（Isolation Forest/LOF）: 47 県の中で「沖縄は 合計特殊出生率 1.60 + 高齢化率 23.8%」、 「東京は 15歳未満人口比率が低い + 転入者数が突出」と外れ値スコアが高い。 「ふつう」を学んで「異常」を炙り出す。

教師なし学習の本質的価値: ラベル付けは人手がかかり高コスト（医療画像 1 枚 5 分、 製造業の異常品ラベル付け 1 時間など）。 教師なしならラベル無しの 100 万件データから「構造」を吸い上げ、 後段の教師あり学習に 事前知識を渡せる（自己教師あり学習・BERT/GPT の事前学習はこの発想）。 また「正解が定まらない探索的分析」（新カテゴリ発見、 セグメント設計、 仮説生成）には教師なしが本流。

教師あり/なしの境界はグラデーション: 半教師あり学習（少数ラベル + 大量無ラベル）、 自己教師あり学習（データ自身から疑似ラベルを作る）、 強化学習（報酬信号で学ぶ）は中間。 教師なしは「真にラベル無し」の最左端。

📐 数式または定義

本概念は次のように記述されます（KaTeX で描画）。

英語名 Unsupervised Learning。 別称：教師なし。

🔬 数式を言葉で読み解く

記号と意味を逐一突き合わせて読みます。 慣れないうちは式を「日本語で読む」ことが理解の近道です。

• $C_k$：$k$ 番目のクラスタ（サンプルの集合）
• $\mu_k$：クラスタ $k$ の中心（重心）
• $\|x - \mu_k\|^2$：サンプルと中心のユークリッド距離の二乗
• $K$：クラスタ数（事前に決めるハイパーパラメータ）
• 最小化：クラスタ内距離合計を最小化する割り当て $\{C_k\}$ を求める

🧮 SSDSE-B 実値で計算してみる

SSDSE-B の人口構成変数で 47 都道府県を K-means クラスタリングし、 PCA で 2 次元に可視化します。

データ出典：SSDSE-B-2026（独立行政法人統計センター）。 47 都道府県 × 複数年（最新 2023）の社会統計データ。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)

feats = ['A1101', 'A1301', 'A1302', 'A1303']  # A1101総人口/A1301年少/A1302生産年齢/A1303高齢
X = df[feats].values
Xs = StandardScaler().fit_transform(X)

km = KMeans(n_clusters=4, random_state=0, n_init=10).fit(Xs)
df['cluster'] = km.labels_

# 各クラスタの代表県
for c in range(4):
    sub = df[df['cluster']==c]
    print(f'cluster {c}: n={len(sub)}, 例={sub["Prefecture"].head(3).tolist()}')

# PCA で次元削減
pca = PCA(n_components=2).fit_transform(Xs)
print(pca[:5])

実行結果の要約（出力は環境依存。 概算値）：

🐍 Python 実装

scikit-learn / pandas を使った最小実装パターン。 教師なし学習なので目的変数（正解ラベル）は使いません。 「読み込み→標準化→クラスタリング→評価」のテンプレを 4 つのスニペットに分けます。

① データ読み込み & 概観

1
2
3
4
5

import pandas as pd
# SSDSE-B-2026: 1行目=列コード, 2行目=日本語名 → skiprows=[1] でコード行を列名に採用
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)  # 年度2023で絞り込み（47県）
print(df.shape, df['Prefecture'].tolist()[:3])

② 特徴量の準備 & 標準化

1
2
3
4
5
6

from sklearn.preprocessing import StandardScaler
# 実在列のみ: A1101 総人口 / A1301 15歳未満人口 / A1303 65歳以上人口 / A4101 出生数
cols = ['A1101', 'A1301', 'A1303', 'A4101']
X = df[cols].astype(float).values
Xs = StandardScaler().fit_transform(X)   # 距離ベース手法の前提としてスケールを揃える
print('X shape =', Xs.shape, ' （教師なし＝正解ラベル y は無い）')

③ K-means でクラスタリング

1
2
3
4
5

from sklearn.cluster import KMeans
# 正解ラベルを与えず、データの構造だけで 47 県を 4 グループに分ける
km = KMeans(n_clusters=4, n_init=10, random_state=0).fit(Xs)
df['cluster'] = km.labels_
print('各クラスタの県数:', pd.Series(km.labels_).value_counts().sort_index().to_dict())

④ 評価（シルエット係数）と可視化

1
2
3
4
5
6
7
8

import matplotlib.pyplot as plt
from sklearn.metrics import silhouette_score
from sklearn.decomposition import PCA
print('シルエット係数 =', round(silhouette_score(Xs, km.labels_), 3))  # ラベル無しでの品質指標
Z = PCA(n_components=2).fit_transform(Xs)          # 2次元に射影して可視化
plt.scatter(Z[:, 0], Z[:, 1], c=km.labels_, cmap='tab10')
plt.xlabel('PC1'); plt.ylabel('PC2'); plt.title('47都道府県の K-means クラスタリング')
plt.tight_layout(); plt.savefig('out.png', dpi=150)

※ 「教師なし学習」固有の本格コードは上の 🧮 SSDSE-B 実値計算 節を参照。

⚠️ よくある落とし穴（教師なし学習で特に多い 7 つ）

🌐 関連手法・派生

同じ目的・近い問題設定で並列に使える概念、 上位/下位の包含関係にある概念をまとめます。

🔗 関連用語

📋 前提（読む前に知っておくと楽）

🤝 並列（一緒に押さえたい）

🚀 発展（次のステップ）

📂 同カテゴリの他用語

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 機械学習の基礎 — このカテゴリの全体像を学ぶ
• 📚 モデル選択 — このカテゴリの全体像を学ぶ
• 📚 評価指標 — このカテゴリの全体像を学ぶ
• 📚 教師あり学習 — このカテゴリの全体像を学ぶ

✅ 学習チェックリスト

• □ 「教師なし学習」の 30 秒結論を 1 文で言える
• □ 数式の記号と意味の対応を全て口頭で説明できる
• □ SSDSE-B コードを自分の環境で動かし、 表の値を再現できた
• □ 5 つの落とし穴をそれぞれ「自分のプロジェクト」の文脈で言い換えられる
• □ 前提・並列・発展の用語を 4 つずつ列挙できる
• □ 機械学習の基礎 グループ教材で文脈を確認した

🐍 応用コード — 47 都道府県を K-means で 5 クラスタに分け、 地域類型を発見する

SSDSE 公的データを題材に、教師なし学習 を実際に動かす最小コードです。 paths は引数に直書きで、 初心者がコピペで動かせる形を優先しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd
import numpy as np

# データ読み込み（SSDSE-B 都道府県・47県 × 112列）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
print('shape:', df.shape)
print('列コードの先頭:', df.columns.tolist()[:6])

# 教師なし学習に使う実在列だけ取り出す
#   A1101 総人口 / A1301 15歳未満人口 / A1303 65歳以上人口 / A4101 出生数 / A4200 死亡数
features = ['A1101', 'A1301', 'A1303', 'A4101', 'A4200']
df_use = df[features].astype(float).copy()
print(df_use.describe())

次に、 教師なし学習 に固有の処理（標準化 → K-means → シルエット評価）を加えます。 ここがページごとの「肝」になる部分。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

X = df_use.values
Xs = StandardScaler().fit_transform(X)   # スケールを揃える（距離ベースの前提）

# 正解ラベル無しで 47 県を 5 つの地域類型に分ける
km = KMeans(n_clusters=5, n_init=10, random_state=0).fit(Xs)
df['cluster'] = km.labels_
print(f'シルエット係数 = {silhouette_score(Xs, km.labels_):.3f}')
for k in range(5):
    pref = df.loc[km.labels_ == k, 'Prefecture'].tolist()
    print(f'cluster {k} (n={len(pref)}): {pref[:6]}')

さらに PCA で 2 次元に落として可視化すると、 学んだ内容が「眼で」確認できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA

Z = PCA(n_components=2).fit_transform(Xs)   # 5変数 → 2軸に圧縮して可視化
plt.figure(figsize=(7, 5))
plt.scatter(Z[:, 0], Z[:, 1], c=km.labels_, cmap='tab10', edgecolor='k', alpha=0.8)
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.title('47都道府県の地域類型（K-means, K=5）— SSDSE-B-2026')
plt.tight_layout()
plt.savefig('out_unsupervised-learning.png', dpi=150)

最後に、 クラスタ数 K の妥当性をシルエット係数で確認します（教師なしには「正解の K」が無いため）。

1
2
3
4
5
6

from sklearn.metrics import silhouette_score

# クラスタ数 K を変え、シルエット係数で妥当な K を探る（教師なしの「検証」）
for k in range(2, 8):
    lab = KMeans(n_clusters=k, n_init=10, random_state=0).fit_predict(Xs)
    print(f'K={k}: silhouette = {silhouette_score(Xs, lab):.3f}')

🌐 似た概念との比較 — どこが違う？

「教師なし学習」と混同しやすい概念を 1 つの表に並べることで、 違いが鮮明になります。 「共通点」と「分かれ目」を意識して読みましょう。

⚠️ 注意：「似ているからどれでも同じ」と考えると、 微妙な前提の違いから誤った結論を導きがちです。 まずは 1 つの定義に絞って深く理解し、 そのうえで他の概念に拡張するのが安全です。

⚠️ さらに 5 つの落とし穴 — 実務で痛い目を見るパターン

🕰 歴史的経緯と現代的意味

教師なし学習 は、 統計学と計算機科学の流れの中から生まれました。 下の年表はこの分野全体の流れで、 教師なし学習 固有の年表ではありません。 この用語がどの時代の産物かを掴むために置いています。

現代の文脈では、 古典的な定義のままでは説明しきれない使い方も出てきています。 教科書の定義を出発点としつつ、 実務での「変奏」も知っておくとよいでしょう。

❓ よくある質問

📚 参考文献 — 次に読むもの

• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer. — ML の標準教科書、 「教師なし学習」も網羅
• Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press. — 確率論的視点
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. — 直感と数式のバランスがよい
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. — 深層学習文脈での教師なし学習
• scikit-learn User Guide — 実装と例題
• SSDSE 公式（独立行政法人統計センター） — 本ページのデータ出典
• グループ教材：機械学習の基礎 — 全体像

🧭 これからの学習ルート

「教師なし学習」を理解した次に何を学ぶか、 5 ステップで提案します。 順序は厳密ではなく、 興味のあるところから飛び入りで OK。

1. ステップ 1：上の「🐍 応用コード」を自分の環境で動かす（コピペで OK）
2. ステップ 2：データを別のもの（自分の興味のあるテーマ）に差し替えて再実行
3. ステップ 3：上の「🌐 比較」表の類似手法を 1 つ選んで、 同じデータで比較
4. ステップ 4：「📋 前提」セクションのリンクを 1 つずつ巡って、 関連用語を固める
5. ステップ 5：機械学習の基礎 グループ教材で、 体系全体を俯瞰する

📋 1 枚チートシート

※ このチートシートは「30 秒で復習」用。 詳しくは各セクションへ。

📂 ケーススタディ — 過去論文での使われ方

統計データ解析コンペティション過去論文で「教師なし学習」がどのように登場し、 どんな問題を解決したかを見てみます。 論文ページからリンクして本ページに来た方も、 ぜひもう一度自分の関心ある論文を見直してみてください。

💡 論文を読むときのコツ：「この論文では『教師なし学習』を何のために使っているか？」「もし使わなかったら何が問題だったか？」を意識すると、 技術選定の判断軸が身に付きます。

🐍 実装パターン集 — 状況別レシピ

同じ「教師なし学習」を使うにも、 データの形・規模・目的によって書き方が変わります。 4 つの典型パターンを示します。

パターン A：探索的・最小構成

1
2
3
4
5
6
7
8
9

import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
Xs = StandardScaler().fit_transform(df[['A1101', 'A1301', 'A1303', 'A4101']].astype(float))
df['cluster'] = KMeans(n_clusters=4, n_init=10, random_state=0).fit_predict(Xs)
print(df.groupby('cluster')['Prefecture'].apply(list))

パターン B：パイプライン化（標準化＋クラスタリング）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans

# 標準化とクラスタリングを 1 本のパイプラインにまとめる
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('kmeans', KMeans(n_clusters=4, n_init=10, random_state=0)),
])
labels = pipe.fit_predict(df[['A1101', 'A1301', 'A1303', 'A4101']].astype(float))
print('cluster sizes =', pd.Series(labels).value_counts().sort_index().to_dict())

パターン C：クラスタ数 K の探索（シルエット最大化）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

# 教師なしには検証スコアが無いため、シルエット係数で K を選ぶ
best = None
for k in range(2, 9):
    lab = KMeans(n_clusters=k, n_init=10, random_state=0).fit_predict(Xs)
    sil = silhouette_score(Xs, lab)
    print(f'K={k}: silhouette={sil:.3f}')
    if best is None or sil > best[1]:
        best = (k, sil)
print('best K =', best[0], ' silhouette =', round(best[1], 3))

パターン D：可視化付きの結果保存

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import matplotlib.pyplot as plt
import json
from sklearn.decomposition import PCA
from sklearn.metrics import silhouette_score

Z = PCA(n_components=2).fit_transform(Xs)     # 2次元へ射影して可視化
plt.figure(figsize=(7, 5))
plt.scatter(Z[:, 0], Z[:, 1], c=df['cluster'], cmap='tab10', edgecolor='k')
plt.xlabel('PC1'); plt.ylabel('PC2'); plt.title('教師なし学習 結果（K-means クラスタ）')
plt.tight_layout(); plt.savefig('result_unsupervised-learning.png', dpi=150)

with open('result_unsupervised-learning.json', 'w', encoding='utf-8') as f:
    json.dump({'n_clusters': 4,
               'silhouette': round(float(silhouette_score(Xs, df['cluster'])), 3),
               'cluster_sizes': df['cluster'].value_counts().sort_index().to_dict()},
              f, ensure_ascii=False, indent=2)

🗺 用語マインドマップ — 周辺概念の整理

「教師なし学習」を中央に置いて、 周辺概念を 5 つの方向に整理します。 これは記憶の足場になります。

マインドマップは「学んだ用語を整理する道具」として優秀。 紙にこの 5 方向を書き、 自分なりの隣接概念を埋めると、 暗黙的にあった理解構造が可視化されます。

📝 自己検証クイズ — 5 問

「教師なし学習」を本当に理解できたか、 自分でテストできるクイズです。 答えは展開で確認。

📚 グループ教材の中での位置

「教師なし学習」は単独で学ぶよりも、 関連する複数の用語をセットで学ぶ方が効率的です。 関連グループ教材へのリンクを整理します。

💡 勧めの学習スタイル：1 つのグループ教材を読破してから次へ、 ではなく、 「気になる用語を起点に近所を巡る」スタイルが、 ジャストインタイム学習のコツです。 興味の連鎖に従って深掘りしましょう。

🎨 直感で掴む：K-means と DBSCAN の世界観の違い

教師なし学習で「クラスタを見つける」と言っても、 アルゴリズムの世界観はそれぞれ違う。 K-means は「球形のかたまり」を仮定し、 中心からの距離でグループを切る。 DBSCAN は「密度の高い領域」がクラスタだと考え、 密度が薄い部分は noise として捨てる。 階層クラスタリングは「下から積み上げる／上から割る」順序で樹形図を作る。 同じ 47 都道府県を入力しても、 アルゴリズムが違えば違うクラスタが出る。

「球状クラスタなら K-means、 形がいびつなら DBSCAN、 階層関係を読みたいなら Ward」と覚えると判断しやすい。 47 都道府県のように サンプル数が少なく、 経済規模で連続的に並ぶ データでは、 K-means が直感的な「都市規模グループ」を返しやすい。

📐 教師なし学習の目的関数たち

教師なし学習は「正解」がないので、 アルゴリズム自身が 内的な目的関数 を最小化（最大化）する。 代表的なものを並べる。

K-means の Within-Cluster Sum of Squares (WCSS):

$$ J_{\mathrm{WCSS}} = \sum_{k=1}^{K} \sum_{\mathbf{x} \in C_k} \|\mathbf{x} - \boldsymbol{\mu}_k\|_2^2 $$

シルエット係数 (sample i):

$$ s_i = \frac{b_i - a_i}{\max(a_i,\, b_i)},\quad a_i = \text{同一クラスタ内の平均距離},\; b_i = \text{最近隣クラスタの平均距離} $$

Davies-Bouldin 指数（小さいほど良い）:

$$ \mathrm{DB} = \frac{1}{K} \sum_{i=1}^{K} \max_{j \ne i} \frac{\sigma_i + \sigma_j}{d(\mu_i, \mu_j)} $$

PCA の最大化目的（第一主成分）:

$$ \max_{\|\mathbf{w}\|=1} \mathbf{w}^\top \boldsymbol{\Sigma} \mathbf{w} \quad\Longleftrightarrow\quad \boldsymbol{\Sigma} \mathbf{w} = \lambda \mathbf{w} $$

オートエンコーダの再構成損失:

$$ \mathcal{L}_{\mathrm{AE}}(\theta) = \frac{1}{n}\sum_{i=1}^n \| \mathbf{x}_i - g_\theta(f_\theta(\mathbf{x}_i)) \|_2^2 $$

🔬 数式を言葉で読み解く（教師なし学習の目的関数）

K-means の WCSS は「各点とその所属クラスタ重心との距離の二乗和」。 つまり クラスタの中心からどれくらい点が散らばっているか を測る。 アルゴリズムは「重心を計算 → 最近傍クラスタに再割当」を繰り返し、 この値を単調に下げていく。 ただし大局最適は保証されない（局所最適にハマる）。

シルエット係数 $s_i$ は「自分の所属クラスタとどれだけ仲が良いか（小さい $a_i$）」と「隣のクラスタとどれだけ離れているか（大きい $b_i$）」のバランスを取る。 $-1 \le s_i \le 1$ で、 1 に近いほど明確に分離。 0 は境界線上、 マイナスは「むしろ隣のクラスタに属すべき」点。

Davies-Bouldin は「各クラスタについて、 最も似ている他クラスタとの比率」を取る。 $\sigma_i$ は自分の散らばり、 $d(\mu_i, \mu_j)$ は中心間距離。 散らばりが小さく中心が遠ければ DB は小さい = 良い分離。 ただし K-means 同様、 球状クラスタを暗黙に仮定するため DBSCAN の評価には不向き。

PCA の式は固有値問題そのもの。 共分散行列 $\boldsymbol{\Sigma}$ の固有ベクトル $\mathbf{w}$ が「データの分散を最大化する方向」、 固有値 $\lambda$ がその方向の分散量。 直感的には「データの細長い方向」を見つけて新しい軸にする操作。

オートエンコーダは「入力を圧縮する関数 $f$（エンコーダ）」と「圧縮表現から復元する関数 $g$（デコーダ）」を同時に学習。 入力と再構成の二乗距離を最小化することで、 本質的な情報だけ残す圧縮表現 が得られる。 中間層の次元を小さくすれば非線形 PCA に近づく。

🧮 47 都道府県を実値でクラスタリング

SSDSE-B-2026 から「総人口(A1101)・15歳未満人口(A1301)・出生数(A4101)・死亡数(A4200)」の 4 変数で 47 都道府県を K-means (K=4) クラスタリングする。 全体の流れ：(1) read_csv、 (2) 4 変数を標準化、 (3) K-means、 (4) シルエット係数で品質確認、 (5) 各クラスタの代表県を確認。

このコードでやること：SSDSE-B-2026 から 47 都道府県を読み込み、 4 変数で K-means (K=4) を実行、 シルエット係数とクラスタ代表県を出力する。

📥 入力データ (SSDSE-B-2026 抜粋 head):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
latest = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
X = latest[['A1101', 'A1301', 'A4101', 'A4200']].astype(float).values  # A1101総人口/A1301年少/A4101出生/A4200死亡
Xs = StandardScaler().fit_transform(X)

km = KMeans(n_clusters=4, n_init=10, random_state=0).fit(Xs)
latest['cluster'] = km.labels_
sil = silhouette_score(Xs, km.labels_)
print(f'シルエット係数 = {sil:.3f}')
for k in range(4):
    pref = latest[latest['cluster']==k]['Prefecture'].tolist()
    print(f'cluster {k} (n={len(pref)}): {pref[:6]} ...')

📤 実行すると次の出力が得られる:

💬 シルエット 0.720 はクラスタ構造が明確であることを示す（0.5 以上で「合理的」、 0.7 以上で「強い構造」）。 東京都は単独クラスタ（cluster 3）となり 外れ値級の規模 であることが定量的に確認できる。 cluster 1（埼玉・神奈川・愛知・大阪）は大都市圏、 cluster 2（北海道・千葉ほか 5 県）は地方中核圏、 cluster 0（37 県）は地方圏。 正解ラベルを与えていないのに、 人口規模の階層が自然に再現される のが教師なし学習の威力。

🐍 DBSCAN で密度クラスタを抽出

このコードでやること：同じ 47 都道府県データを DBSCAN で処理し、 K-means との違い（東京都の noise 判定、 密度ベース）を確認する。

📥 入力データ: 上記 K-means と同じ標準化済み Xs (47×4)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from sklearn.cluster import DBSCAN
import numpy as np

# eps は近傍距離、 min_samples は core point の閾値
db = DBSCAN(eps=0.8, min_samples=3).fit(Xs)
labels = db.labels_
n_clusters = len(set(labels)) - (1 if -1 in labels else 0)
n_noise = list(labels).count(-1)
print(f'クラスタ数 = {n_clusters}, ノイズ点 = {n_noise}')
for k in sorted(set(labels)):
    pref = latest['Prefecture'][labels==k].tolist()
    tag = 'noise' if k == -1 else f'cluster {k}'
    print(f'{tag} (n={len(pref)}): {pref[:5]} ...')

📤 実行例:

💬 DBSCAN は eps=0.8 で 2 つの密度クラスタを作り、 人口規模が突出した 3 都府県（東京・神奈川・大阪）を ノイズ点 として分離。 K-means が「全員必ずどこかに属する」のに対し、 DBSCAN は 「該当しない点は noise」 と明示する点が違う。 eps を変えれば挙動が大きく変わるため、 NearestNeighbors で k-距離プロットを描いてから決めるのが定石。

🐍 PCA で 47 県を 2 次元に可視化

このコードでやること：4 変数を PCA で 2 次元に圧縮し、 寄与率と第一主成分の負荷（重み）を出力。 教師なしで「経済規模軸」が抽出できることを確認する。

📥 入力データ: 標準化済み Xs (47×4)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

from sklearn.decomposition import PCA
import pandas as pd

pca = PCA(n_components=2).fit(Xs)
print('寄与率:', pca.explained_variance_ratio_)
print('累積寄与率:', pca.explained_variance_ratio_.cumsum())
loadings = pd.DataFrame(pca.components_.T,
                        index=['A1101','A1301','A4101','A4200'],
                        columns=['PC1','PC2'])
print(loadings.round(3))

Z = pca.transform(Xs)
top5 = latest.assign(PC1=Z[:,0]).nlargest(5, 'PC1')[['Prefecture','PC1']]
print(top5)

📤 実行例:

💬 第一主成分（PC1）が 99.3% の分散を説明 = 4 変数は実質「1 次元の人口規模」で大半が表せる。 PC1 の重みは 4 変数とも 0.50 前後で同符号 → 「総合的な規模指標」と解釈できる。 PC2（0.6%）は死亡数の重みが正、 出生数が負 → 「死亡数 vs 出生数（人口動態の老若）」の対立軸。 東京都の PC1=7.92 は全 47 県中で突出。

🐍 エルボー法と silhouette 法での K 選択

このコードでやること：K=2〜10 に対して WCSS とシルエット係数を計算し、 最適 K を選ぶ「客観的指標」を可視化する。

📥 入力データ: 標準化済み Xs (47×4)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

results = []
for k in range(2, 11):
    km = KMeans(n_clusters=k, n_init=10, random_state=0).fit(Xs)
    wcss = km.inertia_
    sil = silhouette_score(Xs, km.labels_)
    results.append((k, wcss, sil))
    print(f'K={k}: WCSS={wcss:6.2f}, silhouette={sil:.3f}')

📤 実行例:

💬 WCSS は K=2→3→4 で大きく減り（エルボー）、 以降は緩やかに減少。 シルエットは K=2 で最大 (0.788)、 K=4 でも 0.720 と十分高い。 エルボー法的には K=3 or 4、 シルエット最大は K=2。 教師なし学習では「正解の K」は本来存在せず、 用途で選ぶ（粗い分類なら K=2、 細かいなら K=4）。

🐍 階層クラスタリングで樹形図

このコードでやること：Ward 法で 47 都道府県の階層構造を計算し、 任意の高さで切ることでクラスタ数を選ぶ。 K-means と違い 「クラスタ間の入れ子関係」 が見える。

📥 入力データ: 標準化済み Xs (47×4)。

1
2
3
4
5
6
7
8
9

from scipy.cluster.hierarchy import linkage, fcluster
import pandas as pd

Z = linkage(Xs, method='ward')
labels = fcluster(Z, t=4, criterion='maxclust')
out = pd.DataFrame({'Prefecture': latest['Prefecture'].values, 'cluster': labels})
for k in sorted(out['cluster'].unique()):
    members = out[out['cluster']==k]['Prefecture'].tolist()
    print(f'cluster {k} (n={len(members)}): {members[:6]} ...')

📤 実行例:

💬 結果は K-means とほぼ一致し（ARI=0.917）、 大きな違いは中核圏の数県（静岡・埼玉など）がどちらの群に入るかの境界だけ。 階層型は 樹形図（dendrogram） を描けるのが利点。 「どの 2 県が最も似ているか」「都道府県間の遠近を視覚化したい」場合は階層型が直感的。 計算量 O(n²) のためサンプル数が増えると重くなる。

⚠️ 教師なし学習の落とし穴（深掘り）

1. スケーリング忘れ — 「総人口（百万単位）」と「失業率（%）」を混ぜると、 距離が事実上「総人口の差」になり、 失業率が無視される。 K-means/DBSCAN/PCA は 必ず StandardScaler か RobustScaler。 木ベースは不要だが、 距離ベースの教師なしでは必須。
2. 「クラスタ数 K は正解がある」と思う — K-means の K は最終的にユーザが選ぶ意思決定。 エルボー、 シルエット、 ギャップ統計量 (gap statistic) は候補を出すだけ。 ビジネス側の解釈可能性も考慮する。
3. 高次元の呪い — 次元が増えると全点が等距離に近づき、 K-means/DBSCAN の判別力が落ちる。 PCA や UMAP で先に圧縮するか、 距離指標を変える（コサイン類似度など）。
4. クラスタの解釈を後から正当化 — 教師なしで出たクラスタにラベルを後付けして「想定通り」と納得するのは確認バイアス。 別データで再現性を確認、 安定性指標（ARI、 NMI）で評価。
5. 外れ値の暴走 — K-means の重心は外れ値に引っ張られる。 東京都のような巨大値があると「東京都だけのクラスタ」と「残り 46 県」になりがち。 RobustScaler、 K-medoids、 DBSCAN を併用して頑健性を確認。
6. PCA の負荷を「重要度」と誤読 — PCA は分散最大化であり、 ラベル予測における重要度ではない。 重要な情報が分散の小さい方向に隠れている可能性。 教師あり指標（mutual information）と併用する。
7. 初期化依存（K-means の落とし穴） — K-means は局所最適解にハマる。 n_init=10（v1.4 で n_init='auto'）で複数回走らせ、 最小 inertia を採用するのが定石。
8. クラスタ間の関係を捨てる — 「クラスタ 1 と 2 は隣接」「3 と 4 は遠い」といった関係を K-means は表現できない。 階層型・GMM・自己組織化マップ (SOM) が必要なケース。

📐 評価指標まとめ（内的・外的）

内的指標（WCSS, Silhouette など）は「データだけで計算可能」。 外的指標（ARI, NMI）は「正解クラスタ or 別手法の結果」が必要。 教師なし学習の現場では 複数指標 + 解釈可能性 で総合判断する。

🌐 応用ケース：教師なし学習が活きる場面

• 顧客セグメント抽出 — RFM 分析（Recency, Frequency, Monetary）に K-means を適用し、 マーケティング施策を出し分ける。 教師なしなので「正解セグメント」を事前に決めずに済む。
• 異常検知 — Isolation Forest や DBSCAN の noise 判定でクレジットカード不正・サーバ異常を検出。 ラベル付き異常データが少ないため教師ありが使いにくい。
• 画像・音声の特徴抽出 — オートエンコーダで圧縮、 後段の分類器に渡す。 自己教師あり学習（SimCLR, MoCo）も広義の教師なし。
• レコメンド — 行列分解（NMF, SVD）で「ユーザ × アイテム」行列を低次元化。 暗黙のフィードバックを使う場合は明示ラベルなし。
• 位相解析 (TDA) — 高次元データの「穴」「連結成分」を捉える幾何学的教師なし手法。 単細胞 RNA-seq の解析などで使われる。
• トピックモデル — LDA で文書集合から潜在トピックを抽出。 各文書のトピック分布をクラスタとみなす。
• 都道府県・地域分析 — 上記 47 都道府県のクラスタリングは政策立案の参考に。 「同じクラスタの県の施策」を横展開する根拠になる。

🔬 深掘り解説：教師なし学習を 47 都道府県データで完全理解する

教師なし学習は「正解ラベルがないデータから、 似たもの同士をまとめたり、 隠れた構造を見つけたりする」手法群です。 この節では、 SSDSE-B-2026（都道府県別社会経済指標）を題材に、 K-means / 階層クラスタリング / PCA（主成分分析）/ DBSCAN / 異常検知 の 5 つのアルゴリズムを「同じデータに通したらどんな違いが出るか」 を可視化と数値で比べます。 教師あり学習（supervised-learning.html）との対比、 そして「ラベルがない時に何を評価指標にすればよいか」 という実務上もっとも悩ましい論点も整理します。

📍 ステップ 0：使用するデータと前処理の意義

SSDSE-B-2026 は 47 都道府県 × 約 130 指標（人口・産業・教育・医療・財政）の CSV です。 教師なし学習で特に重要なのが「標準化」（standardization.html）。 人口（万単位）と犯罪認知件数（数百単位）をそのまま使うと、 距離計算が人口に支配されてしまうためです。

このコードでやること：SSDSE-B-2026 から総人口(A1101)・65歳以上人口(A1303)・出生数(A4101)・合計特殊出生率(A4103)・転入者数(A5101)・消費支出(L3221)・延べ宿泊者数(G7101)の 7 指標を抜き出し、 Z-score 標準化して以後のクラスタリングや PCA の入力にする。

📥 入力データ（SSDSE-B-2026 の冒頭）:

1
2
3
4
5
6
7
8

import pandas as pd
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
cols = ['A1101', 'A1303', 'A4101', 'A4103', 'A5101', 'L3221', 'G7101']
Xz = StandardScaler().fit_transform(df[cols].astype(float))
print('shape =', Xz.shape, ' mean ≒ 0, std ≒ 1')

📤 実行結果:

💬 7 次元の正規化済み行列ができました。 「総人口」（10⁶ オーダー）と「合計特殊出生率」（1.0 オーダー）が同じスケールに揃ったので、 ユークリッド距離で公平に比べられます。 標準化を忘れると、 K-means は「ほぼ人口だけで決まる」 という退屈なクラスタリングを出力します。

🌀 ステップ 1：K-means（K=4）でグループ分けする

K-means は「事前に K を決め、 各クラスタの重心と各点の距離平均を最小化する」反復アルゴリズムです（→ k-means.html）。 K の選び方は エルボー法 と シルエット係数（→ 評価指標）が定番。

このコードでやること：K=2〜8 までで inertia（クラスタ内分散）とシルエット係数を計算し、 妥当な K を選んで分類結果を得る。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

for k in range(2, 9):
    km = KMeans(n_clusters=k, n_init='auto', random_state=0).fit(Xz)
    sil = silhouette_score(Xz, km.labels_)
    print(f'k={k}  inertia={km.inertia_:.1f}  silhouette={sil:.3f}')

# K=4 を採用して再フィット
km4 = KMeans(n_clusters=4, n_init='auto', random_state=0).fit(Xz)
df['cluster_km'] = km4.labels_
print(df.groupby('cluster_km')['Prefecture'].apply(list))

📤 実行結果:

💬 シルエットは K=2 が最高（0.560）、 inertia の折れ曲がりは K=4 付近。 解釈のしやすさを優先して K=4 を採用。 東京が単独クラスタ に分離されるのが特徴で、 これは「東京は他都道府県と質的に異なる」 という事実を、 ラベルなしで自動的に発見した好例です。

図 1：K-means(K=4) のクラスタリング結果を PCA で 2 次元化した散布図。 東京が単独クラスタとして右上に孤立し、 大都市圏・地方中核・小規模地方が左下方向に並ぶ。

🌳 ステップ 2：階層クラスタリング（Ward 法）で「分け方の階層」を見る

K-means は「K を決め打ちで一発分類」しますが、 階層クラスタリング（→ hierarchical-clustering.html）はデンドログラム（樹形図）として「どの順で結合されたか」を可視化できます。 47 県を 1 個ずつバラバラの状態から少しずつ結合していき、 最後に 1 つの大クラスタになるまでの過程を木で表現。 これにより「K=3, 4, 5 のどれが最適か」 を目で見て決められます。

このコードでやること：Ward 法で階層クラスタリングを行い、 デンドログラムを描いてからカット高で 4 クラスタに切り分ける。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import os
os.makedirs('html/figures', exist_ok=True)  # 保存先のフォルダを作っておく

from scipy.cluster.hierarchy import linkage, fcluster, dendrogram
import matplotlib.pyplot as plt

Z = linkage(Xz, method='ward')
labels_h = fcluster(Z, t=4, criterion='maxclust')
df['cluster_hc'] = labels_h

plt.figure(figsize=(12, 5))
dendrogram(Z, labels=df['Prefecture'].values, leaf_font_size=9)
plt.title('Ward Hierarchical Clustering of 47 Prefectures')
plt.savefig('html/figures/dendrogram_pref.png', dpi=120, bbox_inches='tight')

📤 実行結果（K-means との一致度）:

図 2：Ward 法によるデンドログラム概念図。 結合高（縦軸）が低いほど似ている。 高さ 5〜7 で水平線を引くと 4 クラスタ、 高さ 8〜10 で 3 クラスタに切り分けられる。 階層の任意の位置で切れる柔軟さが K-means にはない強み。

💬 K-means と階層クラスタリングは ARI=0.926、 ほぼ同じ分類結果。 大きな違いは地方県の一部（青森・秋田など）がどちらの群に入るかだけ。 2 つの異なるアルゴリズムが似た解を返す ということは、 データ自体に強い構造があることの証拠でもあります。

📐 ステップ 3：PCA で「変数を 2 軸に圧縮」して全体構造を見る

7 次元のデータは目で見られない。 そこで 主成分分析（PCA → pca.html） で 2 次元に圧縮し、 散布図にします。 PCA は「分散をもっとも保存する直交軸（主成分）」を順に取り出す線形教師なし手法。 第 1・第 2 主成分の累積寄与率が 70 % を超えていれば「2 次元で十分構造が見える」と判断できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.decomposition import PCA

pca = PCA(n_components=3).fit(Xz)
Y = pca.transform(Xz)
print('寄与率:', pca.explained_variance_ratio_.round(3))
print('累積:', pca.explained_variance_ratio_.cumsum().round(3))

# 主成分の意味を読み解く（loadings）
import pandas as pd
loadings = pd.DataFrame(pca.components_.T, index=cols, columns=['PC1', 'PC2', 'PC3'])
print(loadings.round(2))

📤 実行結果:

💬 PC1（74 %）は「規模の総合軸＝総人口・65歳以上人口・出生数・転入者数・宿泊施設が同符号」 を表す軸（合計特殊出生率だけ逆符号）、 PC2（15 %）は「消費支出 vs 合計特殊出生率」 の対比軸、 PC3（7 %）は「出生率・消費」 の残差。 累積 88.5 % で 2 次元プロットが意味を持つ水準に到達。 PCA の loadings を見ることは、 教師なし学習を「ブラックボックス」ではなく「解釈可能な発見」 に変える鍵です。

🔥 ステップ 4：DBSCAN で「密度ベース」のクラスタと外れ値を同時に検出

K-means は「クラスタは球状で同じ大きさ」 と暗黙に仮定するため、 細長いクラスタや密度が違うクラスタを苦手とします。 DBSCAN（→ dbscan.html） は「半径 ε 内に min_samples 以上の点があれば core point」 と定義し、 core 同士を連結してクラスタを作る密度ベース法。 どのクラスタにも属さない点を自動で noise(-1) としてラベル付け するため、 異常検知としても使えます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

from sklearn.cluster import DBSCAN
from sklearn.neighbors import NearestNeighbors
import numpy as np

# ε の目安: k-distance plot で「肘」を探す
nn = NearestNeighbors(n_neighbors=4).fit(Xz)
d, _ = nn.kneighbors(Xz)
d4 = np.sort(d[:, 3])[::-1]
print('k=4 距離の降順上位5件:', d4[:5].round(2))

db = DBSCAN(eps=1.6, min_samples=3).fit(Xz)
df['cluster_db'] = db.labels_
print('DBSCAN クラスタ数:', len(set(db.labels_)) - (1 if -1 in db.labels_ else 0))
print('noise(-1) として検出された県:', df.loc[db.labels_ == -1, 'Prefecture'].tolist())

📤 実行結果:

💬 ε=1.6 設定では地方圏が 1 つの大きな密集クラスタになり、 大都市圏の 4 県＋北海道（面積が突出）が外れ値として検出されました。 東京は K-means と DBSCAN の両方で「孤立点」 と判定 されており、 「東京の特異性」 がアルゴリズムを変えても揺るがない事実だと分かります。 ε と min_samples の調整は dbscan.html 参照。

🛡 ステップ 5：Isolation Forest で異常検知（教師なし）

Isolation Forest は「ランダムに変数と切断点を選んで木を作り、 点を孤立させるのに必要な分割数（path length）が短いほど異常」 と判定するアンサンブル法。 ラベルなしで「いつもと違う」 を検出できるので、 不正取引・サーバ監視・センサー異常で広く使われます。

1
2
3
4
5
6
7

from sklearn.ensemble import IsolationForest

iso = IsolationForest(contamination=0.1, random_state=0).fit(Xz)
df['anomaly_score'] = iso.score_samples(Xz)
df['is_anomaly'] = (iso.predict(Xz) == -1)

print(df.sort_values('anomaly_score').head(7)[['Prefecture', 'anomaly_score', 'is_anomaly']])

📤 実行結果:

💬 contamination=0.1 (10 %) 設定で「異常」 と判定された 5 県のうち 4 県（東京・大阪・神奈川・埼玉）は DBSCAN の noise と一致しました。 異なる 2 つの教師なしアルゴリズムが 大都市圏をそろって外れ値と判定 したのは、 構造の頑健な発見の根拠になります。

📊 ステップ 6：5 アルゴリズムを比較する

図 3：K-means / 階層 / DBSCAN それぞれのクラスタについて、 標準化済み総人口（青）・出生数（橙）・65歳以上人口（緑）の分布を箱ひげ図で並べたもの。 大都市クラスタは人口・出生数が高く、 小規模クラスタは高齢化が進む、 という構造が 3 手法で共通して現れる。

📏 教師なし学習の評価指標（ラベルがないのにどう評価する？）

教師なし学習の最大の悩みは「正解がないので、 良し悪しを客観的に判定しにくい」 こと。 そのため、 以下の 内部指標（データだけで計算）と 外部指標（補助ラベルと比較）の併用が推奨されます。

💼 ビジネス・研究での教師なし学習の典型シナリオ

⚠️ よくある落とし穴と対処

• ① 標準化忘れ：単位の大きな変数（人口・売上）が距離を支配し、 他の変数が無視される。 必ず StandardScaler や RobustScaler を通す。 standardization.html 参照。
• ② K の決め打ち：シルエット係数・エルボー法・ギャップ統計など複数指標で検討する。 「業務上意味があるか」 も同等に重要。
• ③ 高次元の呪い：100 次元を超えると距離が等しくなり、 K-means/DBSCAN が機能しない。 まず PCA や UMAP で 10〜50 次元に減らす。
• ④ クラスタの「意味」 を読み解かずに使う：得られたクラスタが「何によって分かれているか」 を loadings や群別統計で必ず確認。 解釈なき分類は意思決定に使えない。
• ⑤ 再現性のなさ：K-means や DBSCAN は初期化やデータ順序で結果が揺れる。 random_state 固定、 複数 seed の安定性検証、 アンサンブル平均を活用。
• ⑥ 外れ値の扱い：1 つの外れ値が重心を引っ張る（K-means）か、 単独クラスタを作る。 事前に異常検知でフィルタ、 または DBSCAN/HDBSCAN で吸収させる。
• ⑦ ラベルがある時に使ってしまう：少しでもラベルがあるなら、 まず教師あり学習・半教師あり学習を検討。 教師なしは「ラベルがない時の手段」 であって万能ではない。

🧪 K-means と階層クラスタリングの理論的対比

K-means の目的関数は $$J = \sum_{k=1}^{K} \sum_{x \in C_k} \| x - \mu_k \|^2$$ 「全クラスタの平均からの 2 乗距離の総和」 を最小化します。 最適解は NP 困難ですが、 Lloyd アルゴリズム（割当てと重心更新の反復）で局所最適に到達。 一方、 階層クラスタリング（Ward 法）は $$\Delta J = \frac{n_A n_B}{n_A + n_B} \| \mu_A - \mu_B \|^2$$ 「2 クラスタを結合したときの分散増加量」 を最小化する貪欲的な凝集型。 両者とも「クラスタ内分散最小化」 という同じ哲学を持つため、 結果が近くなる傾向があります。

🎓 学習者向け：理解度チェック

🔗 関連用語（前提・並列・発展）

🧭 教師なし学習の「目的別」徹底ガイド（R544 追補）

教師なし学習は「正解ラベルなしのデータから構造を抽出する」総称であり、目的によって使うべき手法が大きく変わります。 ここでは「やりたいこと」を起点に手法をマッピングし、 SSDSE-B-2026 の都道府県データを軸に各手法の使いどころを言語化します。 教師あり学習が「未来の値を当てる」 ことに最適化されているのに対し、 教師なし学習は「データに潜む構造を可視化・要約・圧縮・異常検出する」 ために存在します。 同じ「教師なし」 でもクラスタリングと次元削減と密度推定では、 想定する問題設定・評価軸・前処理・後処理がまったく異なります。

🎯 目的 × 手法の対応マップ

📌 「ラベルがないからこそ難しい」 5 つの本質

1. 正解がないから評価が難しい: 教師あり学習なら「予測 vs 実測」 で精度を測れるが、 教師なしでは「クラスタが正しいか」 を直接判定できない。 シルエット係数や Davies-Bouldin 指数といった内部指標と、 ドメイン知識による外部評価を組み合わせる必要がある。
2. ハイパーパラメータの選び方が解釈依存: K-means の K、 DBSCAN の eps、 PCA の主成分数など、 「いくつにすればよいか」 に客観的な絶対解がない。 エルボー法・シルエット・累積寄与率などの指標で範囲を絞り、 最終的にはドメイン理解で決める。
3. 前処理の影響が極端に大きい: スケーリング・対数変換・外れ値処理を変えると結果が大きく振れる。 教師なしは「データそのものを見ている」 ため、 入力の歪みがそのまま結果に反映される。
4. 結果の意味づけは人間の仕事: 「クラスタ 3 は何を表しているのか」 「PC1 軸は何の概念か」 を解釈するのは分析者。 教師なし学習は答えを出さず「問いを浮かび上がらせる」 ツールである。
5. 再現性が手法選択に依存する: K-means は初期値依存、 t-SNE/UMAP は乱数依存、 階層クラスタリングは決定的、 など。 結果を共有する前に「乱数固定」 「複数試行の安定性確認」 が必須。

🧪 SSDSE-B-2026 で「目的別」 を体感する小演習

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
from sklearn.ensemble import IsolationForest

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
Xs = StandardScaler().fit_transform(df[['A1101', 'A1301', 'A1303', 'A4101', 'A4200']].astype(float))

# 目的1: クラスタリング (4分割)
labels = KMeans(n_clusters=4, n_init=10, random_state=0).fit_predict(Xs)

# 目的2: 次元削減 (5変数 → 2軸)
pcs = PCA(n_components=2).fit_transform(Xs)

# 目的3: 異常検知 (contamination=0.05 で外れ値を 2-3 県抽出)
anomaly = IsolationForest(contamination=0.05, random_state=0).fit_predict(Xs)

result = pd.DataFrame({'pref': df['Prefecture'],
                       'cluster': labels,
                       'PC1': pcs[:,0], 'PC2': pcs[:,1],
                       'is_anomaly': anomaly == -1})
print(result[result.is_anomaly].to_string(index=False))

📤 実行例:

💬 同じ標準化済みデータから 3 つの異なる視点（グループ・軸・異常度）を一気に得ている。 教師なし学習の本質は「ラベルなしでも、 こんなに多面的にデータを語れる」 ことにある。

🏭 教師なし学習の実務適用ケーススタディ集（R544 追補）

教師なし学習はビジネス現場のあらゆる場所に潜んでいます。 「顧客セグメンテーション」 「異常検知」 「レコメンド」 「自然言語処理」 「画像分析」 — どれも教師なしの考え方が中核にあります。 ここでは 6 つの代表的なケーススタディを、 課題設定 → 手法選択 → 評価 → 落とし穴の順で整理し、 公的データでの類似演習に置き換えられる形にします。

📋 ケース 1: 顧客セグメンテーション（小売・EC）

課題: 数万人の顧客を、 購買行動の似た者同士のグループに分けたい。 マーケティング施策を「全員一律」 から「セグメント別」 に切り替えたい。
手法: RFM 分析（Recency, Frequency, Monetary）の 3 指標を標準化 → K-means で 4-6 グループに分割 → 各グループに「優良顧客」 「離反予備軍」 「新規」 等のラベルを人手で命名。
評価: シルエット係数で内部整合性、 各セグメントの平均購買額・継続率の差で外部妥当性を確認。 最終的にはセグメント別キャンペーンの CVR で実務評価。
落とし穴: 「セグメント数を増やせば細かく狙える」 と思い K=20 等にすると、 1 セグメント数十人になり施策コストが回収できない。 「実務的に意味のある K の上限」 を施策設計から逆算する。

📋 ケース 2: 工場の異常検知（製造業）

課題: 工場の機械から毎秒取得されるセンサーデータ（温度・振動・電流）から、 故障の前兆を検出したい。 故障データは少なく、 教師あり学習が難しい。
手法: Isolation Forest または One-Class SVM で「正常データの典型から外れたもの」 を検出。 オートエンコーダで「正常データを再構成できる範囲」 を学習し、 再構成誤差で異常度を測る方法も有力。
評価: 過去の故障事例で陽性率を確認、 偽陽性率を許容範囲（例: 1 日 1 件以内）に収める。 異常スコアの閾値はビジネスコストで決定。
落とし穴: 「正常」 の定義が時間とともに変わる（季節変動・経年劣化）。 モデルを定期的に再学習する仕組みが不可欠。

📋 ケース 3: 不正取引検知（金融）

課題: クレジットカード取引から不正利用を検出したい。 不正は全取引の 0.1 % 未満で、 ラベル付きデータが圧倒的に少ない。
手法: 教師なしと教師ありのハイブリッド。 まず Isolation Forest や DBSCAN で「外れ値」 を抽出し人手確認、 ラベルを蓄積したら XGBoost 等の教師あり学習に切り替える。
評価: PR-AUC（precision-recall AUC）。 リアルタイム判定のため推論レイテンシも KPI。
落とし穴: 不正手法は日々進化するため、 「過去の不正パターン」 だけ学習すると新型に弱い。 教師なし側で「未知のパターン」 を継続して拾い続ける役割が必要。

📋 ケース 4: 文書クラスタリング（メディア・コールセンター）

課題: 数万件のコールセンター問い合わせを、 内容の似たものごとに自動分類したい。
手法: BERT で各文書をベクトル化 → UMAP で 2-10 次元に圧縮 → HDBSCAN でクラスタリング。 各クラスタの代表ワードを TF-IDF で抽出して「テーマ命名」。
評価: トピック一貫性スコア（Cv, Umass）、 人手レビューでの妥当性。
落とし穴: 「とりあえずクラスタリングしてみる」 と意味の薄い結果が出る。 「何のためにグループ分けするか」（FAQ 自動化？ オペレータ教育？） を先に固めること。

📋 ケース 5: 商品レコメンド（EC・動画配信）

課題: 何百万点の商品から、 個々のユーザに「次に買いそうな商品」 を推薦したい。
手法: 協調フィルタリング（行列分解 SVD/ALS）、 アイテム埋め込み（word2vec の応用版 item2vec）。 教師なし学習でアイテムを潜在空間に配置し、 近傍探索で類似アイテムを取得。
評価: HitRate@K, NDCG@K, MAP@K。 オンライン A/B テストで CVR を比較。
落とし穴: 「コールドスタート問題」（新規ユーザ・新規アイテムには行動履歴がない）。 メタデータベースのコンテンツフィルタリングとのハイブリッドが定石。

📋 ケース 6: 公的データの地域類型化（行政・自治体）

課題: 1700 を超える市区町村を、 人口動態・産業構造・財政状況の観点で類型化し、 施策のテンプレートを設計したい。
手法: SSDSE 等の公的データで 20-30 指標を標準化 → PCA で 5 軸程度に圧縮 → 階層クラスタリングで樹形図を描き、 妥当な分割位置で K を決定。 各クラスタの代表自治体を「ペルソナ」 として可視化。
評価: 既存の総務省カテゴリ（指定都市/中核市/一般市） との一致度、 施策テンプレートとの親和性。
落とし穴: 「平均」 で類型化すると東京特別区のような外れ値が全体平均を歪める。 ロバストスケーリング（中央値・IQR） や対数変換が必須。

📊 ケース比較サマリ

6 つのケースに共通するのは「教師なし学習は単独で完結しない」 という点です。 必ず「何のための分析か」（ビジネス課題） と「人間の解釈」（命名・閾値設定） を伴います。 教師なし学習は人間の認知を補助するレンズであり、 自動判断装置ではありません。

⚙️ 教師なし学習のハイパーパラメータ調整実践ガイド（R544 追補）

教師なし学習で最大のハマりポイントが「ハイパーパラメータをどう決めるか」 です。 教師あり学習なら検証データの精度で機械的に決められますが、 教師なしには「正解」 がないため、 複数の指標と可視化を組み合わせて意思決定する必要があります。 ここでは代表的 5 手法について、 「決め方の型」 を整理します。

① K-means: クラスタ数 K の決め方

K-means で唯一の重要パラメータは「クラスタ数 K」。 これを決める王道が次の 4 ステップ:

1. エルボー法: K を 2-15 まで変えて、 各 K の SSE（クラスタ内平方和）をプロット。 「肘」 のように曲がる箇所が候補。 ただし「肘がない」 ケースも多い。
2. シルエット係数: 各 K で平均シルエットを計算。 0.5 以上なら強い構造、 0.25 未満なら構造が弱い。
3. ギャップ統計量: ランダムデータと比較した「相対的な構造の強さ」。 厳密だが計算コスト大。
4. 業務解釈: 「6 つに分けて施策設計できるか？」 「3 つだとざっくりすぎないか？」 を関係者で議論。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]; X = StandardScaler().fit_transform(df[['A1101', 'A1301', 'A4101', 'A4200']].astype(float))

for k in range(2, 9):
    km = KMeans(n_clusters=k, n_init=10, random_state=0).fit(X)
    sse = km.inertia_
    sil = silhouette_score(X, km.labels_)
    print(f'K={k}: SSE={sse:.1f}, Silhouette={sil:.3f}')

📤 実行例:

💬 シルエットは K=2 が最高だが、 SSE の下がりが K=3 → 4 で大きい。 業務解釈が許せば K=4（東京/大都市圏/中核/過疎） が実務的選択。

② DBSCAN: eps と min_samples の決め方

DBSCAN の悩みは 2 つのパラメータ eps（近傍半径）と min_samples（コア点の最小近傍数）。 定石は:

• min_samples: 次元数 D の 2 倍を目安（D=4 なら 8 など）。 ノイズを許容するなら大きく、 細かいクラスタを拾いたいなら小さく。
• eps: 「k 近傍距離プロット」（k=min_samples で各点の k 近傍までの距離をソート） の「肘」 が候補。 急に距離が増える点。

③ PCA: 主成分数の決め方

PCA は「何成分残すか」 が肝。 判定基準は:

• 累積寄与率 80-90 %: 情報の 8-9 割を保つラインで切る。 安全策の代表。
• カイザー基準: 固有値 1 以上の成分を採用（標準化済みデータで）。 古典的だが基準が曖昧。
• スクリープロット: 固有値を並べて「カクッと折れる」 位置で切る。
• 下流タスク基準: 「クラスタリングや可視化に使う成分数」 を後続課題から逆算。 可視化なら 2-3、 教師あり学習の前処理なら累積 90 %。

④ GMM（混合ガウス）: 成分数と共分散構造

GMM では成分数 K に加え、 各成分の共分散行列の仮定（full / tied / diag / spherical） も選ぶ必要があります。 判定は AIC と BIC で:

• BIC: モデル選択でよく使われる。 サンプル数が大きいときは BIC が信頼できる。
• AIC: 予測精度を重視するなら AIC。 サンプル数が少ないと AIC は過剰適合を選びやすい。
• 共分散構造: サンプル数が少ない場合は diag や spherical で過剰適合を防ぐ。 サンプル数が多くて自由に形を変えたいなら full。

⑤ t-SNE / UMAP: perplexity と n_neighbors

可視化目的の非線形次元削減では、 「近傍をどの範囲とみなすか」 の調整が必要。

• t-SNE の perplexity: 5-50 が標準。 小さいと局所構造、 大きいと大域構造を保つ。 サンプル数の平方根程度を目安。
• UMAP の n_neighbors: 5-50。 小さいと局所、 大きいと大域。 min_dist と組み合わせて「密集度」 を調整。
• 注意: t-SNE/UMAP は距離保存性が弱いため、 可視化された「距離」 を定量解釈してはいけない。 あくまで構造のあぶり出しに使う。

📋 5 手法のチューニング指標一覧

⚠️ ハイパーパラメータ調整 5 つの落とし穴

• 指標を 1 つしか見ない: シルエットだけで K を決めると K=2 になりがち。 業務解釈と組み合わせる。
• 乱数固定を忘れる: K-means/t-SNE/UMAP は乱数依存。 random_state を固定しないと再現できない。
• スケーリングを忘れる: K-means/DBSCAN/PCA は距離・分散に直接依存するため標準化が必須。
• 外れ値の前処理を怠る: 東京などの極端値があると、 全体のスケールが歪み、 残り 46 県が「全部同じクラスタ」 に押し込まれる。
• 「最高指標」 を追いすぎる: シルエット 0.9 でも、 業務が動かなければ価値はない。 「使える結果」 を優先する。

📚 まとめ: 教師なし学習の「型」

1. 目的を言語化する（グループ分け？ 圧縮？ 異常検知？）。
2. 前処理を丁寧に（標準化・対数変換・外れ値処理）。
3. 複数手法を試し、 結果が安定しているか確認。
4. ハイパーパラメータは「指標 + 解釈」 で決定、 1 指標に頼らない。
5. 結果を可視化し、 ドメイン専門家と議論する。
6. 下流タスク（施策・教師あり学習・可視化） に組み込むまでがゴール。

教師なし学習はラベルなしで構造を発見する強力な道具ですが、 同時に「人間の解釈・前処理・後処理」 への依存度が極めて高い手法群でもあります。 ツールに振り回されず、 「データの何を知りたいのか」 を常に問い直しながら使うことが、 実務で価値を出すコツです。

🔍 教師なし学習の前処理と評価指標 詳細解説（R544 追補）

教師なし学習の成否を決める要素のうち、 半分以上は前処理にあると言っても過言ではありません。 また、 評価指標も教師あり学習と異なり、 内部指標（データだけから計算） と外部指標（既知ラベルと照合） の使い分けが必要です。 ここでは前処理 6 種類と評価指標 8 種類を一気に整理します。

📦 前処理 6 種類: 何を、 なぜ、 いつ使うか

📐 評価指標 8 種類: 内部指標と外部指標

教師なし学習の評価は次の 2 タイプに大別されます:

• 内部指標（ラベル不要、 データだけで計算）: シルエット係数、 Davies-Bouldin 指数、 Calinski-Harabasz 指数、 SSE
• 外部指標（既知ラベルとの一致度）: Adjusted Rand Index (ARI)、 Normalized Mutual Information (NMI)、 Fowlkes-Mallows、 Homogeneity/Completeness/V-measure

🎯 評価指標の選び方フローチャート

1. 既知ラベル（or 半正解） がある → 外部指標（ARI, NMI） + 内部指標で総合判断
2. ラベルが全くない → 内部指標（シルエット, Davies-Bouldin） + 可視化 + ドメイン解釈
3. クラスタ数を比較したい → SSE のエルボー法 + シルエットの推移
4. 異常検知の評価 → ラベルがあれば PR-AUC、 なければ可視化と業務確認
5. 次元削減の評価 → 累積寄与率（PCA） / 再構成誤差（AE） / 下流タスクの精度向上

📚 まとめ: 教師なし学習の「効果」 を語る言葉

「精度 92 %」 のように教師あり学習らしい単一指標で語れないのが教師なしの宿命です。 そのため、 「シルエット係数 0.45 で中程度の構造を示し、 別アルゴリズム DBSCAN でも同じ 4 グループ分割が再現された。 各グループの中央自治体を地図上で可視化したところ、 専門家の直感（都市圏／地方中核／半都市半農／過疎） と一致した」 のように、 内部指標・頑健性・解釈の 3 点セットで語る習慣が必要です。

📖 教師なし学習の歴史と理論的系譜（R544 追補）

教師なし学習は機械学習というよりも、 古典的な多変量解析・統計学・情報理論を起源として発展してきました。 1900 年代初頭の主成分分析、 1960 年代の階層クラスタリング、 1970 年代の K-means、 そして 2000 年代以降のニューラル系（オートエンコーダ・自己教師あり学習） まで、 時代ごとの代表手法を俯瞰すると、 教師なし学習が単なる「ラベルなし学習」 ではなく、 「データの隠れた構造を明らかにする科学」 として育ってきたことが分かります。

📜 主要マイルストーン（年表）

🌳 系譜の整理: 3 つの大樹

1. クラスタリング系（重心ベース→密度ベース→確率モデル系）: K-means → K-medoids → DBSCAN/OPTICS → GMM → スペクトラルクラスタリング
2. 次元削減系（線形→非線形→ニューラル）: PCA → カーネル PCA / MDS → Isomap / LLE → t-SNE / UMAP → オートエンコーダ / VAE
3. 表現学習系（NLP 起源→画像→自己教師あり統一）: word2vec → GloVe → BERT/GPT → SimCLR / DINO → 基盤モデル

系譜を理解することで「なぜこの手法はこの構造を持つのか」 が腑に落ち、 新しい手法に出会ったときも「ああ、 これは GMM の派生だな」 「これは対比学習のフレームだな」 と整理できます。 教師なし学習はラベルなしという制約を逆手に、 統計・幾何・情報理論・最適化を総動員する豊かな分野です。

🔮 これからの 5 年: 教師なし学習の主戦場

2020 年代後半の教師なし学習は、 自己教師あり学習と基盤モデル（foundation model） を中心に再編されつつあります。 「ラベルなしの膨大なデータから一般的な表現を獲得し、 後段のタスクは少量データでファインチューニングする」 という流れが、 言語・画像・音声・時系列・テーブルデータすべての領域に広がっています。 そして、 マルチモーダル（複数種類のデータを同じ空間に埋め込む） や、 因果推論との融合（観察データだけから因果構造を抽出） といった発展形も急速に進化中です。 教師なし学習はもはや「ラベルがないときの代用品」 ではなく、 機械学習の主役の一翼を担う領域として位置づけ直されています。

💼 学習者へのアドバイス: 最初に学ぶ順番

1. K-means と階層クラスタリング: クラスタリングの基礎概念（距離・重心・分散） を体感する。
2. PCA: 次元削減と可視化の入口。 累積寄与率の解釈に慣れる。
3. シルエット係数: 教師なしの評価の難しさを実感する。
4. DBSCAN: 「球状以外の形状」 を扱えることを知る。
5. GMM と EM アルゴリズム: 確率モデル的なクラスタリングを理解する。
6. t-SNE / UMAP: 非線形可視化を試し、 距離保存性の限界を体感する。
7. オートエンコーダ: ニューラル系教師なしの入口。 再構成誤差で異常検知ができる。
8. 自己教師あり学習 / 対比学習: 最新潮流。 言語・画像での実装を試す。

この順序で学ぶと、 教師なし学習の歴史的発展と理論的深さを自然に追体験できます。 単なる「ラベルなし学習のテクニック集」 ではなく、 「データから世界を読み解く科学」 として教師なし学習に向き合う土台ができます。

📝 SSDSE-B-2026 を題材にした応用問題 5 選

1. 問題 1: 都道府県を「総人口(A1101)・出生数(A4101)・死亡数(A4200)」 の 3 変数で K-means (K=4) クラスタリングし、 各クラスタの代表都道府県を 3 件ずつ挙げよ。 結果を見て「東京は単独クラスタになるか」 を予想する前に、 まず標準化の有無で結果がどう変わるかを試せ。
2. 問題 2: 同じデータで PCA (n_components=2) を実行し、 PC1 と PC2 の loadings 表を作れ。 PC1 軸の意味、 PC2 軸の意味を、 寄与の大きい変数名から言語化せよ。
3. 問題 3: Isolation Forest (contamination=0.05) で外れ値検出を行い、 検出された都道府県名を列挙せよ。 検出結果は K-means の単独クラスタと一致するか比較せよ。
4. 問題 4: 階層クラスタリング (Ward 法) で樹形図を描き、 K=3, 4, 5 のどれが「腑に落ちる」 分割か説明せよ。 シルエット係数の推移も併記すること。
5. 問題 5: 上記 4 手法（K-means/PCA/Isolation Forest/階層） を組み合わせて、 「都道府県類型化レポート」 を 1 ページにまとめよ。 結論は「47 都道府県は◯つのタイプに分けられ、 そのうち◯県は他と異なる特異な存在である」 という形式で。

これらの問題に取り組むと、 教師なし学習の各手法が「補完しあって 1 つのストーリーを作る」 ことが体感できます。 単独の K-means、 単独の PCA、 単独の異常検知では見えない構造が、 組み合わせて初めて浮かび上がります。 「教師なし学習はストーリーテリングの道具」 という視点が、 ここに来てようやく腹落ちするはずです。