🔖 キーワード索引（補強）

k-NN に関連する手法・距離尺度・最適化のチップ集。

🎨 直感で掴む — k近傍法 の本質

KNN は「新しいデータの周りにある $k$ 個の既知点を見て、 多数決で予測する」シンプルな手法。 SSDSE-B-2026 で「ある県と似た特徴を持つ近隣県」を $k=5$ で探すと、 北海道は青森・秋田・新潟・岩手・福島など東北地方が近隣として浮かび上がる（人口・気温・産業構造が類似）。

🎨 概念図で押さえる — k近傍法 の直感

k近傍法は「最も近いk個の点の多数決」。 学習はせず、 予測時に全データとの距離を計算する遅延学習。

図 1: k=1 vs k=5 の境界

→ k=1 は各点ごとの境界で複雑、 k=5 は滑らかな境界となる。

図 2: 多数決の仕組み

→ 半径内のk個の点の多数決でクラス判定。 距離重み付けも可能。

図 3: k の選択とバイアス・バリアンス

→ k 小はバリアンス高、 k 大はバイアス高。 交差検証で最適 k を選ぶ。

📝 練習問題 — 理解度チェック (5 問)

k 近傍法 (k-NN) について、 ここまでの内容が自分の言葉で説明できるか 5 問で確認しよう。 詰まった項目は該当章へ戻ること。 暗記でなく「なぜそうなるか」を 1-2 文で書けるかが目標。

→ 5 問すべて 2 文で説明できれば k-NN の基礎は完璧。 詰まった部分は「距離計算」「k の選択」「次元の呪い」セクションを再読しよう。

🚧 k-NN 適用時の前提条件・限界・誤解回避

k-NN はシンプルで強力だが、 適用条件を満たさないと性能が出ない。 押さえておくべき前提・限界・誤解を整理する。

前提条件 1: 特徴量の標準化

距離ベースの手法すべてに共通する大前提。 スケールの違う特徴量を混ぜると、 大きいスケールの変数だけが効く。 SSDSE-B-2026 の都道府県データ (総人口、 出生数、 消費支出) なら必ず StandardScaler 等を通す。 例外: すべての特徴量が同じ単位 (例: 100m 走のタイム × 4 種目) なら標準化不要のことも。

前提条件 2: 十分な近傍密度

k-NN は「近傍が信頼できる代表」を前提とする。 サンプルが疎な領域では k 個の近傍が遠く離れた点になり、 局所性が失われる。 訓練データ数が次元数の指数オーダーで必要 (= 次元の呪い)。

限界 1: 予測の計算コスト

予測時にクエリと全訓練点の距離を計算するため O(n×d)。 n が数十万・d が数百を超えるとリアルタイム予測は厳しい。 対処: KD-Tree (低次元向け)、 Ball-Tree (高次元向け)、 近似最近傍 (Faiss、 Annoy) で高速化する。

限界 2: モデルの解釈性が低い

「なぜそう予測したか」を説明できるのは「近傍の k 点がこうだから」だけ。 線形回帰のような係数の解釈や、 決定木のような分岐ルールはない。 解釈性が必要な業務 (与信、 医療など) では補助的に使うことが多い。

よくある誤解 1: 「k は大きいほど良い」

k を大きくすると境界は滑らかになるが、 大きすぎるとデータ全体の多数派クラスに偏ってバイアスが増える。 極端な例: k = n とすると常に「全データ中の多数派」を予測するだけのモデルになる。 CV で最適 k を選ぶ。

よくある誤解 2: 「k-NN は学習がない」

「fit() で何もしない」は誤解。 sklearn の KNeighborsClassifier.fit() はインデックス構造 (KD-Tree など) を構築する作業を行う。 また、 距離の重み付け・カーネル化・metric learning など、 拡張形では明示的な学習も組み込める (= LMNN, NCA など)。

よくある誤解 3: 「k-NN は外れ値に強い」

k=1 では外れ値そのものに引っ張られて誤分類が起きる。 k を大きく取れば多数決で外れ値の影響は薄まるが、 外れ値の近くにクエリ点が来た場合は依然として誤予測の原因になる。 外れ値検出 (IsolationForest など) で事前にクレンジングするのが定石。

→ k-NN は「データの近さで判断する」最もシンプルなモデル。 シンプルだからこそ前処理 (標準化、 外れ値除去) と k の選択がすべてを決める。 ロジスティック回帰、 ランダムフォレストと必ず比較する習慣を。

🎮 触って理解する — 決定境界を自分で動かす

下の平面をクリック（スマホはタップ）して点を置くと、 その瞬間に k 近傍多数決による決定境界が塗り分けられます。 マウスを動かすとクエリ点の最近傍 k 点が線で結ばれ、 予測クラスが表示されます。 k スライダーと距離尺度を切り替えて、 「k=1 の複雑な境界」と「大きい k の滑らかな境界」の違いを体感してください。 すべてブラウザ内で計算しており、 外部通信は行いません。

👀 試すと見えてくること

• k の選び方（過学習 ↔ 平滑化）：k=1 は各点のまわりに孤立した「島」ができ、 外れ値 1 個でも境界が歪む（過学習・高バリアンス）。 k を上げると境界がなめらかになり、 ノイズに強くなる代わりに細部を捉えられなくなる（高バイアス）。 実務では奇数の k を交差検証で選ぶ（交差検証）。
• 距離尺度の違い：ユークリッド距離 (L2) は直線距離で境界が円弧状、 マンハッタン距離 (L1) は軸に沿った距離で境界が階段状・菱形寄りになる。 距離の定義そのものが「近さ」を変えることを、 同じ点配置で切り替えて確かめられます（距離尺度）。
• タイ（同数）の扱い：この実装は多数決が同数のときは「最も近い 1 点を含むクラス」を優先します。 2 クラスで k を偶数にすると同数が起きやすいため、 k は奇数が無難です。

⚠️ この平面デモが「簡単すぎる」理由 — 次元の呪い

このデモは 2 次元なので「近い点」が直感どおりに見つかります。 しかし特徴量が数十〜数百次元になると、 ほぼすべての点が互いに等距離になり「近い/遠い」の差が消えます（次元の呪い）。 高次元では kNN の前に PCA などで次元を落とすか、 特徴を厳選するのが定石です。 また、 軸のスケールが揃っていないと距離が大きい単位の特徴量に支配されるため、 実データでは必ず 標準化してから距離を計算します（このデモは両軸ともピクセル＝同一スケールなので標準化不要）。

🧮 計算コストと関連手法

上の境界はグリッドの各セルで「全点との距離」を計算して塗っています。 これは kNN が予測のたびに全訓練点との距離を計算する 遅延学習そのもの（1 予測あたり O(n·d)）。 点を増やすほど再描画が重くなるのを体感できます。 大規模データでは KD-Tree / Ball-Tree / 近似最近傍で高速化します。 予測ルールを事前に固める 決定木や、 マージン最大化の SVM、 集団学習の ランダムフォレストと比較して、 分類タスクでの使い分けを考えると理解が深まります。

📐 数式または定義 — k近傍法 の形式的表現

直感で全体像を掴んだら、 次は厳密な定義を見ます。 数式は短いものでも、 「何を入力にして、 何を出力するのか」を意識して読むと早く慣れます。

🔬 数式を言葉で読み解く — k近傍法 の記号辞書

上の数式に出てくる各記号が何を表すかを、 言葉で翻訳します。 1 つずつ自分の言葉で言い換えられるようになると、 論文や教科書のスピードが一気に上がります。

🧮 SSDSE-B-2026 で実値計算 — k-NN の実例

例1：k-NN で都道府県の高齢化率を予測

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import pandas as pd
from sklearn.neighbors import KNeighborsRegressor
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
num = df.select_dtypes('number')
y = num.iloc[:, 0].values
X = num.iloc[:, 1:6].values
X_std = StandardScaler().fit_transform(X)  # 標準化必須

for k in [1, 3, 5, 7, 9]:
    knn = KNeighborsRegressor(n_neighbors=k, weights='distance')
    scores = cross_val_score(knn, X_std, y, cv=5, scoring='r2')
    print(f'k={k}: R² mean={scores.mean():.3f} ± {scores.std():.3f}')

🧮 実値で計算してみる — SSDSE-B-2026 で k近傍法 を体感

数式だけでは「分かった気になる」だけで終わりがち。 ここで SSDSE-B-2026（教育用標準データセット — 47 都道府県 × 100+ 指標、 2012-2023 年度）の実値を当てはめて、 k近傍法 の挙動を電卓的に追体験します。

SSDSE-B-2026 は 統計センターの SSDSE 配布ページ から CSV を直接ダウンロードできます。 本サイトでは data/raw/SSDSE-B-2026.csv に配置している前提でコードを書いています。

🧮 数式に値を入れて手で計算する: KNN k=3 の多数決

合成 5 点 1D データで新規点 x=4 の k=3 多数決を計算する。

Step 1: データ

Step 2: 距離ソートと多数決

🐍 Python で再現

1
2
3
4
5
6
7
8
9

import numpy as np
X = np.array([1, 3, 5, 7, 9])
y = np.array(['A', 'B', 'B', 'A', 'A'])
new = 4
dist = np.abs(X - new)
top3 = np.argsort(dist)[:3]
labels, counts = np.unique(y[top3], return_counts=True)
print(f"上位 3: {y[top3]}")
print(f"多数決: {labels[counts.argmax()]}")

📤 実行結果

💬 手計算 (Step 2) クラス B と Python 出力が完全一致。

🐍 Python 実装バリエーション（scikit-learn / scipy / FAISS / pyod）

1. scikit-learn — 分類 / 回帰の標準実装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

from sklearn.neighbors import KNeighborsClassifier, KNeighborsRegressor
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
num = df.select_dtypes('number')
X, y = num.iloc[:, 1:6].values, num.iloc[:, 0].values

pipe = Pipeline([('sc', StandardScaler()),
                 ('knn', KNeighborsRegressor())])
grid = {'knn__n_neighbors': [3, 5, 7, 9, 11],
        'knn__weights': ['uniform', 'distance']}
gs = GridSearchCV(pipe, grid, cv=5, scoring='r2').fit(X, y)
print('Best:', gs.best_params_, 'R²:', gs.best_score_)

🐍 Python 実装 — k近傍法 を SSDSE-B-2026 で動かす

まず環境をそろえます。 必要なライブラリを入れ、 matplotlib の日本語フォント（Hiragino Sans）を設定し、 SSDSE を encoding='cp932' で読み込んで shape・head()・describe() を確認します。 k 近傍法は距離で予測するので、 スケールの違う変数を混ぜると大きい単位の変数だけが効いてしまいます。 総人口（1,400 万）と合計特殊出生率（1.0 前後）をそのまま並べれば、 距離は事実上人口だけで決まります。 だから StandardScaler がこの手法では必須です。 エンコーディングを指定し忘れると UnicodeDecodeError で止まるのが最初の関門なので、 ここだけは丸暗記して構いません。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# k近傍法 を SSDSE-B-2026 で確かめる最小コード
import pandas as pd
import numpy as np

# 1) SSDSE-B-2026（教育用標準データセット）を読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
print('shape:', df.shape)        # (564, 112) — 47 都道府県 × 12 年度
print('cols head:', list(df.columns[:8]))

# 2) 直近年度（2023 年度）に絞る
df23 = df[df['年度'] == 2023].copy()
print('rows in 2023:', len(df23))

# 3) k近傍法 を動かすために必要な列だけ取り出す
y = df23['合計特殊出生率'].astype(float)
x = df23['総人口'].astype(float)
print('y stats:', y.describe().round(3).to_dict())
print('x stats:', x.describe().round(0).to_dict())

# 4) k近傍法 の本処理（このページの主題）
#    — 具体実装は同カテゴリの個別ページにも掲載
print('---- k近傍法 結果 ----')
print('mean y:', y.mean().round(3), '/ std y:', round(y.std(), 3))
print('mean x:', x.mean().round(0), '/ std x:', round(x.std(), 0))
print('corr(x, y):', y.corr(x).round(3))

うまく動かないときは ①data/raw/SSDSE-B-2026.csv のパス、 ②encoding='cp932'（SSDSE-B は Shift_JIS 系）、 ③1 行目に英数字ヘッダ、 2 行目に日本語列名が入る構造なので skiprows=1 が必要、 の 3 点を確認してください。

⚠️ k-NN の落とし穴（補強・各 100 文字以上）

⚠️ よくある落とし穴 — k近傍法 で初学者がやりがちなミス

この用語を実務で使うときにつまずきやすい点を、 失敗パターン別に整理しました。 1 度経験すれば回避できるものばかりですが、 先に知っておくと事故が大幅に減ります。

🌐 関連手法・派生 — k近傍法 の周辺地図

k近傍法 と一緒に覚えておくと選択肢が広がる関連手法。 状況によって使い分けが必要なので、 それぞれの強みと弱みを 1 行で言えるようにしておきましょう。

• SVM
• 決定木
• Random Forest
• ロジスティック回帰
• ナイーブベイズ

表中の各手法は本サイト内に個別ページが用意されているものが多いです。 興味を持った概念は、 横展開的に読むと体系的な理解が早く進みます。

🔗 関連用語ネットワーク（前提・並列・発展）

📚 前提となる用語

• 距離尺度 — k-NN の核
• 標準化・正規化
• 交差検証 — k 決定の手段
• コサイン類似度
• 次元削減 — 次元の呪い対処

🔀 並列の概念

• 決定木
• SVM
• ロジスティック回帰
• ナイーブベイズ
• カーネル密度推定

🚀 発展的トピック

• 近似最近傍（ANN） — FAISS, HNSW
• 距離計量学習
• 異常検知
• 協調フィルタリング
• 多様体学習

🔗 直近の隣人

• クラスタリング（k-Means）
• PCA
• 機械学習基礎
• 評価指標

🔗 関連用語（前提・並列・発展）— k近傍法 の知識ネットワーク

この用語を理解するうえで関係の深い概念を、 階層的にまとめました。 各チップから直接ページへ飛べます。

📚 統計学習の総合ガイド

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 必須ライブラリのインストール
# pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn   ← これは端末で実行するもの（Python の文ではない）

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE は cp932 エンコーディング）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\nColumn types:\n{df.dtypes}")
    print(f"\nMissing values:\n{df.isnull().sum()}")
    print(f"\nBasic stats:\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

k近傍法 は単独で完結する用語ではなく、 大きな概念群の中のひとつ。 同じカテゴリの他用語と合わせて学ぶと、 「何を選ぶべきか」の判断が一気に楽になります。

• カテゴリ全体像 → 用語集トップ
• 概念マップ → 概念マップ
• 論文一覧から関連実装を確認 → 論文一覧

🗺️ 統計手法選択フローチャート

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 kNN の評価指標と効果量

kNN の予測品質は 分類精度と 近傍の質の両面で評価する。 効果量の解釈基準：

🚀 実務応用の深掘り

典型的なプロジェクトの流れ

1. 問題理解：ステークホルダーとの対話、 KGI/KPI 設定
2. データ収集：内部DB、 公的データ（SSDSE等）、 API
3. EDA：データの全体像把握、 異常検出
4. 仮説立案：ドメイン知識からの仮説
5. モデリング：シンプルから複雑へ段階的に
6. 検証：CV、 ホールドアウト、 A/Bテスト
7. 解釈：可視化、 SHAP、 部分依存プロット
8. 展開：本番デプロイ、 監視

ベストプラクティス

• シンプルなモデルから始める（線形回帰、 単純ルール）
• 必ずベースラインと比較
• 過学習を防ぐ（CV、 正則化、 早期停止）
• 解釈可能性を重視
• 再現可能なコード・ノートブック
• バージョン管理（Git）と環境管理（venv, conda）
• ドキュメント化を怠らない

論文・コンペでよく使う言い回し

統計データ活用コンペでのコツ

• SSDSE データの構造を理解し、 適切なテーブルを選ぶ
• 地域別・年度別の比較で時空間的視点を入れる
• 1つの分析で多角的に切り口を変える
• 仮説と発見の両方を持つ
• ストーリーラインを明確に
• 図表を1枚1枚作り込む
• 政策提言や実務的意義に繋げる

🗺️ 概念マップ — 3つの視点で体系を理解する

k近傍法 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 機械学習 › 教師あり学習 › k近傍法（事例ベースのノンパラメトリック手法）

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に k近傍法 を置き、 そこから k-means・分類・クラスタリング・階層クラスタリング・Ward法 計 5 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「k近傍法」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「k近傍法」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは k近傍法 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 教師あり学習 → k近傍法 という入れ子の位置を示します。 「教師あり学習には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

k 近傍法は学習フェーズを持たない遅延学習であり、 前段の距離尺度設計と後段の k 選定・近傍探索高速化と組み合わせて使うことで実用性能が出る。

• 上流: 前段の距離尺度・標準化・次元削減 (距離尺度、 標準化)
• 並列: 並列の分類・回帰アルゴリズム (SVM、 ランダムフォレスト) と比較・併用
• 下流: 下流の予測評価・近傍探索高速化 (交差検証、 分類評価)

上流の標準化と次元削減 (高次元の呪いを回避) が距離計算の前提を整え、 並列のロジスティック回帰/SVM とベンチマーク比較し、 下流の k 最適化 (交差検証) と重み付け距離で予測精度を引き上げる流れが kNN を実戦投入する標準パイプラインとなる。

🌳 手法選択フロー

「knn」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: 標準化 / 欠損処理 / カテゴリ変数のエンコード が適切か
2. ハイパラ調整: 交差検証で安定する値を選ぶ
3. 性能評価: タスクに応じた指標 (RMSE / Accuracy / F1 / AUC / シルエット等) を複数併用
4. 頑健性チェック: 別手法 / 別シードで結果が大きく違わないか確認
5. 解釈: 結果を分野知識と照らし合わせ、 意味のある発見になっているか検討

🧭 もう一段深い直感 — 「近い＝似ている」を疑いながら使う

kNN の全体像は上のセクションで掴めたはずです。 ここでは なぜこの素朴な手法が機能するのか、 そして どこで壊れるのか を、 一段深い直感として言語化します。 既出の図・数式・ウィジェットと合わせて読むと理解が立体化します。

🌱 kNN が置いている唯一の仮定

kNN が信じているのはただ一つ、 「特徴空間で近い点は、 出力（クラスや値）も似ている」という局所的な連続性の仮定です。 この仮定が成り立つ領域では、 未知点の答えは「ご近所さんに聞けば分かる」。 分類なら最も近い $k$ 個の多数決、 回帰なら $k$ 個の平均（または距離で重みづけた加重平均）を返すだけです。

重要なのは、 kNN が訓練時に何も要約しない点です。 線形回帰は係数、 決定木は分岐ルールという「圧縮された知識」を作りますが、 kNN は訓練データを丸ごと抱えたまま、 予測の瞬間に初めて距離を計算します。 これが 遅延学習（lazy learning / 事例ベース学習）と呼ばれる理由です。 「モデルの形」を決め打ちしないノンパラメトリックな柔らかさが強みで、 データが複雑な非線形の境界を持っていても、 十分な密度さえあれば追随できます。

🎯 「距離が命」— なぜ前処理がモデル本体より重要になるのか

kNN には学習すべきパラメータがほぼありません。 だからこそ性能を決めるのは「近さ」の定義そのもの、 すなわち 距離尺度と特徴量のスケールです。 線形モデルなら係数が特徴量の効き具合を自動調整してくれますが、 kNN にはその調整機構がありません。 スケールの大きい特徴量が距離を独占すれば、 それがそのまま「近さ」の定義になってしまいます。 つまり kNN では 前処理がモデルの一部だと考えるのが正しい直感です。

🕳️ 落とし穴を実データで体感する — SSDSE-B-2026（2023 年・47 都道府県）

落とし穴カードは上に既出ですが、 ここでは 実測値で「どれくらい効くか」を数字で確かめます。 使用データは SSDSE-B-2026.csv（cp932, skiprows=[1]）の 2023 年度・47 都道府県。 特徴量は 総人口・出生数・死亡数・婚姻件数・年平均気温の 5 つ、 予測対象は 合計特殊出生率（レンジ 0.99〜1.60、 標準偏差 0.13）。 評価は 47 件の Leave-One-Out 交差検証による平均絶対誤差（MAE, weights='distance'）です。

① 標準化の効果は「誤差 3〜4 割減」— 実測で確認

総人口（数百万オーダー）と年平均気温（十数℃）を素の距離に混ぜると、 人口差だけが「近さ」を支配します。 標準化して全特徴量を平均 0・分散 1 に揃えると、 同じ $k$ でも MAE がはっきり下がりました。

→ どの $k$ でも標準化ありが一貫して低誤差。 「アルゴリズムを変える」より「前処理を直す」方が効くという kNN の性格が数字で出ています。

② k の選択：小さいと過学習・大きいと過平滑（実測の底は k=5〜9）

同じ標準化ありの列を縦に読むと、 $k=1$（MAE 0.095）は各点 1 個に従うため過学習・高バリアンス、 $k=5$〜$9$（MAE 0.078 前後）で誤差が底を打ち、 それ以上大きくすると全国平均へ寄る過平滑・高バイアスに向かいます。 これは上の「図 3: バイアス・バリアンス」の U 字が、 47 都道府県の実データでも再現されたということです。 最適 $k$ はデータ依存なので、 必ず 交差検証で選びます（過学習・バイアスとバリアンスも参照）。

③ 「近傍」は妥当か — 目視でのサニティチェック

標準化後のユークリッド距離で各県の近傍 5 県を求めると、 直感と合う結果になりました（実測）：

• 東京都 → 大阪府・神奈川県・愛知県・埼玉県・千葉県（大都市圏どうし）
• 鳥取県 → 島根県・山梨県・福井県・石川県・富山県（人口規模の小さい県）
• 北海道 → 長野県・青森県・宮城県・岩手県・新潟県（面積・人口動態が近い）

→ 予測が外れたときは「そもそも近傍が妥当か」をこう目視するのが第一歩。 近傍が突飛なら、 スケーリングか特徴量の選び方を疑います。

④ 次元の呪い・計算コスト・不均衡 — 47 県データでの限界も直視

今回は 5 次元・47 サンプルなので近傍が意味を持ちましたが、 特徴量を SSDSE の 100 列すべてに増やすと、 サンプル 47 に対して次元が高すぎて近傍がほぼ等距離になります（次元の呪い）。 対策は特徴選択か 次元削減（PCA 等）です。 また kNN は予測のたびに全 47 点との距離を計算する $O(n\cdot d)$ の遅延学習で、 都道府県 47 件なら一瞬ですが、 数十万件になると scikit-learn の algorithm='kd_tree'/'ball_tree' や近似最近傍が必要です。 不均衡データ（例：ある稀なクラスが数県のみ）では多数派が近傍を埋めるため、 weights='distance' やクラス重みで補正します。

🚀 発展 — 素朴な kNN をどう強くするか

最後に、 実務・コンペで kNN を「使える道具」に引き上げる拡張を整理します。 いずれも「①局所の連続性」と「②近さの定義」という 2 本柱の改良として理解できます。

⚖️ 距離重み付き kNN（②近さの改良）

多数決を「1 票ずつ平等」ではなく、 近い点ほど重い票にします。 重み $w_i = 1/d_i$（距離の逆数）などを使うと、 境界付近の判断が滑らかになり、 同点（タイ）も起きにくくなります。 scikit-learn では weights='distance'。 上の実測でもこの設定を使っており、 不均衡・境界付近に強くなります。

🌲 KD 木・Ball 木で高速化（計算コストの改良）

全点との距離を毎回計算する代わりに、 空間を木構造で分割して「明らかに遠い領域」を枝刈りします。 KD 木は低〜中次元、 Ball 木は比較的高次元やユークリッド以外の距離に向きます。 予測を平均 $O(\log n)$ 級に落とせますが、 次元が非常に高いと木の効率も落ちる点に注意（ここでも次元の呪い）。

⚡ 近似最近傍（ANN）— FAISS / HNSW / Annoy

「厳密な最近傍」を諦め、 ほぼ最近傍を高速に返すのが ANN です。 HNSW（グラフ探索）や IVF/PQ（FAISS）は、 数百万〜数億件の埋め込み検索・レコメンド・RAG の中核技術。 精度を数%犠牲にして桁違いの速度を得るトレードオフを、 用途に応じて調整します。

🧬 次元削減との併用（①仮定の回復）

高次元で崩れる「近い＝似ている」を回復させるため、 PCA や多様体学習で意味のある低次元に落としてから kNN をかけます。 ノイズ次元を削ると近傍が再び直感的になり、 計算も軽くなります。 次元削減は kNN の前処理の定番です。

🔁 k の交差検証と、局所手法としての一般化

$k$ はデータ依存なので 交差検証（GridSearchCV）で選ぶのが基本。 さらに視野を広げると、 kNN は「クエリ点の近傍だけで局所的に予測する」という考え方の一例にすぎません。 半径内で回帰するカーネル回帰、 局所的に線を当てる局所回帰（LOESS）、 データを丸ごと使うカーネル密度推定まで、 いずれも「近傍を使う局所手法」という同じ家系です。 分類・回帰の全体像は 分類、 距離で群を作る発想は k-means・クラスタリングと地続きです。