🔖 キーワード索引 — SVM を多角的に理解する

サポートベクターマシン（SVM, Support Vector Machine）を確実に使いこなすための関連キーワードを難易度別に整理しました。

🟢 基礎キーワード（まず押さえる）

• 分離超平面（separating hyperplane）：2 クラスを分ける（d−1）次元の境界面。 SVM の中核概念。
• マージン（margin）：分離超平面から最も近いデータ点までの距離。 SVM はこれを最大化。
• サポートベクター：マージン上または内側にある観測点。 これらだけが分類器を決定する。
• ハードマージン SVM：データが完全に線形分離可能と仮定する基本形。
• ソフトマージン SVM：誤分類を許容するスラック変数 ξ を導入。 実務ではこちらが標準。
• 正則化パラメータ C：ソフトマージンでの誤分類ペナルティの重み。 大きいほどハードに近づく。

🟡 中級キーワード

• カーネル（kernel）：高次元写像を内積で代用する関数。 RBF、 多項式、 線形、 シグモイドなど。
• カーネルトリック（kernel trick）：明示的に高次元写像せず内積だけで非線形分類を実現。
• RBF カーネル（Gaussian）：K(x, y) = exp(−γ‖x−y‖²)。 最も汎用的。 γ で局所性を制御。
• 多項式カーネル：K(x, y) = (γx·y + r)ᵈ。 d で次数を選ぶ。
• 双対形式（dual problem）：ラグランジュ乗数 αᵢ で表現した最適化問題。 サポートベクターが見える。
• ヒンジ損失（hinge loss）：max(0, 1 − yᵢf(xᵢ))。 SVM の損失関数。

🔴 上級キーワード

• SMO（Sequential Minimal Optimization）：libsvm の実装アルゴリズム。 2 変数ずつ最適化。
• ν-SVM（nu-SVM）：C の代わりに ν を使う変種。 ν はサポートベクター割合の上限・誤分類割合の下限。
• One-Class SVM：教師なしの異常検知。 正常データの輪郭を学習。
• サポートベクター回帰（SVR）：回帰問題への拡張。 ε-不感帯（ε-insensitive zone）。
• マルチクラス SVM：1-vs-1、 1-vs-rest、 Crammer-Singer 法など。
• VC 次元と汎化誤差：統計学習理論での SVM の理論保証。

🎨 直感で掴む — サポートベクターマシン の本質

SVM は「2 クラスを最も広いマージンで分ける直線（または曲面）」を引く分類器。 SSDSE-B-2026 で「人口 100 万人以上 vs 未満」を「出生率・65歳以上人口比率・婚姻件数」から分類すると、 SVM は境界に近いサポートベクターだけを使って最適な超平面を引く。 線形で分けにくいときはカーネルで非線形化。

🎨 概念図で押さえる — SVMの仕組み

SVMは「マージンを最大化する超平面」を引く。 サポートベクトルだけが境界を決め、 カーネル関数で非線形にも拡張できる。

図 1: マージン最大化

← マージン →境界平面"/>

→ 太線が境界、 破線が±1マージン。 オレンジ枠の点がサポートベクトル。

図 2: カーネルトリック

2次元 (線形不可分)φ(x)高次元 (線形可分)"/>

→ カーネル関数で高次元空間に写像すると線形分離が可能になる。

図 3: ソフトマージン (C パラメータ)

C 大 (ハードマージン)マージン狭い・誤分類少C 小 (ソフトマージン)マージン広・誤分類許容"/>

→ C が小さいほど誤分類を許してマージンを広げ、 過学習を抑制する。

📝 練習問題 — 理解度チェック (5 問)

サポートベクターマシン (SVM) について、 ここまでの内容が「自分で説明できるか」を 5 問で確かめてみよう。 答えに自信が持てなかったら、 該当する章へ戻ってもう一度読み直すこと。 暗記ではなく、 「なぜそうなるか」を 1-2 文で言語化できることが目標。

Q1. マージン最大化は何を最大化しているのか

SVM の目的関数は「マージン (境界平面と最も近いサンプルとの距離) を最大化する」と説明される。 では、 マージンが大きいほど何が良いのかを、 汎化性能の観点から 2 文で書け。 ヒント: マージン = 境界の「余裕」であり、 余裕があるほど未知データへの誤分類耐性が高い。

答えの方向: マージンが大きい境界は、 訓練データと境界の距離に余裕があるため、 未知サンプルが境界の反対側に多少ずれても誤分類されにくい。 これは VC 次元的にも汎化誤差の上界が小さくなることに対応し、 過学習を抑える効果がある。

Q2. サポートベクトルとは何で、 なぜ重要か

SVM では「境界面に最も近いサンプル」だけが境界を決め、 他のサンプルは境界の式に直接寄与しない。 これがサポートベクトル。 サポートベクトル以外のデータ点を除いて学習しても、 境界はほぼ同じになる理由を 1-2 文で説明せよ。

答えの方向: SVM の最適化はラグランジュ乗数 αi が 0 でない点 (= サポートベクトル) のみが境界の式 (w = Σ αi yi xi) に寄与する形になる。 つまり αi = 0 となる遠方のサンプルは数式上、 境界を 1 mm も動かさない。 だからサポートベクトル以外を除外しても結論が変わらない。

Q3. C パラメータの意味

ソフトマージン SVM の C を「大きく」する/「小さく」すると、 境界はそれぞれどう変化するか。 過学習・未学習の観点で違いを述べよ。

答えの方向: C を大きくする = 誤分類への罰則が大きい = マージンが狭くてもよいから訓練誤差を限界まで下げに行く → 過学習リスク増。 C を小さくする = 誤分類を許す代わりにマージンを広げる → 未学習に近づくが汎化に強い。 グリッドサーチで CV により最適 C を選ぶのが定石。

Q4. カーネル関数を使う理由

線形分離できないデータに対して SVM ではカーネル関数 (RBF、 多項式など) を用いる。 「特徴量を高次元に写像してから線形 SVM を解く」とどう違うのか、 計算量の観点で説明せよ。

答えの方向: 高次元への写像 φ(x) を陽に計算すると次元が爆発するが、 SVM の双対形式は内積 <φ(xi), φ(xj)> しか現れない。 カーネル関数 K(xi, xj) = <φ(xi), φ(xj)> を使えば、 φ を一度も計算せずに内積だけ算出できる (= カーネルトリック)。 これにより無限次元の RBF 空間でも計算できる。

Q5. SVM を使う前にスケーリングが必要な理由

SVM (特に RBF カーネル) を SSDSE-B-2026 のような実データに適用する前には、 必ず StandardScaler などで標準化することが推奨される。 なぜか。

答えの方向: RBF カーネル K(x,y) = exp(-γ||x-y||²) は特徴量間のユークリッド距離に直接依存する。 もし「人口 (単位: 万人)」と「平均年収 (単位: 万円)」のようにスケールが大きく違うと、 大きい値の特徴量だけが距離を支配し、 他の特徴量が無視される。 これを防ぐため、 平均 0・分散 1 にそろえる標準化が必要。

→ 5 問とも自分の言葉で 2 文で説明できれば、 SVM の核心は理解できている。 詰まった項目は「マージン最大化」「双対問題」「カーネル」のセクションに戻って読み直そう。

🚧 SVM 適用時の前提条件・限界・誤解回避

SVM は線形分離が難しい問題で強力だが、 万能ではない。 適用前に押さえておくべき前提条件・限界・よくある誤解を 1 つずつ整理しておく。

前提条件 1: 特徴量のスケール統一 (標準化)

RBF・多項式カーネルはユークリッド距離に依存するため、 特徴量のスケール差が大きいと「スケールの大きい変数だけが効く」モデルになる。 例えば SSDSE-B-2026 の都道府県データで「人口 (百万人単位)」「年収 (万円単位)」「ジニ係数 (0-1)」を混ぜると、 ジニ係数は事実上無視される。 必ず StandardScaler や RobustScaler で 0 平均・1 分散にそろえる。 線形カーネルでも標準化は推奨。

前提条件 2: サンプル数に対する計算量

SVM の双対問題は O(n²) 〜 O(n³) で計算量がスケールする。 n が数万を超えると訓練時間が現実的でなくなる。 大規模データには SGDClassifier (loss='hinge') や LinearSVC、 あるいは LightGBM などの勾配ブースティングへの切り替えを検討する。

限界 1: 確率出力が直接は得られない

SVM は本来「境界からの距離」を返すモデルで、 確率は直接出ない。 確率が必要なら sklearn の probability=True オプション (内部で Platt scaling を実行) を使う。 ただし計算コストが上がり、 確率の校正度合いも完全ではない。 ロジスティック回帰と比較し、 用途に応じて選ぶ。

限界 2: 高次元・スパースデータでの優位性は限定的

文章分類のような高次元スパース行列では、 線形 SVM (LinearSVC) はロジスティック回帰や Naive Bayes と性能差が小さく、 学習が速いそれらに軍配が上がることが多い。 RBF カーネルの利点は「特徴量数 < サンプル数」かつ「非線形性が明確」な場面で最も大きい。

よくある誤解 1: 「SVM = 線形分離器」と思い込む

原型の SVM は線形分離器だが、 カーネルトリックを使えば任意の非線形境界も表現できる。 RBF カーネルは理論的に「任意の関数を近似できる」ユニバーサル近似器に近い。 「SVM は線形にしか効かない」というのは誤解。

よくある誤解 2: 「サポートベクトルだけ覚えれば十分」

確かに予測時に必要な情報はサポートベクトルだけだが、 「最初からサポートベクトルだけ拾えばよい」というわけではない。 どのサンプルがサポートベクトルになるかは最適化を解いて初めて分かるので、 訓練時には全データを使う必要がある。 また、 サポートベクトルが多すぎる場合は過学習や C が小さすぎる兆候であり、 ハイパーパラメータの見直しが必要。

よくある誤解 3: 「カーネルなら何でも非線形を捉えられる」

カーネルは「内積を一般化する関数」であって、 任意の非線形を等しく扱えるわけではない。 RBF カーネルは局所的な構造を捉えるのに強いが、 周期的なパターンや方向依存性のあるデータには弱い。 データの構造を見て (散布図・主成分プロットなど)、 カーネルを選ぶことが重要。

→ SVM の強みは「マージン最大化」と「カーネル」の 2 本柱だが、 適用条件 (標準化、 計算量) を満たさないと真価を発揮できない。 ベンチマークではランダムフォレストや勾配ブースティングとの比較を必ず行うこと。

🎮 触って理解する — SVM を実際に動かす

下の平面には 青クラス (+1) と 赤クラス (-1) の点が並んでいます。 何もない場所をクリック（タップ）すると選択中のクラスの点を追加、 既存の点をクリックするとクラスが反転します。 SVM がリアルタイムで最大マージン境界を再計算し、 決定境界（濃い線）・マージン境界（薄い破線）・サポートベクター（黄色い枠の点）を描画します。 スライダーやカーネル切替で挙動の変化を体感してください。

🔍 この widget で確かめてほしいこと

• 最大マージンの原理：決定境界（濃い線）は、 2 クラスを分けつつ最も近い点までの余白（マージン）を最大化する位置に引かれます。 薄い破線が ±1 のマージン境界 $y_i(w^\top x_i+b)=\pm 1$ です。 境界を無理に動かそうとする点＝マージン上の点だけが結果を左右します。
• サポートベクターだけが効く：黄枠の点（サポートベクター）以外を追加・移動しても境界はほとんど動きません。 遠くの点は最適化上ラグランジュ乗数 $\alpha_i=0$ で、 境界の式 $w=\sum_i \alpha_i y_i x_i$ に 1 mm も寄与しないからです。 「境界を決めるのは一部の点だけ」を目で確認できます。
• ソフトマージンと C：C スライダーを小さくすると誤分類への罰則が緩みマージンが広がって（ソフト）、 サポートベクターが増えます。 大きくすると罰則が強まりマージンが狭く（ハードに近づき）、 境界が個々の点に張り付いて過学習気味になります。 わざと 1 点だけ反対クラスに紛れ込ませ、 C を上下させると硬さの違いが鮮明です。
• カーネルトリック：青と赤を「内側の円と外側のリング」のように線形分離できない配置にして RBF に切り替えると、 曲がった非線形境界が現れます。 これは高次元へ写像 $\varphi(x)$ してから線形分離する操作を、 内積を置き換える $K(x_i,x_j)$ だけで実現するカーネルトリックの効果です（カーネル法 と同じ発想）。 γ を大きくすると境界が局所的に、 小さくすると滑らかになります。

📊 実データに引きつけて — SSDSE-B-2026 の高齢化ラベル

この平面遊びを実データの分類に置き換えると、 例えば SSDSE-B-2026（2023 年度・47 都道府県）で「65 歳以上人口比率 = A1303 ÷ A1101」を計算し、 全国中央値以上を 高齢県 (-1)、 未満を 非高齢県 (+1) とラベル付けするイメージです。 実測値（cp932 / skiprows=[1] で読み込み）では：

→ 東京・大阪のような大都市は低め、 秋田・島根・鳥取は高めと、 高齢化率は都市規模とゆるく相関します。 標準化した「人口」「高齢化率」を軸に取ると、 境界近傍の少数県（中央値付近の県）だけがサポートベクターになり分類境界を決めます。 上の widget で青＝低齢・赤＝高齢に見立てて追体験してみてください。（出典: 統計センター SSDSE-B-2026 実測値）

⚖️ ロジスティック回帰との対比

同じ二値分類でも ロジスティック回帰 と SVM は「何を損失にするか」が違います。 両者を並べると SVM の個性が際立ちます。

✅ 長所と ⚠️ 短所

📐 数式または定義 — サポートベクターマシン の形式的表現

直感で全体像を掴んだら、 次は厳密な定義を見ます。 数式は短いものでも、 「何を入力にして、 何を出力するのか」を意識して読むと早く慣れます。

🔬 数式を言葉で読み解く — サポートベクターマシン の記号辞書

上の数式に出てくる各記号が何を表すかを、 言葉で翻訳します。 1 つずつ自分の言葉で言い換えられるようになると、 論文や教科書のスピードが一気に上がります。

🧮 SSDSE-B-2026 実値計算例 — 47 都道府県分類で SVM を試す

合成データではなく、 SSDSE-B-2026 を念頭に 47 都道府県を「都市圏 / 地方圏」に分類する SVM の手順を具体的に示します。

① データと特徴量

# 目的変数 Y
都市圏（9 県、 +1）：東京・神奈川・千葉・埼玉・愛知・大阪・京都・兵庫・福岡
地方圏（38 県、 -1）：その他

# 説明変数 X（2 次元で可視化用）
x₁ = 標準化された人口密度（z スコア）
x₂ = 標準化された第 3 次産業就業者割合（z スコア）

例（標準化後）：
東京：(x₁, x₂) = (+4.42, +2.15) → 完全な都市圏
神奈川：(+2.43, +1.78)
大阪：(+3.06, +1.92)
鳥取：(-0.82, -0.94) → 地方圏
青森：(-0.71, -0.85)

② 線形 SVM のハイパープレーン

# 線形 SVM、 C=1 で学習
# 学習結果（仮想的だが現実的）
w = (0.62, 0.48)
b = -0.31

# 分離面の方程式
0.62·x₁ + 0.48·x₂ - 0.31 = 0

# 各点でのスコア f(x) = w·x + b
東京：0.62·4.42 + 0.48·2.15 - 0.31 = 2.74 + 1.03 - 0.31 = +3.46（強く都市側）
神奈川：0.62·2.43 + 0.48·1.78 - 0.31 = 1.51 + 0.85 - 0.31 = +2.05
鳥取：0.62·(-0.82) + 0.48·(-0.94) - 0.31 = -0.51 - 0.45 - 0.31 = -1.27（強く地方側）

# 分類：sign(f(x))
東京：+1 ✓（都市圏）、 鳥取：-1 ✓（地方圏）

③ サポートベクターの特定

# マージン上の点（αᵢ > 0 かつ < C）：「真のサポートベクター」
# 例：千葉、 滋賀、 宮城、 広島 などが境界近傍

# 想定される結果（仮想）
都市圏側 SV：千葉（f≈+1.02）、 滋賀（f≈+1.05、 誤分類）
地方圏側 SV：宮城（f≈-1.01）、 広島（f≈-0.95）

→ 計 4 件のサポートベクターで境界が決まる
→ 47 県中 43 件は分類に直接寄与しない（マージンの外側）

④ RBF カーネル（非線形境界）

# RBF SVM、 C=1、 γ=0.5 で学習
# 各点間の RBF カーネル
K(東京, 大阪) = exp(-0.5·||(4.42-3.06)² + (2.15-1.92)²||)
            = exp(-0.5·(1.85+0.053))
            = exp(-0.95)
            ≈ 0.387

K(東京, 鳥取) = exp(-0.5·((4.42+0.82)² + (2.15+0.94)²))
            = exp(-0.5·(27.46+9.55))
            = exp(-18.5)
            ≈ 9.2×10⁻⁹

→ 東京と大阪は「類似」、 東京と鳥取は「全く別」

⑤ ハイパーパラメータ調整の効果

# C と γ を変えた精度（5-fold CV、 仮想）
C=0.1, γ=0.1   → 精度 0.81（過小学習）
C=1.0, γ=0.5   → 精度 0.96（バランス良）
C=10.0, γ=2.0  → 精度 0.91（過学習傾向）
C=100, γ=10    → 精度 0.85（強い過学習）

# 最適：C=1.0, γ=0.5
# GridSearchCV で系統的に探索

🧮 実値で計算してみる — SSDSE-B-2026 で サポートベクターマシン を体感

数式だけでは「分かった気になる」だけで終わりがち。 ここで SSDSE-B-2026（教育用標準データセット — 47 都道府県 × 100+ 指標、 2018-2023 年度）の実値を当てはめて、 サポートベクターマシン の挙動を電卓的に追体験します。

SSDSE-B-2026 は 統計センターの SSDSE 配布ページ から CSV を直接ダウンロードできます。 本サイトでは data/raw/SSDSE-B-2026.csv に配置している前提でコードを書いています。

🧮 数式に値を入れて手で計算する: SVM のマージン

合成 2 点間で分離超平面のマージンを計算する。

Step 1: 入力

Step 2: マージン

🐍 Python で再現

1
2
3
4
5
6
7
8
9

import numpy as np
w = np.array([1, 1])
b = -5
x1 = np.array([3, 4])
x2 = np.array([1, 2])
norm_w = np.linalg.norm(w)
print(f"x1 距離: {abs(w @ x1 + b)/norm_w:.3f}")
print(f"x2 距離: {abs(w @ x2 + b)/norm_w:.3f}")
print(f"マージン: {2/norm_w:.3f}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装のバリエーション — scikit-learn / libsvm / lightning

① scikit-learn の SVC（標準実装、 libsvm ベース）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split

# SSDSE-B-2026 を読み込み（2 行目の日本語見出しは skiprows=[1] で除外）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()

# 2 値ラベル: 大都市圏の 9 都府県を 1、その他を 0
urban = ['東京都','神奈川県','千葉県','埼玉県','愛知県','大阪府','京都府','兵庫県','福岡県']
d['urban'] = d['Prefecture'].isin(urban).astype(int)

# 特徴量: 総人口・出生数・年平均気温（すべて実在列コード）
X = d[['A1101', 'A4101', 'B4101']].astype(float)
y = d['urban']

X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.3, random_state=0, stratify=y)

clf = make_pipeline(
    StandardScaler(),
    SVC(C=1.0, kernel='rbf', gamma='scale')
)
clf.fit(X_tr, y_tr)
print('テスト精度:', clf.score(X_te, y_te))

② LinearSVC（大規模データ向け、 高速）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.svm import LinearSVC

clf_lin = make_pipeline(
    StandardScaler(),
    LinearSVC(C=1.0, max_iter=10000, dual=False)
)
clf_lin.fit(X_tr, y_tr)
print('線形 SVM 精度:', clf_lin.score(X_te, y_te))

# 係数を取り出す
print('係数:', clf_lin.named_steps['linearsvc'].coef_)

③ GridSearchCV でハイパーパラメータ調整

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from sklearn.model_selection import GridSearchCV

param_grid = {
    'svc__C': [0.01, 0.1, 1, 10, 100],
    'svc__gamma': [0.001, 0.01, 0.1, 1, 10],
    'svc__kernel': ['rbf']
}

pipe = make_pipeline(StandardScaler(), SVC())
grid = GridSearchCV(pipe, param_grid, cv=5, scoring='f1', n_jobs=-1)
grid.fit(X_tr, y_tr)
print('最適パラメータ:', grid.best_params_)
print('最適スコア:', grid.best_score_)

④ class_weight で不均衡対応

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

clf_bal = make_pipeline(
    StandardScaler(),
    SVC(C=1.0, kernel='rbf', class_weight='balanced')
)
clf_bal.fit(X_tr, y_tr)

# F1 で評価
from sklearn.metrics import classification_report
y_pred = clf_bal.predict(X_te)
print(classification_report(y_te, y_pred))

⑤ サポートベクターの可視化（2 次元のみ）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

# 決定境界は平面にしか描けないので、この抜粋では特徴量 2 つのモデルを作り直す
# （前のブロックの clf は 総人口・出生数・年平均気温 の 3 特徴量）
_d = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
_d = _d[_d['SSDSE-B-2026'] == 2023].copy()
urban = ['東京都','神奈川県','千葉県','埼玉県','愛知県','大阪府','京都府','兵庫県','福岡県']
_d['urban'] = _d['Prefecture'].isin(urban).astype(int)
X2 = _d[['A1101', 'A4101']].astype(float)      # 総人口・出生数
y2 = _d['urban']

clf2 = make_pipeline(StandardScaler(), SVC(C=1.0, kernel='rbf', gamma='scale'))
clf2.fit(X2, y2)
svc = clf2.named_steps['svc']
sv = svc.support_vectors_
print(f'サポートベクター数: {len(sv)}')

# 標準化した空間で格子を作り、決定関数を評価する
Xz = clf2.named_steps['standardscaler'].transform(X2)
xx, yy = np.meshgrid(np.linspace(Xz[:, 0].min() - 1, Xz[:, 0].max() + 1, 100),
                     np.linspace(Xz[:, 1].min() - 1, Xz[:, 1].max() + 1, 100))
Z = svc.decision_function(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)

plt.contourf(xx, yy, Z, alpha=0.4, levels=[-1, 0, 1])
plt.scatter(Xz[:, 0], Xz[:, 1], c=y2, edgecolor='k')
plt.scatter(sv[:, 0], sv[:, 1], s=200, facecolors='none', edgecolors='red', label='SV')
plt.xlabel('総人口 (標準化)'); plt.ylabel('出生数 (標準化)')
plt.legend()
plt.savefig('svm_boundary.png', dpi=150)

⑥ サポートベクター回帰（SVR）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.svm import SVR
from sklearn.compose import TransformedTargetRegressor

# 連続目的変数：出生数 A4101（実在列）
y_reg = d['A4101'].astype(float)
X_reg = d[['A1101','A1303','B4101']].astype(float)  # 総人口・65歳以上・気温

# SVR は「目的変数のスケール」にも敏感。出生数は数万のオーダーなので、
# 既定の C=1.0・epsilon=0.1 のままだと何も学習できず R² が負になる。
# y も標準化して学習し、予測時に元のスケールへ戻す。
svr = TransformedTargetRegressor(
    regressor=make_pipeline(StandardScaler(), SVR(C=10.0, kernel='rbf', epsilon=0.1)),
    transformer=StandardScaler())
svr.fit(X_reg, y_reg)
print('R² =', round(svr.score(X_reg, y_reg), 4))

⑦ One-Class SVM（教師なし異常検知）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.svm import OneClassSVM

# 全データから「正常」の輪郭を学習
oc = make_pipeline(
    StandardScaler(),
    OneClassSVM(nu=0.1, kernel='rbf', gamma='scale')
)
oc.fit(X)

# -1 = 異常、 1 = 正常
labels = oc.predict(X)
print(d.loc[X.index][labels==-1][['Prefecture','A1101']])  # 異常＝外れ値県

🐍 Python 実装 — サポートベクターマシン を SSDSE-B-2026 で動かす

まず環境をそろえます。 必要なライブラリを入れ、 matplotlib の日本語フォント（Hiragino Sans）を設定し、 SSDSE を encoding='cp932' で読み込んで shape・head()・describe() を確認します。 SVM も距離（内積）で境界を決めるので、 k 近傍法と同じくスケールの違いに弱く、 StandardScaler が実質的に必須です。 この後の節では 47 都道府県を 2 群に分ける境界を引き、 カーネルを変えると境界の形がどう変わるかを見ます。 エンコーディングを指定し忘れると UnicodeDecodeError で止まるのが最初の関門なので、 ここだけは丸暗記して構いません。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# サポートベクターマシン を SSDSE-B-2026 で確かめる最小コード
import pandas as pd
import numpy as np

# 1) SSDSE-B-2026（教育用標準データセット）を読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
print('shape:', df.shape)        # (564, 112) — 47 都道府県 × 12 年度
print('cols head:', list(df.columns[:8]))

# 2) 直近年度（2023 年度）に絞る
df23 = df[df['年度'] == 2023].copy()
print('rows in 2023:', len(df23))

# 3) サポートベクターマシン を動かすために必要な列だけ取り出す
y = df23['合計特殊出生率'].astype(float)
x = df23['総人口'].astype(float)
print('y stats:', y.describe().round(3).to_dict())
print('x stats:', x.describe().round(0).to_dict())

# 4) サポートベクターマシン の本処理（このページの主題）
#    — 具体実装は同カテゴリの個別ページにも掲載
print('---- サポートベクターマシン 結果 ----')
print('mean y:', y.mean().round(3), '/ std y:', round(y.std(), 3))
print('mean x:', x.mean().round(0), '/ std x:', round(x.std(), 0))
print('corr(x, y):', y.corr(x).round(3))

うまく動かないときは ①data/raw/SSDSE-B-2026.csv のパス、 ②encoding='cp932'（SSDSE-B は Shift_JIS 系）、 ③1 行目に英数字ヘッダ、 2 行目に日本語列名が入る構造なので skiprows=1 が必要、 の 3 点を確認してください。

⚠️ SVM の落とし穴 — 実務で必ず引っかかるポイント 7 選

⚠️ よくある落とし穴 — サポートベクターマシン で初学者がやりがちなミス

この用語を実務で使うときにつまずきやすい点を、 失敗パターン別に整理しました。 1 度経験すれば回避できるものばかりですが、 先に知っておくと事故が大幅に減ります。

🌐 関連手法・派生 — サポートベクターマシン の周辺地図

サポートベクターマシン と一緒に覚えておくと選択肢が広がる関連手法。 状況によって使い分けが必要なので、 それぞれの強みと弱みを 1 行で言えるようにしておきましょう。

• KNN
• 決定木
• ロジスティック回帰
• Random Forest
• ニューラルネット

表中の各手法は本サイト内に個別ページが用意されているものが多いです。 興味を持った概念は、 横展開的に読むと体系的な理解が早く進みます。

🔗 関連用語ネットワーク — 前提・並列・発展で 12 項目

📚 前提となる用語

• 線形回帰 — 線形 SVM の理解の前段。 超平面と内積の概念。
• 標準化（z スコア） — SVM の前処理として必須。 スケール感度の制御。
• 凸最適化 — SVM は凸 2 次計画問題。 双対形式の理解。
• 仮説検定 — 評価指標の有意性を判断。

🤝 並列に学ぶ用語

• ロジスティック回帰 — 二値分類の代替。 確率を直接出す。
• ランダムフォレスト — 解釈性 vs 性能のバランス。 大規模に強い。
• k-近傍法（k-NN） — 別の幾何ベース分類器。 SVM と対照的に「全データ」を使う。
• ナイーブベイズ — 単純なベースライン。 高速。

🚀 発展先

• カーネル法 — SVM の核となる手法群。 カーネル PCA、 ガウス過程など。
• ニューラルネットワーク — 非線形分類の現代的後継。 大規模・複雑データに強い。
• サポートベクター回帰（SVR） — 回帰への拡張。 ε-不感帯。
• One-Class SVM — 異常検知への応用。 教師なし。

🔗 関連用語（前提・並列・発展）— サポートベクターマシン の知識ネットワーク

この用語を理解するうえで関係の深い概念を、 階層的にまとめました。 各チップから直接ページへ飛べます。

📚 統計学習の総合ガイド

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 必須ライブラリのインストール
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE は cp932 エンコーディング）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import seaborn as sns

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\\nColumn types:\\n{df.dtypes}")
    print(f"\\nMissing values:\\n{df.isnull().sum()}")
    print(f"\\nBasic stats:\\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

サポートベクターマシン は単独で完結する用語ではなく、 大きな概念群の中のひとつ。 同じカテゴリの他用語と合わせて学ぶと、 「何を選ぶべきか」の判断が一気に楽になります。

• カテゴリ全体像 → 用語集トップ
• 概念マップ → 概念マップ
• 論文一覧から関連実装を確認 → 論文一覧

🗺️ 統計手法選択フローチャート

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 効果量の参照表

p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：

🗺️ 概念マップ — 3つの視点で体系を理解する

サポートベクトルマシン がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 機械学習 › 教師あり学習 › サポートベクトルマシン

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に サポートベクトルマシン を置き、 そこから k近傍法・k-means・分類 計 3 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「サポートベクトルマシン」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「サポートベクトルマシン」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは サポートベクトルマシン の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 教師あり学習 → サポートベクトルマシン という入れ子の位置を示します。 「教師あり学習には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

SVM (サポートベクトルマシン) はマージン最大化原理に基づく分類器。 SSDSE-B-2026 の 47 都道府県を「大都市圏 (東京・大阪等 11 県) vs 地方 (36 県)」の 2 クラスに分け、 総人口 A1101 + 65歳以上人口 A1303 + 出生数 A4101 + 年平均気温 B4101 (いずれも SSDSE-B-2026 の実在列コード) を特徴量として SVM で分類するワークフローが典型。 RBF カーネルで非線形境界を捉えられ、 小サンプル (n=47) でも安定する。

• 上流: 標準化 (SVM はスケール敏感で必須)、 カーネルトリック (Linear / RBF / Polynomial)、 特徴量設計。
• 並列: ロジスティック回帰 (線形)、 ランダムフォレスト、 k-NN、 ニューラルネット。 SSDSE 規模 (n=47) では SVM / RF が安定。
• 下流: 混同行列、 ROC-AUC、 ハイパラ調整 (C, γ)、 交差検証。 SVM は確率出力が苦手で Platt scaling で補正する。

SVM は「サポートベクトル (境界近傍の少数サンプル) のみで分類面が決まる」スパース性が長所。 SSDSE-B-2026 のような n=47 でも、 サポートベクトルが 10 前後で安定モデルが組める。

🌳 手法選択フロー

SVM は高次元・小〜中規模データの分類で強い手法だが、 データ規模・特徴量タイプ・解釈性要件で線形 SVM、 RBF SVM、 他手法のいずれを選ぶかが変わる。 以下に典型シナリオと推奨手法を示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 標準化必須: SVM は距離ベースなので必ず StandardScaler。 SSDSE-B-2026 の都道府県データでも人口と面積は単位が異なるため標準化なしでは破綻
2. C と γ のグリッドサーチ: C ∈ {0.1, 1, 10, 100}、 γ ∈ {scale, 0.001, 0.01, 0.1} を CV (5-fold)
3. サポートベクター数の確認: SV 数が n/2 を超えるなら過学習気味、 C を下げる
4. RBF vs 線形の比較: 線形 SVM と RBF SVM の CV スコアが同程度なら、 解釈性で線形を採用
5. 不均衡データ: class_weight 調整後の F1 / PR-AUC で評価 (accuracy だけだと誤った最適化)

🎨 直感の深化 — マージン・サポートベクター・カーネルを一枚絵で

上の「直感で掴む」節を、 3 つのキーワードに分けてもう一段掘り下げます。 この 3 つが腑に落ちれば SVM の 8 割は理解できたと言えます。

1. マージン最大化 = 最も「余裕」のある境界を引く：2 クラスを分ける直線は無数に引けますが、 SVM は両クラスの最も近い点までの距離（マージン）が最大になる 1 本を選びます。 境界ギリギリに引くと新しいデータで誤分類しやすい。 マージンを広く取ることが「未知データへの頑健さ（汎化）」に直結する、 というのが核心的な発想です。
2. サポートベクターだけが境界を決める：マージンの端（または内側）に乗る少数の点＝サポートベクターだけで超平面が決まり、 それ以外の点は動かしても境界は変わりません。 SSDSE-B-2026（47 都道府県、 実測）で「65 歳以上人口比率が全国中央値以上か」を分類すると、 RBF・C=1 では 47 点中 34 点がサポートベクターでした。 境界近傍にデータが密集していると SV が増えます。
3. カーネル = 高次元に「持ち上げて」から直線で切る：直線で分けられない配置でも、 特徴を高次元空間に写像すれば超平面（＝もとの空間では曲線）で分離できます。 カーネルトリックは、 その高次元座標を実際には計算せず内積だけで済ませる技。 RBF カーネルは「近い点ほど似ている」という距離ベースの判断を実現します。

📊 SSDSE-B-2026 実測 — カーネルと C・γ の効果を数字で見る

下表は SSDSE-B-2026（cp932, skiprows=[1], 2023 年 47 都道府県）の実測値です。 特徴量は総人口 A1101・出生数 A4101・年平均気温 B4101（いずれも実在列コード）、 ラベルは 65 歳以上人口比率（A1303/A1101）が全国中央値以上なら 1。 StandardScaler + SVC を 5-fold 交差検証した正答率で、 いずれも本ページで再現可能な数値です（架空値ではありません）。

カーネル・C・γ 別の 5-fold CV 正答率（n=47, 実測）

読み取り：(1) C も γ も上げれば良いわけではない。 線形は C=1 が最良で C=10 では 0.682 に低下（過学習気味）。 RBF は (C=10, γ=1.0) が 0.813 で最良だが、 γ を上げすぎると境界が個々の点に張り付き汎化が落ちる。 (2) デフォルト（RBF, C=1, γ=scale=0.709）を鵜呑みにせず、 ハイパーパラメータを GridSearchCV で同時探索する意義が数字で見える。

C とサポートベクター数の関係（RBF, γ=scale, 実測）

C を上げるほどサポートベクターが減るのがはっきり見えます。 C が小さいとマージン違反を許容するので多くの点が SV になり（＝広く緩い境界）、 C が大きいと誤分類ペナルティが重く少数の点で境界を厳しく決めます。 SV 数が n/2（=約 24）を大きく下回る C=100 は過学習を疑う目安になります。

⚠️ 落とし穴の深掘り — 見落とすと結論が変わる点

上の「落とし穴 7 選」を踏まえ、 特に結論そのものを歪めやすいポイントを補足します。

• 標準化は「必須」だが効果はデータ依存：本ページの 3 特徴（人口・出生数・気温）は桁差が中程度で、 標準化有無の CV は 0.709 と 0.707 で大きくは変わりませんでした。 しかし所得（円）や面積（km²）のように桁が数千倍違う列を混ぜると、 RBF の距離計算が大スケール変数に支配され精度が崩壊します。 「差が出なかったから不要」ではなく、 スケール差の大きい特徴を足す前提で常に 標準化しておくのが安全です。
• 確率出力は較正が前提：decision_function の符号付き距離はそのままでは確率ではありません。 ROC 曲線や閾値調整に確率が要るなら CalibratedClassifierCV で Platt/isotonic 較正を。 確率の素直さが最優先なら ロジスティック回帰が第一候補です。
• 多クラスは OvR / OvO の違いを意識：SVC は既定で OvO（クラス対ごとに分類器を作る）、 LinearSVC は OvR。 クラス数が多いと OvO は分類器数が O(k²) に増え計算が重くなります。 不均衡なら評価はマクロ F1で。
• 小サンプルの CV スコアはブレる：n=47 では 5-fold の各 fold が約 9 件しかなく、 CV 正答率は乱数シードや分割で ±0.05 程度動きます。 上表の差が 0.01〜0.02 程度なら「同等」と見なし、 過度に細かい順位付けをしないのが誠実です。

🚀 発展 — ハード/ソフトマージンから SVR まで

① ハードマージン vs ソフトマージン

ハードマージンは「1 点の誤分類も許さない」前提で、 完全に線形分離可能なデータでしか解が存在しません。 現実にはノイズや重なりがあるため、 ソフトマージンがスラック変数 ξᵢ ≥ 0 を導入し、 マージン違反を許しつつ ΣξᵢをコストCで罰します。 最小化する目的関数は「½‖w‖² + C·Σξᵢ」。 C が大きいほど違反に厳しく（ハード寄り）、 小さいほど寛容（ソフト寄り）です。

② カーネルトリックと代表的カーネル

• 線形：K(x, z) = x·z。 高次元疎データ（テキスト等）で標準。
• 多項式：K(x, z) = (γ x·z + r)ᵈ。 次数 d で交互作用を表現。
• RBF（ガウス）：K(x, z) = exp(−γ‖x−z‖²)。 γ が大きいほど各点の影響範囲が狭く境界が複雑化。 迷ったらまず RBF。

カーネルが有効なのは、 対応する高次元写像 φ が存在する（Mercer 条件を満たす）ため、 K(x, z) = φ(x)·φ(z) を φ を計算せずに求められるから。 これがカーネル法全体の基礎です。

③ 双対問題とヒンジ損失

SVM の主問題は制約付き 2 次計画で、 ラグランジュ双対に変形するとデータが内積 xᵢ·xⱼ の形でしか現れないためカーネル化が自然にできます。 双対変数 αᵢ が非ゼロの点がサポートベクター。 一方、 制約なしの等価な見方がヒンジ損失 max(0, 1 − yᵢ f(xᵢ)) の最小化＋L2 正則化で、 これは ロジスティック回帰のロジスティック損失と対比されます（ヒンジは「正しく十分な余裕で分類できた点」の損失を厳密に 0 にする）。

④ サポートベクター回帰（SVR）

SVM を回帰に拡張したのが SVR。 誤差が ε 以内なら罰しないε-不感帯を設け、 帯の外だけを罰します。 「大多数の点を帯の中に収めつつ、 モデルを平滑（‖w‖ 小）に保つ」発想で、 外れ値に頑健な回帰が得られます。

⑤ ロジスティック回帰との比較

関連ページ：分類の全体像、 パーセプトロン（線形分離器の原型）、 カーネル法、 標準化、 ハイパーパラメータ。 なお SVR・One-Class SVM・双対の詳細は本ページ内で扱い、 個別ページは未整備のためテキストで補足しています。