🔖 キーワード索引

このページで扱う概念：

🎨 直感で掴む

訓練データはモデルが「パラメータを覚える」ための教材です。 良い訓練データの条件：① 量が十分、 ② 偏りが小さい、 ③ ラベル品質が高い、 ④ 本番分布と近い。 4 つのどれが欠けても汎化性能は伸びません。

訓練と検証・テストの境界を保つことが鉄則。 訓練データに 検証・テストの情報が混ざる（リーケージ）と、 報告した精度が本番で再現しません。 47 県データのような小規模では、 ホールドアウトより k 分割 CV が安定。

🎨 train / validation / test の三分割を SSDSE-B-2026 で実行する

「訓練データ」と一口にいっても、 実務では train（学習用）・validation（モデル選択用）・test（最終評価用） の 3 つに分けるのが基本です。 SSDSE-B-2026 の 47 都道府県 × 多年度（2012〜2023 年）データを使い、 具体的な分割比率と注意点を見ていきます。

📊 推奨分割比率（データ量別）

SSDSE-B-2026 を単年度（2023 年度）に絞ると 47 サンプルしかなく、 これは 機械学習にとってかなり小規模です。 単純な 60:20:20 分割では test が 9 県しかなく、 評価のばらつきが大きすぎて結論が出せません。 そのため、 SSDSE-B の場合は k-fold（k=5 か k=10）クロスバリデーションと組み合わせるのが正攻法です。

🐍 sklearn の train_test_split を二段階で使う

このコードでやること：SSDSE-B-2026 の 47 都道府県を train（30 県）／val（8 県）／test（9 県）に分割し、 各セットの行数と人口の平均を比較する。

📥 入力データ：SSDSE-B-2026.csv（cp932 エンコード、 564 行 × 112 列 = 47 県 × 12 年。 2023 年度でフィルタして 47 行）。 主要列は Prefecture（都道府県名）と A1101（総人口）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)]
X = df[['A1301', 'A1302', 'A1303']]  # 15歳未満/15-64/65歳以上
y = df['A1101']                          # 総人口

# Step 1: train (38) と test (9) に分割
X_trv, X_te, y_trv, y_te = train_test_split(X, y, test_size=9, random_state=42)
# Step 2: train (30) と val (8) に分割
X_tr, X_val, y_tr, y_val = train_test_split(X_trv, y_trv, test_size=8, random_state=42)

print(f'train: {len(X_tr)}県, 平均人口 {y_tr.mean():,.0f} 人')
print(f'val:   {len(X_val)}県, 平均人口 {y_val.mean():,.0f} 人')
print(f'test:  {len(X_te)}県, 平均人口 {y_te.mean():,.0f} 人')

📤 実行例：

💬 train の平均人口（約 216 万人）に対し、 test の平均人口（約 441 万人）は 2 倍以上に膨らんでいる（東京・大阪などの大都市が偶然 test 側に偏った）→ 少数サンプルでは分割の偶然による偏り（split bias）が無視できない。 これが SSDSE-B で k-fold CV が事実上必須になる理由です。

📐 数式または定義

本概念は次のように記述されます（KaTeX で描画）。

英語名 Training Data。 別称：学習データ / Training Set。

📐 学習曲線で「もっとデータを集めるべきか」を判断する

「訓練データはいくつ必要ですか？」は最も多い質問の 1 つです。 答えは 「学習曲線（learning curve）を描いて、 まだ右肩下がりなら集める、 プラトーに達していれば不要」。 数式と sklearn の実装を見ていきます。

📐 学習曲線の理論的形状

学習サンプル数 $n$ の関数として、 訓練誤差 $E_{\text{train}}(n)$ と検証誤差 $E_{\text{val}}(n)$ は以下のように振る舞います（PAC-Bayes の典型形）：

$$E_{\text{train}}(n) \;\xrightarrow{n\to\infty}\; E^* + \mathcal{O}\!\left(\frac{1}{\sqrt{n}}\right)$$

$$E_{\text{val}}(n) \;\xrightarrow{n\to\infty}\; E^* + \mathcal{O}\!\left(\sqrt{\frac{d \log n}{n}}\right)$$

ここで $E^*$ は 達成可能な最小誤差（ベイズ誤差）、 $d$ はモデルの VC 次元（複雑さの指標）です。

🔬 数式を言葉で読み解く

• $E^*$（ベイズ誤差）：データに含まれる本質的ノイズ。 これより下にはどれだけデータを集めても下がらない。 例：人口を「2 つの特徴量だけで」予測する場合、 真の関係に対し情報不足な分が $E^*$ になる。
• $\mathcal{O}(1/\sqrt{n})$：訓練誤差は サンプルが 4 倍になると誤差ギャップが半分になる。 47 県 → 188 県相当（=多年度パネル）にすれば、 ギャップは 1/2。
• $d \log n / n$：モデルの自由度 $d$ が大きいほど多くのデータが必要。 SSDSE-B の人口予測で線形回帰（$d \approx 5$）なら 47 県でも十分だが、 Random Forest（$d \gg 100$）では明らかにデータ不足。
• 収束の見抜き方：学習曲線で $E_{\text{train}}$ と $E_{\text{val}}$ が 同じ値に近づき横ばいになれば収束。 まだ離れていてかつ下がり続けていれば、 データを増やす価値がある。

🐍 sklearn の learning_curve で SSDSE-B を診断

このコードでやること：SSDSE-B-2026 の 47 県で、 サンプル数を 10, 20, 30, 37 と段階的に増やしながら線形回帰の R² を測り、 学習曲線を取得する（cv=5 のため訓練側の上限は 47 × 4/5 ≒ 37 件）。

📥 入力データ：SSDSE-B-2026 の 47 県 × 特徴量（A1301, A1302, A1303 = 年齢 3 区分人口）、 ターゲット（I5102 = 一般診療所数）。 なお A1101（総人口）をターゲットにすると A1301+A1302+A1303 の和そのものになり、 完全なターゲット漏洩（R² = 1.000）になるため、 別領域の列を予測します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import learning_curve

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)]
X = df[['A1301', 'A1302', 'A1303']].values
y = df['I5102'].values  # 一般診療所数

sizes, train_sc, val_sc = learning_curve(
    LinearRegression(), X, y,
    train_sizes=[10, 20, 30, 37],
    cv=5, scoring='r2', shuffle=True, random_state=42)
for s, t, v in zip(sizes, train_sc.mean(axis=1), val_sc.mean(axis=1)):
    print(f'n={s}: train R²={t:.3f}, val R²={v:.3f}')

📤 実行例：

💬 n=30 で val R² が 0.87 前後まで上がり、 それ以降はほぼ横ばい → これ以上データを増やしても線形回帰の性能は大きくは伸びない。 これは「特徴量と目的変数の関係が線形でほぼ説明し尽くされている」ことを意味します。 もし R² がまだ 0.5 だったら、 モデルを変える（Random Forest など）か特徴量を増やすべき、 という診断結果になります。

📐 訓練データ量の見積もり — 経験則と理論則の対照

「訓練データは何件あればよいか」は、 機械学習の最頻出質問のひとつです。 質問の前に「タスクの性質」「モデルの表現力」「ノイズ水準」「許容誤差」の四点を明示しないと答えは出ません。 ここでは、 実務で広く使われている経験則と、 学習理論からの下限見積もりを並べて整理します。 SSDSE-B-2026 のような中規模データセット（2023 年度分で 47 行 × 112 列）に当てはめると、 線形モデルや決定木では十分、 深層学習や勾配ブースティングでは不足、 という判断軸が立ちます。

どの経験則を採用するかは、 タスクとモデルで決めます。 線形モデル＋少数変数なら 47 件で機能しますが、 勾配ブースティングや深層学習なら数百〜数十万件のオーダーが必要です。 SSDSE-B-2026 のように「量で勝負できない」データでは、 (1) 特徴量エンジニアリングで情報密度を上げる、 (2) ベイズ的事前分布で正則化する、 (3) ドメイン知識を制約として埋め込む、 のいずれかで補います。 量を増やせないなら、 質と構造で勝負するということです。

🧪 訓練データの「質」をどう測るか — 八つのチェック軸

量が確保できても、 質が悪い訓練データではモデルは育ちません。 「質」を構成する要素は、 完全性・正確性・一貫性・代表性・適時性・関連性・解釈可能性・公平性の八つに整理できます。 SSDSE-B-2026 のような公的統計は完全性・正確性・一貫性で高得点ですが、 「47 県という標本は何の母集団を代表するか」という代表性は、 用途次第で慎重に判断する必要があります。

八つの軸を全部 100 点にするのは現実的ではありません。 「このタスクではどの軸を優先するか」を最初に宣言し、 残りはトレードオフとして許容範囲を決めるのが実務的です。 たとえば SSDSE-B-2026 を使った県別の消費支出（L3221）予測なら、 完全性・正確性・一貫性・解釈可能性が最重要で、 代表性は「都道府県集計レベル」と限定すれば許容、 公平性は「都市・地方の精度差」を必ず別途報告する、 という線引きになります。

🚨 データリーケージの 10 類型 — 訓練データを台無しにする静かな汚染

データリーケージ（data leakage）とは、 「訓練時に本来知り得ない情報がモデルに漏れ込んでしまい、 学習データ上は高精度に見えるが本番では崩壊する」状態を指します。 訓練データを設計するときに最も恐ろしいバグであり、 静かに起き、 静かに精度を持ち上げ、 本番で初めて露見します。 ここでは代表的な 10 類型を、 SSDSE-B-2026 を含む実務例と一緒に整理します。

リーケージは「異常に良い結果」というシグナルで察知するしかなく、 完全な検出器は存在しません。 SSDSE-B-2026 のようなクロスセクション（横断面）データでは、 ②未来情報の混入や④グループ漏洩は起こりにくい代わりに、 ①目的変数の派生情報（たとえば「失業率」を予測するのに「就業者数」を特徴量にする）や③前処理の全データ実施が起こりがちです。 訓練データを触り始める前に、 各列が「いつ・誰が・どのタイミングで得た情報か」を全部書き出す習慣を持ちましょう。

🏷 ラベル設計と作業フロー — 訓練データ品質の上限はラベル品質で決まる

教師あり学習の訓練データの上限は、 ラベル（教師信号）の品質で決まります。 ラベルが揺らいでいれば、 どれだけ複雑なモデルを投入しても、 揺らぎ以上の精度は出ません。 ラベル設計は、 「定義文書」「複数アノテーターの合意」「曖昧ケースの仲裁ルール」「品質モニタリング」の四点セットで運用するのが定石です。 SSDSE-B-2026 のような公的統計は、 統計法に基づく定義と検査工程があり、 ラベル品質は事実上担保されています。 対して企業内で集めたデータでは、 ラベル付け作業を最も慎重に設計する必要があります。

SSDSE-B-2026 のような公的統計を「直接」訓練データに使う場合は、 上記の工程の多くは省略できますが、 派生ラベル（たとえば「人口減少自治体かどうか」のフラグ）を作って分類タスクに展開する場合は、 自分で工程を運用する必要があります。 閾値の正当性、 例外処理、 改定時の取り扱いを定義書として整え、 「いつ・誰が・どう決めたか」を残しましょう。

⚖ クラス不均衡・分布シフト・サンプリングの実践

訓練データは「集めただけ」では学習用に使えません。 クラス比のバランス、 時系列のシフト、 サンプリングの偏りを点検し、 必要なら再構成する工程が入ります。 SSDSE-B-2026 のように単年度に絞ると 47 県分しかない小さいデータでも、 「都市・地方の二値分類」「東日本・西日本の比較」のように分割した瞬間に、 群間のサンプル数が不均衡になります。 これを放置すると、 多数派のラベルを返す「定数予測器」と同等の精度で「動いているように見える」モデルが出来上がります。

SSDSE-B-2026 で 8 地域ブロック分類器を作る場合、 関東 7 都県 vs 北海道 1 道のような不均衡が必ず出ます。 解決策は「最小群を基準に下方サンプリングして全群の件数を揃える」か、 「class_weight='balanced' で重みを付ける」か、 「マクロ F1 で評価して全クラス公平に扱う」のいずれかです。 47 県という小さなデータでは下方サンプリングは情報損失が大きいので、 後二者が現実的でしょう。

🧬 データ拡張・合成データ・半教師あり — 量を増やせない時の戦略

訓練データを物理的に増やせないとき、 三つの戦略があります。 (1) データ拡張（既存データに変換を加えて疑似的に増やす）、 (2) 合成データ生成（GAN や diffusion model で新規データを作る）、 (3) 半教師あり学習（ラベルなしデータをモデルが自分でラベル付けして使う）。 SSDSE-B-2026 のような構造化数値データでは、 画像のような単純な反転・回転は使えませんが、 別の形のデータ拡張（ノイズ注入、 ブートストラップ、 ミックスアップ）が有効です。

SSDSE-B-2026 のような小規模データに対しては、 「ブートストラップで不確かさを推定」「SMOTE で少数クラスを補強」「ミックスアップで滑らかさを与える」の三つが現実解です。 GAN や diffusion での合成は、 数百件以上の元データが必要で、 47 件では学習が安定しません。 半教師あり学習は、 「市町村レベルの未ラベルデータを 47 県の擬似ラベルで学習」のように、 解像度を変えて適用すると効果が出ます。

🛠 訓練データパイプラインの実装テンプレート — Pipeline + ColumnTransformer + GroupKFold

訓練データを正しく扱う最大のコツは、 「前処理は fold 内で fit、 fold 外で transform」を徹底することです。 scikit-learn の Pipeline と ColumnTransformer を組み合わせ、 GroupKFold または時系列なら TimeSeriesSplit で分割すれば、 リーケージは構造的に防げます。 SSDSE-B-2026 で「一般診療所数（I5102）を予測する」回帰タスクを例に、 実装テンプレートを示します。

このコードでやること: SSDSE-B-2026 から 47 県 × 複数列を読み込み、 数値列は標準化、 カテゴリ列は OneHot エンコーディング、 学習器は Ridge 回帰、 評価は 5-fold CV、 という訓練データパイプラインを 1 本にまとめる。

📥 入力データ (SSDSE-B-2026 の先頭部分。 skiprows=[1] で英字コード列を採用):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.linear_model import Ridge
from sklearn.model_selection import cross_val_score, KFold

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)].copy()

# 地域コードの上2桁から地方ブロックを作る（OneHot用のカテゴリ列）
def to_block(code):
    n = int(code[1:3])
    return ['北海道東北','関東','中部','近畿','中国','四国','九州沖縄'][
        0 if n<=7 else 1 if n<=14 else 2 if n<=23 else 3 if n<=30 else 4 if n<=35 else 5 if n<=39 else 6]
df['block'] = df['Code'].apply(to_block)

y = df['I5102']                        # 一般診療所数（目的変数）
num_cols = ['A1101', 'A1303', 'A4103']  # 総人口/高齢人口/合計特殊出生率
cat_cols = ['block']                    # 地方ブロック
X = df[num_cols + cat_cols]

pre = ColumnTransformer([
    ('num', StandardScaler(), num_cols),
    ('cat', OneHotEncoder(handle_unknown='ignore'), cat_cols),
])
pipe = Pipeline([('pre', pre), ('model', Ridge(alpha=1.0))])

cv = KFold(n_splits=5, shuffle=True, random_state=0)
scores = cross_val_score(pipe, X, y, cv=cv, scoring='r2')
print('R^2 each fold:', scores.round(3))
print('mean R^2:', scores.mean().round(3))

📤 実行例の出力 (47 県、 シード固定の代表値):

💬 5-fold CV で平均 R² ≒ 0.85 という結果は、 47 県という小さなデータに対しては妥当な水準です。 fold ごとに 0.67〜0.97 と大きく揺らぐのは、 サンプル数が少ないため fold ごとの構成（どの大都市がどの fold に入るか）が結果に影響することを示しています。 信頼性をさらに上げるには、 シードを変えて 10 回繰り返した平均と分散を報告するのが定石です。 重要なのは、 StandardScaler も OneHotEncoder も cross_val_score 内部で fold ごとに fit_transform されるため、 リーケージが構造的に発生しないことです。

❓ 訓練データに関する追加 FAQ（さらに 12 問）

🔬 数式を言葉で読み解く

記号と意味を逐一突き合わせて読みます。 慣れないうちは式を「日本語で読む」ことが理解の近道です。

• $\mathcal{D}_{\text{train}}$：訓練データ集合
• $n_{\text{tr}}$：訓練サンプル数
• $\mathcal{D}$：真の分布。 訓練データはここからの i.i.d. サンプル
• $\hat{\theta}$：経験リスク最小化により得られるパラメータ推定量
• i.i.d. 仮定：独立同一分布。 違反すると汎化保証が崩れる

🧮 SSDSE-B 実値で計算してみる

SSDSE-B 47 県を訓練 70% / テスト 30% に分割し、 訓練データのサイズを変えながら学習曲線 を描きます。

データ出典：SSDSE-B-2026（独立行政法人統計センター）。 47 都道府県 × 複数年（最新 2023）の社会統計データ。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)].reset_index(drop=True)

X = df[['A1101','A1303']].values  # 総人口・65歳以上人口
y = df['A1301'].values            # 15歳未満人口

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
print(f'訓練 n={len(y_tr)}, テスト n={len(y_te)}')

print('train_n | RMSE_train | RMSE_test')
for n in [5, 10, 15, 20, 25, len(y_tr)]:
    Xs, ys = X_tr[:n], y_tr[:n]
    m = LinearRegression().fit(Xs, ys)
    tr = mean_squared_error(ys,    m.predict(Xs)) ** 0.5
    te = mean_squared_error(y_te,  m.predict(X_te)) ** 0.5
    print(f' {n:>5} | {tr:>10,.0f} | {te:>10,.0f}')

💬 47 県を 32 対 15 に分け、訓練データの先頭から 5, 10, … 件だけ使って学習している。テスト RMSE は 5 件で 38,853 人と大きく、15 件で 26,829 人まで下がったあとは 3 万人前後で頭打ちになる。訓練 RMSE が 25 件の 10,968 から 32 件で 23,254 に跳ねるのは、26 件目以降に福岡県・沖縄県・北海道という、総人口と高齢人口だけでは子どもの数を当てにくい県が入るためである。訓練データは件数だけでなく、どの県が入るかで誤差が大きく動く。

実行結果の要約（random_state を固定しているので、下の値はそのまま再現できます）：

🧮 訓練データ品質チェックリスト（実値で検証）

訓練データの「品質」は曖昧な言葉ですが、 実務では以下の 8 項目で診断できます。 SSDSE-B-2026 を例に、 実際の数値で何を見るかを示します。

📋 8 項目チェックリスト（SSDSE-B-2026 実値付き）

🐍 一括診断スクリプト

このコードでやること：SSDSE-B-2026 を読み込み、 上記 8 項目を 1 回の関数呼び出しで診断する。

📥 入力データ：SSDSE-B-2026.csv。 出力は各項目の数値と「問題あり/なし」の判定。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
from scipy.stats import skew

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)]
y = df['A1101']  # 総人口

print(f'1. サンプル数: {len(df)} 県')
print(f'2. 欠損率: {df.isna().mean().mean()*100:.2f}%')
print(f'3. 重複行: {df.duplicated().sum()} 行')
q1, q3 = y.quantile(0.25), y.quantile(0.75)
iqr = q3 - q1
outliers = ((y < q1 - 1.5*iqr) | (y > q3 + 1.5*iqr)).sum()
print(f'4. 外れ値: {outliers} 県')
print(f'5. 歪度: {skew(y):.2f}')
label = (y >= 1_000_000).astype(int)
print(f'6. クラス比: 大都市{label.sum()}県 / 小都市{(1-label).sum()}県')

📤 実行例：

💬 歪度 2.22 が大きい → 人口は対数変換（np.log1p）してから学習すべき。 外れ値 9 県は東京（1409 万）を筆頭とする大都市圏で、 削除ではなく「対数変換で吸収」が定石。 クラス比は 37:10 と不均衡なので、 分類タスクでは class_weight='balanced' や層化抽出（stratify）を検討します。

🧮 数式に値を入れて手で計算する: 学習データ量と精度

SSDSE-B-2026 (47 県 × 12 年 = 564 行) を母集団見立てに、 訓練サンプル数 N と テスト誤差の関係を経験則 err = err_min + C/√N で計算する。 N=100 で err=0.30 を観測した想定で、 err=0.05 を達成するための N を逆算する。

Step 1: 経験則の当てはめ

Step 2: 必要 N の逆算

🐍 Python で再現

1
2
3
4
5

import numpy as np
err_target = 0.05
err_at_100 = 0.30
N = 100 * (err_at_100/err_target)**2
print(f"必要 N: {round(N)}")

📤 実行結果

💬 手計算 (Step 2) 3,600 と Python 出力が完全一致。

🐍 Python 実装

scikit-learn / pandas を使った最小実装パターン。 上の SSDSE-B 計算と同じスタイルですが、 ここでは「読み込み→前処理→学習→評価」のテンプレを 4 つのスニペットに分けます。

① データ読み込み & 概観

1
2
3
4

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)].reset_index(drop=True)
print(df.shape, df.columns.tolist()[:8])

💬 Code が R で始まる行と 2023 年度で絞ると 47 行 × 112 列になり、1 県 1 行の訓練データになる。先頭 3 列は年度・地域コード・県名という識別用の列で、特徴量として使えるのは A1101（総人口）以降である。識別列をそのまま X に混ぜると、県コードの番号順を学習してしまうので切り分けておく。

② 特徴量と目的変数

1
2
3

X = df[['A1101','A1303']].values  # 総人口・65歳以上人口
y = df['A1301'].values            # 15歳未満人口
print('X shape =', X.shape, ',  y shape =', y.shape)

💬 X は 47 行 × 2 列（総人口・65 歳以上人口）、y は 47 要素の 1 次元配列（15 歳未満人口）で、行数がそろっていることが教師あり学習の最低条件になる。y が (47, 1) の 2 次元だと一部の推定器が警告を出すので、この形で渡すのがよい。3 変数とも人数で、どれも県の規模に比例するという性質を持っている。

③ 訓練/テスト分割 + モデル学習

1
2
3
4
5
6

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
model = RandomForestRegressor(n_estimators=300, random_state=0).fit(X_tr, y_tr)
print('R^2 (test) =', model.score(X_te, y_te))

💬 ランダムフォレストのテスト R² は 0.981 で、15 県の 15 歳未満人口の違いの 98% を説明した。ただし総人口と子どもの数はほぼ比例するので、この高さは「規模の大小を当てた」ことによるところが大きい。子どもの割合（2023 年は 9.1%〜16.1%）のような規模を除いた量を y にすると、同じ訓練データでも当たりやすさは大きく変わる。

④ 評価と可視化

1
2
3
4
5
6

import matplotlib.pyplot as plt
pred = model.predict(X_te)
plt.scatter(y_te, pred)
plt.plot([y_te.min(), y_te.max()], [y_te.min(), y_te.max()], 'r--')
plt.xlabel('実測'); plt.ylabel('予測'); plt.title('「訓練データ」関連モデルの予測精度')
plt.tight_layout(); plt.savefig('out.png', dpi=150)

※ 「訓練データ」固有の本格コードは上の 🧮 SSDSE-B 実値計算 節を参照。

🐍 応用コード — 47 都道府県を 70:30 で分けたうちの 32 県を訓練に

SSDSE 公的データを題材に、 訓練データ を実際に動かす最小コードです。 paths は引数に直書きで、 初心者がコピペで動かせる形を優先しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
import numpy as np

# データ読み込み（SSDSE-B 都道府県・47 県 × 約 112 列）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['Code'].str.startswith('R') & (df['SSDSE-B-2026'] == 2023)].reset_index(drop=True)
print('shape:', df.shape)
print('列の先頭:', df.columns.tolist()[:6])

# 必要な列だけ取り出して整形
features = ['A1101', 'A1301', 'A1303', 'A4103']  # 総人口/15歳未満/65歳以上/出生率
df_use = df[features].copy()
print(df_use.describe())

💬 describe() の 4 列は桁がまったく違い、総人口の平均 264.6 万人に対し合計特殊出生率 A4103 は平均 1.29・範囲 0.99〜1.60 と 1 前後の小さな数である。人口 3 列は平均が中央値より大きく（総人口で 264.6 万人対 154.9 万人）、東京都などが右の裾を作っている。この表は #11 以降で、人数から比率を予測するという難しい組み合わせの訓練データになる。

次に、 訓練データ に固有の処理を加えます。 ここがページごとの「肝」になる部分。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score

X = df[['A1101', 'A1303', 'A1301']].fillna(0).values  # 総人口/65歳以上/15歳未満
y = df['A4103'].fillna(df['A4103'].median()).values  # 合計特殊出生率

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
model = RandomForestRegressor(n_estimators=200, max_depth=4, random_state=0).fit(X_tr, y_tr)

pred_tr = model.predict(X_tr)
pred_te = model.predict(X_te)
print(f'train R^2 = {r2_score(y_tr, pred_tr):.3f}')
print(f'test  R^2 = {r2_score(y_te, pred_te):.3f}')
print(f'test RMSE = {np.sqrt(mean_squared_error(y_te, pred_te)):.4f}')

💬 訓練 R² 0.872 に対してテスト R² は −0.040 で、テストの 15 県については「全員に平均値を答える」より悪い。深さ 4 の森でも 32 県の出生率（最低の東京都 0.99〜最高の沖縄県 1.60）を細かく覚えてしまい、その覚え方がテストの県には通用しなかった。テスト RMSE 0.1187 は、テスト 15 県の出生率そのものの標準偏差 0.116 とほぼ同じ大きさである。人数の 3 列に出生率の情報が無いわけではないことは、下の線形モデル（パターン B・C）で分かる。

さらに可視化を加えると、 学んだ内容が「眼で」確認できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import matplotlib.pyplot as plt

plt.figure(figsize=(7,5))
plt.scatter(y_te, pred_te, alpha=0.7, edgecolor='k')
lims = [min(y_te.min(), pred_te.min()), max(y_te.max(), pred_te.max())]
plt.plot(lims, lims, 'r--', linewidth=2, label='完全予測ライン')
plt.xlabel('実測 出生率')
plt.ylabel('予測 出生率')
plt.title('訓練データ を使ったモデルの予測精度（SSDSE-B-2026）')
plt.legend()
plt.tight_layout()
plt.savefig('out_training-data.png', dpi=150)

最後に、 同じ問題を別の角度から見る「クロスバリデーション版」も用意します。

1
2
3
4
5
6
7
8
9
10
11

from sklearn.model_selection import cross_val_score, KFold

# df は地域コード順（北海道 → 沖縄）に並んでいる。cv=5 とだけ書くと
# シャッフルなしの KFold になり、fold が「東北だけ」「九州だけ」のような塊になる
kf = KFold(n_splits=5, shuffle=True, random_state=0)
scores = cross_val_score(
    RandomForestRegressor(n_estimators=200, max_depth=4, random_state=0),
    X, y, cv=kf, scoring='r2'
)
print(f'5-fold CV R^2 = {scores.mean():.3f} (±{scores.std():.3f})')
print('各 fold:', np.round(scores, 3))

💬 地域順の並びを崩した 5 分割交差検証の R² は平均 0.260 で、fold ごとに 0.16〜0.43 の幅がある。上の 1 回の分割でのテスト R² −0.040 より高く、1 回の分割の値はどの 15 県がテストに入ったかで大きく動くことが分かる。cv=5 とだけ書くとシャッフルなしの KFold になり、北から順の 9〜10 県ずつが 1 fold になって平均 R² は −2.162 まで落ちる。並び順に地域のまとまりがあるデータでは、分けるまえにシャッフルする。

🐍 実装パターン集 — 状況別レシピ

同じ「訓練データ」を使うにも、 データの形・規模・目的によって書き方が変わります。 4 つの典型パターンを示します。

パターン B：パイプライン化（前処理＋モデル）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('model',  Ridge(alpha=1.0)),
])
pipe.fit(X_tr, y_tr)
print('R^2 =', pipe.score(X_te, y_te))

💬 標準化 + Ridge(alpha=1.0) の線形モデルにすると、同じ分割でテスト R² は 0.189 になり、#11 のランダムフォレスト（−0.040）より少し良い。訓練データが 32 件しかないときは、木で細かく分けるより、滑らかな線形の関係を仮定したほうが過学習しにくいという例になっている。ただし α=1.0 は仮に置いた値なので、正則化の強さは次のパターン C で訓練データだけを使って選び直す。

パターン C：交差検証＋ハイパーパラメータ探索

1
2
3
4
5
6
7
8

from sklearn.model_selection import GridSearchCV, KFold

params = {'model__alpha': [0.01, 0.1, 1.0, 10.0, 100.0]}
kf = KFold(n_splits=5, shuffle=True, random_state=0)   # 地域順の並びを崩して分割
gs = GridSearchCV(pipe, params, cv=kf, scoring='r2', n_jobs=-1)
gs.fit(X_tr, y_tr)          # α の探索は訓練データ（32 県）だけで行い、テスト 15 県は最後まで使わない
print('best:', gs.best_params_, 'CV score:', round(gs.best_score_, 3))
print('test R^2:', round(gs.score(X_te, y_te), 3))

💬 訓練 32 県の中で α を 0.01〜100 の 5 通り試すと、5 分割 CV（シャッフルあり）の最良は α=0.01・CV R² 0.401 で、その α で 32 県全体に当て直したモデルはテスト 15 県で R² 0.469 になった。α=1.0 のパターン B（0.189）より大きく良くなり、標準化した 3 列では正則化を弱めたほうが合う。α を選ぶのにテストの県を一度も使っていないので、0.469 は未知の県に対する性能の見積もりとして読める。47 県全体で GridSearchCV をしてからテスト県で測ると、テスト県を学習に使ったことになり値が甘くなる。

パターン D：可視化付きの結果保存

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import matplotlib.pyplot as plt
import json

pred = gs.predict(X_te)
plt.figure(figsize=(7,5))
plt.scatter(y_te, pred, alpha=0.7, edgecolor='k')
plt.plot([y_te.min(), y_te.max()], [y_te.min(), y_te.max()], 'r--')
plt.xlabel('実測'); plt.ylabel('予測'); plt.title('訓練データ 結果')
plt.tight_layout(); plt.savefig('result_training-data.png', dpi=150)

with open('result_training-data.json', 'w', encoding='utf-8') as f:
    json.dump({'best_params': gs.best_params_,
               'cv_score': gs.best_score_,
               'test_score': gs.score(X_te, y_te)}, f, ensure_ascii=False, indent=2)

🎮 触って理解する

訓練データの量（サンプル数）と質（ノイズ・偏り）が、モデルの学習にどう効くかを手を動かして体感します。 真の関数は y = sin(2πx)（緑）。そこから訓練データ（青丸）を生成し、多項式回帰でモデル（橙）を当てはめます。 左の図が「当てはめの様子」、右の図が「学習曲線（サンプル数 n ごとの汎化誤差）」です。 汎化誤差（テストRMSE）は、ノイズを含まない真の関数に対して全域で測った二乗平均平方根誤差で、値が小さいほど良いモデルです。

🧠 直感：モデルは「見た元データ」しか学べない

n を 5〜10 まで下げて「🎲 再抽選」を何度か押してみてください。橙の曲線が抽選のたびに大きく暴れるはずです。 これがデータ不足による不安定さ（高バリアンス）で、少数の点にモデルが振り回される様子です。 次に n を 150〜200 に上げて再抽選すると、曲線はほとんど動かず真の関数に張り付きます。 「データの量がモデルを決める」──同じアルゴリズムでも、渡すデータで結論が変わるのです。 量と質の一般論は バイアス・バリアンス と 汎化 のページも参照してください。

⚠️ よくある落とし穴：少なすぎ・偏り・ノイズ・リーク

• 少なすぎ：n が小さいと学習曲線の左端で誤差が高く不安定。次数 d を上げると過学習（訓練RMSEはほぼ0なのにテストRMSEが跳ね上がる）が観察できます → 過学習。
• 偏り（サンプリングバイアス）：偏りスライダーを上げると、訓練点が左側の領域だけに集まります。モデルは見ていない右側を外挿できずテストRMSEが悪化します。サンプリングバイアス自体の解説ページは本教材では未整備のため、リンクなしのテキストのみで補足します。
• ノイズ：σ を上げるとテストRMSEの下限（ノイズ床）が上がります。質の悪いデータは量では救えないのがポイントです。ラベル品質は アノテーション の質に直結します。
• リーク（リーケージ）：この教材ではテストを真の関数（＝答え）で測っていますが、実務でテストの情報が訓練に混ざると誤差が過小評価されます → データリーケージ、検証データ / テストデータ の分離を厳守。

🚀 発展：量が足りないときの3つの武器

「もっとデータを集める」以外にも手はあります。 データ拡張（Data Augmentation）は既存データを変換して水増しする手法（本教材では専用ページ未整備のためテキスト補足）。 能動学習（Active Learning）は「効くサンプル」だけを選んでアノテーションし、少ないラベルで効率的に学ぶ考え方（同じく未整備）。 そして近年のデータ中心AI（Data-Centric AI）は、モデルを固めてデータの質を磨くことで性能を上げる潮流です。 ラベルが高コストなら 交差検証 で全データから情報を絞り出し、少量データなら 転移学習 で事前知識を借りるのが定石です。

⚠️ よくある落とし穴（5 つ）

⚠️ 訓練データの落とし穴：データ漏洩（Data Leakage）の 6 パターン

「test で 99% の精度が出た！」が、 実は 訓練データに test の情報が混入していただけだった、 というのは Kaggle でもよくある失敗です。 SSDSE-B-2026 を例に 6 つの典型パターンを示します。

💡 ルール：test R² が「あまりに良すぎる」ときは、 漏洩を疑え。 SSDSE-B-2026 で総人口 A1101 を予測する場合、 R² > 0.99 なら高確率で漏洩、 R² = 0.7〜0.95 が現実的な値です。

🌐 関連手法・派生

同じ目的・近い問題設定で並列に使える概念、 上位/下位の包含関係にある概念をまとめます。

🌐 アノテーション戦略：訓練データを「作る」工程

公開データ（SSDSE-B のような公的統計）を使う場合はラベルが既に付与されていますが、 実務では 「ラベル付き訓練データを自分たちで作る」必要があります。 これがアノテーションです。

アノテーター間の一致率を Cohen's κ（コーエンのカッパ）で測ります。 計算式：

$$\kappa = \frac{p_o - p_e}{1 - p_e}$$

$p_o$ は実際の一致率、 $p_e$ は偶然による一致率です。 κ > 0.8 で「ほぼ完全に一致」、 0.6〜0.8 が「実用的に十分」、 0.4 未満は「アノテーションマニュアルを見直すべき」です。

🔗 関連用語

📋 前提（読む前に知っておくと楽）

訓練データは「特徴量 x と目的変数 y の組」を並べた表で、 教師あり学習がそこからパラメータを決める。 表の列の意味（どれが x でどれが y か）を先に押さえておくと読みやすい。

🤝 並列（一緒に押さえたい）

同じ表を役割で分けたのが訓練・検証・テストの 3 つ。 どう切り分けるかは訓練・テスト分割、 損失関数はその訓練データ上で最小化される量である。

🚀 発展（次のステップ）

訓練データに合わせすぎると過学習、 見ていないデータでの性能が汎化。 分割のしかたと評価指標を決めたら、 プロジェクト全体の流れの中で訓練データをいつ作り直すかを考える。

📚 関連グループ教材

訓練データは 機械学習の基礎 の教材群で、 教師あり学習の入力として最初に登場する。 検証・テストへの分け方と交差検証は モデル選択、 見ていないデータでの性能の測り方は 評価指標 で扱う。 分割の具体的な手順は 訓練・テスト分割、 前処理を訓練側だけで fit しないと起きる問題は データリーケージ へ。

🗺 概念マップ

「訓練データ」を中央に置いて、 周辺概念を 5 つの方向に整理します。 これは記憶の足場になります。

🔗 隣接手法への橋渡し

訓練データはモデル学習の「燃料」で、 上流の品質確保と下流の評価が直結する。

• 上流: 収集 → アノテーション (ラベル付与) → クリーニング → データ拡張 で多様化
• 並列: 検証データ (ハイパラ調整用)、 テストデータ (最終評価)、 合成データ (希少クラス補強)
• 下流: 損失関数 最小化 → 逆伝播 で重み更新 → 過学習 監視 → Early Stopping

SSDSE-B-2026 で消費支出（L3221）を予測するなら、 47 県 × 12 年 = 564 行から 60% (338 行) を訓練に。 「東京 2015-2020」が train、 「東京 2021-2022」が test に分かれるとリークなので、 県をグループに GroupKFold を併用。

🌳 手法選択フロー

訓練データの扱いは、 ラベル有無とサイズで 4 通りに分岐する。

1. ラベル付き + 十分量 (n > 10000)? Yes → 通常の教師あり学習。 60/20/20 分割
2. ラベル付き + 少量 (n < 1000)? Yes → データ拡張 + 転移学習 で増強
3. ラベル無し or 半分のみ? Yes → 半教師あり / 自己教師あり。 ImageNet 事前学習が典型
4. ラベル付与が高コスト? Yes → 能動学習 で重要サンプルだけアノテーション

SSDSE-B-2026 は全数調査ベースで「ラベル付き + 中規模 (564 行)」なので、 通常の教師あり学習でデータ拡張なしが基本。 ただし県単位で n=47 と捉える場合は CV 必須。

🔍 解説を深める — 訓練データの「1 票の重さ」は平等ではない

ここまで訓練データを「量」「質」「分割」の観点で見てきました。 このセクションでは姉妹ページ（検証データ・テストデータ・訓練・テスト分割）では扱わない、 もう一段深い視点を追加します。 それは 「訓練データの中の 1 サンプルは、 学習結果に対して同じ発言力を持っていない」という事実です。 n=47 のような小規模データでは、 たった 1 県の有無がモデルの係数を 1 割以上動かすことがあります。 これを SSDSE-B-2026 の実測値で確かめます。

🧠 直感 — 「1 県抜き（leave-one-out）」で発言力を測る

発言力の測り方は単純です。 訓練データから 1 サンプルだけ抜いて学習し直し、 結果（回帰係数）がどれだけ動くかを見るだけ。 動きが大きいサンプルほど、 モデルに強い影響を与えていたことになります。 SSDSE-B-2026 の 2023 年・47 都道府県で、 一般診療所数（I5102）から総人口（A1101）を予測する単回帰を組むと、 全 47 県での傾きは 1038.2（診療所 1 か所あたり約 1038 人）です。 ここから 1 県ずつ抜いて傾きを再計算した結果が下の表です（すべて実測値）。

東京都を抜くと傾きが 14% も跳ね上がるのに対し、 2 位の神奈川県ですら 2.5% しか動きません。 47 サンプルのうち、 実質的に「1 県が回帰直線の向きを握っている」状態です。 理由はてこの原理（レバレッジ）で説明できます。 東京都の一般診療所数 14,894 は 47 県の中央値 1,369 の約 10.9 倍で、 説明変数軸の端に孤立しているため、 回帰直線は東京を通るように強く引っ張られます。 統計量で言えば東京都のレバレッジは h = 0.53 で、 47 サンプルの平均レバレッジ 2/47 ≒ 0.043 の 12 倍超。 「訓練データが 47 件ある」と数えても、 有効な発言権は均等に 1/47 ずつではないのです。

⚠️ 落とし穴（重要） — 高い相関は「データが良い」証拠にならない

この例の相関係数は r = 0.972 と一見「理想的な訓練データ」に見えます。 しかし東京都を除いても r = 0.969 とほぼ変わらないのに、 傾きは 14% 変わる——つまり 相関の高さは、 個々のサンプルの影響力の偏りを何も保証しないのです。 実害は小規模県の予測に出ます。 全 47 県で学習した直線で鳥取県を予測すると 約 82.1 万人（実測値 820,852 人）ですが、 実際の総人口は 53.7 万人。 大都市に引っ張られた直線が、 最小県を 約 28.4 万人（実測比 +53%）も過大予測します。 さらに危険なのは分割との相互作用で、 東京都が train に入るか test に入るかで「別のモデル」と言ってよいほど結果が変わるため、 ホールドアウト 1 回の評価は乱数シード次第で大きくブレます（本ページ冒頭のコード例でも、 test 9 県の平均人口 4,407,667 人 vs train 30 県の 2,162,600 人と、 分割だけで人口構成が倍以上ずれていました）。 平均 2,645,809 人と中央値 1,549,000 人が 1.7 倍も乖離した右裾分布では、 「平均的な県」を代表するサンプルはそもそも存在しない、 と考えるのが安全です。 対策は (1) 交差検証で「どの県が抜けても結論が変わらないか」を確認する、 (2) 対数変換などでレバレッジを圧縮する、 (3) Huber 回帰などのロバスト回帰（本教材では専用ページ未整備）で影響を頭打ちにする、 (4) 影響力の大きい点を外れ値として機械的に捨てる前に「本当に除外してよい母集団か」を考える、 の 4 点です。 東京都は測定ミスではなく実在する 1400 万人なので、 「予測したい対象に東京都型の地域が含まれるか」という問題設定こそが除外可否を決めます。

🚀 発展 — 影響度分析からデータ・バリュエーションへ

「1 点抜きで結果がどう動くか」は、 統計学では 影響度分析（Cook の距離、 DFBETAS など。 本教材では専用ページ未整備）として古くから体系化されています。 機械学習側では同じ発想が influence function（Koh & Liang, 2017）として再発見され、 深層学習モデルでも「この予測に効いた訓練サンプルはどれか」を推定できるようになりました。 さらに各訓練サンプルの貢献をゲーム理論の Shapley 値で配分する Data Shapley（Ghorbani & Zou, 2019）へ発展し、 「価値の低いデータを捨てると精度が上がる」「価値の高いデータだけ追加収集する」というデータ中心 AI（Data-Centric AI）の定量的な土台になっています。 訓練データを「何件あるか」で数える段階から、 「どの 1 件がいくらの価値を持つか」で管理する段階へ——本ページで学んだ量・質・分割に続く第 4 の視点として覚えておくと、 バイアス・バリアンスやデータリーケージの議論も「サンプル単位」の解像度で見直せるようになります。

🔗 関連ページ

• 外れ値 — 影響力の大きい点と「除外してよい点」の区別はここから
• 交差検証 — 「どのサンプルが抜けても結論が同じか」を確かめる標準手段
• 訓練・テスト分割 — 高影響サンプルがどちら側に入るかで評価が揺れる問題の基礎
• データリーケージ — 「良すぎる結果」を疑う姿勢の共通項
• バイアス・バリアンス — 1 点への過敏さは高バリアンスの一形態
• ロバスト回帰・Cook の距離・Data Shapley — 本教材では専用ページ未整備のためテキストのみ（キーワードとして検索を推奨）