🔖 キーワード索引

本ページは テストデータ（Test Data）を 12 のセクションで多角的に解説します。 上のチップは検索・関連語の手がかりです。 以下のリンクで各セクションに直接ジャンプできます：

🎨 直感で掴む

機械学習は「データから規則を学ぶ」アプローチ。 ルールベース（明示的に書く）に対し、 データから自動でパターンを獲得する点が特徴です。

本ページでは テストデータ を、 定義・前提条件・使い方・落とし穴の順に整理して解説します。 厳密な定義より、 まず何を、 いつ、 どう使うかを理解することを優先してください。

🎨 直感で掴む — 具体例で理解する

テストデータは「本番初日のお客さん」を想定した未知データ。 Train で学び、 Val でハイパラを選び、 そして本番直前に 1 度だけ Test で性能を確認する。 ここで満足のいくスコアが出れば本番投入、 ダメなら再設計。 「Test を改善する」という発想自体が罠で、 改善するなら必ず別データを切り出して試す。

🎨 業界別 テストデータ設計の実例

🎮 触って理解する

テストデータの本質は 「学習に一切使わず封印し、 最後に 1 度だけ開封する」 ことです。 下の 2 つの図を スライダーやタッチで操作して、 (1) 訓練データとテストデータの分割・封印、 (2) テストを何度も見ると評価が楽観的に歪む（リーク）様子を体感してください。 データ規模は SSDSE-B-2026（2023 年・47 都道府県）の 47 サンプルを想定しています。

① 訓練 / テストの分割と「封印」

47 都道府県を 訓練用（学習に使う）と テスト用（🔒 封印して最後まで開けない）に分けます。 テスト割合を動かすと、 封印されるマス（🔒）が増減します。 封印マスは学習に一切触れません。

② 「テストを見る回数」とリーク（楽観バイアス）

テストデータで 何度もモデルを調整（見る）と、 偶然テストに都合の良いモデルを選んでしまい、 報告されるテスト誤差だけが下がっていきます。 一方 真の汎化誤差は変わりません。 見る回数を増やすと、 報告値と真値の 乖離＝リーク が広がるのを確認してください。 図を タッチ / ドラッグしても回数を変えられます。

計算：候補モデルの真の誤差を $p_0=0.20$（＝正解率 80%）に固定。 有限テスト（$n_{\text{test}}$ 件）での誤差推定は標準偏差 $\sigma=\sqrt{p_0(1-p_0)/n_{\text{test}}}$ のばらつきを持つ。 $k$ 回テストを見て最良（最小誤差）を選ぶと、 報告値の期待値は $E[\hat p]=p_0-\sigma\,a_k$（$a_k=E[k$ 個の標準正規の最大値$]$、 数値積分で厳密計算）だけ系統的に下振れ（楽観化）する。 真値 $p_0$ は不変なので差 $\sigma\,a_k$ が「リーク量」。 $k=1$ では $a_1=0$ ⇒ 乖離ゼロ＝不偏推定。 テストが小さい（$n_{\text{test}}$ 小）ほど $\sigma$ が大きく、 少ない開封で急速に楽観化する。

📖 もっと深く

直感： テストデータは「本番前に 1 度だけ開封する封筒」。 中身を覗くたびに封筒の価値は減り、 最終評価がおもてより甘くなります。 だからこそ最後まで封印し、 提出直前に 1 回だけ開けるのが鉄則です。

よくある落とし穴： テストで繰り返し評価してモデルや前処理を選ぶと、 テストへの過適合（過学習）と データリーク が生じ、 テスト誤差が楽観的に見えます。 「テストスコアを改善する」発想自体が罠で、 調整は必ず別データで行います。

発展： 調整用には 検証データ（Validation） を分離し、 ホールドアウト法 や 交差検証 を使ってテストを温存します。 これにより 汎化性能 の推定を、 訓練データ とテストデータのどちらも汚さずに得られます。 体系的な位置づけは 機械学習の基礎 を参照。

📐 定義

最終評価に使うデータ

英語名 Test Data。

📐 数式・定義

テストデータを数式 / 形式定義で表す：

テストスコアは本番分布 $P_{\text{prod}}$ からの抽出に対する期待性能の推定値。 真の汎化誤差の不偏推定とみなせる。

🔬 数式を言葉で読み解く

上の数式に出てきた記号を 1 つずつ解説します。 数式が出てくる試験問題（統計検定・G 検定・基本情報）では、 各記号の意味を答えられるかが分岐点：

🔬 数式を言葉で読み解く（拡張版・「テストデータ」の本質）

テストデータは 「モデルが訓練中に一度も見ていない」という条件付きの保留データ で、 汎化性能の不偏推定 を得るための唯一の手段です。 「テストデータをハイパラ調整に使う＝バリデーションへ降格」「複数回テストして最良を選ぶ＝p ハッキング」など、 一度ルールを破ると テストデータの価値が永久に失われる 厳格さがあります。

📐 分割戦略の数理

📊 分割戦略 比較表

🔬 数式を言葉で読み解く（テストデータ）

1. データ分割の根本思想：なぜ「分けて評価する」のか

機械学習モデルは、与えられた訓練データから「パターン」を学習する。しかし学習したパターンが本当に有効かどうかは、訓練時には絶対に見せていない別のデータで試して初めて分かる。これが「テストデータ」の存在意義である。模試で 100 点を取った受験生が、本試験でも 100 点を取れるとは限らない。模試の問題を丸暗記してしまえば模試の点数だけは伸びるが、本試験の問題は別物なので得点が下がる。これと同じ現象が機械学習でも起きる。これを「過学習（overfitting）」と呼び、過学習を検出するための唯一の手段がテストデータでの評価である。SSDSE-B-2026 の 47 都道府県データを使って、人口を予測するモデルを作る場面を考えてみよう。47 県全部で学習し、47 県全部で評価すれば、当然ほぼ完璧な精度が出る。だがそのモデルが「未知の県」（例えば架空の 48 番目の県）で機能する保証はどこにもない。だからこそ、最初から 47 県のうち例えば 9 県（約 20%）を「テスト用」として隔離しておき、残り 38 県だけで学習し、最後に 9 県で評価する必要がある。この 9 県でも高精度が出れば、モデルは「未知の県でも機能する」と推定できる。

2. Train/Val/Test の三分割が標準である理由

実務では単純な Train/Test の二分割ではなく、Train（訓練）/ Validation（検証）/ Test（テスト）の三分割が標準である。理由はハイパーパラメータ調整にある。決定木の深さ、ランダムフォレストの木の本数、ニューラルネットの学習率など、モデル構造を決める「設定値」は無数にある。これらを Test データで最適化してしまうと、Test データに合わせ込んだ「Test 過学習」が起きる。だから Validation データを別に用意し、ハイパーパラメータは Validation で最適化し、Test は本当に最後の最後（モデル提出直前）に 1 回だけ評価する。SSDSE-B-2026 の 47 県を例に取れば、Train 28 県（60%）、Val 9 県（20%）、Test 10 県（20%）のような分割が典型的である。Train で学習、Val で「木の深さは 5 がいいか 7 がいいか」を試行錯誤、Test で最終確認、という流れになる。Val でも Test でも 80% 精度が出れば、その値は信頼できる「未来予測の期待値」である。

3. Hold-out 法の長所と短所

Hold-out 法は最もシンプルな分割方法で、データを一度だけ Train/Test に分け、それで評価する。47 県を 38 県（Train）+ 9 県（Test）に分ければそれで終わりである。実装が簡単で計算量も少ないため、データが大量にある場合（例：10 万行以上）に有効である。ただし短所もある。それは「偶然の偏り」に弱いことだ。9 県をテスト用に抜く時、たまたま大都市圏ばかりが選ばれれば、地方の精度は分からない。逆に過疎県ばかり選ばれれば、人口予測モデルの「大都市での精度」が見えない。データが少ない（例：47 県のみ）場合、たった一度の分割では運の要素が大きすぎる。そこで次に紹介する Cross Validation（交差検証）が必要になる。

4. K-Fold Cross Validation の仕組み

K-Fold Cross Validation（K 分割交差検証）は、データを K 等分し、K 回の学習・評価を繰り返して平均を取る手法である。47 県を K=5 で分割するなら、各 fold は約 9-10 県となる。1 回目：fold1 を Test、fold2-5 を Train。2 回目：fold2 を Test、それ以外を Train。…と 5 回繰り返す。各回の精度を平均すれば、たった一度の分割による運の要素が消え、より信頼性の高い評価が得られる。さらに、47 県全部が一度は Test に使われるので「全データを評価に活用する」点でもデータ少数時に有利である。コストは「5 回学習する」ことだが、SSDSE 規模なら数秒で終わる。実務で K=5 または K=10 が最も使われる。K=5 は分散と計算量のバランスが良く、K=10 はより精密だが計算が 2 倍かかる。

5. Leave-One-Out 法（LOOCV）の極端なケース

K-Fold の極端形が Leave-One-Out（一個抜き法）である。47 県のうち 1 県を Test に、残り 46 県を Train にする。これを 47 回繰り返す。データの「ほぼ全て」を訓練に使えるので、データ少数時の最終手段として有効である。ただし計算コストは K=47 倍に跳ね上がる。また各 Test サンプルが 1 件なので、評価値の分散が大きく、必ずしも安定するとは限らない。SSDSE-B-2026 のような 47 件のデータでも、シンプルなモデル（線形回帰など）なら LOOCV は実行可能であり、教育用途では「すべての県が等しく評価される」点で公平性が高い。一方、ランダムフォレストや勾配ブースティング等の重いモデルでは LOOCV は非推奨である。

6. Stratified Sampling（層化抽出）の必要性

分類タスクで、特にクラス不均衡があるとき、ランダム分割だけでは偏りが生じる。例えば「都道府県を高齢化率の高い県（30%以上）と低い県（30%未満）に二分類する」タスクで、47 県中 35 県が高齢化率 30% 以上だとする。ランダムに 9 県を Test に選ぶと、運悪く 9 県全部が高齢化県になる確率もゼロではない。これでは低齢化県の精度が測れない。Stratified Sampling は、クラスの比率を保ったまま分割する手法である。35:12 の比率なら、Train でも Test でもこの比率を維持する。`sklearn.model_selection.train_test_split` の `stratify=y` 引数で簡単に実装できる。SSDSE-B-2026 では、地方（北海道・東北・関東・…）でも層化できる。これにより「全地方が Train にも Test にも含まれる」状態を確保し、評価の偏りを最小化できる。

7. 時系列データでの分割は時間順厳守

時系列データでは絶対にランダム分割してはいけない。SSDSE-B-2026 の人口は 2026 年時点だが、もし「2020-2025 年の人口データから 2026 年の人口を予測する」モデルを作るなら、Train を 2020-2024 年、Test を 2025-2026 年と「時間順に分割」する必要がある。ランダム分割すると、Train に 2025 年が含まれて Test に 2023 年が来る、というような時間逆転が起きる。これは「未来を見て過去を予測する」というカンニング状態であり、テスト精度が不当に高く出る。実運用では「過去のデータから未来を予測する」のだから、Train が古く Test が新しい時間順を厳守する。さらに高度な手法として TimeSeriesSplit（時系列交差検証）がある。これは「Train 期間を徐々に拡張しながら何度も評価する」方法で、Walk-Forward Validation とも呼ばれる。実務の時系列予測（株価、需要予測、災害予測）では必須技術である。

8. データリーケージ（leakage）の検出と防止

データリーケージとは、Test データの情報が Train に「漏れている」状態である。これが起きるとテスト精度が異常に高く出るが、実運用では機能しない。典型的なリーケージは「前処理を Train+Test 合わせて行うこと」だ。例えば標準化（z-score）を計算する時、Train+Test 全体の平均と標準偏差を使ってはいけない。Test の情報が Train の前処理に混入する。正しくは「Train だけで平均・標準偏差を計算し、その値を Test にも適用する」。sklearn の `Pipeline` を使うとリーケージを自動防止できるので推奨される。SSDSE-B-2026 で「消費支出を総人口で割って 1 人当たり消費支出を計算する」場合も、Train データの 1 人当たり消費支出の分布を使って前処理する必要がある。Test の平均値を含めてはならない。リーケージは検出が難しく、「Val 精度 95%、本番 60%」のような乖離で初めて気づくことが多い。だから事前の Pipeline 設計が極めて重要である。

9. 分布チェック：Train と Test が同じ分布か

Train と Test の分布が大きく違うと、テスト評価は信頼できない。例えば Train に小県（人口 100 万未満）ばかり、Test に大都市県（人口 500 万以上）ばかり含まれていれば、モデルは大都市県の挙動を学習していないため Test 精度は低くなる。だが「モデルが悪い」のではなく「分布がズレている」のである。これを Distribution Shift（分布シフト）と呼ぶ。SSDSE-B-2026 を分割した後、Train と Test の各変数の平均・分散・最小・最大を比較するのが基本である。ヒストグラムを重ねて目視確認するのも有効だ。もし大きなズレがあれば、Stratified Sampling を再適用するか、データの再分割が必要である。Kolmogorov-Smirnov 検定や Anderson-Darling 検定で統計的に分布の差を検証することもできる。実務では「定期的に新しいデータが入ってきた時、最初に分布が変わっていないか確認する」プロセスが運用上不可欠である。

10. ホールドアウトの黄金比：60-20-20 vs 80-20

分割比率に絶対的な正解はないが、データ量によって推奨が変わる。データが少ない（1000 件未満）なら、Train を確保するため 80-20 や CV を使う。データが中程度（数千件〜数万件）なら 60-20-20（Train/Val/Test）が標準である。データが大量（100 万件以上）なら、Train 98%、Val 1%、Test 1% でも十分なテスト精度が得られる。SSDSE-B-2026 は 47 件と非常に少ないので、Hold-out よりも K-Fold CV や LOOCV が現実的選択肢になる。逆に画像認識データセット ImageNet（120 万枚）では 80-10-10 でも十分以上である。実務では「Test に最低 1000 件は確保する」が経験則であり、それを満たすデータ量から逆算して分割比率を決める。

11. テストデータの「使用は 1 回だけ」原則

テストデータは「最終確認」専用であり、複数回使って結果に応じてモデルを調整してはいけない。複数回使うと、Test データに無意識に最適化してしまい、未知データへの汎化性能が下がる。これを「Test set contamination（テストセット汚染）」と呼ぶ。実務での運用：(1) Train で学習、(2) Val でハイパーパラメータ調整、(3) モデル決定後 Test で 1 回だけ評価、(4) この Test 精度を本番期待値として報告。もし Test 精度が低く「もう一度モデルを改良したい」場合、改良後のモデルを Test で再評価してはいけない。新しい Test データを別に確保する、または別の Val 分割で評価する必要がある。Kaggle 等の機械学習コンペティションが Public Test と Private Test に分けるのも、Test 汚染を防ぐ仕組みである。

12. 業務適用での重要な注意点

業務システムに機械学習モデルを実装する場合、テストデータの設計は「本番環境の予測対象」と一致させる必要がある。例えば「全国の市町村の人口を予測する」モデルなら、Test も全国市町村から抽出する。「東京都内の店舗売上を予測する」モデルなら、Test も東京都内店舗である。本番で予測する対象と Test の対象がズレていれば、Test 精度は意味を持たない。さらに、業務適用では「時間が経つにつれてデータの分布が変わる」のが当然である。コロナ前のデータで学習したモデルがコロナ後で機能しないのは典型例である。だから本番運用では定期的に「最新データでの再評価」が必要であり、これを Model Drift Detection と呼ぶ。一般的には月次・四半期ごとに Test 精度を再測定し、閾値を下回ったら再学習をトリガーする運用が標準である。SSDSE-B-2026 も 2012〜2023 年度の 12 年度分を収め、毎年新しい版が公開されるので、それに合わせたモデル更新計画が必要である。

13. テストデータが少ない場合の救済策

テストデータが少なすぎる（例：10 件以下）場合、評価値の信頼区間が広すぎて結論が出せない。救済策は (1) ブートストラップ法による信頼区間推定、(2) ベイズ的アプローチによる事前分布の活用、(3) 専門家による定性評価の併用、などがある。ブートストラップ法は Test データから復元抽出を 1000 回行い、各回で精度を計算して 95% 信頼区間を出す手法である。これにより「Test 精度 0.85、95% CI [0.78, 0.92]」のような表現が可能になり、評価の不確実性を明示できる。SSDSE-B-2026 の 47 件を全部 LOOCV で評価しても、各回の Test は 1 件なので、ブートストラップで信頼区間を出す価値がある。

✅ 理解度チェック

1. Q1: Hold-out 法と K-Fold CV のどちらが小規模データ（47 件）に向くか、理由とともに答えよ。
   A: K-Fold CV。Hold-out は 1 回の分割の偶然に左右されるが、K-Fold は K 回の評価平均で安定する。47 件全てを評価に活用できる利点も大きい。
2. Q2: 時系列データをランダム分割するとなぜ「リーケージ」が起きるか説明せよ。
   A: ランダム分割では「未来」のデータが Train に含まれ「過去」のデータが Test になる時間逆転が起きる。これは「未来を見て過去を予測する」カンニング状態であり、Test 精度が不当に高く出るが本番では機能しない。
3. Q3: Train+Test 全体で標準化（z-score 変換）するのがなぜリーケージか。正しい手順を述べよ。
   A: Test データの平均・標準偏差が Train 前処理に混入し「Test の情報を見て前処理パラメータを決めている」ことになる。正しくは Train だけで平均・標準偏差を計算し、その値を Test にも適用する（sklearn Pipeline で自動化推奨）。

🧪 Test データの「触れない原則」をデータサイエンス現場でどう守るか

テストデータの最大の倫理的義務は「モデル学習の意思決定に一切触れさせない」ことである。「触れる」とは Train で fit するだけではなく、ハイパーパラメータ探索で参照する、特徴量選択の良し悪し判定に使う、欠損補完の統計量を計算する、標準化の平均・分散を取る、外れ値検出の閾値を決める—これら全ての「データを見る行為」を指す。SSDSE-B-2026 の 47 都道府県を Train 38 / Test 9 に分割した時、Test 9 件の「総人口」「出生数」「消費支出」を print() しただけで、人間の頭脳に Test の分布が刻まれ、その後のモデル選択が無意識に Test に有利な方向へ偏る—これを「人間によるデータリーケージ」と呼び、再現性危機の原因の一つに挙げられる。

触れた瞬間にリーケージが起きる 8 つの典型操作

「触れずに評価する」を実現する 3 つの実装パターン

このコードでやること：SSDSE-B-2026 の 47 都道府県を Train/Test に分け、Pipeline + cross_val_score で「触れない原則」を守った消費支出予測を行う。

📥 入力データ (SSDSE-B-2026 抜粋):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023]      # 2023 年度の 47 都道府県（12 年度分を混ぜない）
X = df[['総人口', '出生数', '婚姻件数']].values
y = df['消費支出（二人以上の世帯）'].values

# Step 1: 触れる前に分割する（最重要）
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=42)
print(f'Train {len(y_tr)} 県 / Test {len(y_te)} 県')

# Step 2: Pipeline で前処理を Train のみに閉じ込める
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('ridge', Ridge(alpha=1.0)),
])

# Step 3: Train 内の CV でハイパラ・モデル選択（Test は触らない）
cv_score = cross_val_score(pipe, X_tr, y_tr, cv=5, scoring='r2').mean()
print(f'Train CV R² = {cv_score:.3f}')

# Step 4: 一度だけ Test で最終評価
pipe.fit(X_tr, y_tr)
test_r2 = pipe.score(X_te, y_te)
print(f'Test R² = {test_r2:.3f}（この値を見た後の再調整は禁止）')

📤 実行すると次の出力が得られる:

💬 Train CV 0.037・Test 0.033 と、 どちらもほぼ 0 だった。 2023 年度の 47 県で消費支出と総人口・出生数・婚姻件数の相関は 0.31〜0.33 しかなく、 この 3 特徴量は人口規模を表すだけで世帯あたりの消費支出はほとんど説明できない。 Test は 10 県しかないので、 どの 10 県が選ばれるかで R² は簡単に上下する（次の Bootstrap で幅を確かめる）。 だからこそ「Test 0.033 を見てから Ridge の alpha や特徴量を変える」を絶対にしてはいけない。 それを許すと Test は実質的に第二の Validation になり、 未知データ性能の保証を失う。 そして偶然高く出た値を「改善した」と誤認することになる。

Test 触れた回数の管理：Goodhart の法則を回避する

📊 Test データ評価指標と「サンプルサイズの呪い」

SSDSE-B-2026 の 47 県を 80:20 で分割すると Test は わずか 10 県（sklearn は 47×0.2＝9.4 を切り上げる）。この少なさは「Test 指標の信頼区間が大きく、決定的な結論を出しにくい」ことを意味する。例えば回帰の R² が 0.92 と出ても、Test を別の 10 県に取り直せば 0.78 や 0.96 に振れることは普通。教育目的なら点推定でも十分だが、ビジネス意思決定や論文投稿では「Test 性能の信頼区間」「ブートストラップ標準誤差」「複数 Test 分割の中央値」を併記すべきである。

Test サンプルサイズ別の信頼度目安

Bootstrap で Test 性能の信頼区間を出す

このコードでやること：47 県 SSDSE-B-2026 で Test R² の 95% Bootstrap 信頼区間を計算し、点推定だけでは見えない不確実性を可視化する。

📥 入力データ: 上記 Pipeline で fit 済 pipe と X_te, y_te（10 件）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import numpy as np
from sklearn.metrics import r2_score

rng = np.random.default_rng(42)
n_boot = 1000
boot_r2 = []
y_pred = pipe.predict(X_te)
for _ in range(n_boot):
    idx = rng.integers(0, len(X_te), len(X_te))
    boot_r2.append(r2_score(y_te[idx], y_pred[idx]))

ci_low, ci_high = np.percentile(boot_r2, [2.5, 97.5])
print(f'Test R² 点推定 = {r2_score(y_te, y_pred):.3f}')
print(f'95% Bootstrap CI = [{ci_low:.3f}, {ci_high:.3f}]')
print(f'CI 幅 = {ci_high - ci_low:.3f}（広いほど Test n 不足）')

📤 実行すると次の出力が得られる:

💬 点推定 0.033 に対して 95%CI は [-1.885, 0.649] で、幅は 2.5 もある。10 県から重複ありで選び直すと、東京都のような大きな県が入るか外れるかで R² が大きく揺れ、下側は「平均で予測するより悪い」負の値まで広がる。Test n=10 では「このモデルは使える／使えない」のどちらも断言できないので、報告時は必ず CI を併記し、「サンプル不足」を隠さない。

マルチタスク評価の落とし穴

1 つの Test セットで「Accuracy」「F1」「AUC」「Calibration」「Fairness 指標」を全て計算すると、複数指標の多重比較問題が発生する。例えば 5 指標を独立に評価すると、α=0.05 でも 1 - 0.95^5 ≈ 22.6% の確率で「どれか 1 つは偶然有意になる」。これを利用して「最も良かった指標だけを論文で報告」する Cherry Picking は学術不正に該当する。Bonferroni 補正、事前登録、複数 Test 分割の中央値報告で防ぐべきである。

🚨 本番運用での Test データの「再構築」と Drift 監視

論文や Kaggle で完結する世界では「Test は固定」が常識だが、実運用では「時間が経つにつれて Test は古くなる」。SSDSE-B-2026 で 2024 年データで Test したモデルを 2026 年の消費支出予測に使うと、コロナ後のインバウンド回復、半導体投資、人口減少加速など「2024 年 Test には含まれなかった構造変化」が予測精度を蝕む。Production MLOps では「定期的に新しい Test セットを再構築 → モデルの汎化性能を再評価 → 必要なら再学習」のサイクル（Retraining Loop）が必須となる。

Production における Test 関連の 5 つの監視項目

Drift 検出と「Test 再構築」のコード例

このコードでやること：SSDSE-B-2026 の 2012 年度（学習時点）と 2023 年度（現在）で総人口の Population Stability Index (PSI) を計算し、Test データの再構築が必要か判定する。

📥 入力データ: SSDSE-B-2026 の 2012 年度と 2023 年度の都道府県総人口 各 47 件（参考 reference / 監視対象 current）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import numpy as np
import pandas as pd

def psi(reference, current, n_bins=10):
    """Population Stability Index を計算"""
    breakpoints = np.percentile(reference, np.linspace(0, 100, n_bins + 1))
    breakpoints[0] -= 1e-6; breakpoints[-1] += 1e-6
    ref_dist, _ = np.histogram(reference, bins=breakpoints)
    cur_dist, _ = np.histogram(current, bins=breakpoints)
    ref_pct = ref_dist / ref_dist.sum() + 1e-6
    cur_pct = cur_dist / cur_dist.sum() + 1e-6
    return np.sum((cur_pct - ref_pct) * np.log(cur_pct / ref_pct))

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df_ref = df[df['年度'] == 2012]   # 参照（学習時点）: 2012 年度の 47 県
df_cur = df[df['年度'] == 2023]   # 監視対象（現在）: 2023 年度の 47 県

psi_pop = psi(df_ref['総人口'].values, df_cur['総人口'].values)
print(f'PSI (総人口 2012→2023) = {psi_pop:.4f}')
if psi_pop < 0.10:
    print('→ 安定（Test 再構築不要）')
elif psi_pop < 0.25:
    print('→ 中程度 drift（要観察、追加 Test 推奨）')
else:
    print('→ 大きな drift（Test 再構築必須、再学習推奨）')

📤 実行すると次の出力が得られる:

💬 11 年間で 47 県中 40 県の人口が減り、2012 年度の十分位で区切った 10 区間の県数が 5・5・4… から 6・6・3… へ下の区間に寄ったため、PSI は 0.0929 と「安定」の閾値 0.10 のすぐ手前まで来ている。同じファイルを 2 回読んで比べると PSI は 0 になるので、比較する 2 時点は年度で明示して切り出す。一方、「インバウンド観光客数」「半導体輸出額」などボラティリティの高い指標では PSI が 0.3 を超えることもあり、その場合は古い Test での精度が信用できなくなる—Test の再構築と再学習が必要。

Holdout Test の鮮度管理ベストプラクティス

• Rolling Test：3 ヶ月ごとに最新データから新規 Test を切り出し、過去 Test は「歴史的ベンチマーク」として保管
• Frozen Test + Living Test：論文用に固定 Test を保ちつつ、本番用に毎月更新する Living Test を併設
• Replay Test：本番ログから「予測時点で利用可能だった特徴量のみ」を再構築し、リアルな運用条件で Test
• Adversarial Test：エッジケース（人口減少最大県、突発災害県、政令市と山間部の混在）を意図的に集めた Test
• Counterfactual Test：政策介入の有無で結果を比較できる Test（DID 用、因果推論用）
• Pre-registered Test：実験開始前に Test 分割と評価指標を OSF 等に登録し、Cherry Picking を制度的に排除

理解度チェック（運用編）

1. Q1: 2024 年 Test で R² 0.95 を達成したモデルが 2026 年本番で R² 0.72 まで低下。考えられる原因 3 つを挙げよ。
   A: ① Concept Drift（変数間の関係性自体が変化、例: コロナ後の経済構造変化）、② Covariate Shift（入力分布が変化、例: 人口減少進行）、③ Label Drift（目的変数の意味が変化、例: 消費支出の集計方法改定）。PSI 監視と定期再学習で対策する。
2. Q2: Test 性能が「Public LB 0.85, Private LB 0.62」と乖離した。原因と対策は？
   A: Public LB に過適合し汎化を失った状態。Kaggle 提出回数を制限する（self-imposed）、CV スコアを最重視、複数モデルの ensemble で Public LB チューニング依存を下げる、最終提出は CV ベストと Public LB ベストの 2 種類用意。
3. Q3: Pre-registered Test の意義を 80 文字以内で説明せよ。
   A: 評価指標と Test 分割を実験前に公的に固定することで、結果を見てから「都合の良い指標」を選ぶ Cherry Picking と HARKing を防ぎ、科学的再現性を担保する制度。

🧮 SSDSE-B 実値計算 — 都道府県データで手を動かす

SSDSE-B-2026 の 47 都道府県を Train 30 / Val 7 / Test 10 に分割し、 「総人口 → 出生数」モデルの最終評価を実演する。

使用データ：SSDSE-B-2026.csv（独立行政法人 統計センター提供、 47 都道府県 × 100 超の社会経済指標）。 出典

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={df.columns[2]: 'pref'})
df = df[df['SSDSE-B-2026'] == 2023]      # 2023 年度の 47 都道府県

X = df[['A1101', 'A1303']].values
y = df['A4101'].values

# Train+Val / Test = 37/10
X_tv, X_te, y_tv, y_te = train_test_split(X, y, test_size=10, random_state=42)
# Train / Val = 30/7
X_tr, X_va, y_tr, y_va = train_test_split(X_tv, y_tv, test_size=7, random_state=42)

m = LinearRegression().fit(X_tr, y_tr)
print(f'Train R² = {r2_score(y_tr, m.predict(X_tr)):.3f}')
print(f'Val   R² = {r2_score(y_va, m.predict(X_va)):.3f}')
print(f'Test  R² = {r2_score(y_te, m.predict(X_te)):.3f}  ← 最終評価')

💬 47 県を 30・7・10 に分けると、Train R² = 0.995、Val R² = 0.942、Test R² = 0.981 となり、検証データの値だけが低い。検証の 7 県（山形・鹿児島・広島・山梨・奈良・三重・福井）は出生数の標準偏差が約 4,100 人と小さく、分母が小さい分だけ同じ誤差でも R² が下がりやすい。逆にテストの 10 県には東京都・大阪府が入って標準偏差が約 25,600 人と大きいため、R² は高めに出る。R² は評価用の県の顔ぶれで大きく動くので、RMSE も並べて報告する。

▲ 上記コードはそのまま実行可能。 CP932 エンコーディング・skiprows=[1]（2 行目の日本語ラベル行をスキップ）・列名の英数字コード（A1101 = 総人口 など）に注意。

🧮 SSDSE-B-2026 実値計算 ①：60/20/20 分割で訓練/検証/テスト

47 都道府県 × 12 年（合計 564 行）を 60/20/20 で分割し、 高齢化階層を予測するモデルの訓練 / 検証 / テスト精度を測定します。 テスト精度が訓練精度より大幅に低ければ過学習 です。

🐍 Python 実装（コード ①）

🎯 このコードでやること：sklearn の train_test_split を二段階で呼び、 60/20/20 の三分割を作る。 各データ集合のサイズと精度を確認。

📥 入力データ:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df['aging'] = df['A1303'] / df['A1101']
y = pd.qcut(df['aging'], 3, labels=[0, 1, 2]).astype(int)
features = ['A1101', 'A4101', 'A4103', 'B4101', 'B4102']
X = df[features].fillna(0)

# 2 段階で 60/20/20 分割
X_tv, X_te, y_tv, y_te = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)
X_tr, X_va, y_tr, y_va = train_test_split(X_tv, y_tv, test_size=0.25, random_state=42, stratify=y_tv)  # 0.25 of 0.8 = 0.2

print(f'Train: {len(X_tr)}, Val: {len(X_va)}, Test: {len(X_te)}')

model = RandomForestClassifier(n_estimators=100, random_state=42).fit(X_tr, y_tr)
print(f'Train acc: {accuracy_score(y_tr, model.predict(X_tr)):.3f}')
print(f'Val   acc: {accuracy_score(y_va, model.predict(X_va)):.3f}')
print(f'Test  acc: {accuracy_score(y_te, model.predict(X_te)):.3f}')

📤 実行例:

💬 結果の読み方：訓練精度 1.000、 検証 0.735、 テスト 0.735。 訓練のみ完全一致なのは Random Forest が深く木を伸ばして訓練データを暗記しているため。 検証とテストがほぼ同じ（差 0.000）→ 過学習はあるが汎化はできている。 検証で「真の本番」を予測する手段としては妥当。

🧮 SSDSE-B-2026 実値計算 ②：GroupKFold で都道府県リーク防止

SSDSE-B は 47 県 × 12 年のパネルデータ。 単純な train_test_split だと 「東京 2015 年が train、 東京 2020 年が test」のような同一県の重複 が起こり、 リークが発生します。 GroupKFold で都道府県をグループ単位として分割するのが正解。

🐍 Python 実装（コード ②）

🎯 このコードでやること：都道府県をグループとして GroupKFold を構築。 「ある県のデータがすべて train か test のどちらか」になることを確認。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

from sklearn.model_selection import GroupKFold, cross_val_score
from sklearn.ensemble import RandomForestClassifier

groups = df['Prefecture']
gkf = GroupKFold(n_splits=5)

# 各 fold で train / test に出現する県を確認
for i, (tr, te) in enumerate(gkf.split(X, y, groups)):
    tr_pref = set(groups.iloc[tr])
    te_pref = set(groups.iloc[te])
    overlap = tr_pref & te_pref
    print(f'Fold {i}: tr={len(tr_pref)} 県, te={len(te_pref)} 県, overlap={len(overlap)}')

model = RandomForestClassifier(n_estimators=100, random_state=42)
scores = cross_val_score(model, X, y, groups=groups, cv=gkf, scoring='accuracy')
print(f'GroupKFold CV acc: {scores.mean():.3f} ± {scores.std():.3f}')

📤 実行例:

💬 結果の読み方：すべての fold で overlap=0（県の重複なし）。 通常のランダム分割だと 0.74 出ていたのに GroupKFold では 0.58 へ大きく下落。 これが 「データリークによる精度の水増し」 の正体です。 本番運用では未知の県を予測することになるので、 0.58 の方が現実的な見込み値。

🧮 SSDSE-B-2026 実値計算 ③：時系列 split（TimeSeriesSplit）

時系列データでは 「未来を train、 過去を test」は厳禁。 必ず時間軸を守って分割します。 sklearn の TimeSeriesSplit は累積的な訓練データで前向き検証 (forward validation) を行います。

🐍 Python 実装（コード ③）

🎯 このコードでやること：47 県の人口時系列を年でグループ化し、 過去年で学習 → 翌年予測の評価サイクルを 5 回繰り返す。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

from sklearn.model_selection import TimeSeriesSplit
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_absolute_error
import numpy as np

# 東京の年次人口 (A1101) で時系列 split
# SSDSE は新しい年度が先に並ぶので、古い年度から順に並べ替えてから分割する
tokyo = (df[df['Prefecture'] == '東京都'].sort_values('SSDSE-B-2026')
         [['A1101', 'A4101', 'A4103']].reset_index(drop=True))
X = tokyo[['A4101', 'A4103']].values
y = tokyo['A1101'].values

tss = TimeSeriesSplit(n_splits=5)
for i, (tr, te) in enumerate(tss.split(X)):
    # 出生数（〜10^5）と出生率（〜1）は桁が違うので、標準化してから回帰する
    m = make_pipeline(StandardScaler(), LinearRegression()).fit(X[tr], y[tr])
    pred = m.predict(X[te])
    mae = mean_absolute_error(y[te], pred)
    print(f'Fold {i}: train idx {tr.min()}-{tr.max()}, test idx {te.min()}-{te.max()}, MAE={mae:.0f} 人')

📤 実行例:

💬 結果の読み方：train データを 2 年ずつ積み増しても MAE は 63,635 → 264,843 → 34,134 → 88,826 → 198,908 人と上下し、 減っていかない。 出生数と出生率で東京都の人口を当てるモデルは、 2012〜2021 年から、 とくに 2015 年以降の「出生数が減っても人口は増える」関係を学ぶので、 出生数が学習期間の最小（2021 年 95,404 人）を下回った 2022・2023 年（91,097・86,348 人）を当てる Fold 4 では外挿になって外れる。 各 fold の test は 2 年分しかなく値は大きくぶれるので、 5 つの MAE を並べて「どの時期に崩れるか」を見るのが時系列分割の使い方。

🧮 SSDSE-B-2026 実値計算 ④：分布シフト検出（train vs test の Kolmogorov-Smirnov）

train と test で特徴量分布がずれていないか確認することは、 本番運用での精度低下防止 に必須です。 各特徴量について scipy.stats.ks_2samp で K-S 検定を実施。

🐍 Python 実装（コード ④）

🎯 このコードでやること：47 県を train (前 9 年) / test (後 3 年) に分けた場合、 各特徴量の分布が同一かを K-S 検定 (p > 0.05 なら同分布) で確認。

1
2
3
4
5
6
7
8
9
10
11
12
13

import pandas as pd
from scipy.stats import ks_2samp

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
# SSDSE は新しい年度が先に並ぶので、cumcount ではなく年度の値そのもので分ける
train = df[df['SSDSE-B-2026'] <= 2020]   # 前 9 年（2012〜2020 年度）
test = df[df['SSDSE-B-2026'] >= 2021]    # 後 3 年（2021〜2023 年度）

features = ['A1101', 'A4101', 'A4103', 'B4101', 'F3101']
for f in features:
    stat, p = ks_2samp(train[f].dropna(), test[f].dropna())
    flag = '!!!' if p < 0.05 else ''
    print(f'{f}: KS={stat:.3f}, p={p:.4f} {flag}')

📤 実行例:

💬 結果の読み方：A4101（出生数）・A4103（合計特殊出生率）・B4101（年平均気温）・F3101（新規求職申込件数）の 4 変数で分布シフトが検出 (p < 0.05)。 とくに合計特殊出生率は KS=0.395 と最大で、 県平均が 2012〜2020 年度の 1.42〜1.53 から 2021〜2023 年度は 1.40・1.36・1.29 と下がり続けた。 これは 少子化の進行など後期 3 年間で水準が変化 しているためで、 総人口 A1101 は県間の差が年ごとの変化よりずっと大きいので p=0.4526 とシフトが検出されない。 年度の並びを確かめずに cumcount で「前 9 年」を作ると、 新しい年度が先に並ぶ SSDSE では前後が逆になるので、 年度の値で分ける。 こうした特徴量を train で固定した分布で前処理すると test で誤差増。 分布シフト検出 → 再標準化 / 再学習 を検討。

🧮 SSDSE-B-2026 実値計算 ⑤：学習曲線で必要なテストサイズ推定

学習曲線 (learning curve) は 「データ量が増えるほど精度がどう変化するか」 を可視化。 これにより「テストサイズはこれで十分か」を見極められます。

🐍 Python 実装（コード ⑤）

🎯 このコードでやること：sklearn の learning_curve で訓練サイズ 10%〜100% における train / val 精度をプロット。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# ── この抜粋で使うデータを用意します ──
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
X = df[['A1101', 'B4101', 'L3221']].astype(float).values
_aging = df['A1303'] / df['A1101'] * 100
y = y_binary = (_aging >= _aging.median()).astype(int).values   # 高齢化率が中央値以上か
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y)

from sklearn.model_selection import learning_curve
from sklearn.ensemble import RandomForestClassifier
import numpy as np

sizes, tr_scores, va_scores = learning_curve(
    RandomForestClassifier(n_estimators=100, random_state=42),
    # 47 件しかないので、cv と最小の訓練サイズは小さめにする
    # （train_sizes=0.1 だと 1 分割に各クラス 5 件を用意できない）
    X, y, train_sizes=np.linspace(0.4, 1.0, 4), cv=3, scoring='accuracy',
)

for s, tr, va in zip(sizes, tr_scores.mean(axis=1), va_scores.mean(axis=1)):
    print(f'size={int(s)}: train={tr:.3f}, val={va:.3f}, gap={tr-va:.3f}')

📤 実行例:

💬 結果の読み方：訓練サイズ 12→31 件では val 精度が 0.722 → 0.744 とわずかに上下するだけで、 ギャップも 0.278 → 0.256 とほとんど縮まりません。 47 件しかないので、学習曲線がまだ立ち上がってすらいない状態です。 この形からは「あと何件集めれば足りるか」を読み取れません。 学習曲線が 収束していれば「これ以上集めても無駄」、 収束していなければ「集める価値あり」 という判断に直結。

📊 train/val/test の役割 早見表

🧮 SSDSE-B-2026 実値計算 ⑥：adversarial validation

「train と test の分布が違うか」を機械学習で検出する手法 = adversarial validation。 train を 0、 test を 1 とラベル付けして二値分類モデルを作り、 AUC が 0.5 に近ければ「同じ分布」と判断します。

🐍 Python 実装（コード ⑥）

🎯 このコードでやること：年代で分けた train と test を分類モデルに当て、 AUC で識別容易性を測る。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
# SSDSE は新しい年度が先に並ぶので、cumcount ではなく年度の値そのもので分ける
df['is_test'] = (df['SSDSE-B-2026'] >= 2021).astype(int)  # 後 3 年（2021〜2023 年度）が test

features = ['A1101', 'A4101', 'A4103', 'B4101', 'F3101']
auc = cross_val_score(
    RandomForestClassifier(n_estimators=100, random_state=42),
    df[features].fillna(0), df['is_test'],
    cv=5, scoring='roc_auc',
).mean()
print(f'Adversarial AUC: {auc:.3f}')
print(f'判定: {"分布シフト大" if auc > 0.7 else "分布同一"}')

📤 実行例:

💬 結果の読み方：AUC 0.822 → 5 つの特徴量だけで「2021〜2023 年度の行か、それ以前か」を 8 割以上の確度で見分けられる ≒ 分布が大きく違う。 KS 検定で最もずれていた合計特殊出生率や新規求職申込件数が年度を追って単調に動くので、 分類器にとって年代の手がかりになる。 この状態でテスト評価をすると、 本番運用時の精度を大きく見誤る 可能性が高い。 対策: domain adaptation、 ドメイン適応学習、 再標準化、 covariate shift correction (重み付け)。