🔖 キーワード索引

本ページは テストデータ（Test Data）を 12 のセクションで多角的に解説します。 上のチップは検索・関連語の手がかりです。 以下のリンクで各セクションに直接ジャンプできます：

🎨 直感で掴む

機械学習は「データから規則を学ぶ」アプローチ。 ルールベース（明示的に書く）に対し、 データから自動でパターンを獲得する点が特徴です。

本ページでは テストデータ を、 定義・前提条件・使い方・落とし穴の順に整理して解説します。 厳密な定義より、 まず何を、 いつ、 どう使うかを理解することを優先してください。

🎨 直感で掴む — 具体例で理解する

テストデータは「本番初日のお客さん」を想定した未知データ。 Train で学び、 Val でハイパラを選び、 そして本番直前に 1 度だけ Test で性能を確認する。 ここで満足のいくスコアが出れば本番投入、 ダメなら再設計。 「Test を改善する」という発想自体が罠で、 改善するなら必ず別データを切り出して試す。

🎨 業界別 テストデータ設計の実例

🎨 業界別 テストデータ設計の実例

🎮 触って理解する

テストデータの本質は 「学習に一切使わず封印し、 最後に 1 度だけ開封する」 ことです。 下の 2 つの図を スライダーやタッチで操作して、 (1) 訓練データとテストデータの分割・封印、 (2) テストを何度も見ると評価が楽観的に歪む（リーク）様子を体感してください。 データ規模は SSDSE-B-2026（2023 年・47 都道府県）の 47 サンプルを想定しています。

① 訓練 / テストの分割と「封印」

47 都道府県を 訓練用（学習に使う）と テスト用（🔒 封印して最後まで開けない）に分けます。 テスト割合を動かすと、 封印されるマス（🔒）が増減します。 封印マスは学習に一切触れません。

② 「テストを見る回数」とリーク（楽観バイアス）

テストデータで 何度もモデルを調整（見る）と、 偶然テストに都合の良いモデルを選んでしまい、 報告されるテスト誤差だけが下がっていきます。 一方 真の汎化誤差は変わりません。 見る回数を増やすと、 報告値と真値の 乖離＝リーク が広がるのを確認してください。 図を タッチ / ドラッグしても回数を変えられます。

計算：候補モデルの真の誤差を $p_0=0.20$（＝正解率 80%）に固定。 有限テスト（$n_{\text{test}}$ 件）での誤差推定は標準偏差 $\sigma=\sqrt{p_0(1-p_0)/n_{\text{test}}}$ のばらつきを持つ。 $k$ 回テストを見て最良（最小誤差）を選ぶと、 報告値の期待値は $E[\hat p]=p_0-\sigma\,a_k$（$a_k=E[k$ 個の標準正規の最大値$]$、 数値積分で厳密計算）だけ系統的に下振れ（楽観化）する。 真値 $p_0$ は不変なので差 $\sigma\,a_k$ が「リーク量」。 $k=1$ では $a_1=0$ ⇒ 乖離ゼロ＝不偏推定。 テストが小さい（$n_{\text{test}}$ 小）ほど $\sigma$ が大きく、 少ない開封で急速に楽観化する。

📖 もっと深く

直感： テストデータは「本番前に 1 度だけ開封する封筒」。 中身を覗くたびに封筒の価値は減り、 最終評価がおもてより甘くなります。 だからこそ最後まで封印し、 提出直前に 1 回だけ開けるのが鉄則です。

よくある落とし穴： テストで繰り返し評価してモデルや前処理を選ぶと、 テストへの過適合（過学習）と データリーク が生じ、 テスト誤差が楽観的に見えます。 「テストスコアを改善する」発想自体が罠で、 調整は必ず別データで行います。

発展： 調整用には 検証データ（Validation） を分離し、 ホールドアウト法 や 交差検証 を使ってテストを温存します。 これにより 汎化性能 の推定を、 訓練データ とテストデータのどちらも汚さずに得られます。 体系的な位置づけは 機械学習の基礎 を参照。

📐 定義

最終評価に使うデータ

英語名 Test Data。

🎯 いつ・どこで使うか

• 「ML基礎」分野の標準的な道具として、 多くの分析で登場します。
• 📚 機械学習の基礎 を学ぶときに必ず通過する基本概念です。
• 論文・実務レポートで頻出する用語なので、 1 度はちゃんと理解しておくと後が楽です。

📋 前提条件・適用範囲

この用語を理解・使用するときは、 次のような前提を意識してください：

• データの性質：尺度（名義/順序/間隔/比例）と分布を確認
• サンプル数：手法によって最低限のサンプル数が異なります
• 独立性：観測が独立であるかを確認（時系列・パネル等では別の手法が必要）
• 欠損・外れ値：前処理の方針を明確に

📐 数式・定義

テストデータを数式 / 形式定義で表す：

テストスコアは本番分布 $P_{\text{prod}}$ からの抽出に対する期待性能の推定値。 真の汎化誤差の不偏推定とみなせる。

🔬 数式を言葉で読み解く

上の数式に出てきた記号を 1 つずつ解説します。 数式が出てくる試験問題（統計検定・G 検定・基本情報）では、 各記号の意味を答えられるかが分岐点：

🔬 発展トピック

「テストデータ」を入門レベルで習得した次に進むべき発展テーマ：

① 理論的拡張

基本概念を 確率論・情報理論・最適化理論の観点で再定式化すると、 隣接する手法との理論的な関係が見えてきます。 たとえば 正則化は事前分布の最大事後推定と等価、 クロスエントロピー損失は KL ダイバージェンスを最小化、 といった対応関係を押さえると教科書間の往復が楽になります。

② 実装的拡張

scikit-learn 標準実装の外側に出ると、 GPU 対応・分散学習・低精度浮動小数点（fp16/bf16）・量子化（int8）・グラフ最適化（TorchScript・ONNX Runtime）など、 推論性能を 10–100 倍引き上げるテクニックが豊富にあります。 本番運用では モデル精度と推論コストのトレードオフを意識した実装が鍵。

③ 評価・解釈の拡張

予測精度だけでなく SHAP・LIME・Permutation Importance によるモデル解釈、 Calibration（確率の校正）、 Counterfactual Explanation、 Fairness 指標（demographic parity, equalized odds 等）を組合せると、 業務応用での説得力が一段増します。

④ 業界応用

医療（薬機法・GxP）・金融（モデル管理ガイドライン）・公共（個人情報保護法）など、 業界固有の規制・ガイドラインを モデル設計段階から埋め込むのが現代のスタンダード。 「テストデータ」を業務適用するときは、 ドメインの専門家・法務との早期コラボレーションが成否を分けます。

🔬 数式を言葉で読み解く（拡張版・「テストデータ」の本質）

テストデータは 「モデルが訓練中に一度も見ていない」という条件付きの保留データ で、 汎化性能の不偏推定 を得るための唯一の手段です。 「テストデータをハイパラ調整に使う＝バリデーションへ降格」「複数回テストして最良を選ぶ＝p ハッキング」など、 一度ルールを破ると テストデータの価値が永久に失われる 厳格さがあります。

📐 分割戦略の数理

📊 分割戦略 比較表

🔬 数式を言葉で読み解く（テストデータ）

1. データ分割の根本思想：なぜ「分けて評価する」のか

機械学習モデルは、与えられた訓練データから「パターン」を学習する。しかし学習したパターンが本当に有効かどうかは、訓練時には絶対に見せていない別のデータで試して初めて分かる。これが「テストデータ」の存在意義である。模試で 100 点を取った受験生が、本試験でも 100 点を取れるとは限らない。模試の問題を丸暗記してしまえば模試の点数だけは伸びるが、本試験の問題は別物なので得点が下がる。これと同じ現象が機械学習でも起きる。これを「過学習（overfitting）」と呼び、過学習を検出するための唯一の手段がテストデータでの評価である。SSDSE-B-2026 の 47 都道府県データを使って、人口を予測するモデルを作る場面を考えてみよう。47 県全部で学習し、47 県全部で評価すれば、当然ほぼ完璧な精度が出る。だがそのモデルが「未知の県」（例えば架空の 48 番目の県）で機能する保証はどこにもない。だからこそ、最初から 47 県のうち例えば 9 県（約 20%）を「テスト用」として隔離しておき、残り 38 県だけで学習し、最後に 9 県で評価する必要がある。この 9 県でも高精度が出れば、モデルは「未知の県でも機能する」と推定できる。

2. Train/Val/Test の三分割が標準である理由

実務では単純な Train/Test の二分割ではなく、Train（訓練）/ Validation（検証）/ Test（テスト）の三分割が標準である。理由はハイパーパラメータ調整にある。決定木の深さ、ランダムフォレストの木の本数、ニューラルネットの学習率など、モデル構造を決める「設定値」は無数にある。これらを Test データで最適化してしまうと、Test データに合わせ込んだ「Test 過学習」が起きる。だから Validation データを別に用意し、ハイパーパラメータは Validation で最適化し、Test は本当に最後の最後（モデル提出直前）に 1 回だけ評価する。SSDSE-B-2026 の 47 県を例に取れば、Train 28 県（60%）、Val 9 県（20%）、Test 10 県（20%）のような分割が典型的である。Train で学習、Val で「木の深さは 5 がいいか 7 がいいか」を試行錯誤、Test で最終確認、という流れになる。Val でも Test でも 80% 精度が出れば、その値は信頼できる「未来予測の期待値」である。

3. Hold-out 法の長所と短所

Hold-out 法は最もシンプルな分割方法で、データを一度だけ Train/Test に分け、それで評価する。47 県を 38 県（Train）+ 9 県（Test）に分ければそれで終わりである。実装が簡単で計算量も少ないため、データが大量にある場合（例：10 万行以上）に有効である。ただし短所もある。それは「偶然の偏り」に弱いことだ。9 県をテスト用に抜く時、たまたま大都市圏ばかりが選ばれれば、地方の精度は分からない。逆に過疎県ばかり選ばれれば、人口予測モデルの「大都市での精度」が見えない。データが少ない（例：47 県のみ）場合、たった一度の分割では運の要素が大きすぎる。そこで次に紹介する Cross Validation（交差検証）が必要になる。

4. K-Fold Cross Validation の仕組み

K-Fold Cross Validation（K 分割交差検証）は、データを K 等分し、K 回の学習・評価を繰り返して平均を取る手法である。47 県を K=5 で分割するなら、各 fold は約 9-10 県となる。1 回目：fold1 を Test、fold2-5 を Train。2 回目：fold2 を Test、それ以外を Train。…と 5 回繰り返す。各回の精度を平均すれば、たった一度の分割による運の要素が消え、より信頼性の高い評価が得られる。さらに、47 県全部が一度は Test に使われるので「全データを評価に活用する」点でもデータ少数時に有利である。コストは「5 回学習する」ことだが、SSDSE 規模なら数秒で終わる。実務で K=5 または K=10 が最も使われる。K=5 は分散と計算量のバランスが良く、K=10 はより精密だが計算が 2 倍かかる。

5. Leave-One-Out 法（LOOCV）の極端なケース

K-Fold の極端形が Leave-One-Out（一個抜き法）である。47 県のうち 1 県を Test に、残り 46 県を Train にする。これを 47 回繰り返す。データの「ほぼ全て」を訓練に使えるので、データ少数時の最終手段として有効である。ただし計算コストは K=47 倍に跳ね上がる。また各 Test サンプルが 1 件なので、評価値の分散が大きく、必ずしも安定するとは限らない。SSDSE-B-2026 のような 47 件のデータでも、シンプルなモデル（線形回帰など）なら LOOCV は実行可能であり、教育用途では「すべての県が等しく評価される」点で公平性が高い。一方、ランダムフォレストや勾配ブースティング等の重いモデルでは LOOCV は非推奨である。

6. Stratified Sampling（層化抽出）の必要性

分類タスクで、特にクラス不均衡があるとき、ランダム分割だけでは偏りが生じる。例えば「都道府県を高齢化率の高い県（30%以上）と低い県（30%未満）に二分類する」タスクで、47 県中 35 県が高齢化率 30% 以上だとする。ランダムに 9 県を Test に選ぶと、運悪く 9 県全部が高齢化県になる確率もゼロではない。これでは低齢化県の精度が測れない。Stratified Sampling は、クラスの比率を保ったまま分割する手法である。35:12 の比率なら、Train でも Test でもこの比率を維持する。`sklearn.model_selection.train_test_split` の `stratify=y` 引数で簡単に実装できる。SSDSE-B-2026 では、地方（北海道・東北・関東・…）でも層化できる。これにより「全地方が Train にも Test にも含まれる」状態を確保し、評価の偏りを最小化できる。

7. 時系列データでの分割は時間順厳守

時系列データでは絶対にランダム分割してはいけない。SSDSE-B-2026 の人口は 2026 年時点だが、もし「2020-2025 年の人口データから 2026 年の人口を予測する」モデルを作るなら、Train を 2020-2024 年、Test を 2025-2026 年と「時間順に分割」する必要がある。ランダム分割すると、Train に 2025 年が含まれて Test に 2023 年が来る、というような時間逆転が起きる。これは「未来を見て過去を予測する」というカンニング状態であり、テスト精度が不当に高く出る。実運用では「過去のデータから未来を予測する」のだから、Train が古く Test が新しい時間順を厳守する。さらに高度な手法として TimeSeriesSplit（時系列交差検証）がある。これは「Train 期間を徐々に拡張しながら何度も評価する」方法で、Walk-Forward Validation とも呼ばれる。実務の時系列予測（株価、需要予測、災害予測）では必須技術である。

8. データリーケージ（leakage）の検出と防止

データリーケージとは、Test データの情報が Train に「漏れている」状態である。これが起きるとテスト精度が異常に高く出るが、実運用では機能しない。典型的なリーケージは「前処理を Train+Test 合わせて行うこと」だ。例えば標準化（z-score）を計算する時、Train+Test 全体の平均と標準偏差を使ってはいけない。Test の情報が Train の前処理に混入する。正しくは「Train だけで平均・標準偏差を計算し、その値を Test にも適用する」。sklearn の `Pipeline` を使うとリーケージを自動防止できるので推奨される。SSDSE-B-2026 で「消費支出を総人口で割って 1 人当たり消費支出を計算する」場合も、Train データの 1 人当たり消費支出の分布を使って前処理する必要がある。Test の平均値を含めてはならない。リーケージは検出が難しく、「Val 精度 95%、本番 60%」のような乖離で初めて気づくことが多い。だから事前の Pipeline 設計が極めて重要である。

9. 分布チェック：Train と Test が同じ分布か

Train と Test の分布が大きく違うと、テスト評価は信頼できない。例えば Train に小県（人口 100 万未満）ばかり、Test に大都市県（人口 500 万以上）ばかり含まれていれば、モデルは大都市県の挙動を学習していないため Test 精度は低くなる。だが「モデルが悪い」のではなく「分布がズレている」のである。これを Distribution Shift（分布シフト）と呼ぶ。SSDSE-B-2026 を分割した後、Train と Test の各変数の平均・分散・最小・最大を比較するのが基本である。ヒストグラムを重ねて目視確認するのも有効だ。もし大きなズレがあれば、Stratified Sampling を再適用するか、データの再分割が必要である。Kolmogorov-Smirnov 検定や Anderson-Darling 検定で統計的に分布の差を検証することもできる。実務では「定期的に新しいデータが入ってきた時、最初に分布が変わっていないか確認する」プロセスが運用上不可欠である。

10. ホールドアウトの黄金比：60-20-20 vs 80-20

分割比率に絶対的な正解はないが、データ量によって推奨が変わる。データが少ない（1000 件未満）なら、Train を確保するため 80-20 や CV を使う。データが中程度（数千件〜数万件）なら 60-20-20（Train/Val/Test）が標準である。データが大量（100 万件以上）なら、Train 98%、Val 1%、Test 1% でも十分なテスト精度が得られる。SSDSE-B-2026 は 47 件と非常に少ないので、Hold-out よりも K-Fold CV や LOOCV が現実的選択肢になる。逆に画像認識データセット ImageNet（120 万枚）では 80-10-10 でも十分以上である。実務では「Test に最低 1000 件は確保する」が経験則であり、それを満たすデータ量から逆算して分割比率を決める。

11. テストデータの「使用は 1 回だけ」原則

テストデータは「最終確認」専用であり、複数回使って結果に応じてモデルを調整してはいけない。複数回使うと、Test データに無意識に最適化してしまい、未知データへの汎化性能が下がる。これを「Test set contamination（テストセット汚染）」と呼ぶ。実務での運用：(1) Train で学習、(2) Val でハイパーパラメータ調整、(3) モデル決定後 Test で 1 回だけ評価、(4) この Test 精度を本番期待値として報告。もし Test 精度が低く「もう一度モデルを改良したい」場合、改良後のモデルを Test で再評価してはいけない。新しい Test データを別に確保する、または別の Val 分割で評価する必要がある。Kaggle 等の機械学習コンペティションが Public Test と Private Test に分けるのも、Test 汚染を防ぐ仕組みである。

12. 業務適用での重要な注意点

業務システムに機械学習モデルを実装する場合、テストデータの設計は「本番環境の予測対象」と一致させる必要がある。例えば「全国の市町村の人口を予測する」モデルなら、Test も全国市町村から抽出する。「東京都内の店舗売上を予測する」モデルなら、Test も東京都内店舗である。本番で予測する対象と Test の対象がズレていれば、Test 精度は意味を持たない。さらに、業務適用では「時間が経つにつれてデータの分布が変わる」のが当然である。コロナ前のデータで学習したモデルがコロナ後で機能しないのは典型例である。だから本番運用では定期的に「最新データでの再評価」が必要であり、これを Model Drift Detection と呼ぶ。一般的には月次・四半期ごとに Test 精度を再測定し、閾値を下回ったら再学習をトリガーする運用が標準である。SSDSE-B-2026 のような国勢調査ベースのデータも、5 年ごとに更新されるので、それに合わせたモデル更新計画が必要である。

13. テストデータが少ない場合の救済策

テストデータが少なすぎる（例：10 件以下）場合、評価値の信頼区間が広すぎて結論が出せない。救済策は (1) ブートストラップ法による信頼区間推定、(2) ベイズ的アプローチによる事前分布の活用、(3) 専門家による定性評価の併用、などがある。ブートストラップ法は Test データから復元抽出を 1000 回行い、各回で精度を計算して 95% 信頼区間を出す手法である。これにより「Test 精度 0.85、95% CI [0.78, 0.92]」のような表現が可能になり、評価の不確実性を明示できる。SSDSE-B-2026 の 47 件を全部 LOOCV で評価しても、各回の Test は 1 件なので、ブートストラップで信頼区間を出す価値がある。

✅ 理解度チェック

1. Q1: Hold-out 法と K-Fold CV のどちらが小規模データ（47 件）に向くか、理由とともに答えよ。
   A: K-Fold CV。Hold-out は 1 回の分割の偶然に左右されるが、K-Fold は K 回の評価平均で安定する。47 件全てを評価に活用できる利点も大きい。
2. Q2: 時系列データをランダム分割するとなぜ「リーケージ」が起きるか説明せよ。
   A: ランダム分割では「未来」のデータが Train に含まれ「過去」のデータが Test になる時間逆転が起きる。これは「未来を見て過去を予測する」カンニング状態であり、Test 精度が不当に高く出るが本番では機能しない。
3. Q3: Train+Test 全体で標準化（z-score 変換）するのがなぜリーケージか。正しい手順を述べよ。
   A: Test データの平均・標準偏差が Train 前処理に混入し「Test の情報を見て前処理パラメータを決めている」ことになる。正しくは Train だけで平均・標準偏差を計算し、その値を Test にも適用する（sklearn Pipeline で自動化推奨）。

🧪 Test データの「触れない原則」をデータサイエンス現場でどう守るか

テストデータの最大の倫理的義務は「モデル学習の意思決定に一切触れさせない」ことである。「触れる」とは Train で fit するだけではなく、ハイパーパラメータ探索で参照する、特徴量選択の良し悪し判定に使う、欠損補完の統計量を計算する、標準化の平均・分散を取る、外れ値検出の閾値を決める—これら全ての「データを見る行為」を指す。SSDSE-B-2026 の 47 都道府県を Train 38 / Test 9 に分割した時、Test 9 件の「総人口」「出生数」「消費支出」を print() しただけで、人間の頭脳に Test の分布が刻まれ、その後のモデル選択が無意識に Test に有利な方向へ偏る—これを「人間によるデータリーケージ」と呼び、再現性危機の原因の一つに挙げられる。

触れた瞬間にリーケージが起きる 8 つの典型操作

「触れずに評価する」を実現する 3 つの実装パターン

このコードでやること：SSDSE-B-2026 の 47 都道府県を Train/Test に分け、Pipeline + cross_val_score で「触れない原則」を守った消費支出予測を行う。

📥 入力データ (SSDSE-B-2026 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
X = df[['総人口', '出生数', '婚姻件数']].values
y = df['消費支出（二人以上の世帯）'].values

# Step 1: 触れる前に分割する（最重要）
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=42)

# Step 2: Pipeline で前処理を Train のみに閉じ込める
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('ridge', Ridge(alpha=1.0)),
])

# Step 3: Train 内の CV でハイパラ・モデル選択（Test は触らない）
cv_score = cross_val_score(pipe, X_tr, y_tr, cv=5, scoring='r2').mean()
print(f'Train CV R² = {cv_score:.3f}')

# Step 4: 一度だけ Test で最終評価
pipe.fit(X_tr, y_tr)
test_r2 = pipe.score(X_te, y_te)
print(f'Test R² = {test_r2:.3f}（この値を見た後の再調整は禁止）')

📤 実行すると次の出力が得られる:

💬 Train CV 0.069 → Test 0.153 と、 Test のほうが高く出た。 「Test は Train より低くなるはず」という思い込みは正しくない。 この 3 特徴量（総人口・出生数・婚姻件数）では消費支出はほとんど説明できず、 どちらの値も 0 に近いところで揺れているだけである。 Test は 113 件しかないので、 このくらいの差は偶然で簡単に出る。 だからこそ「Test 0.153 を見てから Ridge の alpha を 1.0 → 0.5 に変える」を絶対にしてはいけない。 それを許すと Test は実質的に第二の Validation になり、 未知データ性能の保証を失う。 そして偶然高く出た値を「改善した」と誤認することになる。

Test 触れた回数の管理：Goodhart の法則を回避する

📊 Test データ評価指標と「サンプルサイズの呪い」

SSDSE-B-2026 の 47 県を 80:20 で分割すると Test は わずか 9 県。この少なさは「Test 指標の信頼区間が大きく、決定的な結論を出しにくい」ことを意味する。例えば回帰の R² が 0.92 と出ても、Test を別の 9 県に取り直せば 0.78 や 0.96 に振れることは普通。教育目的なら点推定でも十分だが、ビジネス意思決定や論文投稿では「Test 性能の信頼区間」「ブートストラップ標準誤差」「複数 Test 分割の中央値」を併記すべきである。

Test サンプルサイズ別の信頼度目安

Bootstrap で Test 性能の信頼区間を出す

このコードでやること：47 県 SSDSE-B-2026 で Test R² の 95% Bootstrap 信頼区間を計算し、「点推定 0.92」の不確実性を可視化する。

📥 入力データ: 上記 Pipeline で fit 済 pipe と X_te, y_te（9 件）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import numpy as np
from sklearn.metrics import r2_score

rng = np.random.default_rng(42)
n_boot = 1000
boot_r2 = []
y_pred = pipe.predict(X_te)
for _ in range(n_boot):
    idx = rng.integers(0, len(X_te), len(X_te))
    boot_r2.append(r2_score(y_te[idx], y_pred[idx]))

ci_low, ci_high = np.percentile(boot_r2, [2.5, 97.5])
print(f'Test R² 点推定 = {r2_score(y_te, y_pred):.3f}')
print(f'95% Bootstrap CI = [{ci_low:.3f}, {ci_high:.3f}]')
print(f'CI 幅 = {ci_high - ci_low:.3f}（広いほど Test n 不足）')

📤 実行すると次の出力が得られる:

💬 点推定 0.921 だけ見ると「素晴らしいモデル」に見えるが、95%CI は [0.751, 0.989] と非常に広い。「0.92 だから 0.85 のベンチマークモデルより優れる」とは断言できない—Test n=9 では CI が重なる可能性が高い。報告時は必ず CI を併記し、「サンプル不足」を隠さない。

マルチタスク評価の落とし穴

1 つの Test セットで「Accuracy」「F1」「AUC」「Calibration」「Fairness 指標」を全て計算すると、複数指標の多重比較問題が発生する。例えば 5 指標を独立に評価すると、α=0.05 でも 1 - 0.95^5 ≈ 22.6% の確率で「どれか 1 つは偶然有意になる」。これを利用して「最も良かった指標だけを論文で報告」する Cherry Picking は学術不正に該当する。Bonferroni 補正、事前登録、複数 Test 分割の中央値報告で防ぐべきである。

🚨 本番運用での Test データの「再構築」と Drift 監視

論文や Kaggle で完結する世界では「Test は固定」が常識だが、実運用では「時間が経つにつれて Test は古くなる」。SSDSE-B-2026 で 2024 年データで Test したモデルを 2026 年の消費支出予測に使うと、コロナ後のインバウンド回復、半導体投資、人口減少加速など「2024 年 Test には含まれなかった構造変化」が予測精度を蝕む。Production MLOps では「定期的に新しい Test セットを再構築 → モデルの汎化性能を再評価 → 必要なら再学習」のサイクル（Retraining Loop）が必須となる。

Production における Test 関連の 5 つの監視項目

Drift 検出と「Test 再構築」のコード例

このコードでやること：SSDSE-B 2024 と 2026 で Population Stability Index (PSI) を計算し、Test データの再構築が必要か判定する。

📥 入力データ: 2 年分の SSDSE-B 都道府県人口（参考 reference / 監視対象 current）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import numpy as np
import pandas as pd

def psi(reference, current, n_bins=10):
    """Population Stability Index を計算"""
    breakpoints = np.percentile(reference, np.linspace(0, 100, n_bins + 1))
    breakpoints[0] -= 1e-6; breakpoints[-1] += 1e-6
    ref_dist, _ = np.histogram(reference, bins=breakpoints)
    cur_dist, _ = np.histogram(current, bins=breakpoints)
    ref_pct = ref_dist / ref_dist.sum() + 1e-6
    cur_pct = cur_dist / cur_dist.sum() + 1e-6
    return np.sum((cur_pct - ref_pct) * np.log(cur_pct / ref_pct))

df_2024 = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df_2026 = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)

psi_pop = psi(df_2024['総人口'].values, df_2026['総人口'].values)
print(f'PSI (総人口 2024→2026) = {psi_pop:.4f}')
if psi_pop < 0.10:
    print('→ 安定（Test 再構築不要）')
elif psi_pop < 0.25:
    print('→ 中程度 drift（要観察、追加 Test 推奨）')
else:
    print('→ 大きな drift（Test 再構築必須、再学習推奨）')

📤 実行すると次の出力が得られる:

💬 都道府県人口は 2 年では大きく変わらないため PSI は 0.02 と安定。一方、「インバウンド観光客数」「半導体輸出額」などボラティリティの高い指標では PSI が 0.3 を超えることもあり、その場合は古い Test での精度が信用できなくなる—Test の再構築と再学習が必要。

Holdout Test の鮮度管理ベストプラクティス

• Rolling Test：3 ヶ月ごとに最新データから新規 Test を切り出し、過去 Test は「歴史的ベンチマーク」として保管
• Frozen Test + Living Test：論文用に固定 Test を保ちつつ、本番用に毎月更新する Living Test を併設
• Replay Test：本番ログから「予測時点で利用可能だった特徴量のみ」を再構築し、リアルな運用条件で Test
• Adversarial Test：エッジケース（人口減少最大県、突発災害県、政令市と山間部の混在）を意図的に集めた Test
• Counterfactual Test：政策介入の有無で結果を比較できる Test（DID 用、因果推論用）
• Pre-registered Test：実験開始前に Test 分割と評価指標を OSF 等に登録し、Cherry Picking を制度的に排除

理解度チェック（運用編）

1. Q1: 2024 年 Test で R² 0.95 を達成したモデルが 2026 年本番で R² 0.72 まで低下。考えられる原因 3 つを挙げよ。
   A: ① Concept Drift（変数間の関係性自体が変化、例: コロナ後の経済構造変化）、② Covariate Shift（入力分布が変化、例: 人口減少進行）、③ Label Drift（目的変数の意味が変化、例: 消費支出の集計方法改定）。PSI 監視と定期再学習で対策する。
2. Q2: Test 性能が「Public LB 0.85, Private LB 0.62」と乖離した。原因と対策は？
   A: Public LB に過適合し汎化を失った状態。Kaggle 提出回数を制限する（self-imposed）、CV スコアを最重視、複数モデルの ensemble で Public LB チューニング依存を下げる、最終提出は CV ベストと Public LB ベストの 2 種類用意。
3. Q3: Pre-registered Test の意義を 80 文字以内で説明せよ。
   A: 評価指標と Test 分割を実験前に公的に固定することで、結果を見てから「都合の良い指標」を選ぶ Cherry Picking と HARKing を防ぎ、科学的再現性を担保する制度。

🧮 SSDSE-B 実値計算 — 都道府県データで手を動かす

SSDSE-B-2026 の 47 都道府県を Train 30 / Val 7 / Test 10 に分割し、 「総人口 → 出生数」モデルの最終評価を実演する。

使用データ：SSDSE-B-2026.csv（独立行政法人 統計センター提供、 47 都道府県 × 100 超の社会経済指標）。 出典

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={df.columns[2]: 'pref'})

X = df[['A1101', 'A1303']].values
y = df['A4101'].values

# Train+Val / Test = 37/10
X_tv, X_te, y_tv, y_te = train_test_split(X, y, test_size=10, random_state=42)
# Train / Val = 30/7
X_tr, X_va, y_tr, y_va = train_test_split(X_tv, y_tv, test_size=7, random_state=42)

m = LinearRegression().fit(X_tr, y_tr)
print(f'Train R² = {r2_score(y_tr, m.predict(X_tr)):.3f}')
print(f'Val   R² = {r2_score(y_va, m.predict(X_va)):.3f}')
print(f'Test  R² = {r2_score(y_te, m.predict(X_te)):.3f}  ← 最終評価')

▲ 上記コードはそのまま実行可能。 CP932 エンコーディング・skiprows=[1]（2 行目の日本語ラベル行をスキップ）・列名の英数字コード（A1101 = 総人口 など）に注意。

🧮 SSDSE-B-2026 実値計算 ①：60/20/20 分割で訓練/検証/テスト

47 都道府県 × 12 年（合計 564 行）を 60/20/20 で分割し、 高齢化階層を予測するモデルの訓練 / 検証 / テスト精度を測定します。 テスト精度が訓練精度より大幅に低ければ過学習 です。

🐍 Python 実装（コード ①）

🎯 このコードでやること：sklearn の train_test_split を二段階で呼び、 60/20/20 の三分割を作る。 各データ集合のサイズと精度を確認。

📥 入力データ:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df['aging'] = df['A1303'] / df['A1101']
y = pd.qcut(df['aging'], 3, labels=[0, 1, 2]).astype(int)
features = ['A1101', 'A4101', 'A4103', 'B4101', 'B4102']
X = df[features].fillna(0)

# 2 段階で 60/20/20 分割
X_tv, X_te, y_tv, y_te = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)
X_tr, X_va, y_tr, y_va = train_test_split(X_tv, y_tv, test_size=0.25, random_state=42, stratify=y_tv)  # 0.25 of 0.8 = 0.2

print(f'Train: {len(X_tr)}, Val: {len(X_va)}, Test: {len(X_te)}')

model = RandomForestClassifier(n_estimators=100, random_state=42).fit(X_tr, y_tr)
print(f'Train acc: {accuracy_score(y_tr, model.predict(X_tr)):.3f}')
print(f'Val   acc: {accuracy_score(y_va, model.predict(X_va)):.3f}')
print(f'Test  acc: {accuracy_score(y_te, model.predict(X_te)):.3f}')

📤 実行例:

💬 結果の読み方：訓練精度 1.000、 検証 0.735、 テスト 0.735。 訓練のみ完全一致なのは Random Forest が深く木を伸ばして訓練データを暗記しているため。 検証とテストがほぼ同じ（差 0.000）→ 過学習はあるが汎化はできている。 検証で「真の本番」を予測する手段としては妥当。

🧮 SSDSE-B-2026 実値計算 ②：GroupKFold で都道府県リーク防止

SSDSE-B は 47 県 × 12 年のパネルデータ。 単純な train_test_split だと 「東京 2015 年が train、 東京 2020 年が test」のような同一県の重複 が起こり、 リークが発生します。 GroupKFold で都道府県をグループ単位として分割するのが正解。

🐍 Python 実装（コード ②）

🎯 このコードでやること：都道府県をグループとして GroupKFold を構築。 「ある県のデータがすべて train か test のどちらか」になることを確認。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

from sklearn.model_selection import GroupKFold, cross_val_score
from sklearn.ensemble import RandomForestClassifier

groups = df['Prefecture']
gkf = GroupKFold(n_splits=5)

# 各 fold で train / test に出現する県を確認
for i, (tr, te) in enumerate(gkf.split(X, y, groups)):
    tr_pref = set(groups.iloc[tr])
    te_pref = set(groups.iloc[te])
    overlap = tr_pref & te_pref
    print(f'Fold {i}: tr={len(tr_pref)} 県, te={len(te_pref)} 県, overlap={len(overlap)}')

model = RandomForestClassifier(n_estimators=100, random_state=42)
scores = cross_val_score(model, X, y, groups=groups, cv=gkf, scoring='accuracy')
print(f'GroupKFold CV acc: {scores.mean():.3f} ± {scores.std():.3f}')

📤 実行例:

💬 結果の読み方：すべての fold で overlap=0（県の重複なし）。 通常のランダム分割だと 0.74 出ていたのに GroupKFold では 0.58 へ大きく下落。 これが 「データリークによる精度の水増し」 の正体です。 本番運用では未知の県を予測することになるので、 0.58 の方が現実的な見込み値。

🧮 SSDSE-B-2026 実値計算 ③：時系列 split（TimeSeriesSplit）

時系列データでは 「未来を train、 過去を test」は厳禁。 必ず時間軸を守って分割します。 sklearn の TimeSeriesSplit は累積的な訓練データで前向き検証 (forward validation) を行います。

🐍 Python 実装（コード ③）

🎯 このコードでやること：47 県の人口時系列を年でグループ化し、 過去年で学習 → 翌年予測の評価サイクルを 5 回繰り返す。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

from sklearn.model_selection import TimeSeriesSplit
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error
import numpy as np

# 東京の年次人口 (A1101) で時系列 split
tokyo = df[df['Prefecture'] == '東京都'][['A1101', 'A4101', 'A4103']].reset_index(drop=True)
X = tokyo[['A4101', 'A4103']].values
y = tokyo['A1101'].values

tss = TimeSeriesSplit(n_splits=5)
for i, (tr, te) in enumerate(tss.split(X)):
    m = LinearRegression().fit(X[tr], y[tr])
    pred = m.predict(X[te])
    mae = mean_absolute_error(y[te], pred)
    print(f'Fold {i}: train idx {tr.min()}-{tr.max()}, test idx {te.min()}-{te.max()}, MAE={mae:.0f} 人')

📤 実行例:

💬 結果の読み方：train データが累積されるにつれて MAE が 単調減少（24580 → 10250 人）。 これは「過去の情報を多く蓄えるほど予測が安定する」自然な傾向。 時系列分割は 学習可能性の見極め に役立ちます。

⚠️ データリーケージ 10 パターン（最重要）

テストデータの価値を破壊する 「リーケージ (data leakage)」 の典型パターン：

1. 未来情報の混入：時系列で未来データを特徴量に含める。 → TimeSeriesSplit で防止
2. 標準化のリーク：StandardScaler.fit を全データで → train 内で fit、 test に transform のみ
3. 欠損値補完のリーク：全データの平均を使う → train 内の平均で test を埋める
4. target encoding リーク：target を使う特徴量を全データで作成 → CV 内で作る
5. 重複行：同一行 (ID 異なるが内容同一) が train と test に → drop_duplicates
6. グループリーク：同一ユーザーの異なる行が train と test に → GroupKFold
7. 外部 ID リーク：訓練で見た顧客 ID を特徴量に → ID は除外
8. 過去ラベル使用：将来予測なのに過去の正解ラベルを特徴量に
9. サンプリングバイアス：train は均等サンプリング、 test は偏ったサンプリング
10. テスト精度を見てモデル選択：テスト = 検証になり、 真のテスト精度を二度測れない

🗓 train/test split の歴史年表

📚 まとめカード — 30 秒で復習

• 定義: モデルが訓練中に見ていない、 汎化評価専用のデータ
• 標準分割: train 60% / val 20% / test 20%
• CV: K-Fold（5 or 10）、 Stratified（クラス不均衡）、 GroupKFold（グループ）、 TimeSeriesSplit（時系列）
• 本ページ実値: 564 行 60/20/20 で test 0.74、 GroupKFold で 0.58（リーク差 0.15）、 時系列 MAE 24580→10250 人 (Fold 0→4)
• 禁忌: テストで何度も評価して最良を選ぶ、 標準化 / 補完を全データで行う、 グループリーク、 時間軸無視
• 関連用語: 訓練データ, 検証データ, 交差検証, データリーケージ, 過学習

📝 試験・面接で頻出 Q&A 10 選

1. Q: 検証データとテストデータの違いは？ A: 検証はハイパラ調整用、 テストは最終評価用（1 度のみ使用）。
2. Q: K-Fold の K はいくつにすべき？ A: 5 or 10 が標準。 計算コストとの折衷。
3. Q: Stratified K-Fold を使うべき時は？ A: クラス不均衡な分類問題。
4. Q: GroupKFold が必要な状況は？ A: 同一ユーザー / 患者 / セッションが複数行ある場合。
5. Q: 時系列で K-Fold を使ってはいけない理由は？ A: 時間順序が崩れ未来情報がリークする。
6. Q: Nested CV は何のため？ A: ハイパラ最適化を外側 CV と分離し、 公正な評価を得る。
7. Q: テストデータをハイパラ調整に使うと何が起きる？ A: テストが実質「検証」になり、 真の汎化性能を測れなくなる。
8. Q: train/test split で必ず stratify を使うべき？ A: クラス不均衡な分類なら yes、 回帰や均衡ならoptional。
9. Q: テスト精度が訓練精度より高い場合の原因は？ A: ラベルリーク / 分布ズレ / サンプリングバイアス。
10. Q: 「テストはなぜ 1 度だけ」？ A: 何度も評価すると意図的・無意識的に最良を選び、 結果がテストに過学習する。

🐍 即使えるスニペット集

スニペット ①：シンプル 8:2 分割

🎯 やること：最小コードで train / test 分割。

1
2

from sklearn.model_selection import train_test_split
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.2, random_state=42)

📤 出力: 各 train/test の配列   💬 random_state 固定で再現性確保。

スニペット ②：Stratified 5-Fold CV

🎯 やること：クラス比率を保持したまま CV。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

# ── ここから下は「分類」の例です ──
# 直前までの y は東京の人口（連続値）なので、そのままでは分類できません。
# 47 都道府県を「消費支出が中央値より上か下か」の 2 クラスに分けて使います。
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

df_cls = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
df_cls = df_cls[df_cls['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)]
df_cls = df_cls[df_cls['年度'] == df_cls['年度'].max()]

X = df_cls[['総人口', '出生数', '婚姻件数']].astype(float).values
y = (df_cls['消費支出（二人以上の世帯）'].astype(float)
     > df_cls['消費支出（二人以上の世帯）'].astype(float).median()).astype(int).values
model = RandomForestClassifier(n_estimators=100, random_state=42)

print('クラスごとの件数:', pd.Series(y).value_counts().to_dict())

from sklearn.model_selection import StratifiedKFold, cross_val_score
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(model, X, y, cv=skf, scoring='accuracy')

📤 出力: array([0.92, 0.88, ...])   💬 5 fold すべてでクラス比率保持。

スニペット ③：Nested CV

🎯 やること：内側でハイパラ最適化、 外側で評価。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# ── この抜粋で使うデータを用意します ──
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
X = df[['A1101', 'A1303', 'L3221']].astype(float).values
y = df['A4101'].astype(float).values          # 出生数
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42)

from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV, cross_val_score

model = Ridge()
param_grid = {'alpha': [0.1, 1.0, 10.0]}
inner = GridSearchCV(model, param_grid, cv=5)
outer = cross_val_score(inner, X, y, cv=5)

📤 出力: 5 個の汎化精度   💬 計算は 25 fold 分。 公正性のコスト。

スニペット ④：時系列 split

🎯 やること：未来情報のリークを防ぐ。

1
2
3
4

from sklearn.model_selection import TimeSeriesSplit
tss = TimeSeriesSplit(n_splits=5)
for tr, te in tss.split(X):
    model.fit(X[tr], y[tr]); score = model.score(X[te], y[te])

📤 出力: 5 fold それぞれの score   💬 過去→未来の方向のみで評価。

✅ テスト設計 15 項目チェックリスト

1. train / val / test の分割比率を文書化したか
2. random_state を固定して再現性を担保したか
3. クラス不均衡なら stratify を指定したか
4. 時系列なら TimeSeriesSplit を使ったか
5. グループ構造（ユーザー / 患者）があれば GroupKFold を使ったか
6. 標準化 / 補完を fold 内で完結させたか（Pipeline）
7. target encoding を全データで作っていないか
8. 重複行を drop_duplicates したか
9. テストデータを 1 度しか評価していないか
10. テスト評価結果でモデル選択していないか
11. Nested CV を使ってハイパラ調整と評価を分離したか
12. 分布シフトがないか train/test の特徴量分布を比較したか
13. 欠損パターンが train/test で揃っているか
14. クラス分布が train/test/val で揃っているか
15. 本番データの想定と test の構造が一致しているか

🌐 関連用語マップ

🧮 SSDSE-B-2026 実値計算 ④：分布シフト検出（train vs test の Kolmogorov-Smirnov）

train と test で特徴量分布がずれていないか確認することは、 本番運用での精度低下防止 に必須です。 各特徴量について scipy.stats.ks_2samp で K-S 検定を実施。

🐍 Python 実装（コード ④）

🎯 このコードでやること：47 県を train (前 9 年) / test (後 3 年) に分けた場合、 各特徴量の分布が同一かを K-S 検定 (p > 0.05 なら同分布) で確認。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd
from scipy.stats import ks_2samp

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df['year_idx'] = df.groupby('Prefecture').cumcount()

train = df[df['year_idx'] < 9]
test = df[df['year_idx'] >= 9]

features = ['A1101', 'A4101', 'A4103', 'B4101', 'F3101']
for f in features:
    stat, p = ks_2samp(train[f].dropna(), test[f].dropna())
    flag = '!!!' if p < 0.05 else ''
    print(f'{f}: KS={stat:.3f}, p={p:.4f} {flag}')

📤 実行例:

💬 結果の読み方：A4101（出生数）・A4103（合計特殊出生率）・B4101（年平均気温）・F3101（新規求職申込件数）の 4 変数で分布シフトが検出 (p < 0.05)。 これは 少子化の進行など後期 3 年間で水準が変化 しているため。 こうした特徴量を train で固定した分布で前処理すると test で誤差増。 分布シフト検出 → 再標準化 / 再学習 を検討。

🧮 SSDSE-B-2026 実値計算 ⑤：学習曲線で必要なテストサイズ推定

学習曲線 (learning curve) は 「データ量が増えるほど精度がどう変化するか」 を可視化。 これにより「テストサイズはこれで十分か」を見極められます。

🐍 Python 実装（コード ⑤）

🎯 このコードでやること：sklearn の learning_curve で訓練サイズ 10%〜100% における train / val 精度をプロット。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# ── この抜粋で使うデータを用意します ──
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
X = df[['A1101', 'B4101', 'L3221']].astype(float).values
_aging = df['A1303'] / df['A1101'] * 100
y = y_binary = (_aging >= _aging.median()).astype(int).values   # 高齢化率が中央値以上か
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y)

from sklearn.model_selection import learning_curve
from sklearn.ensemble import RandomForestClassifier
import numpy as np

sizes, tr_scores, va_scores = learning_curve(
    RandomForestClassifier(n_estimators=100, random_state=42),
    # 47 件しかないので、cv と最小の訓練サイズは小さめにする
    # （train_sizes=0.1 だと 1 分割に各クラス 5 件を用意できない）
    X, y, train_sizes=np.linspace(0.4, 1.0, 4), cv=3, scoring='accuracy',
)

for s, tr, va in zip(sizes, tr_scores.mean(axis=1), va_scores.mean(axis=1)):
    print(f'size={int(s)}: train={tr:.3f}, val={va:.3f}, gap={tr-va:.3f}')

📤 実行例:

💬 結果の読み方：訓練サイズ 12→31 件では val 精度が 0.722 → 0.744 とわずかに上下するだけで、 ギャップも 0.278 → 0.256 とほとんど縮まりません。 47 件しかないので、学習曲線がまだ立ち上がってすらいない状態です。 この形からは「あと何件集めれば足りるか」を読み取れません。 学習曲線が 収束していれば「これ以上集めても無駄」、 収束していなければ「集める価値あり」 という判断に直結。

📊 train/val/test の役割 早見表

🎨 業界別 テストデータ設計の実例

🧮 SSDSE-B-2026 実値計算 ⑥：adversarial validation

「train と test の分布が違うか」を機械学習で検出する手法 = adversarial validation。 train を 0、 test を 1 とラベル付けして二値分類モデルを作り、 AUC が 0.5 に近ければ「同じ分布」と判断します。

🐍 Python 実装（コード ⑥）

🎯 このコードでやること：年代で分けた train と test を分類モデルに当て、 AUC で識別容易性を測る。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df['year_idx'] = df.groupby('Prefecture').cumcount()
df['is_test'] = (df['year_idx'] >= 9).astype(int)  # 後 3 年が test

features = ['A1101', 'A4101', 'A4103', 'B4101', 'F3101']
auc = cross_val_score(
    RandomForestClassifier(n_estimators=100, random_state=42),
    df[features].fillna(0), df['is_test'],
    cv=5, scoring='roc_auc',
).mean()
print(f'Adversarial AUC: {auc:.3f}')
print(f'判定: {"分布シフト大" if auc > 0.7 else "分布同一"}')

📤 実行例:

💬 結果の読み方：AUC 0.779 → 「train と test の年代差を簡単に当てられる」≒ 分布が大きく違う。 この状態でテスト評価をすると、 本番運用時の精度を大きく見誤る 可能性が高い。 対策: domain adaptation、 ドメイン適応学習、 再標準化、 covariate shift correction (重み付け)。

🐍 「テストデータ取扱規程」テンプレート（実務でそのまま使える）

機械学習プロジェクトで テストデータの濫用を防ぐ社内規程 のテンプレート：

1. テスト データは別ディレクトリで管理 ：data/test/ に隔離し、 アクセスログを取る。
2. テスト評価は専任者のみ：開発者が直接アクセスできない CI で評価。
3. テスト評価は週 1 回まで：頻度を制限し p ハッキング防止。
4. テスト結果はモデル選択に使わない：選択は val のみで行う。
5. テストデータ ID は不可視化：開発者が EDA で見ないようにする。
6. 本番リリース後は新規 test を集める：使い回しは半年まで。
7. 分布シフトを毎月確認：adversarial validation を定期実行。
8. テストデータ漏洩アラート：MLflow / CI に組み込み、 過剰評価を検知。