🔖 キーワード索引

「data leakage」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「data leakage」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「data leakage の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

3つの典型パターンを実例で：

🎮 リークを体感する ── 3つの実験室

「精度が良すぎる」の正体を手で触って確かめる。 すべて架空データ・乱数シード固定（決定的）で生成し、 ブラウザ内で計算する（外部通信なし）。 scikit-learn ページの fit/predict の基礎とは重複させず、 ここでは「リークが検証スコアをどう水増しし、 本番でどう崩れるか」だけに集中する。

※ 既定値での実測（node で検証済）：A は 漏れあり検証 77.5% / 漏れなし検証 55.0% / 本番（新データ）52.5%（当てずっぽう50%）。 B は RMSE ランダム分割 1.28 → 時系列分割 4.72。 C は R² 漏れあり 0.992 → 漏れなし 0.546。

📐 定義／数式

リーケージの数学的本質は「独立同分布（i.i.d.）仮定の崩壊」：

リーケージは、 この独立性が情報経路（特徴量、 前処理、 時間順）を通じて破られた状態です。

📐 Split 戦略比較

💥 失敗例 5 件

📝 演習 5 題

📖 用語辞典（リーケージ周辺 10 語）

📑 参考文献・出典

• Kaufman, S. et al. (2012). Leakage in Data Mining: Formulation, Detection, and Avoidance. ACM TKDD. — 古典的体系化論文
• Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning. 2nd ed. Springer.
• scikit-learn 公式『Common pitfalls and recommended practices』 — 公式ドキュメント
• Kapoor, S., Narayanan, A. (2023). Leakage and the Reproducibility Crisis in ML-based Science. Patterns.
• Lazer, D. et al. (2014). The Parable of Google Flu. Science 343, 1203-1205. — Google Flu Trends の教訓
• Zech, J. et al. (2018). Variable generalization performance of a deep learning model to detect pneumonia. PLOS Medicine. — DICOM タグからのリーケージ事例
• Riley, P. (2019). Three pitfalls to avoid in machine learning. Nature 572, 27-29.
• SSDSE-B-2026 公式ページ — 独立行政法人統計センター

📐 リーケージ別 影響度・検知容易性・防御策

🌏 リーケージを取り巻く 6 つの文脈

🎓 リーケージとの向き合い方

データリーケージは、 機械学習・統計学・データサイエンスを貫く普遍的な落とし穴である。 古典統計の『多重比較』、 経済学の『内生性』、 ML の『データリーケージ』── 用語は違えど、 本質は同じ『答えのヒントが質問者に漏れている』状態。 完全に防ぐことは不可能だが、 (1) ドメイン知識、 (2) 現実的な性能の感覚値、 (3) Pipeline / Nested CV、 (4) 第三者レビュー、 (5) 本番でのバックテスト、 という 5 段階の防御で大半を捕捉できる。

初学者が SSDSE-B-2026 で『教育費を予測したい』と思い、 X に『教育関連支出』を入れて R²=0.99 を得たとき、 喜ぶのではなく『なぜこんなに精度が良いのか？』と疑問を持てるかが、 真のデータサイエンティストへの入口。 ドメインの専門家に『この特徴量を入れて R²=0.99 です』と相談すれば、 すぐに『教育関連支出 ≒ 教育費の同義語』と指摘される。 第三者レビューの威力。

2023 年の Kapoor & Narayanan の論文『Leakage and the Reproducibility Crisis in ML-based Science』は、 ML ベース科学全体にリーケージが蔓延していることを警告した。 単なる技術的問題ではなく、 科学の信頼性に関わる問題として認識されている。 査読プロセス、 コード公開、 Pre-registration、 第三者検証── これらの仕組みでリーケージを業界全体で減らす努力が必要。

規制業界（金融・医療）では、 リーケージ検証が監査要件化の流れ。 監査官は『学習データと特徴量の時間整合性』『特徴量と目的変数の意味的独立性』を確認する。 リーケージで本番モデルが破綻すれば、 損失数千万円・信用失墜・規制違反というリスク。 開発時のちょっとした油断が、 巨大な代償になる。

🛠 リーケージ防止 ── 実践チェックリスト 30 項目

学習〜本番デプロイの各段階でチェックすべき 30 項目：

1. 目的変数と相関 |r|>0.95 の特徴量を全列で確認したか
2. 特徴量に『目的変数の同義語』『目的変数の関数』が含まれていないか
3. 時系列データなら『特徴量の可用時刻 < ラベル時刻』を確認したか
4. 同一被験者・店舗・グループが train/test に分散していないか
5. scaler / imputer / encoder は Pipeline 内で fold ごとに fit されているか
6. SMOTE / ROS / RUS（クラス不均衡対処）は split 後に適用しているか
7. Feature Selection（SelectKBest 等）は Pipeline 内か
8. Calibration（CalibratedClassifierCV 等）は fold 内か
9. 時系列なら TimeSeriesSplit を使っているか（KFold ではなく）
10. グループあるなら GroupKFold を使っているか
11. 分類でクラス不均衡なら StratifiedKFold を使っているか
12. ハイパーパラメータチューニングは Nested CV または別ホールドアウトか
13. Stacking なら base learner の予測は OOF で取得しているか
14. テストデータは『一度だけ』評価に使ったか（複数回参照していないか）
15. Public LB スコアに過剰チューニングしていないか
16. 画像分類なら DICOM タグ等のメタデータを除外したか
17. NLP なら重複文書を deduplication したか
18. 同一著者・同一サイトが train/test に分散していないか
19. 特徴量生成コードが学習時と推論時で完全同一か
20. Feature Store で training-serving skew を防いでいるか
21. 過去データなら Point-in-Time Correct を確認したか
22. ラベル生成プロセスが特徴量に漏れていないか
23. クロスバリデーション結果と本番初期性能が乖離していないか
24. 現実的に達成可能な性能の『感覚値』を持っているか
25. ベースラインモデル（線形・多数派）と比較したか
26. ドメイン専門家にレビューを依頼したか
27. 第三者にコード＋データを共有し再現してもらったか
28. 異常に高いスコアの『なぜ？』を 5 Whys で深掘ったか
29. Shadow Mode で本番並列検証したか
30. Pre-registration で仮説・分析計画を事前登録したか

これら 30 項目を毎プロジェクトでチェックする習慣が、 リーケージ事故を 90% 以上防ぐ。

📐 リーケージの数学的詳細 ── 4 つの定理

リーケージの理論的背景を 4 つの命題として整理する：

定理 1（テスト誤差の不偏性）：訓練データ $D_{train}$ とテストデータ $D_{test}$ が独立同分布なら、 $\mathbb{E}_{D_{test}}[\hat{E}_{test}] = E_{gen}$（テスト誤差は一般化誤差の不偏推定量）。 ただし独立性が崩れると等号は成立せず、 楽観的バイアスが生じる。

定理 2（Preprocessing Leakage のずれ幅）：StandardScaler を全 $N$ サンプルで fit すると、 訓練時に推定される平均 $\hat{\mu}_{all} = \frac{1}{N}\sum_{i=1}^N x_i$ にテストデータが寄与。 5-fold CV でテスト fold が $N/5$ サンプルなら、 寄与度は $O(1/5)$ 程度。 ただしモデル予測への影響は $O(1/N)$ オーダーで、 N が大きいほど無視可能。

定理 3（Target Leakage の極端性）：特徴量 $X_i$ が $X_i = Y$ となるとき、 モデルは $X_i$ だけで $Y$ を完全予測。 $\hat{E}_{test} \to 0$ だが、 本番で $X_i$ が利用不能なら役立たず。 ずれ幅は理論的に無限大。

定理 4（Hyperparameter Leakage の Optimism Gap）：テストデータで $K$ 個のハイパーパラメータを評価し最良選択時、 期待される過剰最適化（optimism）は $O(\sigma \sqrt{\log K / n})$。 $K=100$、 $\sigma=1$、 $n=1000$ なら 0.07 程度。 これを補正するには Nested CV か別ホールドアウトが必要。

これら 4 定理が、 リーケージ防止策の理論的根拠を提供する。 ただし実務的には『リーケージは起きる』前提で、 多層的な防御策（Pipeline、 Nested CV、 ドメイン知識、 第三者レビュー）を組み合わせるのが現実解。

🎯 まとめと次のステップ ── データリーケージ

📋 リーケージ ── 業界別注意点

🚀 次に進む先

🎁 データリーケージ ── 学習者への補遺

📖 さらなる参考リソース

• 本サイト内の関連グループ教材で全体像を確認することを推奨します
• 公的統計データ SSDSE-B-2026 を用いた実際の分析例は『論文一覧』からアクセス可能です
• 論文ベースの再現実装で『教科書では分からない実装ノウハウ』を吸収することが、 真の理解への近道となります
• 各用語ページの 🔗 関連用語セクションから、 前提・並列・発展概念へリンクを辿ることで、 用語の地図が次第に頭の中に形成されます
• 定期的に同じ用語ページを再訪することで、 学習の段階に応じて新しい発見があります。 1 度目は『概要把握』、 2 度目は『応用領域』、 3 度目は『深掘り』というように

🖼 概念図で押さえるデータリーク

データリーク (Data Leakage) は「本来モデルが知り得ない情報が、 学習時にこっそり混入する」現象。 ここでは 3 つの概念図で「リークが起きる場所」「過大評価された性能」「分布シフトとの違い」を視覚的に整理する。

📌 図から読み取るポイント

• 図 1: 前処理は Pipeline で train → test の順。 fit は train のみで行う。
• 図 2: 時系列はルックアヘッド・バイアスに注意。 TimeSeriesSplit を必ず使う。
• 図 3: リークと分布シフトを混同しない。 対策が全く違う。

🔬 数式を言葉で読み解く

🔬 数式を言葉で読み解く（リーケージの定式化）

🧮 実値で計算してみる

SSDSE-B（47都道府県）で「人口」を予測する想定の悪い例／良い例：

🧮 SSDSE-B-2026 でリーケージを作って／除去

🏭 産業事例 ── 実際に起きたデータリーケージ 6 件

⚖️ リーケージ種類別比較

🧮 リーケージの数式的解剖

🧮 数式に値を入れて手で計算する: テスト前後の評価ギャップ

合成データで Leak ありモデルと Leak なしモデルの val/test 精度差を計算する。

Step 1: モデル別の精度

Step 2: ギャップ判定

🐍 Python で再現

1
2
3
4
5
6

import numpy as np
val = np.array([0.95, 0.85])
test = np.array([0.65, 0.83])
gap = val - test
print(f"val-test ギャップ: {gap}")
print(f"リーク疑い: {gap > 0.10}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装

最小限のスニペットで動作確認できる例。 公的データ（SSDSE 等）を想定しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# 良い例：Pipeline で前処理を train のみに fit
import pandas as pd
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge
from sklearn.model_selection import cross_val_score

# ── この抜粋だけで動くように、X, y を用意する ──
_d = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
_d = _d[_d['SSDSE-B-2026'] == 2023]
X = _d[['A1101', 'A1301', 'A1303', 'A9101']].astype(float).values
y = _d['A4101'].astype(float).values

pipe = Pipeline([
    ('scaler', StandardScaler()),  # cv の各 fold で train のみに fit される
    ('model',  Ridge(alpha=1.0))
])
scores = cross_val_score(pipe, X, y, cv=5, scoring='r2')
print(scores.mean())  # リーケージなしの正しい評価

🐍 補強コード例 1 ── 実データの構造を把握する

目的：リーケージ対策の第一歩は「手元のデータにどんな列があるか」を知ること。 実データ SSDSE-B-2026 を読み込み、 行数・列数・列名を確認して『どの列が目的変数の同義語になり得るか』を洗い出す土台を作る。 橋渡し：このファイルは cp932 で保存され 2 行目に日本語見出しが入るため、 skiprows=[1] でコード名 (SSDSE-B-2026, Code, Prefecture, A1101…) を列名として読み込むのが定石。

1
2
3
4
5
6

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
print(df.shape)
print(df.head(3))
print(df.columns[:10].tolist())

📤 実行結果

💬 564 行 = 47 都道府県 × 12 年 (2012–2023)、 112 列。 先頭 3 列 (SSDSE-B-2026 / Code / Prefecture) はメタ情報で、 A1101 以降が統計量。 A1101(総人口) と A1303(65 歳以上人口) のように意味的に近い列が、 特徴量として同居するとリーケージの温床になり得る点をここで把握しておく。

🐍 補強コード例 2 ── 2023 年断面で総人口上位を抽出

目的：2023 年度の断面に絞り、 総人口 (A1101) 上位 10 都道府県を抽出する。 橋渡し：横断面 (単年) データは i.i.d. に近く、 リーケージの主因は前処理や目的変数の同義列に移る。 まず年度でフィルタして『どの年の断面を分析対象にするか』を明示することが、 時間方向のリーケージを避ける基本動作になる。

1
2
3
4
5
6

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]
top10 = latest.nlargest(10, 'A1101')[['Prefecture', 'A1101']]
print(top10.to_string(index=False))

📤 実行結果

💬 2023 年の総人口上位は東京都 (約 1409 万人)・神奈川・大阪…と大都市圏が並ぶ。 高齢化率のような比率を特徴量に使うときは、 分母 A1101(総人口) と分子 A1303(65 歳以上人口) を同一モデルに同居させると比率と原数値の間で情報が漏れやすいため、 特徴量選定で分母・分子の重複に注意する。

⚠️ よくある落とし穴

🌐 関連手法・派生

• Pipeline / ColumnTransformer — sklearnで前処理＋モデルを束ねてCV毎にfitし直す標準パターン
• TimeSeriesSplit — 時系列向けに「過去だけで学習・未来でテスト」を保証
• GroupKFold — 同一グループを同じfoldに固める
• Adversarial validation — trainとtestを分類できる特徴量がないかチェック

🌐 リーケージ事例 業界別

📜 リーケージ概念の発展史

📝 データリーケージ ── 統計学・機械学習・データサイエンスを貫く落とし穴

💭 リーケージ追加 FAQ（15 問）

📋 リーケージ防止 scikit-learn API リファレンス

🔗 関連用語（前提・並列・発展）

役割で色分け：前提／上位／並列／発展／応用

🔗 関連ページ橋渡し

• 過学習 ─ リーケージと混同しないこと
• 交差検証 ─ split 戦略の基本
• ホールドアウト ─ 最も単純な split
• 検証 ─ 評価の全体像
• 特徴量エンジニアリング ─ リーケージは特徴量設計の罠
• MLOps ─ Feature Store でリーケージを防ぐ
• 機械学習 ・ 機械学習の基礎 ─ 横断教材

❓ FAQ 20 問

📜 データリーケージ史

🧪 数学的補遺 ── 一般化誤差とリーケージの関係

🚶 SSDSE-B-2026 でリーケージ除去パイプラインを書く

📚 関連グループ教材

この用語の全体像を学ぶには、 横断的な教材で文脈を掴むのが効率的です。

• 📚 機械学習基礎 — 評価の正しい設計
• 📚 MLOps — 本番運用での再現性

🔎 深掘り解説

📛 著名なリーケージ事例

• Kaggle Heritage Health Prize：入院IDから入院時期が推定でき、 結果ラベルがリーク
• Netflix Prize：タイムスタンプから将来のレビューを予測できてしまう
• 医療画像コンペ：撮影機器のメタデータが疾患と相関、 機器情報が漏洩
• 金融予測：「翌日の株価」を予測するつもりが、 集計タイミングで実は当日の情報を含む

🔍 リーケージを見抜く7つの兆候

1. CVスコアが「異常に高い」（0.99 など）
2. train と test の精度がほぼ同じで両方とも高い（過学習でなく漏洩）
3. 1つの特徴量が単独で精度の大半を担う
4. 特徴量名に「target」「label」「result」を含む
5. 本番投入後、 精度が10倍以上劣化
6. 時系列で「未来の集計指標」が特徴量に
7. 群（患者、 ユーザ）が train/test で重複

時系列リーケージの専門対策

• Walk-forward validation：時間を進めながら学習・予測
• Embargo：train と test の間にギャップを設けて漏洩防止
• Purging：将来情報を含むサンプルを除外
• Backtesting：シミュレーションで本番動作を検証

✅ 使う前のチェックリスト

• ☐ データリーケージ が今のタスクに本当に適切か再確認した
• ☐ 前提条件（独立性、 正規性、 サンプル数等）を満たしているか確認した
• ☐ データの尺度・分布・欠損・外れ値を確認した
• ☐ 結果だけでなく「不確実性」（CI、 標準誤差）も把握した
• ☐ 解釈と限界を区別して文書化した
• ☐ 関連する別の手法と比較したうえで本手法を選んだ
• ☐ 落とし穴（このページの ⚠️ セクション）に該当しないか確認した
• ☐ 関連グループ教材で全体像と位置付けを把握した

📖 さらに学ぶには

本サイト内

• 論文一覧に戻る — データリーケージ を実際に使った再現論文をハンズオン形式で読む
• このページ上部の「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断的な学習教材へ

外部リソース

• scikit-learn 公式ドキュメント — 標準実装と例
• StatQuest with Josh Starmer (YouTube) — 直感的な統計／ML 解説
• Cross Validated (Stack Exchange) — 統計／ML の質問サイト
• arXiv — 最新の手法論文プレプリント

困ったときは

1. データの可視化（散布図、 ヒストグラム、 箱ひげ図）で異常を確認
2. サンプルサイズ・欠損・外れ値を確認
3. 仮定が満たされているか診断（正規性検定、 等分散性検定など）
4. 類似研究での標準的な手法を確認
5. 結果を複数手法でクロスチェック（頑健性確認）

🔗 同カテゴリの他用語

🎯 コードの目的・入出力ガイド

📚 リーケージにまつわる小話

🎬 コードツアー ── 良例 vs 悪例の対比

 1# === 悪例 1: Target Leakage ===
 2X_bad = df[["消費支出", "教育関連支出", "人口"]]
 3# 教育関連支出 ≈ 教育費（同義語） → 致命的リーケージ
 4
 5# === 良例 1: 独立変数のみ ===
 6X_good = df[["消費支出", "人口", "高齢化率"]]
 7# 経済・人口指標のみ → 独立性 OK
 8
 9# === 悪例 2: Preprocessing Leakage ===
10from sklearn.preprocessing import StandardScaler
11scaler = StandardScaler()
12X_scaled = scaler.fit_transform(X_good)  # 全データで fit ← 漏れる
13scores = cross_val_score(Ridge(), X_scaled, y, cv=5)
14# テストの平均・分散が訓練に混入
15
16# === 良例 2: Pipeline で防ぐ ===
17from sklearn.pipeline import Pipeline
18pipe = Pipeline([
19    ("scaler", StandardScaler()),
20    ("model", Ridge()),
21])
22scores = cross_val_score(pipe, X_good, y, cv=5)
23# fold ごとに scaler が再 fit され、 リーケージなし
24
25# === 悪例 3: Hyperparameter Leakage ===
26best_alpha = None
27best_score = -float("inf")
28for alpha in [0.1, 1, 10, 100]:
29    score = cross_val_score(Ridge(alpha=alpha), X_good, y, cv=5).mean()
30    if score > best_score:
31        best_score = score
32        best_alpha = alpha
33# 同じデータで複数評価 → best_score が楽観的
34
35# === 良例 3: Nested CV ===
36from sklearn.model_selection import GridSearchCV
37gs = GridSearchCV(Ridge(), {"alpha": [0.1, 1, 10, 100]}, cv=5)
38outer_scores = cross_val_score(gs, X_good, y, cv=5)
39# 外側 CV で評価、 内側 CV でチューニング
40
41# === 悪例 4: 時系列ランダム split ===
42from sklearn.model_selection import train_test_split
43X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, shuffle=True)
44# 時系列を shuffle → 未来情報が訓練に混入
45
46# === 良例 4: TimeSeriesSplit ===
47from sklearn.model_selection import TimeSeriesSplit
48tscv = TimeSeriesSplit(n_splits=5)
49for train_idx, test_idx in tscv.split(X_sorted):
50    # 訓練は過去、 テストは未来、 シャッフルなし
51    ...

🔍 リーケージを複数視点で見る

🎭 リーケージ実戦シナリオ 6 件

📚 リーケージの理論的裏付け

📖 リーケージ深堀り用語辞典（20 語）

🗺 リーケージ防止 学習ロードマップ

💬 リーケージ あるある対話

✅ リーケージ防止チェック

📖 リーケージ拡張ケース 6 件

📊 リーケージ・チェックリスト（13 項目）

📊 リーケージ検出ツールと手法

🔗 隣接手法への橋渡し

リーケージは「特定の手法」ではなく「実験設計の規律」なので、 評価フェーズの上下と密接につながる：

• 上流: 適切な学習/検証/テスト分割と 交差検証の設計 — リーケージ発生源を構造的に遮断
• 並列: 特徴量エンジニアリングと 前処理 — 「pipeline 内 fit / 外 transform」原則で同じ轍を避ける
• 下流: モデル評価と 汎化性能の検証 — リーケージ疑い時は再評価で実力値を確認

リーケージ対策は分析パイプラインの上流から下流まで一貫した規律を必要とする。

🌳 リーケージ疑いの意思決定ツリー

🛠 リーケージ症状別対処表

🌳 手法選択フロー

リーケージは「データの形状」より「データの由来時刻とサンプル単位」で防御策が変わる。 次の 3 段で手法を絞り込む。

1. Step 1: データに時刻軸はあるか?
   • あり (株価/売上/IoT log) → TimeSeriesSplit + 特徴量の可用時刻タグ管理 — Lead-Lag リーケージを構造で遮断
   • なし (横断調査・SSDSE-B-2026 都道府県) → 通常 KFold でよいが、 次の Step 2 を必ず確認
2. Step 2: 同一エンティティ (患者・店舗・ユーザー) が複数行あるか?
   • あり → GroupKFold(groups=patient_id) 必須 — Group Leakage を回避
   • なし (47 都道府県 i.i.d.) → 通常 KFold + 次の Step 3 へ
3. Step 3: 前処理とハイパーチューニングはどこで?
   • StandardScaler / SMOTE / Target Encoding → 必ず sklearn.pipeline.Pipeline 内で fold 毎 fit (preprocessing leakage 防止)
   • ハイパー探索 → Nested CV (外側 GroupKFold + 内側 GridSearchCV) で test 汚染を分離
   • Public LB tuning → 提出回数を制限、 ローカル CV を信頼源にする

この 3 段で「時刻 → 単位 → 前処理位置」をチェックすれば、 R²=0.99 の罠を踏まずに済む。

🔎 もう一歩深く ── 直感・落とし穴・発展（追記）

このセクションは既存の解説を壊さずに追記した「深掘り」です。 上のウィジェット・コード・失敗例と重複しない観点で、 直感 → 落とし穴の全カタログ → SSDSE-B-2026 実測 → 発展の順に整理します。

🎨 直感 ── 「見てはいけない答え」が混ざる

データリークの本質は一言でいえば「学習の時点では本来手に入らない情報（未来の値・目的変数そのものから派生した値）が、 モデルの入力に紛れ込む」こと。 その結果、 検証スコアだけが不自然に高くなり、 本番でガタ落ちする。 「訓練で見えてはいけない情報が見えている」＝カンニングした状態です。

⚠️ 落とし穴カタログ ── リークの侵入口（重要）

リークは「特定の関数を呼んだから起きる」ものではなく、 情報の流れの設計ミスから生まれます。 代表的な侵入口を一覧に。

とくにターゲットエンコーディングは初学者が見落としがち。 「カテゴリごとの目的変数平均」を特徴量にする手法だが、 全データで平均を作ると各行に自分の答えの一部が混ざる。 必ず fold 内・out-of-fold で集計する（fit_transform は train fold のみ）。

🧪 SSDSE-B-2026 で漏れを実測する（2 実験）

ここでは合成データではなくSSDSE-B-2026 の実測で 2 種のリークを定量化する。 いずれも 教育費（L322108）を、 他の消費支出費目（食料・住居・光熱水道・交通通信・教養娯楽ほか 9 費目）から Ridge 回帰で予測（StandardScaler＋Ridge(alpha=1.0)、 5-fold、 random_state=42）。

実験 1：前処理リーク（2023 年・47 県） ── 全データで標準化してから CV（❌）と、 Pipeline で fold 内標準化（✅）を比較。

前処理リークは「確実に楽観側へ寄る」が、 線形モデルでは差は微小。 これは本ページの理論解説（ずれ幅は概ね $O(1/N)$）と整合する実測の裏付け。 「微小だから無視してよい」ではなく、 木モデル・SMOTE・ターゲットエンコーディングでは差が拡大するため、 常に Pipeline 化するのが安全側。

実験 2：グループリーク（全 12 年・47 県＝564 行） ── 都道府県は年をまたいで値が強く自己相関する。 ランダム KFold（❌、 同じ県が train/test に散る）と、 都道府県を group にした GroupKFold（✅）を比較。

同一県の別年データが訓練側にあると、 モデルは実質的に「その県らしさ」を lookup してしまう。 単年（i.i.d. に近い）なら KFold で概ね妥当だが、 複数年・パネルデータでは group-aware 分割が必須だと実測が示す。 差 0.13 は前処理リークの 100 倍規模で、 侵入口ごとに影響度が桁違いであることが分かる。

※ 数値は SSDSE-B-2026.csv（cp932, skiprows=[1]）を scikit-learn 1.9 で再計算した実測値。 費目合計に近い 消費支出（L3221）を特徴に加えると R² は 0.33→0.56 に跳ね上がる（＝ターゲットリークの縮図）。

🚀 発展 ── 「漏らさない設計」の型

• パイプライン化を既定に ── 前処理と学習を Pipeline／ColumnTransformer で束ね、 fit_transform は必ず train fold のみに効かせる。 cross_val_score(pipe, X, y) と書くだけで fold ごとに再 fit され、 前処理リークは構造的に消える。
• 時系列 CV ── TimeSeriesSplit／walk-forward／embargo・purging で「過去で学習→未来で評価」を保証。 全特徴に「その時点で取得可能か（可用時刻）」を必ず付す。
• group-aware 分割 ── 個体が複数行あるなら GroupKFold／StratifiedGroupKFold。 上の実測どおり、 これを怠ると数割の水増しが起きる。
• リーク検知（良すぎる兆候） ── 「検証スコアが業界標準より高すぎる」「単一特徴が精度の大半を担う」「train と test がともに高い」は赤信号。 特徴を 1 つずつ抜いて挙動を見る、 ベースライン（線形・多数派）と比較する、 adversarial validation で train/test の見分けやすさを測る。
• 本番でのデータ可用性確認 ── 「その特徴量は予測を出す瞬間に本当に手に入るか？」を各列で自問。 申込後情報・事後集計・目的変数の下流に位置する量は排除。 Feature Store で training-serving skew を防ぐ。

🔗 関連ページへ

• train-test 分割 ── リーク遮断の出発点（分割を最初に）
• 交差検証 ── fold 設計の基礎。 時系列・グループ版はここから派生
• ホールドアウト ── 最終評価用データは「一度だけ」触る規律
• 過学習 ── リークは過学習を隠す。 症状の切り分けに
• 特徴量エンジニアリング ── 目的変数の派生・ターゲットエンコーディングの罠
• データクレンジング ── 重複除去・欠損補完を分割後に行う
• 検証／評価指標／汎化 ── 実力値を確かめる下流工程

※ 前処理と学習を束ねる「パイプライン」や「時系列 CV」「GroupKFold」は本ページ内の 🐍 Python 実装・📐 定義セクションにコード例があります（専用の用語ページは未整備のためテキストで示します）。