🔖 キーワード索引 (拡張)

🔖 キーワード索引 (拡張)

🔖 🔖 キーワード索引（チップから該当箇所へジャンプ）

論文記事から各用語のリンクをクリックすると、 該当箇所が開きます：

🎨 直感で掴む: ツリーアンサンブルを「審査員の合議制」で理解する

単一の決定木は「1 人の審査員」に過ぎません。 ツリーアンサンブルは「100 人の審査員」を集めて多数決 (分類) や平均 (回帰) を取る合議制。 個々の審査員は偏っていても、 多数決により偏りが相殺されて全体精度が向上します。

🎨 ツリーアンサンブル vs ニューラルネット (使い分け表)

🎨 ツリーアンサンブルの歴史と発展 (年表)

2024 年現在、 表形式データに関しては GBDT が依然として SOTA を維持。 DL モデル (TabNet、 SAINT、 FT-Transformer) も近づいているが、 小〜中規模では GBDT が優位。

🎨 概念図で押さえる木アンサンブルの本質（補遺）

決定木のアンサンブル（バギング / ランダムフォレスト / ブースティング）の中核を 3 枚の図で再整理する。 並列の多数決と、 逐次の誤差補正、 その境界を視覚化する。

🖼 図 1: 単一決定木 vs ランダムフォレスト

単一の決定木は学習データに過剰適合しやすく、 境界がギザギザに崩れる。 多くの木をブートストラップで作って平均すれば、 境界は 滑らかになり汎化性能が大きく改善する。

💬 読み方：左の赤線（単一木）は階段状でデータの境目をなぞるため、 ノイズに敏感。 右の緑線（RF）は多数の木の 多数決 なので、 個々の木の不安定さがキャンセルされ、 滑らかで頑健な境界になる。

🖼 図 2: バギング（並列）vs ブースティング（逐次）

2 大アンサンブル流派の根本的な違い。 バギングは ブートストラップ標本で並列学習し平均、 ブースティングは 前の木の残差を次の木が補正する逐次学習。 計算の流れ自体が異なる。

💬 読み方：左（青）の バギングは元データから複数の bootstrap 標本 → 並列に深い木を学習 → 平均。 右（オレンジ）のブースティングは 浅い木 を逐次的に積み、 各木は前の木の残差を補正する。 並列化のしやすさはバギング、 精度の極限はブースティング。

🖼 図 3: Bias-Variance 軸上のアンサンブル位置

アンサンブルの効用は 「分散低減（バギング）」 と 「バイアス低減（ブースティング）」の 2 軸で整理できる。 単一木はどちらも改善余地が大きく、 用途で使い分ける。

💬 読み方：単一決定木（右上, 赤）はバイアス・バリアンスとも大きい。 バギング/RF（左上, 緑）は バリアンスを下げる、 ブースティング（左下, オレンジ）は バイアスを下げる。 切り株（弱学習器）は左下に位置し、 単独では使われずブースティングの素材になる。

以上、 木アンサンブルの本質（多数決の安定化・残差補正の逐次学習・バイアス vs バリアンス）を 3 枚の図で整理した。 詳細は本文参照。

🔎 補足: 木アンサンブルの実務的判断基準

ランダムフォレストと勾配ブースティングをいつ使い分けるか

ランダムフォレスト (RF) と勾配ブースティング (XGBoost / LightGBM / CatBoost) は、 多くのコンペで「最初に試すべき 2 大候補」です。 使い分けの目安は次の通り。 RF は (1) ハイパラ調整が比較的緩い (n_estimators と max_features の 2 軸が主)、 (2) 並列学習が容易で計算が速い、 (3) 過学習しにくい、 (4) 特徴量重要度の解釈が安定、 という強みを持ちます。 一方、 勾配ブースティングは (1) ピーク性能が高い (Kaggle 上位入賞の主役)、 (2) 学習率と木の深さ・反復回数の組み合わせ調整が必要、 (3) 早期停止 (early stopping) が必須、 (4) カテゴリ特徴の扱いに長ける、 という特徴があります。 SSDSE-B-2026 の都道府県データ (47 件) なら、 まず RF で大枠を掴み、 ピーク性能を狙うときに XGBoost で詰める、 という二段構えが安全です。

OOB (Out-Of-Bag) スコアの活用

ランダムフォレストの隠れた利点が OOB スコアです。 各木はブートストラップサンプル（重複あり抽出）で学習しますが、 1 つの木から見ると約 37% のサンプルが「学習に使われなかった」サンプルになります。 これらを使って自動的に検証スコアを計算できるので、 別途 cross-validation を組まなくても汎化性能の推定値が手に入ります。 scikit-learn では RandomForestRegressor(oob_score=True) と指定するだけで、 学習後に rf.oob_score_ から R² を取得できます。 SSDSE-B-2026 のような小規模データでは「CV を組むと 1 fold あたり 9〜10 件しか残らない」問題があるので、 OOB スコアは特に役立ちます。

特徴量重要度の 3 種類と落とし穴

木モデルの特徴量重要度には主に 3 種類あります。 (1) Gini / impurity-based: scikit-learn の feature_importances_ で得られる既定値。 計算が速いが、 高カーディナリティ特徴量に過大評価されるバイアスがある。 (2) Permutation importance: 特徴量をランダムに並べ替えてスコア低下を測る。 バイアスがないが計算が重い。 (3) SHAP value: 各サンプル・各特徴量の寄与を加法的に分解する。 解釈性が高くサンプルごとの説明も可能だが、 さらに重い。 SSDSE-B-2026 で「人口を予測するモデルの重要特徴量を知りたい」場合、 最低でも permutation importance か SHAP を使い、 Gini ベースは参考程度にとどめるのが鉄則です。 「Gini ベースで重要と出た特徴量が、 permutation importance では無関係」という現象は実務で頻繁に起きます。

カテゴリカル特徴量の扱い

木モデルは数値特徴量を扱うことを基本としますが、 都道府県名のようなカテゴリカル特徴量を入れたいことがあります。 選択肢は (1) one-hot encoding、 (2) ordinal encoding、 (3) target encoding (out-of-fold で計算)、 (4) CatBoost のネイティブカテゴリサポート、 (5) LightGBM の categorical_feature 指定、 の 5 つ。 カーディナリティが低い（カテゴリ数 10 未満）なら one-hot で十分ですが、 47 都道府県のように中規模カーディナリティでは target encoding か LightGBM の native 対応が効率的です。 ordinal encoding は順序情報を持つカテゴリ（小・中・大など）に限定すべきで、 都道府県のような名義変数には不適切です。

過学習を防ぐ 5 つのレバー

木アンサンブルの過学習を防ぐには、 5 つのハイパラを総合的に調整します。 (1) max_depth: 木の深さ上限。 浅くするほど過学習しにくい (RF は 10〜20、 GBDT は 3〜8 が定石)。 (2) min_samples_leaf: 葉の最少サンプル数。 大きくすると過学習しにくい。 (3) subsample: 各木で使うサンプル比率。 1.0 未満にすると確率的勾配ブースティング (SGB) になり過学習耐性が増す。 (4) colsample_bytree / max_features: 各木で使う特徴量の比率。 RF では √p、 GBDT では 0.5〜0.8 が標準。 (5) n_estimators + early stopping: ブースティングでは反復回数を大きく取り、 検証スコアが悪化したら止める。 SSDSE-B-2026 で過学習に悩んだら、 まず max_depth を下げ、 次に min_samples_leaf を上げ、 最後に subsample を 0.8 程度に絞る、 の順で試すと迷子になりません。

木モデルが苦手なケース

木アンサンブルは万能ではありません。 苦手なのは (1) 高次元疎データ (テキスト・画像など)、 (2) 滑らかな関数を厳密に近似したいケース (木は階段関数なので極端な外挿が苦手)、 (3) 時系列の外挿予測 (訓練データ範囲外を予測できない)、 (4) 連続的に変化する変数間の交互作用 (深いネットワークの方が表現力が高い)、 の 4 つです。 SSDSE-B-2026 で「2030 年の高齢化率を予測する」タスクでは、 木モデルだけでは過去のトレンドの外挿ができないので、 ARIMA や Prophet と組み合わせるのが現実的です。

📝 理解度チェック

1. バギングとブースティングがそれぞれ低減するのは何か。 （答：バギング＝分散、 ブースティング＝バイアス）
2. ランダムフォレストの OOB スコアとは何か。 （答：各木のブートストラップサンプル外データを使った検証スコア。 別途 CV を組まなくても汎化性能を推定できる）
3. Gini ベース重要度の問題点は？ （答：高カーディナリティ特徴量を過大評価する。 permutation importance か SHAP で補完すべき）
4. 勾配ブースティングで early stopping が必須なのはなぜ？ （答：反復を増やすほど過学習が進むため、 検証スコアの悪化点で停止する必要がある）
5. 木モデルが苦手なタスクを 3 つ挙げよ。 （答：高次元疎データ、 訓練範囲外の外挿、 滑らかな関数近似）
6. SSDSE-B-2026 のようにサンプル数が少ない場合に RF vs GBDT のどちらから試すべきか。 （答：RF。 ハイパラ調整が緩く OOB スコアで簡単に汎化性能が見られるため）

6 問中 5 問以上正解で「木アンサンブルの使い分けと運用を理解した」と自己評価できる。 5 問未満なら「使い分け」「特徴量重要度」「過学習を防ぐレバー」の節を再読する。

🔎 補足: 主要木アンサンブル実装の比較

XGBoost / LightGBM / CatBoost の使い分け

勾配ブースティング系の 3 大実装には次の特徴があります。 XGBoost (Chen & Guestrin 2016): 最初に世に出た高性能実装。 細かい正則化が効き、 GPU 対応も成熟。 中規模データで広く採用される。 LightGBM (Microsoft 2017): ヒストグラム分割と leaf-wise 成長で XGBoost より概ね 5〜10 倍高速。 SSDSE-B-2026 のような小規模だと差は出にくいが、 数十万行を超える Kaggle データでは事実上の標準。 CatBoost (Yandex 2017): カテゴリ特徴量のネイティブサポートが秀逸。 ターゲットエンコーディングを内部で out-of-fold 計算するためリーク耐性が高く、 デフォルトハイパラの完成度が高い。 ハイパラ調整に時間を掛けたくない実務案件で重宝されます。 47 都道府県程度なら 3 つとも数秒で学習が終わるので、 教育目的では「同じデータで 3 つを動かしてスコアと SHAP 値を比較」を実習にすると学びが深まります。

ハイパラ調整の優先順位

勾配ブースティングのハイパラは 20 個以上ありますが、 影響が大きいものから順に攻めるのが鉄則です。 (1) learning_rate (0.01〜0.3): 小さくすると安定だが n_estimators を増やす必要がある。 デフォルト 0.1 が出発点。 (2) max_depth (3〜10) または num_leaves (LightGBM): 木の容量を制御。 浅すぎると underfit、 深すぎると overfit。 (3) n_estimators: early stopping で自動決定するのが普通。 上限 10000 程度を設定し、 50 round 改善しなければ停止。 (4) min_child_weight / min_data_in_leaf: 葉のサンプル数下限。 過学習を防ぐ重要レバー。 (5) subsample / colsample_bytree: 確率的サンプリングで過学習耐性を上げる。 0.7〜0.9 を試す。 (6) reg_lambda / reg_alpha: L2/L1 正則化。 最後の微調整。 Optuna でこの順に Bayesian 探索を組むと、 SSDSE-B-2026 で 30 試行ほどで最適点近傍に到達します。

解釈手法: SHAP の活用

勾配ブースティングのブラックボックス性を解消するのが SHAP (SHapley Additive exPlanations) です。 木モデル専用の高速計算 (TreeSHAP) があり、 SSDSE-B-2026 程度なら 1 秒以内に全サンプルの寄与分解が終わります。 SHAP の使い道は (1) 全体重要度: shap.summary_plot(shap_values, X) で「どの特徴量が予測にどう寄与するか」を可視化、 (2) 個別予測の説明: shap.force_plot(...) で「東京都の高齢化率予測がなぜ 28% になったか」を加法分解、 (3) 相互作用: shap.dependence_plot('人口', shap_values, X) で「人口の影響が高齢化率によって変わるか」を発見、 の 3 点です。 提案資料に SHAP の図を 1 枚入れるだけで「ブラックボックスではない」と信頼を得られます。

残差分析でモデル改善ヒントを得る

木モデルの予測残差を散布図にすると、 系統的バイアスが見えます。 横軸に予測値、 縦軸に残差を取って散布図を描き、 (1) 帯状の偏りがあれば「外れ値を別モデルで扱うべき」、 (2) 漏斗形なら「対数変換などで分散を等しくすべき」、 (3) 特定範囲だけ残差が大きいなら「その範囲で特徴量を増やすべき」、 などの改善方針が見えます。 SSDSE-B-2026 で人口を予測すると、 東京都・神奈川・大阪府の残差が大きく出ることが多く、 「大都市指標」のような特徴量を追加すると劇的に改善するケースがあります。 残差分析は線形回帰の専売特許ではなく、 木モデルでも欠かせない診断手段です。

スタッキングとブレンディングへの発展

木アンサンブルの先には「異種モデルを組み合わせる」スタッキング (stacking) があります。 第 1 層に RF・XGBoost・LightGBM・線形モデル・ニューラルネットを並列で学習させ、 それぞれの out-of-fold 予測値を特徴量として第 2 層 (メタモデル) に渡す方式です。 Kaggle 上位解の常套手段で、 単一モデルより 1〜3% スコアが伸びるケースが多いです。 SSDSE-B-2026 では「RF + Ridge 回帰 + LightGBM をスタッキングし、 メタモデルに Lasso を採用」のような構成を試すと、 単一 LightGBM より 0.5〜1% 改善することがあります。 計算コストは増えますが、 教育目的では「異種モデルを組み合わせる発想」を実体験する価値があります。

木モデルの不確実性推定: Quantile Regression Forest

通常の木モデルは点予測しか出しませんが、 Quantile Regression Forest (QRF) を使うと予測の信頼区間を出せます。 QRF は学習時の各葉に観測値の分布を保存しておき、 推論時に「予測値 ± 信頼区間」を出力します。 SSDSE-B-2026 で「秋田県の 2030 年高齢化率は 39.2% ± [37.5%, 41.0%]」のような区間予測ができ、 政策判断に直結する不確実性情報を提供できます。 Python では quantile-forest パッケージや scikit-learn の GradientBoostingRegressor(loss='quantile', alpha=0.9) で実装できます。

🧾 発表前の最終確認

木アンサンブルでは、 単木数、深さ、学習率、サブサンプリング、特徴量重要度の種類を明示します。 重要度は予測への寄与を示す手がかりであり、 因果効果と混同しないよう注意します。

🎮 触って理解する: バギング（並列に平均）vs ブースティング（逐次に誤り訂正）

同じ「浅い回帰木」を材料にしても、 組み合わせ方が違うとアンサンブルの性格は一変します。 下のデモは、 非線形な 1 次元回帰データ（真の関数 $f(x)=\sin 2\pi x$ ＋ノイズ、 46 点）に対して、 (A) バギング＝ブートストラップ標本ごとに独立に木を学習して平均、 (B) ブースティング＝前段までの残差に木を逐次フィットして加算、 を同一条件で切り替えて観察できます。 木の計算は近似ではなく、 CART と同じ「二乗誤差を最小化する厳密な貪欲分割」で行っています。

🧭 何を観察すればよいか（実験レシピ）

1. バギング × M を 1→50：1 本目はギザギザ（分散大）だが、 平均する木が増えるほど緑の太線が滑らかに安定していく。 ただし訓練 MSE はある水準（個々の木のバイアス）以下には下がらない。 バギングは分散を減らすが、 バイアスは減らせない。
2. バギング × 深さ 1（決定株）：50 本平均しても階段 1 段の平均にしかならず、 sin カーブを表現できない。 弱すぎる学習器の平均は弱いまま — RF が「ある程度深い木」を使う理由がここにあります。
3. ブースティング × 深さ 1 × M を 1→50：決定株の和なのに、 段階的に残差（下段の縦棒）が縮み、 sin カーブに肉薄していく。 ブースティングは弱い木を足し合わせてバイアスを減らす。 下段の残差プロットが「次の木が学ぶ教材」です。
4. 学習率 ν の効果：ν=1.0 にすると少ない本数で訓練 MSE が急落するが、 「真の関数との RMSE」は途中から悪化に転じる（ノイズまで拾う過学習）。 ν=0.1 では本数が多く必要な代わりに、 なだらかに最適点へ近づき過学習しにくい。 これが 学習率と本数のトレードオフ（shrinkage の正則化効果）。
5. 2 つの指標の乖離：訓練 MSE は単調に下がり続けても、 真の関数との RMSE が上がり始めたら過学習のサイン。 実務ではこの「真の関数」が見えないので、 交差検証や early stopping で代用します。

🎨 直感の核心: 並列に平均 vs 逐次に誤り訂正

⚠️ このデモで見えるよくある落とし穴

• 「ブースティングは本数を増やすほど良い」は誤り：訓練 MSE は下がり続けても汎化誤差は U 字を描く。 デモで ν=1.0・M=50 にすると、 オレンジの線がノイズ点を 1 つずつなぞりに行くのが見えます。
• 学習率と本数はセットで調整：ν を 1/10 にしたら M はおよそ 10 倍必要。 「ν 小 × M 大 ＋ early stopping」が実務の定石で、 ν だけ下げて M を据え置くと今度は学習不足（underfit）になります。
• バギングに弱すぎる木を使わない：決定株のバギングが sin を捉えられないのと同様、 RF で max_depth を絞りすぎるとバイアスが支配的になります。 逆にブースティングに深すぎる木を使うと数本で過学習します。
• 訓練誤差だけ見て「精度が出た」と言わない：本デモの「真の関数との RMSE」に相当する検証が現実には CV／hold-out。 SSDSE-B-2026 のような 47 件データでは特に、 訓練 R² の高さは当てになりません。

🚀 発展: このデモと実装ライブラリの対応

• Random Forest ＝ 本デモのバギング ＋ 各分岐での特徴量ランダム選択（1 次元デモでは特徴量が 1 つなので後者は現れない）。 木同士の相関をさらに下げて平均化効果を高めます。
• GBDT（勾配ブースティング決定木）＝ 本デモのブースティングの一般形。 二乗誤差なら「残差へのフィット」と「負の勾配へのフィット」が厳密に一致するため、 本デモは GBDT の忠実な最小例です。 損失を交差エントロピーや分位損失に替えると分類・分位回帰へ拡張されます。
• XGBoost ＝ GBDT ＋ 2 次微分の利用 ＋ 葉数・重みへの正則化（γ, λ）。 デモの「学習率で暴れを抑える」発想を正則化項として定式化したもの。
• LightGBM ＝ GBDT ＋ ヒストグラム分割 ＋ leaf-wise 成長で大規模高速化。 CatBoost はカテゴリ変数の順序型ターゲット統計でリークを防ぎます。
• 基底学習器そのものの分割規準は 決定木のページ、 予測の説明は SHAP のページを参照。

※ デモのデータは動作説明用に生成した合成データ（乱数シード固定）であり、 SSDSE-B-2026 の実測値ではありません。 実データでの数値例は本ページ「🧮 SSDSE-B-2026 で実値計算」の章を参照してください。

📐 数式と定義: ツリーアンサンブルの中核 5 式

① Bagging (Bootstrap Aggregating)

🔬 数式を言葉で読み解く：M 個のブートストラップ標本でそれぞれ木 \\(\\hat{f}_m\\) を学習し、 出力を平均 (回帰) または多数決 (分類)。 分散が \\(\\sigma^2 / M\\) に下がる → 過学習が緩和される。

② Random Forest の特徴量サブサンプリング

🔬 数式を言葉で読み解く：各ノードで全 p 特徴量から \\(m_{\\mathrm{try}}\\) 個だけランダム選択。 木同士の相関を下げて bagging の効果を最大化。 これが RF が「単純 bagging より優れる」核心理由。

③ Gradient Boosting (GBDT) の更新式

🔬 数式を言葉で読み解く：第 t 段で前段の予測 \\(F_{t-1}\\) に学習率 \\(\\eta\\) (0.01〜0.1) 倍した新木 \\(h_t\\) を加算。 \\(h_t\\) は損失 L の負の勾配 (residual) を fit する。 学習率を小さくすると過学習しにくいが時間がかかる。

④ XGBoost の正則化付き損失

🔬 数式を言葉で読み解く：木の葉数 T に \\(\\gamma\\)、 葉の重み \\(w\\) に L2 ノルム \\(\\lambda\\) で正則化。 GBDT に「木の複雑さ」penalty を入れたものが XGBoost の本質。

⑤ Feature Importance (gini importance)

🔬 数式を言葉で読み解く：特徴量 j が分割に使われたノードでの Gini 減少量を全木で平均。 「この特徴量が無いとどれだけ精度が落ちるか」の代理指標。 ただしカテゴリ数が多いとバイアスがかかる (Permutation Importance 推奨)。

📐 アンサンブル学習が分散を下げる根拠 (数理)

バギングが「なぜ精度を上げるか」を分散減少の観点から数理的に説明します。

🔬 数式を言葉で読み解く：M 個の予測値を平均すると、 木同士が完全独立 (ρ=0) なら分散は \\(\\sigma^2 / M\\) に減少。 しかし実際には木同士に相関 ρ があり、 ρσ² の項が残る。 Random Forest が「ノードで特徴量サブサンプル」する理由は、 この ρ を下げて分散減少効果を最大化するため。

🐍 ρ の効果をシミュレーション

🎯 このコードでやること：M=100 木で相関 ρ を変化させたとき、 アンサンブル分散がどう変化するかを可視化。

📥 入力: M=100、 ρ ∈ {0, 0.1, 0.3, 0.5, 0.8}、 σ²=1。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

M = 100
sigma2 = 1.0
rhos = [0.0, 0.1, 0.3, 0.5, 0.8]
rows = []
for rho in rhos:
    var_ensemble = (1 - rho) / M * sigma2 + rho * sigma2
    var_single   = sigma2
    reduction    = 1 - var_ensemble / var_single
    rows.append({'rho': rho, 'var_ensemble': var_ensemble,
                 'reduction_%': reduction * 100})
print(pd.DataFrame(rows).round(4).to_string(index=False))

📤 実行結果:

💬 結果の読み方：ρ=0 なら 99% 分散減少、 ρ=0.5 なら半分にしか減らない、 ρ=0.8 なら 20% しか減らない。 Random Forest が「ノードで特徴量サブサンプル」する設計思想がここに直結している。

📐 ハイパラ最適化: Optuna で GBDT を 30 trials

🎯 このコードでやること：SSDSE-B-2026 上で Optuna による GBDT ハイパラ最適化。 30 trials で最適 (max_depth, learning_rate, n_estimators) を探索。

📥 入力: SSDSE-B-2026 (47 県)、 探索空間 = max_depth∈[2,8], lr∈[0.01,0.3], n_est∈[50,500]。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

import pandas as pd
import optuna
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
def to_class(pop):
    if pop >= 5_000_000: return 'L'
    if pop >= 1_000_000: return 'M'
    return 'S'
df['cls'] = df['A1101'].apply(to_class)
features = ['A4101', 'A4200', 'B4101', 'B4106', 'B4109', 'C3301']
X = df[features].fillna(df[features].median())
y = df['cls']

def objective(trial):
    depth = trial.suggest_int('max_depth', 2, 8)
    lr    = trial.suggest_float('learning_rate', 0.01, 0.3, log=True)
    n_est = trial.suggest_int('n_estimators', 50, 500)
    gb = GradientBoostingClassifier(
        max_depth=depth, learning_rate=lr, n_estimators=n_est, random_state=42
    )
    return cross_val_score(gb, X, y, cv=5).mean()

## 種を固定して、 誰が実行しても同じ結果になるようにする
study = optuna.create_study(direction='maximize',
                            sampler=optuna.samplers.TPESampler(seed=0))
study.optimize(objective, n_trials=30, show_progress_bar=False)

print(f'Best score: {study.best_value:.3f}')
print(f'Best params: {study.best_params}')

📤 実行結果:

💬 結果の読み方：既定パラメータのままの 5 分割 CV が 0.896 なのに対し、 30 trials 後は 0.916 (+2.0 pt)。 最適は「浅い木 (depth=3) + 小さめの学習率 0.017 + n_estimators=184」で、 ツリー系のハイパラ最適化の典型パターン。 <code>TPESampler(seed=0)</code> で種を固定してあるため、 同じ手順を踏めば誰がやっても上と同じ値が出る。

🔬 数式を言葉で読み解く

数式の記号・要素を言葉で説明する。

前節の数式に含まれる記号を、 日本語の意味に翻訳する。

• X, Y — 観測されたデータ系列 (SSDSE-B-2026 の各列など)
• n — 標本サイズ (47 都道府県データなら 47)
• θ, β, α — 推定すべき未知パラメータ
• ε, u — 観測されない誤差項・撹乱項
• E[·] — 期待値 (母集団平均)
• Var, Cov — 分散・共分散
• arg min / arg max — 「最小化 / 最大化するパラメータ」の意

tree ensemble の数式は、 これらの記号を組み合わせて「データから未知量を推定する」あるいは「データの構造を要約する」プロセスを記述している。

🧮 SSDSE-B-2026 で実値計算: 47 県を Random Forest で分類

SSDSE-B-2026 の 47 県データから「人口規模カテゴリ (大/中/小)」を予測する分類問題を Random Forest で解きます。

🎯 このコードでやること：SSDSE-B-2026 を読み込み、 総人口を 3 クラス (大: 500 万人超、 中: 100〜500 万、 小: 100 万未満) に分け、 出生率・気温・降水量などから RF で分類。 feature_importances_ で寄与度を確認。

📥 入力データ (SSDSE-B-2026 抜粋、 主要列):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

# SSDSE-B-2026 を読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）

# 総人口を 3 クラスに離散化
def to_class(pop):
    if pop >= 5_000_000: return 'L'  # 大
    if pop >= 1_000_000: return 'M'  # 中
    return 'S'                       # 小
df['cls'] = df['A1101'].apply(to_class)

# 説明変数: 出生率・気温・降水・着工建築物
features = ['A4101', 'A4200', 'B4101', 'B4102', 'B4103', 'B4106', 'B4109', 'C3301']
X = df[features].fillna(df[features].median())
y = df['cls']

# Random Forest
rf = RandomForestClassifier(n_estimators=200, max_depth=5, random_state=42)
scores = cross_val_score(rf, X, y, cv=5)
print(f'5-fold CV accuracy: {scores.mean():.3f} ± {scores.std():.3f}')

rf.fit(X, y)
importance = pd.Series(rf.feature_importances_, index=features).sort_values(ascending=False)
print('\\nFeature Importance:')
print(importance.round(3))

📤 実行結果:

💬 結果の読み方：2023 年の 47 県のみ（年度リークなし）で 5-fold CV 約 94% 精度。 最重要特徴量は 着工建築物数 (C3301)・死亡数 (A4200)・出生数 (A4101) — いずれも人口規模と強く連動する量。 気候要因（気温・降水）の寄与は小さい。 RF はこのように「どの特徴が効くか」を可視化できる強み。

GBDT (LightGBM) と精度比較

🎯 このコードでやること：同じ問題を sklearn の GradientBoostingClassifier で解き、 RF と精度・速度を比較。

📥 入力: 上記と同じ X, y。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import cross_val_score
import time

gb = GradientBoostingClassifier(n_estimators=200, max_depth=3, learning_rate=0.05, random_state=42)
start = time.time()
scores_gb = cross_val_score(gb, X, y, cv=5)
gb_time = time.time() - start

start = time.time()
scores_rf = cross_val_score(rf, X, y, cv=5)
rf_time = time.time() - start

print(f'RF:  acc {scores_rf.mean():.3f} ± {scores_rf.std():.3f}   time {rf_time:.2f}s')
print(f'GBM: acc {scores_gb.mean():.3f} ± {scores_gb.std():.3f}   time {gb_time:.2f}s')

📤 実行結果:

💬 結果の読み方：2023 年 47 県では RF と GBDT はほぼ同水準（RF 0.938 / GBM 0.916）で、 木の本数が少ない小規模データでは両者の差は小さい。 学習時間は GBDT のほうが長い。 大規模データ (10 万行以上) では LightGBM の leaf-wise growth が顕著に高速。

🧮 SSDSE-B-2026 で過学習を可視化: max_depth の効果

RF の max_depth を 2〜20 まで動かし、 訓練精度・検証精度の差から過学習を検出します。

🎯 このコードでやること：max_depth を 2〜20 まで変化させ、 train_score と test_score の差を観察。 過学習の境界 (max_depth) を可視化。

📥 入力: SSDSE-B-2026 (47 県)、 目的変数 = 人口 3 クラス。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
def to_class(pop):
    if pop >= 5_000_000: return 'L'
    if pop >= 1_000_000: return 'M'
    return 'S'
df['cls'] = df['A1101'].apply(to_class)
features = ['A4101', 'A4200', 'B4101', 'B4106', 'B4109', 'C3301']
X = df[features].fillna(df[features].median())
y = df['cls']

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)

results = []
for depth in [2, 3, 5, 7, 10, 15, 20]:
    rf = RandomForestClassifier(n_estimators=100, max_depth=depth, random_state=42)
    rf.fit(X_tr, y_tr)
    results.append({
        'max_depth': depth,
        'train_acc': rf.score(X_tr, y_tr),
        'test_acc':  rf.score(X_te, y_te),
        'gap':       rf.score(X_tr, y_tr) - rf.score(X_te, y_te),
    })
print(pd.DataFrame(results).round(3).to_string(index=False))

📤 実行結果:

💬 結果の読み方：2023 年 47 県のみに絞ると、 人口規模クラス（大/中/小）は着工建築物数・出生数・死亡数からほぼ完全に線形分離できてしまい、 どの深さでも train=test=100%、 gap=0 になる。 つまりこのターゲットは易しすぎて過学習が観測されない。

🧮 SHAP で 47 県分類の説明

予測結果を「どの特徴がどれだけ寄与したか」を SHAP 値で説明します。 個別予測の解釈に強い。

🎯 このコードでやること：GBDT モデルの予測に対し SHAP TreeExplainer を適用し、 特徴量の寄与度を可視化。

📥 入力: SSDSE-B-2026 (2023 年 47 県) の 6 変数と、 学習済み RandomForestClassifier (3 クラス分類)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import numpy as np
import pandas as pd
import shap
from sklearn.ensemble import RandomForestClassifier

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
def to_class(pop):
    if pop >= 5_000_000: return 'L'
    if pop >= 1_000_000: return 'M'
    return 'S'
df['cls'] = df['A1101'].apply(to_class)
features = ['A4101', 'A4200', 'B4101', 'B4106', 'B4109', 'C3301']
X = df[features].fillna(df[features].median())
y = df['cls']

gb = RandomForestClassifier(n_estimators=200, max_depth=5, random_state=42)
gb.fit(X, y)

# SHAP 値計算 (TreeExplainer はRF/決定木アンサンブルに対応)
explainer = shap.TreeExplainer(gb)
shap_values = np.asarray(explainer.shap_values(X))
print('shap_values.shape =', shap_values.shape)  # (47 サンプル, 6 特徴, 3 クラス)

# 全サンプル平均寄与度（多クラスはサンプル軸とクラス軸の両方を平均する）
axes = (0, 2) if shap_values.ndim == 3 else 0
mean_abs_shap = pd.Series(
    np.abs(shap_values).mean(axis=axes), index=features
).sort_values(ascending=False)
print('SHAP 平均寄与度:')
print(mean_abs_shap.round(4))

📤 実行結果:

💬 結果の読み方：2023 年 47 県で RandomForest に shap.TreeExplainer を適用した実測値。 出生数・死亡数・着工建築物数の 3 つが人口規模クラスの判別に効き、 気候変数の寄与は 1 桁小さい。 Gini Importance と概ね一致するが、 SHAP は 個別予測ごとの寄与も分解できる点が強み。 なお sklearn の多クラス GradientBoostingClassifier は TreeExplainer 非対応のため、 ここでは RF を用いている。 ブラックボックス批判への強力な回答。

🧮 数式に値を入れて手で計算する: アンサンブル多数決

合成 5 木の予測から多数決を計算する。

Step 1: 個別予測

Step 2: 投票結果

🐍 Python で再現

1
2
3
4

import numpy as np
preds = np.array([[1,1,0,1,1],[0,1,0,0,1],[1,0,1,1,0]])
vote = (preds.mean(axis=1) > 0.5).astype(int)
print(f"多数決: {vote}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装バリエーション（scikit-learn / xgboost / lightgbm / catboost）

同じ「高齢化率の高低（中央値で二値化）」の分類を 4 つのライブラリで実装する例。 API の違いと共通点が分かります。

A. scikit-learn の HistGradientBoosting（依存なし・最速ベースライン）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
import lightgbm as lgb

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
rate = df['A1303'] / df['A1101']  # 高齢化率 = 65歳以上人口 / 総人口
df['y'] = (rate >= rate.median()).astype(int)
X = df[['A4101', 'A4200', 'B4101', 'L3221']]
y = df['y']

for name, model in [
    ('Tree', DecisionTreeClassifier(max_depth=5, random_state=42)),
    ('RF',   RandomForestClassifier(n_estimators=500, random_state=42)),
    ('LGB',  lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05, verbose=-1, n_jobs=1)),
]:
    sc = cross_val_score(model, X, y, cv=5, scoring='accuracy')
    print(f'{name}: {sc.mean():.3f} ± {sc.std():.3f}')

1
2
3
4
5
6
7
8
9

from sklearn.inspection import permutation_importance
rf.fit(X, y)
perm = permutation_importance(rf, X, y, n_repeats=30, random_state=42, n_jobs=-1)
import pandas as pd
result = pd.DataFrame({
    'MDI':  rf.feature_importances_,
    'Perm': perm.importances_mean,
}, index=X.columns).sort_values('Perm', ascending=False)
print(result)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import lightgbm as lgb
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

X_tr, X_va, y_tr, y_va = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)
model = lgb.LGBMClassifier(n_estimators=1000, learning_rate=0.05, verbose=-1)
model.fit(X_tr, y_tr, eval_set=[(X_tr, y_tr), (X_va, y_va)],
          eval_metric='binary_logloss',
          callbacks=[lgb.early_stopping(50), lgb.log_evaluation(0)])
lgb.plot_metric(model)
plt.show()

📝 12. 報告フォーマット

❌ NG例

「Random Forest を使った結果、 accuracy 0.85 でした。」

✅ OK例

「LightGBM（n_estimators=500, learning_rate=0.05, early_stopping_rounds=50）で 5-fold Stratified CV を行い、 macro-F1 = 0.78 ± 0.03 を得た。 ベースラインのロジスティック回帰（0.71）に対し +0.07。 特徴量重要度（Permutation）では『出生数』が最も寄与し、 SHAP 値による個別解釈でも同じ傾向を確認した。」

🐍 13. ライブラリ早見表

📜 14. ツリー系・アンサンブル法の歴史

• 1963：Morgan & Sonquist が AID — 決定木の原型
• 1984：Breiman らが CART（Classification And Regression Trees）
• 1986：Quinlan の ID3
• 1993：Quinlan の C4.5
• 1996：Breiman の Bagging
• 1997：Freund & Schapire の AdaBoost（ゲーデル賞2003）
• 2001：Breiman の Random Forest
• 2001：Friedman の 勾配ブースティング
• 2014：Chen & Guestrin の XGBoost
• 2017：Microsoft が LightGBM、 Kaggle で猛威
• 2018：Yandex が CatBoost、 カテゴリ処理を内製化

💼 15. 実務応用例

• 金融：信用スコアリング・不正検知（FICO・PayPalがGBMを採用）
• EC・広告：CTR予測、 商品レコメンド、 検索ランキング（LightGBMはLambdaMARTで標準）
• 製造業：不良検知、 予兆保全、 品質予測
• 医療：罹患リスク予測、 退院後再入院予測
• 保険：損害額予測、 ロスレシオ推定
• HR：離職予測、 採用スクリーニング
• 公共政策：地域指標から各種比率を予測（SSDSE-Bの想定用途）

🐍 GBDT で SSDSE-B-2026 を回帰: 消費支出を予測

🎯 このコードでやること：SSDSE-B-2026 の県別データで、 人口・出生・着工建築物・地価などから 1 世帯あたり消費支出（L3221）を推定する回帰問題を勾配ブースティングで解く。

📥 入力データ: SSDSE-B-2026 47 県、 説明変数 = 総人口/年少人口/出生数/死亡数/着工建築物数/着工床面積/地価、 目的変数 = 消費支出（L3221）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import KFold, cross_val_score
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）

# 目的変数: 消費支出 (L3221)
# 説明変数: 人口・出生・着工・公共設備
features = ['A1101', 'A1301', 'A4101', 'A4200', 'C3301', 'C3302', 'C5401']
df_clean = df[features + ['L3221']].dropna()
X = df_clean[features]
y = df_clean['L3221']

# GBDT 回帰
gbr = GradientBoostingRegressor(
    n_estimators=300, max_depth=3, learning_rate=0.05, random_state=42
)
cv = KFold(n_splits=5, shuffle=True, random_state=0)
r2_scores = cross_val_score(gbr, X, y, cv=cv, scoring='r2')
neg_mse  = cross_val_score(gbr, X, y, cv=cv, scoring='neg_mean_squared_error')
rmse = np.sqrt(-neg_mse).mean()
print(f'5-fold CV R^2 = {r2_scores.mean():.3f} ± {r2_scores.std():.3f}')
print(f'5-fold CV RMSE = {rmse:,.0f} 円/月')

gbr.fit(X, y)
imp = pd.Series(gbr.feature_importances_, index=features).sort_values(ascending=False)
print('\\nFeature Importance:')
print(imp.round(3))

📤 実行結果:

💬 結果の読み方：2023 年 47 県のみで正しく評価すると CV R² = -1.128（負！）── 平均値予測にすら負けており、 このモデルは汎化していない。 特徴量 7 個・サンプル 47 件では GBDT（n_estimators=300）が容易に過学習し、 fold 外の県をまったく当てられない。 訓練データ上の feature_importances_（C3301 が最大）は「見かけの寄与」に過ぎない。

🐍 Stacking で 3 モデル統合 (実践例)

🎯 このコードでやること：RF・GBDT・LR の 3 モデルを stacking で統合し、 単一モデルとの精度比較。 SSDSE-B-2026 47 県の人口クラス分類が題材。

📥 入力: SSDSE-B-2026 (47 県)、 特徴量 8 列、 目的変数 = 人口 3 クラス。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import pandas as pd
from sklearn.ensemble import (
    RandomForestClassifier, GradientBoostingClassifier, StackingClassifier
)
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
def to_class(pop):
    if pop >= 5_000_000: return 'L'
    if pop >= 1_000_000: return 'M'
    return 'S'
df['cls'] = df['A1101'].apply(to_class)
features = ['A4101', 'A4200', 'B4101', 'B4102', 'B4103', 'B4106', 'B4109', 'C3301']
X = df[features].fillna(df[features].median())
y = df['cls']

# 個別モデル
rf = RandomForestClassifier(n_estimators=200, max_depth=5, random_state=42)
gb = GradientBoostingClassifier(n_estimators=200, max_depth=3, learning_rate=0.05, random_state=42)
lr = Pipeline([('sc', StandardScaler()), ('lr', LogisticRegression(max_iter=1000))])

# Stacking: 3 base + LR meta
stack = StackingClassifier(
    estimators=[('rf', rf), ('gb', gb), ('lr', lr)],
    final_estimator=LogisticRegression(max_iter=1000),
    cv=5
)

for name, mdl in [('RF', rf), ('GB', gb), ('LR', lr), ('Stack', stack)]:
    sc = cross_val_score(mdl, X, y, cv=5)
    print(f'{name:6s}: {sc.mean():.3f} ± {sc.std():.3f}')

📤 実行結果:

💬 結果の読み方：2023 年 47 県では単独 RF が 0.938 と最も高く、 Stack (0.916) は RF を上回らなかった。 線形モデル (LR 0.727) が弱いターゲットでは、 スタッキングが必ずしも単独ベストを超えるとは限らない ── 特にサンプルが 47 件と少ないと meta 学習の恩恵が出にくい。 多様性のあるモデルを混ぜる手法自体は Kaggle 上位解の常套手段だが、 「必ず勝つ」わけではない点に注意。

🐍 Isolation Forest で 47 県の異常検知

🎯 このコードでやること：SSDSE-B-2026 の 47 県の中で「他県と乖離した県」を Isolation Forest で発見。 異常スコアで上位 3 県を抽出。

📥 入力: SSDSE-B-2026 (47 県)、 特徴量 = 人口・出生・気温・降水・消費。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import pandas as pd
from sklearn.ensemble import IsolationForest
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 年度列で最新年に絞る (B は 2012〜2023 の複数年度を含む)
features = ['A1101', 'A4101', 'B4101', 'B4109', 'L3221']  # 人口/出生/気温/降水/消費
X = df[features].fillna(df[features].median())
X_sc = StandardScaler().fit_transform(X)

iso = IsolationForest(contamination=0.1, random_state=42)
df['anomaly_score'] = -iso.fit(X_sc).score_samples(X_sc)
top3 = df.nlargest(3, 'anomaly_score')[['Prefecture', 'A1101', 'anomaly_score']]
print('異常スコア上位 3 県:')
print(top3.to_string(index=False))

📤 実行結果:

💬 結果の読み方：人口・出生数・消費支出が突出する東京、 気温・降水量が全国から大きく乖離する沖縄、 大きな人口と低い気温を併せ持つ北海道が「異常」と判定される (2023 年値、 実測)。 これは「データ的に異常」というだけで「悪い」わけではない (= 特徴量空間での外れ値)。 異常検知は「警告フラグ」であり、 「アクション」とは独立に解釈する。

⚠️ 10. よくある落とし穴

⚠️ 詳説：落とし穴 10 連発（各 100 文字以上の詳細解説）

⚠️ 重要な注意点（誤解を避ける）

「特徴量重要度」「SHAP」は予測への寄与であり、 因果効果ではない。

• Random Forest や XGBoost の feature_importances_、 SHAP 値は「モデルがその特徴量をどれくらい予測に使ったか」を示すだけです。
• 「この特徴量を介入すれば結果が変わる」という因果効果は示しません。
• 因果効果を推定したい場合は、 パネル・因果推論（RCT, DID, IV, RDD 等）を使う必要があります。
• また MDI（mean decrease in impurity）型の重要度はカテゴリ数が多い変数を過大評価するバイアスがあります。 Permutation Importance や SHAP を併用してください。

⚠️ ツリーアンサンブルの 5 大落とし穴

1. 過学習 (overfitting)：木の深さ無制限・木数を増やしすぎると訓練データに過適合。 対策：max_depth ≤ 8、 min_samples_leaf ≥ 5、 early_stopping を使う。
2. 木の深さの罠：深い木は単独で高分散、 浅い木は高バイアス。 GBDT は浅い木 (depth 3-6) を多数、 RF は深い木 (depth 10+) で動かす。
3. 計算量とメモリ：n_estimators=1000、 max_depth=20 だとメモリ数 GB に達する。 対策：LightGBM や histogram-based GBM で削減。
4. 解釈性の誤解：Gini importance は カテゴリ数が多い特徴を過大評価。 対策：Permutation Importance / SHAP を併用。
5. 外挿 (extrapolation) 不能：訓練データの範囲外を予測すると、 木は最近の葉値で打ち止め。 対策：時系列の trend は GBM 単独では捉えにくい → 線形モデルとの組合せ (residual boosting)。

⚠️ ツリーアンサンブルの追加落とし穴 (続編)

1. カテゴリ変数の高 cardinality 問題：one-hot で爆発、 ラベルエンコードで順序誤解釈。 対策：CatBoost のような category-aware モデル、 または Target Encoding (リーク注意)。
2. 不均衡データへの過信：少数クラスの精度が低いまま「全体 95%」で満足。 対策：class_weight='balanced'、 SMOTE、 PR-AUC を主指標に。
3. OOB スコアと CV の混同：RF の OOB スコアは便利だが CV ほど厳密ではない。 対策：本番判断は必ず StratifiedKFold で。
4. random_state 依存：random_state を変えると精度が ±2% 動くことがある。 対策：複数 seed で平均、 best seed を選ばない (selection bias)。
5. 木の数を増やしすぎ：n_estimators=10000 にしても accuracy はサチる。 対策：early_stopping_rounds で打ち切る、 検証曲線で頭打ち地点を探す。

🌐 ツリーアンサンブルの関連手法・派生

• Random Forest — bagging の代表格。 並列学習で安定。
• XGBoost — boosting の標準。 Kaggle 優勝多数。
• LightGBM — boosting + leaf-wise。 大規模で高速。
• CatBoost — boosting + カテゴリ変数自動処理。
• Stacking — 複数モデルを meta-learner で統合。
• Bagging — bootstrap aggregation の一般形。
• Boosting — 逐次学習による弱学習器強化。
• SHAP — ツリー系の標準解釈ツール。
• Permutation Importance — Gini Importance の偏りを補正する代替指標。
• 決定木 — ツリーアンサンブルの基底学習器。

🔗 関連用語（前提・並列・発展）

• 前提：決定木・情報エントロピー・勾配降下法
• 並列：ニューラルネット・SVM・ロジスティック回帰
• 発展：SHAP・Optuna・Stacking・交差検証

📚 関連グループ教材

• 論文一覧トップ
• 用語集 概念マップ
• 関連カテゴリ: 機械学習基礎・分類・回帰

🔗 関連用語

• 分類モデル基礎 — ロジスティック・k-NN・SVM・LDA・NB
• 機械学習の基礎 — 学習・汎化・損失
• 評価指標 — Accuracy・F1・ROC-AUC・PR-AUC
• 過学習 — バイアス・分散トレードオフ
• 交差検証 — k-fold CV・Stratified CV
• 線形回帰 — 回帰のベースライン
• 相関分析 — 特徴選択の前段

📘 前提となる用語（先に押さえるべき 4 つ以上）

• 機械学習の基礎 — 教師あり学習・損失・最適化の概念がないとブースティングの「勾配で学習」の意味が掴めません。
• 過学習と正則化 — 決定木の剪定・GBM の reg_lambda はすべて正則化の言葉で語られます。
• 交差検証 — RandomForest の OOB、 GBM の early stopping は両方 CV 的発想の応用です。
• 評価指標 — 分類・回帰・順位（ランキング）で使う指標が違うため、 目的関数選択にも直結します。
• 相関分析 — 特徴量選択・多重共線性の影響を事前確認するため。

⚖️ 並列で比較したい用語（同じ層で並ぶ手法）

• ロジスティック回帰 — 解釈性で勝つ線形ベースライン。
• SVM — 高次元小サンプルで強い非ツリーモデル。
• ニューラルネット — 大規模・非構造化データで強み。
• ナイーブベイズ — テキスト分類等の高速ベースライン。
• k 近傍法 — 局所的に「似た例の答え」を借りる古典手法。

🚀 発展で学ぶべき用語（次に進むべき 4 つ以上）

• SHAP 値・解釈手法 — ツリー系の標準解釈ツール。
• Optuna / ベイズ最適化 — ハイパラ探索を効率化する。
• スタッキング・ブレンディング — 複数モデルを統合する上位手法。
• 時系列モデリング — TimeSeriesSplit と組み合わせた GBM が実務標準。
• 因果推論 — 予測モデルでは答えられない介入問いを扱う。
• 異常検知（Isolation Forest） — ツリーアンサンブルの教師なし応用。

📚 このページの章構成

🌲 1. 決定木 (Decision Tree)

1.1 直観

「もし所得が 500万円以上なら → 持ち家率高い、 そうでなければ次の質問へ…」のように、 yes/no で枝分かれする木構造で予測する。 ノード（条件）から葉（予測値）まで辿れば判断根拠が明確で、 業務でそのまま使える説明力がある。

1.2 分割の評価指標

あるノード $t$ の不純度を最小化するように分岐を作る。

ジニ不純度

$$\mathrm{Gini}(t) \;=\; 1 - \sum_{k=1}^{K} p_k^2$$

記号読み：$p_k$ は「ピー・サブ・ケー」、 ノード $t$ におけるクラス $k$ の割合。 すべてのサンプルが同一クラスなら $\mathrm{Gini}=0$。

情報エントロピー

$$H(t) \;=\; -\sum_{k=1}^{K} p_k \log_2 p_k$$

記号読み：$H$ は「エイチ」、 確率分布の不確実性。 等確率に近いほど大きく、 偏るほど小さい。

情報利得

分割で減ったエントロピー：

$$\mathrm{IG}(t, a) \;=\; H(t) - \sum_{v} \frac{|t_v|}{|t|} H(t_v)$$

記号読み：$\mathrm{IG}$ は「アイ・ジー」、 属性 $a$ で分割したときの情報利得。 大きいほど良い分岐。

1.3 実値で計算

10サンプル（正例 6・負例 4）のノードを「年齢 < 30」で分けたら、 左ノード（5件中正例 4・負例 1）、 右ノード（5件中正例 2・負例 3）になったとする。

• 親 Gini: $1 - (0.6^2 + 0.4^2) = 0.48$
• 左 Gini: $1 - (0.8^2 + 0.2^2) = 0.32$
• 右 Gini: $1 - (0.4^2 + 0.6^2) = 0.48$
• 加重平均: $(5/10)\cdot0.32 + (5/10)\cdot0.48 = 0.40$
• ジニ減少: $0.48 - 0.40 = 0.08$（この分岐は有効）

1.4 剪定 (Pruning)

木を深く育てるほど訓練データに過学習する。 事前剪定（max_depth、 min_samples_leaf 等の制約）と事後剪定（Cost-Complexity Pruning, ccp_alpha）の 2 系統がある。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
rate = df['A1303'] / df['A1101']
df['高齢層多い'] = (rate >= rate.median()).astype(int)
X = df[['A4101', 'A4200', 'B4101']]
y = df['高齢層多い']

clf = DecisionTreeClassifier(max_depth=3, criterion='gini', random_state=42)
clf.fit(X, y)

plt.figure(figsize=(14, 6))
plot_tree(clf, feature_names=X.columns, class_names=['低', '高'],
          filled=True, rounded=True)
plt.show()

🎯 2. アンサンブル学習の発想

1本の弱い木より「ばらつきの違う多数の木の多数決」の方が、 ノイズに強く正確になる、 という洞察。

主な戦略

👜 3. バギング (Bagging = Bootstrap AGGregatING)

訓練データから復元抽出で多数のサブセットを作り、 それぞれで弱学習器を訓練し、 予測を平均（回帰）または多数決（分類）する。

3.1 数式

$M$ 個のブートストラップサンプル $D_1, \dots, D_M$ から得た予測器 $\hat{f}_m$ で：

$$\hat{f}_{\text{bag}}(x) \;=\; \frac{1}{M}\sum_{m=1}^{M}\hat{f}_m(x)$$

記号読み：$\hat{f}_{\text{bag}}$ は「エフ・バッグのハット」、 バギング全体の予測。 個々の $\hat{f}_m$ より分散が小さい。

3.2 OOB誤差 (Out-of-Bag Error)

復元抽出で取られなかった約 37% のサンプルを検証データとして使える。 別途 CV しなくても汎化誤差を推定できる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

# ── この抜粋で使うデータを用意します ──
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
X = df[['A1101', 'B4101', 'L3221']].astype(float).values
_aging = df['A1303'] / df['A1101'] * 100
y = y_binary = (_aging >= _aging.median()).astype(int).values   # 高齢化率が中央値以上か
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y)

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=300, oob_score=True, random_state=42)
rf.fit(X_train, y_train)
print('OOB Accuracy:', rf.oob_score_)

📚 章末まとめ + 試験対策ポイント

📌 試験対策のコツ：「Bagging は並列・Boosting は逐次」と「学習率は GBDT の主要ハイパラ」を暗記。 表形式データで DL を超える性能を出すというのも頻出。

🗺 概念マップ

Tree ensemble (Random Forest / Gradient Boosting / XGBoost / LightGBM / CatBoost) を中心に、 単独決定木 (CART) を前提に、 バギング / ブースティング / スタッキングへの派生、 特徴量重要度・SHAP への接続を 6 方向に整理。

Tree ensemble の中心は Random Forest・Gradient Boosting・XGBoost・LightGBM・CatBoost の 5 系統。 前提に 単独の決定木 (CART)、 並列に バギング / ブースティング、 発展に スタッキング / ヘテロアンサンブル がある。

SSDSE-B-2026 の「都道府県の人口・出生・着工建築物 → 消費支出（L3221）」を予測する場合、 1 本の決定木は MAE が大きいが、 RF (n_estimators=500) や LightGBM で 47 県 CV すると MAE が 1/3 になる。 これがアンサンブルの「分散低減」効果の実例。

🔗 隣接手法への橋渡し

Tree ensemble は表形式データの「定番モデル」で、 前処理から評価まで明確なパイプラインがある。

• 上流: 欠損埋め (XGBoost / LightGBM は欠損をネイティブ対応) → カテゴリ encoding (CatBoost は文字列直接 OK) → train/test split
• 並列: Random Forest (バギング、 並列)、 XGBoost (ブースティング、 逐次)、 LightGBM (leaf-wise、 大規模高速)、 CatBoost (順序ブースティング、 カテゴリ自動)
• 下流: 特徴量重要度 で説明 → SHAP で各予測の寄与分解 → CV + Early Stopping で過学習防止

SSDSE-B-2026 (47 県 × 50 指標) のような中小規模データでは LightGBM + 5-fold CV + Early Stopping が標準。 NN より高速で精度も高い。

🌳 4. Random Forest

🌳 4. Random Forest

バギング ＋ 各分岐で特徴量もランダムサンプリング。 木同士の相関が下がり、 平均化効果がさらに高まる。

4.1 主要ハイパーパラメータ

• n_estimators：木の本数。 多いほど安定（100〜1000）
• max_depth：木の深さ上限（過学習防止）
• max_features：各分岐で使う特徴量数。 分類は $\sqrt{p}$、 回帰は $p/3$ が標準
• min_samples_leaf：葉ノード最小サンプル数（過学習防止）
• class_weight='balanced'：不均衡クラス対応

4.2 特徴量重要度

分岐に使った特徴量が平均でどれだけ不純度を下げたかで重要度を算出（mean decrease in impurity）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestRegressor

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
X = df[['A1101', 'A4101', 'A4200', 'B4101', 'C3301']]
y = df['L3221']

rf = RandomForestRegressor(n_estimators=500, max_depth=8, random_state=42, n_jobs=-1)
rf.fit(X, y)

importance = pd.Series(rf.feature_importances_, index=X.columns).sort_values()
importance.plot(kind='barh', color='#43A047')
plt.title('特徴量重要度（RF）')
plt.xlabel('Importance')
plt.tight_layout()
plt.show()

注意：MDI バイアス

カテゴリ数の多い・連続変数の特徴量ほど重要度が大きく出る傾向（MDI バイアス）。 より信頼性の高い順列重要度（Permutation Importance）や SHAP を併用するのが実務標準。

🚀 5. ブースティング (Boosting)

弱学習器を直列に並べ、 前の学習器の誤りを次が補正するように学習を進める。

5.1 AdaBoost (Adaptive Boosting, 1995)

誤分類したサンプルの重みを大きくし、 次の弱学習器がそれを優先的に学ぶ。

$$\alpha_m = \frac{1}{2}\log\frac{1-\epsilon_m}{\epsilon_m}, \quad w_i \leftarrow w_i \exp(\alpha_m \cdot \mathbb{1}[y_i \ne \hat{y}_i])$$

記号読み：$\alpha_m$ は「アルファ・サブ・エム」、 第 $m$ 弱学習器の重み。 誤分類率 $\epsilon_m$ が小さい学習器ほど大きな影響を持つ。

5.2 勾配ブースティング (Gradient Boosting Machine)

損失関数 $L$ の負の勾配（残差に相当）に新しい木をフィットさせていく。

$$F_m(x) = F_{m-1}(x) + \nu \cdot h_m(x), \quad h_m \approx -\left.\frac{\partial L(y, F)}{\partial F}\right|_{F=F_{m-1}}$$

記号読み：$F_m$ は「エフ・サブ・エム」、 $m$ 段目までの合計予測。 $\nu$ は「ニュー」と読み、 学習率（0.01〜0.1）。 $h_m$ は新たに加える弱木。

1
2
3
4
5
6

from sklearn.ensemble import GradientBoostingClassifier
gbm = GradientBoostingClassifier(
    n_estimators=500, learning_rate=0.05, max_depth=3, random_state=42
)
gbm.fit(X_train, y_train)
print('Test acc:', gbm.score(X_test, y_test))

⚡ 6. XGBoost / LightGBM / CatBoost

6.1 XGBoost (eXtreme Gradient Boosting, 2014)

• 勾配ブースティングに正則化項（葉の数・重みの L2）を導入
• 欠損値の自動扱い・ヒストグラム法での高速化
• Kaggle 黎明期のスタンダードを築いた

6.2 LightGBM (2017)

• Leaf-wise（最良の葉を優先成長）で高精度
• カテゴリ変数を内部処理でそのまま扱える
• GOSS（Gradient-based One-Side Sampling）と EFB（Exclusive Feature Bundling）で超高速
• テーブルデータでは現在の主力

6.3 CatBoost (2018)

• カテゴリ変数を Target Encoding で内部処理（Ordered TS で漏れ防止）
• Ordered Boosting で過学習に強い
• ハイパーパラメータ既定値で良いスコアが出やすい

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 早期終了の判定に使う検証データを、 訓練データからさらに切り出す
X_fit, X_val, y_fit, y_val = train_test_split(
    X_train, y_train, test_size=0.25, random_state=42, stratify=y_train)

train = lgb.Dataset(X_fit, label=y_fit)
val   = lgb.Dataset(X_val, label=y_val, reference=train)

params = dict(
    objective='binary',
    learning_rate=0.05,
    num_leaves=31,
    feature_fraction=0.9,
    bagging_fraction=0.8,
    bagging_freq=5,
    min_data_in_leaf=3,   # 47 県と小さいので既定 20 のままだと木が育たない
    verbose=-1,
)
model = lgb.train(params, train, num_boost_round=1000,
                  valid_sets=[val],
                  callbacks=[lgb.early_stopping(50, verbose=False)])
pred = (model.predict(X_test) >= 0.5).astype(int)
print('best_iteration:', model.best_iteration)
print('LGB Accuracy:', accuracy_score(y_test, pred))

6.4 三者比較

🥞 7. スタッキング (Stacking)

複数の異質モデル（RF・LGB・ロジスティック等）の予測を、 さらに別のメタモデル（ロジスティック等）が統合する 2 段構成。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.ensemble import StackingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC

base = [
    ('rf',  RandomForestClassifier(n_estimators=300, random_state=42)),
    ('svm', SVC(probability=True, random_state=42)),
]
stack = StackingClassifier(
    estimators=base,
    final_estimator=LogisticRegression(max_iter=1000),
    cv=5, n_jobs=-1,
)
stack.fit(X_train, y_train)
print(stack.score(X_test, y_test))

🔍 8. SHAP — モデルを説明する標準ツール

ツリー系モデルの予測寄与をサンプル単位で分解する。 「なぜこの個体は『高い』と予測されたのか」が分かる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import numpy as np
import pandas as pd
import shap
import lightgbm as lgb

# X_train / X_test は前掲の 3 特徴（A1101 総人口・B4101 年平均気温・L3221 消費支出）
feat_names = ['A1101', 'B4101', 'L3221']
lgb_clf = lgb.LGBMClassifier(n_estimators=200, learning_rate=0.05,
                             num_leaves=15, min_child_samples=3, verbose=-1)
lgb_clf.fit(X_train, y_train)

explainer = shap.TreeExplainer(lgb_clf)
sv = explainer(X_test)                   # Explanation オブジェクトで受け取る
shap.summary_plot(sv, X_test, feature_names=feat_names, show=False)
print('平均 |SHAP|:')
print(pd.Series(np.abs(sv.values).mean(axis=0), index=feat_names).round(4).to_string())

📊 9. 手法横断比較

🌳 木のアンサンブル: Bagging vs Boosting vs Stacking 徹底比較

木のアンサンブルは「弱学習器（浅い決定木）を多数組み合わせて強学習器を作る」枠組み。 組み合わせ方の違いで Bagging / Boosting / Stacking の 3 系統に分かれる。 SSDSE-B-2026 の都道府県人口予測タスクで比較する。

🐍 数式を言葉で読み解く: Random Forest と XGBoost の予測式

Random Forest は $T$ 本の木の予測を単純平均: $\hat y = \frac{1}{T}\sum_{t=1}^T f_t(x)$。 一方 XGBoost は加法モデル: $\hat y = \sum_{t=1}^T \eta f_t(x)$ で、 各 $f_t$ は前の残差にフィットし学習率 $\eta$ で減衰させる。 つまり Bagging は「投票」、 Boosting は「修正」が本質。

🎯 このコードでやること

SSDSE-B-2026 の都道府県データで人口（A1101）を 出生数（A4101）・転入者数（A5101）・死亡数（A4200）等の特徴量から予測し、 RandomForest / XGBoost / LightGBM の R^2 を比較する。

📥 入力データ: SSDSE-B-2026.csv の都道府県 47 行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score, KFold
import xgboost as xgb
import lightgbm as lgb

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')  # 2023 年に絞る（B は複数年度を含むため）
# 目的変数: 総人口 (A1101)、 説明変数: 出生数・転入者数・死亡数
features = ['A4101', 'A5101', 'A4200']
data = df[features + ['A1101']].dropna()
X, y = data[features], data['A1101']

cv = KFold(n_splits=5, shuffle=True, random_state=42)
models = {
    'RF':   RandomForestRegressor(n_estimators=500, random_state=42),
    'XGB':  xgb.XGBRegressor(n_estimators=500, learning_rate=0.05),
    'LGBM': lgb.LGBMRegressor(n_estimators=500, learning_rate=0.05, verbose=-1, n_jobs=1),
}
for name, model in models.items():
    r2 = cross_val_score(model, X, y, cv=cv, scoring='r2').mean()
    print(f'{name}: R^2 = {r2:.4f}')
rf = models['RF'].fit(X, y)
print(pd.Series(rf.feature_importances_, index=features).round(3))

📤 実行例:

💬 結果の読み方: 2023 年 47 県のみ（年度リークなし）で評価すると RF が R²≈0.95 と最も安定し、 XGBoost も 0.93。 一方 LightGBM は R²=-0.11 と破綻 ── 既定の n_estimators=500・葉ベース成長は 47 件では過剰で、 min_child_samples 等を絞らないと機能しない（小データで LGBM が不安定になる典型）。 feature_importance では出生数・死亡数が人口規模の主説明変数（いずれも人口と強く相関）。 モデル選択は「大データの定番がそのまま小データで最良とは限らない」ことを示す。

⚠️ 落とし穴

• feature_importance の罠: Gini importance は連続値・高カーディナリティ変数を過大評価。 Permutation Importance か SHAP を併用すべし。
• LightGBM の少データ NG: leaf-wise 成長は 100 行未満で過学習しやすい。 RF か CatBoost を使う。
• XGBoost のカテゴリ変数: 1.6 以降ネイティブ対応だが、 旧版は one-hot か target encoding が必要。
• early stopping は valid データに対して: train データで止めると意味がない。 必ず hold-out か OOF を使う。

📊 feature importance 3 方式の使い分け

「どの特徴が効いたか」を測る方法は 1 つではない。 3 方式の長短を整理する。

SSDSE-B-2026 の人口予測タスクでは、 出生数 (A4101) は人口規模と機械的に相関するためどの方式でも上位だが、 SHAP 値で見ると「東京は出生数の絶対値が大きいから人口予測が高く出る」「沖縄は出生率が高いが絶対人口は小さいので影響は中程度」など、 サンプル固有の寄与が明らかになる。

「決定木・アンサンブル学習」を扱う際の手法選択は、 状況に応じて以下のフローで判断すると迷いが減る。

1. Step 1: 目的は記述か予測か?
   • 記述 (現状把握・要約) → 集計・可視化・要約統計量で全体像を掴む
   • 予測 (未知データへの推定) → モデル構築・検証フェーズへ移行
2. Step 2: データの種類・規模は?
   • 数値データ・小〜中規模 → 「決定木・アンサンブル学習」やその拡張手法を直接適用
   • カテゴリデータ → カテゴリ専用の手法 (関連用語) と組み合わせ
   • 大規模・高次元 → 計算効率を考慮した派生手法 (関連用語) を選択
3. Step 3: 結果の解釈・共有は?
   • 専門家向け → 数値指標・統計検定で精緻に評価
   • 非専門家向け → 可視化・自然言語での要約を重視

このフローに沿って判断することで、 「決定木・アンサンブル学習」を中核とした適切な手法選択ができる。