🔖 キーワード索引

主要キーワード・別名・関連語のクロスリファレンス。

「optuna」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「optuna」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「optuna の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む — 「賢い宝探し」のアルゴリズム

あなたは広い遊園地で宝箱を探しているとします。 1 つの場所を掘るのに 1 分かかり、 1 時間しかありません。 どう動くべきでしょうか？

TPE のキモ：良かった群と悪かった群を分けてモデル化

Optuna のデフォルトサンプラー TPE (Tree-structured Parzen Estimator) は、 これまでの試行 (パラメータ → 目的関数値) を次のように扱います：

• すべての試行を、 目的関数値が良かった上位 25%（$l(x)$） と 残り 75%（$g(x)$） に分割する。
• それぞれの群のパラメータ分布を Parzen 窓（カーネル密度推定）で推定。
• 次の試行は、 比率 $l(x)/g(x)$ を最大化する 候補を選ぶ（=「良かった群に多く、 悪かった群に少ない」場所を狙う）。

📐 数式 — TPE の定式化

ハイパーパラメータ空間を $\mathcal{X}$、 目的関数を $f: \mathcal{X} \to \mathbb{R}$ とする。 目標は最小化問題：

TPE の中核：2 つの密度比

過去の試行集合を $D = \{(x_1, y_1), \dots, (x_n, y_n)\}$、 値のしきい値（上位 $\gamma$ 分位点、 デフォルト $\gamma \approx 0.25$）を $y^{*}$ とする：

枝刈り (Pruning) の判定式

📐 Optuna の中核 — TPE (Tree-structured Parzen Estimator) を数式で読み解く

Optuna のデフォルトサンプラー TPE はベイズ最適化の一族。 過去の試行結果から、 目的関数 f(x) が小さくなりそうな x を逐次提案する。 Grid Search や Random Search が「無情報」なのに対し、 TPE は履歴を活用する。

📐 TPE の中核は次の比例関係。 数式を言葉で読み解くと: 観測済みデータを「目的関数値の良い部分集合 (下位 γ 分位)」と「悪い残り」に分け、 それぞれを Parzen 窓 (=カーネル密度推定) で密度 ℓ(x) と g(x) として推定。 次に試す x は ℓ(x)/g(x) を最大化する点 ── つまり「良い結果が出やすく、 悪い結果が出にくい」点を選ぶ。

これは Expected Improvement (EI) の近似最大化に等価であることが理論的に示されている (Bergstra et al. 2011)。 TPE の利点は (1) 高次元 (~数十次元) でも安定、 (2) カテゴリ・条件付き探索空間を自然に扱える、 (3) 計算コストが低い。

💬 実務的には「まず TPE 100 trials」で始め、 連続変数のみで高次元なら CMA-ES、 多目的なら NSGA-II、 という選び方が標準。 全部 default のままで Optuna が「賢く」動く点が他のフレームワークに対する優位性。

🔬 数式を言葉で読み解く

🧮 SSDSE-B 都道府県データで実際に最適化してみる

🧮 SSDSE-B 都道府県データで実際に最適化してみる

SSDSE-B 2026 の 47 都道府県（年度パネル）を使って、 「翌年の人口総数を予測する LightGBM 回帰モデル」 のハイパーパラメータを Optuna で 100 trial 探索します。

タスク設計

• 説明変数：15歳未満人口 (A1301)、 65歳以上人口 (A1303)、 出生数 (A4101)、 平均気温 (B4101)、 保育所等数 (J2503) など
• 目的変数：翌年の人口総数 (A1101 の 1 年先)
• 評価指標：RMSE（5-fold グループ CV、 都道府県をグループとして fold 分割）
• モデル：LightGBM の LGBMRegressor

探索空間（7 パラメータ）

結果の典型例（数値は再現実行で変動）

合成データで 5 試行のハイパラ探索結果から最良値を取得する。

Step 1: 試行履歴

Step 2: 最良試行

🐍 Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import numpy as np
trials = [
  ('t1', 0.10, 50, 0.78),
  ('t2', 0.05, 100, 0.82),
  ('t3', 0.01, 200, 0.85),
  ('t4', 0.02, 150, 0.87),
  ('t5', 0.03, 180, 0.86),
]
best = max(trials, key=lambda x: x[3])
print(f"最良試行: {best[0]} (val={best[3]})")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装 — SSDSE-B で LightGBM × Optuna

1. 最小構成（10 行で動く）

1
2
3
4
5
6
7
8
9

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=100)
print(study.best_params, study.best_value)

2. SSDSE-B で LightGBM のハイパラを 100 trial 探索

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

import pandas as pd
import numpy as np
import optuna
from lightgbm import LGBMRegressor
from sklearn.model_selection import GroupKFold
from sklearn.metrics import mean_squared_error

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.sort_values(['Code', 'SSDSE-B-2026']).reset_index(drop=True)
df['人口_翌年'] = df.groupby('Code')['A1101'].shift(-1)
df = df.dropna(subset=['人口_翌年'])

feat_cols = ['A1101', 'A1301', 'A4101', 'A1303', 'B4101', 'J2503']
X = df[feat_cols].values
y = df['人口_翌年'].values
groups = df['Code'].values

def objective(trial):
    params = {
        'learning_rate': trial.suggest_float('learning_rate', 5e-3, 0.3, log=True),
        'num_leaves':    trial.suggest_int('num_leaves', 15, 255),
        'max_depth':     trial.suggest_int('max_depth', 3, 12),
        'min_child_samples': trial.suggest_int('min_child_samples', 5, 100),
        'subsample':     trial.suggest_float('subsample', 0.5, 1.0),
        'colsample_bytree': trial.suggest_float('colsample_bytree', 0.5, 1.0),
        'reg_lambda':    trial.suggest_float('reg_lambda', 1e-3, 10.0, log=True),
        'n_estimators':  800,
        # 517 行と小さいので並列化は逆効果（1 本の方が 100 倍速い）
        'n_jobs': 1,
        'random_state':  42,
        'verbose': -1,
    }
    cv = GroupKFold(n_splits=5)
    rmses = []
    for tr, va in cv.split(X, y, groups):
        model = LGBMRegressor(**params)
        model.fit(X[tr], y[tr])
        pred = model.predict(X[va])
        rmses.append(np.sqrt(mean_squared_error(y[va], pred)))
    return np.mean(rmses)

study = optuna.create_study(direction='minimize',
                            sampler=optuna.samplers.TPESampler(seed=42))
study.optimize(objective, n_trials=100, show_progress_bar=True)

print('best RMSE :', study.best_value)
print('best params:', study.best_params)

3. 枝刈り (Pruning) で計算を半分にする

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

from optuna.integration import LightGBMPruningCallback

def objective_pruned(trial):
    params = {# ...上と同じ...}
    cv = GroupKFold(n_splits=5)
    rmses = []
    for fold, (tr, va) in enumerate(cv.split(X, y, groups)):
        model = LGBMRegressor(**params)
        model.fit(X[tr], y[tr],
                  eval_set=[(X[va], y[va])],
                  callbacks=[LightGBMPruningCallback(trial, 'rmse',
                                                     valid_name='valid_0')])
        pred = model.predict(X[va])
        rmses.append(np.sqrt(mean_squared_error(y[va], pred)))
    return np.mean(rmses)

study = optuna.create_study(direction='minimize',
                            pruner=optuna.pruners.MedianPruner(n_warmup_steps=50))
study.optimize(objective_pruned, n_trials=200)

4. 結果の可視化（収束曲線・重要度・パラレル座標）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import optuna.visualization as vis

# trial 数 vs ベスト値（収束曲線）
vis.plot_optimization_history(study).show()

# どのパラメータが効いたか（fANOVA）
vis.plot_param_importances(study).show()

# パラメータ空間の探索軌跡（パラレル座標）
vis.plot_parallel_coordinate(study).show()

# 2 パラメータの目的値ランドスケープ
vis.plot_contour(study, params=['learning_rate', 'num_leaves']).show()

5. SQLite ストレージで並列実行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import optuna

# 共通ストレージを指定すれば、複数プロセス・複数マシンで study を共有できる
study = optuna.create_study(
    study_name='ssdse_lgbm_pop',
    storage='sqlite:///optuna_study.db',
    direction='minimize',
    load_if_exists=True,
)
# 別ターミナルでも同じコードを起動すれば、自動で trial が分散される
study.optimize(objective, n_trials=50)

⚠️ 5 つの「Optuna 落とし穴」

⚠️ Optuna 実務での落とし穴と対処

📋 Optuna API チートシート

📜 ハイパーパラメータ最適化の歴史と Optuna の位置

💬 Optuna の特色は「Define-by-run API」── 探索空間をモデル定義時ではなく objective 関数の中で動的に決められる。 これは PyTorch 流の autograd と同じ哲学で、 条件付き探索 (「Adam の場合だけ β1 を探す」など) を素直に書ける。 Hyperopt の「Define-and-run」方式に対する大きな優位点。

🎯 Optuna — 5 つの覚えどころ

1. Define-by-run: 探索空間は objective(trial) の中で trial.suggest_* で動的に定義。
2. デフォルトの TPE はベイズ流カーネル密度ベース。 高次元・カテゴリ・条件付き空間で強い。
3. Pruning で見込みなし trial を早期終了、 計算予算を 20〜70% 節約。
4. 多目的最適化 は create_study(directions=[...]) + NSGA-II で Pareto front 直接取得。
5. 永続化と並列: SQLite / MySQL ストレージで複数プロセス・複数マシンから同じ study を共有可能。

❓ Deep FAQ — Optuna 実務 Q&A 10 連発

📋 最後に: Optuna 1 ページ Quickstart テンプレート

「コンペ初日にコピーしてすぐ走らせる」用のミニマル雛形。 これに自分のモデルと探索空間を差し替えるだけで動く。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import optuna, pandas as pd
from sklearn.model_selection import cross_val_score, KFold
from sklearn.ensemble import RandomForestRegressor

# ① データロード (SSDSE-B-2026)
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026']==2023]
X = df[['A1101','A1301','A1303','J2503']].values
y = df['A4101'].values

# ② objective を define-by-run で書く
def objective(trial):
    m = RandomForestRegressor(
        n_estimators = trial.suggest_int('n_estimators', 50, 500),
        max_depth    = trial.suggest_int('max_depth', 3, 20),
        min_samples_split=trial.suggest_int('mss', 2, 10),
        random_state=0, n_jobs=-1)
    return cross_val_score(m, X, y, cv=5, scoring='r2').mean()

# ③ 実行
study = optuna.create_study(direction='maximize', sampler=optuna.samplers.TPESampler(seed=42))
study.optimize(objective, n_trials=100)
print('Best R²:', study.best_value, 'Best params:', study.best_params)

💬 これだけで「Random Forest を 100 通り試してベスト構成を返す」が完結。 モデルを XGBRegressor / LGBMRegressor / Neural Net に差し替えれば、 そのまま同じ枠で動く。 さらに本格的に詰めるなら + (1) Pruning、 (2) 永続化、 (3) Nested CV、 (4) 重要度確認 → 探索空間絞り直し、 の 4 段で。

🌐 関連手法・派生

🔗 関連用語（前提・並列・発展）

🟦 前提となる用語

🟨 並列・比較対象

🟩 発展・応用

📚 関連グループ教材

• ハイパーパラメータ調整の総合教材 — グリッド／ランダム／ベイズ最適化の比較
• ハイパーパラメータ入門 — 「そもそもハイパラとは？」から学ぶ
• 交差検証 — Optuna の objective 設計の基礎
• グリッドサーチ — Optuna との計算量比較

🗺 概念マップ — Optuna の位置づけ

🔗 隣接手法への橋渡し

「Optuna」は単独で完結せず、 前後の手法と組み合わさって価値が発揮される。 入力データの準備 (上流)・同目的の代替手法との比較 (並列)・結果の活用 (下流) という 3 軸で隣接領域を整理する。

• 上流 (入力の準備): モデル学習パイプラインの確立、 交差検証 による評価基盤、 探索空間 の定義
• 並列 (同目的の代替): Grid Search、 Random Search、 ベイズ最適化、 Hyperopt、 Ray Tune が並列ライブラリ
• 下流 (結果の活用): Pruning による早期打切り、 ハイパーパラメータ最適化 結果の可視化、 MLOps パイプラインへの統合

この上流・並列・下流の対応を地図化することで、 「Optuna」を中核に据えた分析パイプライン (データ準備 → 手法選択 → 結果の検証と展開) の全体像が見えてくる。

🌳 手法選択フロー

「Optuna（ハイパーパラメータ最適化）」を実際に使うとき、 何をどう選ぶかを順に判断する。 上から順に答えていくと、 使うべき手法と評価の仕方が決まる。

1. 探索する価値のある差か
   まず既定値で試し、 交差検証の分散を見る。 n=47 のような小標本では分割の切り方だけで精度が数ポイント動くので、 その揺れより小さい改善を追っても意味が無い。
2. 探索空間をどう定めるか
   広すぎると試行が散り、 狭すぎると最適点を含まない。 学習率のように桁で効くものは対数スケール、 木の深さのように整数のものは範囲を絞る。
3. 何回試すか
   試行を増やすほど検証データに過適合する。 最終評価は探索に使っていないデータで行い、 探索の回数も記録する。
4. 打ち切りを使うか
   見込みの無い試行を早期に止める枝刈り（pruning）で時間が大きく減る。 ただし学習曲線が後半で伸びるモデルでは、 有望な候補を切ってしまうことがある。

ハイパーパラメータ探索は、 特徴量の作り方やデータの質の改善に比べると効きが小さいことが多い。 先に試す順序を間違えないこと。

🎮 触って理解する — グリッド vs ランダム vs TPE風探索

ハイパーパラメータ 1 個（横軸 x ∈ [0, 1]、 例えば学習率を 0〜1 に正規化したもの）に対する検証スコアの地形（縦軸、 高いほど良い）が隠されています。 「1 試行」ボタンを押すたびに、 3 つの戦略が同じ予算（最大 40 試行）でそれぞれ次の 1 点を選んで評価します。 どこに点が打たれるか、 そして下の「最良スコアの推移」グラフで C（TPE 風）がどれだけ速く高い値に到達するかを観察してください。

• A グリッドサーチ：40 等分した格子点を左端から順番に評価（等間隔・無情報）。
• B ランダムサーチ：毎回一様乱数で選ぶ（無情報だが Grid より偏りにくい）。
• C TPE 風の賢い探索：最初の 8 試行は空間を層化して眺め、 以降は過去の上位 20%（良い群）の近くにカーネルを置いて候補を生成し、 密度比 l(x)/g(x) が最大の候補を選ぶ（8% は探索用の一様サンプル）。

注記：スコア地形はガウス関数 3 つの和による合成データ（真の最大値 0.8800 は x = 0.67、 実データではない）。 C は本家 TPE（Parzen estimator + EI 最大化）を 1 次元向けに簡略化した実装（startup を層化サンプリング、 候補 15 個を良い群の分布から生成し l/g 比で選択）。 乱数はシード固定で、 計算はすべてページ内 JavaScript で正確に実行される。

💡 図の上をなぞる（マウス / タッチ）と縦のガイド線で x の値を確認できます（地形表示 ON なら真のスコアも表示）。 現在の試行: 0 / 40 ｜

📈 同じ試行数での最良スコアの推移

観察ポイント：(1) A は左端から順に舐めるだけなので、 序盤は左側の低い山（局所ピーク）しか知らない。 (2) B は運次第でばらつく。 (3) C は 8 試行の層化 startup の後、 良かった試行の周辺に点が密集し始め、 15 試行前後で最良値 0.87 以上に到達することが多い（シードによっては C も局所ピークに留まる回がある ── これが「試行数不足」の危険の実感）。 「地形を表示」を ON にすると、 C の点が右側の真のピーク周辺に集中しているのが一目で分かる。

✂️ 枝刈り (pruning) を体感する — MedianPruner

次は学習曲線の途中打切りのデモ。 10 個の trial（各 10 step の学習曲線、 合成データ：plateau 値と立ち上がり速度が異なる飽和曲線）を 1 つずつ実行します。 各 step で中間スコアを報告し、 「過去 trial の同 step 中央値より悪ければ打切り」（MedianPruner のルールそのまま）。 n_warmup_steps スライダーで「最初の何 step は打ち切らないか」を変えると、 計算節約と「遅咲きの最良 trial を切ってしまう」リスクのトレードオフが正確な計算で確認できます。

観察ポイント：この合成曲線では、 n_warmup_steps=0（最も攻撃的）にすると trial 7（最終値 0.908 で本来の最良）が step 0 で切られてしまい、 完走ベストは 0.871 止まり ── 計算は 68% 節約できるが答えを失う。 n_warmup_steps≥1 なら trial 7 が生き残り、 節約率は下がるが正しい最良値に到達する。 「Pruning が積極的すぎる」落とし穴（上の表参照）はまさにこれ。

💡 直感 — なぜ「過去の結果から次を選ぶ」だけで速いのか

グリッドとランダムは何回試しても賢くならない（各試行が独立）。 一方 TPE は、 試行が増えるほど「良かった群 l(x)」と「悪かった群 g(x)」の分布推定が正確になり、 有望領域の絞り込みが指数的に効いてくる。 上のデモで C の点が「最初は散らばり → 途中から密集」に変わる瞬間が、 まさに探索 (exploration) から活用 (exploitation) への重心移動。 実務の LightGBM チューニング（7 パラメータ）でも同じことが 7 次元空間で起きている。

⚠️ よくある落とし穴（デモと対応づけて）

• 探索空間の設計ミス：上のデモで真のピーク (x=0.67) が探索範囲 [0, 1] の外にあったら、 どの戦略でも永遠に見つからない。 実務では suggest_float の min/max が狭すぎないか・学習率などは log=True か、 を最初に確認（ベストが範囲の端に張り付いたら赤信号）。
• 試行数不足：C も startup 直後（8〜12 試行）では局所ピーク側に居ることがある。 目安はパラメータ次元 D に対し 10D〜30D 試行。 1 次元のデモですら 15 試行は要る。
• 検証データへの過適合：デモの地形は「検証スコア」であって「テストスコア」ではない。 数百〜数千試行も回すと検証データのノイズの山に登ってしまう（本文の Nested CV 節で楽観バイアス約 4.5% を実測済み）。 対策は交差検証の分割固定・trial 数の抑制・hold-out テストの分離（過学習も参照）。

🚀 発展 — TPE・枝刈り・並列化

• 本家 TPE：このデモの簡易版と違い、 各観測点に適応的バンド幅の Parzen 窓を置き、 期待改善 (EI) に比例する l(x)/g(x) を最大化する。 カテゴリ変数・条件付き空間（「Adam のときだけ β₁ を探す」）も自然に扱える（数式は上の「📐 数式」節）。
• 枝刈りの発展：MedianPruner の他に、 予算を段階的に倍増させて上位だけ残す HyperbandPruner（Successive Halving の改良）、 改善停滞で切る PatientPruner など。 深層学習では epoch 単位の pruning で計算 70% 以上の削減も。
• 並列化：SQLite/MySQL ストレージを共有すれば複数プロセス・複数マシンで同じ study に trial を追加できる（本文の並列実行節）。 ランダムサーチは完全並列可能だが、 TPE は「過去の結果」に依存するため並列度を上げすぎると賢さが薄まる、 というトレードオフがある。
• 関連ページ：グリッドサーチ ／ ハイパーパラメータ ／ ハイパーパラメータ調整 ／ ベイズの定理（ベイズ最適化の基盤）。 ランダムサーチ・Hyperband の単独ページは本用語集には未収録。