🔖 キーワード索引

「global minimum」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「global minimum」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「global minimum の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

山と谷で例えると：

• 大域最小 = 地球上で一番低い場所（マリアナ海溝）
• 局所最小 = ある盆地の底（近隣では低いが他にもっと低い場所あり）
• 勾配降下法 = 坂を下る歩行者。 一旦盆地に落ちると出られない

非凸の地形ではどこを「最適」とするか保証が難しい。

大域最小と局所最小の差は、 凸関数 (例: 線形回帰の二乗誤差 J(β) = ||y - Xβ||²) では消滅する — 凸関数では「局所最小 = 大域最小」が数学的に保証され、 勾配降下法は必ず global minimum に到達する。 一方、 ニューラルネットの損失関数や混合ガウスの対数尤度のような非凸関数では、 出発点 (初期値) によって到達点が異なり、 異なる局所最小に落ち着く可能性がある。

非凸関数で大域最小を狙う実用的戦術には (a) ランダム初期化を 10〜100 回繰り返して最良値を採用 (multi-start)、 (b) シミュレーテッドアニーリングで温度パラメータを徐々に下げる、 (c) 遺伝アルゴリズムや粒子群最適化で複数解を並列探索、 (d) Adam・SGD のような確率的勾配法で意図的にノイズを入れて鞍点を脱出する、 などがある。 ただし「真の大域最小に到達した」ことを証明するのは NP-hard 問題で、 実用上は「十分良い局所最小」で妥協する。

SSDSE-B-2026 で「47 都道府県の消費支出」を K-means で 3 クラスタに分ける時、 初期重心の選び方次第で異なる解に到達する例を後段で示し、 K-means++ 初期化で局所最小の罠を緩和する流れを実装する。

📐 定義／数式

🔬 数式を言葉で読み解く

🔬 数式を言葉で読み解く（詳細版）

🏭 産業界での活用事例（6 件）

⚖️ 関連手法との比較表

💥 失敗例から学ぶ

📝 演習問題（5 問・解答付き）

1. 問題：SSDSE-B-2026 で、 47 都道府県の総人口の大域最小値を求めよ（全数探索）。
   ▼ 解答を見る

   df = pd.read_csv("data/raw/SSDSE-B-2026.csv", encoding="cp932", skiprows=1)
row = df[df["年度"]==2023].loc[df[df["年度"]==2023]["総人口"].idxmin()]
print(row["都道府県"], row["総人口"]) → 鳥取県、 537,000 人。
2. 問題：関数 $f(x) = (x-3)^2 + 5$ の大域最小値と最小点を求めよ。
   ▼ 解答を見る

   $f$ は凸関数なので $f'(x)=2(x-3)=0 \Rightarrow x^*=3$。 最小値 $f(3)=5$。
3. 問題：関数 $f(x) = x^4 - 4x^2$ の局所最小値と大域最小値を求めよ。
   ▼ 解答を見る

   $f'(x)=4x^3-8x=4x(x^2-2)=0 \Rightarrow x=0, \pm\sqrt{2}$。 $f(0)=0$、 $f(\pm\sqrt{2})=-4$。 大域最小は $x = \pm\sqrt{2}$ で値 $-4$（複数の大域最小が存在する例）、 $x=0$ は局所最大。
4. 問題：SGD で非凸関数 $f(x,y) = x^2 + y^2 + 0.5\sin(5x)\sin(5y)$ の大域最小を探すコードを書け。
   ▼ 解答を見る

   import numpy as np
def f(x,y): return x**2+y**2+0.5*np.sin(5*x)*np.sin(5*y)
best=None
for x0,y0 in [(np.random.uniform(-2,2),np.random.uniform(-2,2)) for _ in range(20)]:
  x,y=x0,y0
  for _ in range(500):
    dx=2*x+2.5*np.cos(5*x)*np.sin(5*y); dy=2*y+2.5*np.sin(5*x)*np.cos(5*y)
    x-=0.01*dx; y-=0.01*dy
  if best is None or f(x,y)<best[2]: best=(x,y,f(x,y))
print(best)
5. 問題：シミュレーテッドアニーリングで巡回セールスマン問題（47 都道府県を訪問）を解く手順を述べよ。
   ▼ 解答を見る

   初期解：任意の順列。 近傍：2-opt（2 都市の順序入替）。 受理確率：$\exp(-\Delta E / T)$。 温度：$T = T_0 \cdot \alpha^k$（$\alpha=0.99$）。 scipy.optimize.dual_annealing で 1 行実装可能。

📖 関連用語辞典（10 語）

大域最小（global minimum）

定義域全体で関数値が最小となる点。 唯一とは限らない。

局所最小（local minimum）

ある近傍内で関数値が最小となる点。 大域最小の必要条件。

鞍点（saddle point）

勾配ゼロだが、 ある方向で最小・別方向で最大の点。 高次元では局所最小より多い。

凸関数

任意の 2 点間の線分が関数値以上にある関数。 局所最小は必ず大域最小。

勾配降下法

勾配の逆方向に少しずつ進む最適化アルゴリズム。 凸関数で大域収束。

確率的勾配降下（SGD）

1 サンプルまたはミニバッチで勾配推定。 ノイズが局所最小脱出に効く。

Adam

Adaptive Moment Estimation。 モメンタム + 学習率調整。 深層学習の標準。

焼きなまし（SA）

温度パラメータで確率的に山を超える大域最適化アルゴリズム。

遺伝的アルゴリズム

集団進化型の大域最適化。 交叉・突然変異・選択。

ベイズ最適化

ガウス過程で関数を近似し、 獲得関数で次の評価点を選ぶ。

🧮 実値で計算してみる

$f(x) = x^4 - 4x^2 + x$ の例：

• 停留点：$f'(x) = 4x^3 - 8x + 1 = 0$ より $x \approx -1.5, 0.13, 1.4$
• $f(-1.5) = -2.81$、 $f(0.13) = 0.07$、 $f(1.4) = -1.94$
• 大域最小：$x \approx -1.5$（$f \approx -2.81$）
• $x=1.4$ は局所最小だが大域でない

🧮 数式に値を入れて手で計算する: 局所 vs 大域最小

合成 f(x) = x⁴ - 8x² + 16 の極値を計算する。

Step 1: 微分と極値

Step 2: 関数値

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
def f(x): return x**4 - 8*x**2 + 16
xs = np.linspace(-3, 3, 601)
ys = f(xs)
min_idx = np.argmin(ys)
print(f"最小値: {ys.min():.4f} at x={xs[min_idx]:.2f}")
print(f"x=0: {f(0)}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🎮 触って理解する

多峰性関数の上で開始点をドラッグして、勾配降下法がどの谷に落ちるかを体感しよう。使う関数は次の 1 変数関数（多項式 + sin の合成）：

$$ f(x) = 0.05x^4 - 0.6x^2 + 0.1x + 1.2\sin(2.5x), \qquad f'(x) = 0.2x^3 - 1.2x + 0.1 + 3\cos(2.5x) $$

この関数は区間 $[-4, 4]$ に 3 つの谷を持つ（数値検証済み）：大域最小 x ≈ −2.939（f ≈ −2.795）、局所最小 x ≈ −0.753（f ≈ −1.542）、局所最小 x ≈ 1.982（f ≈ −2.552）。右端の谷は大域最小と 0.24 しか差がない「惜しい罠」だ。

💡 直感 ── なぜ谷に「捕まる」のか

勾配降下法は「今いる場所の傾きだけ」を見て坂を下る近視眼的アルゴリズム。谷底（f'(x) = 0 かつ f''(x) > 0）に着くと勾配がゼロになり動けなくなる。隣の谷がもっと深くても、間にある山（局所最大 x ≈ −1.729 と x ≈ 0.557）を「登る」手段を持たないため越えられない。開始点がどちら側にあるか──つまり吸引域のどこから出発したか──だけで運命が決まる。上のバーで測ると、大域最小の吸引域は区間全体のわずか 28.4%。中央の浅い谷が 28.6%、右の「惜しい罠」が 43.0% と最大で、一様ランダムに初期化すると過半数以上の確率で大域解を逃すことが分かる。

⚠️ 落とし穴 ── 初期値依存と凸性の価値

この実験が示す教訓は 2 つ。第一に初期値依存性：非凸関数では「収束した」ことは「最適に到達した」ことを意味しない。1 回の最適化結果を報告書に書く前に、必ず複数初期値で再実行して一致を確認すべきだ。第二に凸性の価値：もしこの関数から sin 項を取り除いて $0.05x^4 - 0.6x^2$ 型の非凸性まで消せば（例えば線形回帰の二乗誤差のような凸関数なら）、谷は 1 つになり吸引域は 100% ── どこから出発しても同じ答えに着く。損失関数を設計する段階で凸に定式化できれば、初期値の心配そのものが消える。これが実務で線形モデルや凸緩和が愛される理由である。

🚀 発展 ── multi-start・焼きなまし・凸緩和

「🎲 ランダム再始動」ボタンは multi-start 法の体験装置だ。大域解の吸引域が p = 28.4% のとき、k 回の独立なランダム開始で少なくとも 1 回大域解に到達する確率は $1 - (1-p)^k$：k = 5 で約 81%、k = 10 で約 96.5%、k = 20 で 99.9%。押すたびに実測の到達率が理論値に近づくのを確かめてほしい。より高度な戦略として、(1) 焼きなまし法・遺伝的アルゴリズムは悪化方向への移動を確率的に許して山を越える、(2) SGD のミニバッチノイズは浅い谷からの脱出を助ける、(3) 凸緩和（非凸問題を凸問題で近似し、その大域解を初期値や下界に使う。SDP 緩和が代表例）は理論保証つきの近似を与える。学習率 η と反復の力学そのものは姉妹ページ連続最適化と勾配降下法・学習率で扱っているので、そちらで「谷の中でどう動くか」を、本ページで「どの谷に入るか」を押さえると全体像が完成する。局所最適解・数理最適化も併読を勧める。

🐍 Python 実装

最小限のスニペットで動作確認できる例。 公的データ（SSDSE 等）を想定しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import numpy as np
from scipy.optimize import minimize, differential_evolution

f = lambda x: x[0]**4 - 4*x[0]**2 + x[0]

# 局所最適化（出発点で結果が変わる）
print(minimize(f, x0=[ 1.0]).x)   # 局所最小付近
print(minimize(f, x0=[-1.0]).x)   # 大域最小付近

# 大域最適化
res = differential_evolution(f, bounds=[(-3, 3)])
print(res.x, res.fun)             # 真の大域最小

⚠️ よくある落とし穴

🌐 関連手法・派生

• 勾配降下法 — 局所最適化の基本
• 焼きなまし（SA） — 確率的に大域探索
• 遺伝的アルゴリズム — 進化計算
• 分枝限定法 — 離散の厳密解
• ベイズ最適化 — 評価コスト高い関数向け

大域最小は最適化理論の中心概念であり、 関連手法群と組み合わせることで「どの程度信頼できる解か」を評価できる。

• 上位概念: 数理最適化 (Mathematical Programming) — 線形計画 (LP) / 二次計画 (QP) / 非線形計画 (NLP) / 混合整数計画 (MILP) の中で、 大域最小の存在保証は問題クラスに依存する。
• 並列手法: 局所最小化 (gradient descent, Newton 法, BFGS) と大域最小化 (basin hopping, dual annealing, differential evolution) の二系統がある。 scipy.optimize はこの両方を提供。
• 前段処理: 目的関数のスケーリング (変数間で 1e+6 〜 1e-3 の差があると収束悪化)、 制約条件の整形 (等式 / 不等式 / 境界制約の標準化)。
• 後段処理: 解の感度分析 (∂x*/∂θ)、 信頼区間 (Hessian の固有値から)、 KKT 条件チェックで局所最適性の検証。
• 派生・拡張: ロバスト最適化 (パラメータ不確実性込み)、 確率計画 (期待値最小化)、 多目的最適化 (Pareto frontier)。
• 競合・代替: 凸緩和 (非凸を凸近似して大域最小を得る、 例: SDP relaxation)、 メタヒューリスティクス (Genetic Algorithm, Particle Swarm) — 厳密保証はないが大規模問題で実用的。

scipy.optimize.differential_evolution と scipy.optimize.minimize の組み合わせは、 「まず大域探索で初期解を得る → 局所最適化で精度を上げる」という王道戦術として実務でよく使われる。

🔗 関連用語（前提・並列・発展）

役割で色分け：前提／上位／並列／発展／応用

global minimum を学ぶ際に併読すると理解が深まる関連用語を「前提・並列・発展」の 3 区分で整理する。

• 前提概念: global minimum を理解するために事前に押さえるべき基礎概念 (確率論 / 統計学 / 線形代数)
• 並列概念: 同じカテゴリ内の他手法・同じ目的を別アプローチで達成する概念
• 発展概念: global minimum を拡張・応用した発展手法・実問題への適用例

各概念は本用語集の他ページにリンクしている。 関連用語を横断的に学ぶことで、 global minimum の位置付けが明確になる。

📚 関連グループ教材

この用語の全体像を学ぶには、 横断的な教材で文脈を掴むのが効率的です。

• 📚 最適化概論
• 📚 数学基礎

🔎 深掘り解説

大域最適化アルゴリズム比較

深層学習での大域最小

意外なことに、 大規模NNでは「大域最小に近い局所最小がたくさんある」ことが理論／実験で示されています：

• 高次元では「悪い局所最小」より「鞍点」が問題
• SGD のノイズが鞍点脱出に役立つ
• 過パラメータ化したNNは多くの最小が同程度に低い損失
• つまり「大域最小に行かなくても十分」というのが現代の実用感覚

✅ 使う前のチェックリスト

• ☐ 大域最適解 が今のタスクに本当に適切か再確認した
• ☐ 前提条件（独立性、 正規性、 サンプル数等）を満たしているか確認した
• ☐ データの尺度・分布・欠損・外れ値を確認した
• ☐ 結果だけでなく「不確実性」（CI、 標準誤差）も把握した
• ☐ 解釈と限界を区別して文書化した
• ☐ 関連する別の手法と比較したうえで本手法を選んだ
• ☐ 落とし穴（このページの ⚠️ セクション）に該当しないか確認した
• ☐ 関連グループ教材で全体像と位置付けを把握した

📖 さらに学ぶには

本サイト内

• 論文一覧に戻る — 大域最適解 を実際に使った再現論文をハンズオン形式で読む
• このページ上部の「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断的な学習教材へ

外部リソース

• scikit-learn 公式ドキュメント — 標準実装と例
• StatQuest with Josh Starmer (YouTube) — 直感的な統計／ML 解説
• Cross Validated (Stack Exchange) — 統計／ML の質問サイト
• arXiv — 最新の手法論文プレプリント

困ったときは

1. データの可視化（散布図、 ヒストグラム、 箱ひげ図）で異常を確認
2. サンプルサイズ・欠損・外れ値を確認
3. 仮定が満たされているか診断（正規性検定、 等分散性検定など）
4. 類似研究での標準的な手法を確認
5. 結果を複数手法でクロスチェック（頑健性確認）

🔗 同カテゴリの他用語

📚 参考文献・出典

• Boyd, S., Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press.
• Nocedal, J., Wright, S. J. (2006). Numerical Optimization. Springer.
• Kingma, D. P., Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR.
• Kirkpatrick, S., Gelatt, C. D., Vecchi, M. P. (1983). Optimization by Simulated Annealing. Science, 220(4598).
• Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
• Snoek, J., Larochelle, H., Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. NeurIPS.
• 独立行政法人統計センター. SSDSE-B-2026. https://www.nstac.go.jp/use/literacy/ssdse/

🌟 拡張ハンドブック

📐 数理最適化の基礎理論

最適化問題は $\min_{x \in \mathcal{X}} f(x) \text{ s.t. } g_i(x) \leq 0, h_j(x) = 0$ の形で書けます。 ここで $f$ は目的関数、 $g_i$ は不等式制約、 $h_j$ は等式制約、 $\mathcal{X}$ は探索空間。 「大域最小」とはこの問題の解 $x^*$ で、 $f(x^*)$ が定義域全体で最小になる点。

凸最適化と非凸最適化の境界

🎢 局所最小・鞍点・プラトーの違い

局所最小（Local Minimum）

定義：$\nabla f(x) = 0$ かつ Hessian $H = \nabla^2 f(x)$ が正定値（全固有値が正）。 周囲のどの方向に動かしても関数値が増える。 ニューラルネットでは「学習が止まる」現象の典型原因と長らく思われていたが、 近年の研究では高次元では実は鞍点の方が圧倒的に多いことが分かっている。

鞍点（Saddle Point）

定義：$\nabla f(x) = 0$ かつ Hessian の固有値が正負混合。 ある方向では最小、 別方向では最大。 高次元（n 個の変数）では、 すべての方向で正になる確率は急激に低下し、 $2^{-n}$ のオーダー。 そのためパラメータ数百万のニューラルネットでは局所最小は事実上存在せず、 鞍点が支配的。 SGD のノイズや Adam のモメンタムは鞍点脱出に有効。

プラトー（Plateau）

定義：勾配がほぼゼロの広い領域。 学習が「停滞」する原因。 Sigmoid 関数の飽和領域や、 深層 NN の Vanishing Gradient で発生。 対策：ReLU、 Batch Normalization、 残差接続。

🚀 大域最適化アルゴリズム詳細

1. 確率的最適化（SGD + Momentum / Adam）

SGD（Stochastic Gradient Descent）：勾配を全データではなくミニバッチで推定。 ノイズが浅い局所最小から脱出させる。 Momentum：過去の勾配を蓄積し、 谷底を勢いよく通過。 Adam：Momentum + 適応学習率。 深層学習の標準。

更新式：$v_t = \beta_1 v_{t-1} + (1-\beta_1) \nabla f(x_t)$、 $s_t = \beta_2 s_{t-1} + (1-\beta_2) (\nabla f(x_t))^2$、 $x_{t+1} = x_t - \eta v_t / (\sqrt{s_t} + \epsilon)$。 デフォルト：$\beta_1=0.9, \beta_2=0.999, \eta=0.001$。

2. シミュレーテッドアニーリング（SA）

由来：金属の徐冷（annealing）からの類推。 高温では結晶構造が動きやすく、 徐々に冷えるとエネルギー最小の構造に落ち着く。 アルゴリズム：初期解からランダムな近傍解を提案、 改善するなら受理、 悪化しても確率 $\exp(-\Delta E / T)$ で受理。 温度 $T$ を徐々に下げる。

保証：温度を $T_k = c / \log(k)$ で下げれば、 確率 1 で大域最小に収束（Geman & Geman 1984）。 ただし収束は遅い。 現実には指数的冷却 $T_k = T_0 \alpha^k$（$\alpha=0.95$）が多用される。

3. 遺伝的アルゴリズム（GA）

由来：生物進化からの類推。 個体（候補解）の集団を、 選択・交叉・突然変異で世代更新。 適応度の高い個体が生き残る。 パラメータ：集団サイズ（50〜500）、 交叉率（0.6〜0.9）、 突然変異率（0.01〜0.1）。

4. ベイズ最適化

関数 $f$ をガウス過程 GP で確率モデル化し、 獲得関数（Expected Improvement、 UCB）を最大化する点で次の評価。 評価コストの高い関数（ハイパーパラメータ探索、 実験計画）に最適。 数百回程度の評価で大域最小に近づける。

5. 粒子群最適化（PSO）

鳥や魚の群れ行動からの類推。 各粒子が自分の最良点と群全体の最良点に引かれて移動。 連続変数で複雑な目的関数に強い。

6. 微分進化（DE）

3 個体のベクトル演算で次世代候補を生成。 連続最適化で堅牢。 scipy.optimize.differential_evolution に実装。

🧠 深層学習における大域最小の研究

Choromanska et al. (2015)「The Loss Surfaces of Multilayer Networks」では、 深い NN の損失曲面はスピングラスモデルに似ており、 多数の局所最小が存在するが 大域最小に近いものが多いと示唆。 つまり「悪い局所最小」は実は少ない。

Dauphin et al. (2014)「Identifying and attacking the saddle point problem」では、 高次元の非凸最適化で問題になるのは局所最小ではなく鞍点と指摘。 鞍点脱出のための Saddle-Free Newton 法を提案。

Mode connectivity（Garipov et al. 2018）：訓練済みの異なる解は、 損失曲面上の低損失の経路で繋がっている。 これも「悪い局所最小」が稀であることの証拠。

🎯 SSDSE-B-2026 での実演：複合指標の最適化

問題設定：47 都道府県の「幸福度指数」を以下の重み付き和で定義：

$$H(w) = w_1 \cdot \text{出生率} + w_2 \cdot \text{雇用率} - w_3 \cdot \text{失業率} + w_4 \cdot \text{消費支出}$$

$w_i \geq 0, \sum w_i = 1$ の制約下で、 「日本全国の幸福度の標準偏差」を最小化する $w$ を求める問題（地域格差最小化）。 これは制約付き連続最適化問題で、 線形ではないので非凸の可能性あり。 scipy.optimize.minimize で SLSQP 法を使えば解ける。

❓ FAQ・20 問

🏭 産業界の事例詳細（6 件・各 200 字超）

📚 50 連発レシピ集

🧪 50 連発の最適化コードレシピ

1. from scipy.optimize import minimize — minimize import
2. res = minimize(lambda x: (x-3)**2, x0=0) — 簡単な凸問題
3. res.x — 最小点
4. res.fun — 最小値
5. res = minimize(f, x0, method='BFGS') — BFGS
6. res = minimize(f, x0, method='L-BFGS-B', bounds=[(0,10)]) — 制約付き
7. res = minimize(f, x0, method='Nelder-Mead') — 非滑らか
8. res = minimize(f, x0, method='SLSQP', constraints={'type':'eq', 'fun':g})
9. from scipy.optimize import dual_annealing — 焼きなまし
10. res = dual_annealing(f, bounds=[(-5,5),(-5,5)]) — 大域探索
11. from scipy.optimize import differential_evolution — DE
12. res = differential_evolution(f, bounds=[(-5,5)]*4)
13. from scipy.optimize import basinhopping — Basin Hopping
14. res = basinhopping(f, x0, niter=100)
15. import numpy as np; def gd(f, df, x0, lr=0.01, n=1000): x=x0; [x:=x-lr*df(x) for _ in range(n)]; return x
16. def sgd(grad, X, y, w0, lr=0.01, n=100): w=w0; ... — SGD
17. from sklearn.linear_model import SGDRegressor
18. SGDRegressor(loss='squared_error').fit(X, y)
19. import torch; opt = torch.optim.Adam(params, lr=0.001) — Adam
20. opt.zero_grad(); loss.backward(); opt.step()
21. opt = torch.optim.SGD(params, lr=0.01, momentum=0.9) — SGD+M
22. scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=100)
23. scheduler = torch.optim.lr_scheduler.StepLR(opt, step_size=10, gamma=0.5)
24. import scipy.optimize as so; so.brute(f, ranges=((-2,2,0.1),)) — グリッド
25. from skopt import gp_minimize — Bayesian Optimization
26. res = gp_minimize(f, [(-5.0, 5.0)]*2, n_calls=50)
27. from hyperopt import fmin, tpe, hp — Hyperopt
28. best = fmin(f, hp.uniform('x', -5, 5), algo=tpe.suggest, max_evals=100)
29. import optuna — Optuna
30. study = optuna.create_study(direction='minimize')
31. study.optimize(lambda trial: f(trial.suggest_float('x',-5,5)), n_trials=100)
32. study.best_value; study.best_params
33. import pulp; prob = pulp.LpProblem('demo', pulp.LpMinimize) — 線形計画
34. x = pulp.LpVariable('x', 0); prob += 2*x; prob += x >= 1; prob.solve()
35. from pyomo.environ import * — Pyomo
36. import cvxpy as cp; x = cp.Variable(); prob = cp.Problem(cp.Minimize((x-3)**2)); prob.solve()
37. def f_nonconvex(x): return x**2 + 0.5*np.sin(5*x) — テスト関数
38. def rosenbrock(x): return (1-x[0])**2 + 100*(x[1]-x[0]**2)**2 — Rosenbrock
39. def himmelblau(x): return (x[0]**2+x[1]-11)**2 + (x[0]+x[1]**2-7)**2 — Himmelblau (大域最小 4 つ)
40. def ackley(x): n=len(x); ... — Ackley
41. def rastrigin(x): A=10; return A*len(x) + sum(xi**2 - A*np.cos(2*np.pi*xi) for xi in x)
42. def levy(x): ... — Levy
43. def schwefel(x): return 418.9829*len(x) - sum(xi*np.sin(np.sqrt(abs(xi))) for xi in x)
44. from sklearn.cluster import KMeans — K-means
45. km = KMeans(n_clusters=4, n_init=10, random_state=42).fit(X)
46. km.inertia_ — クラスタ内分散の和（最小化対象）
47. from sklearn.metrics import silhouette_score — シルエット
48. silhouette_score(X, km.labels_)
49. import numdifftools as nd; H = nd.Hessian(f)(x_star) — ヘシアン数値計算
50. np.linalg.eigvalsh(H) — 固有値で凸性判定

📘 体系的解説（拡張版）

📜 大域最適化の歴史

古典最適化（19 世紀）

Lagrange（1797）の乗数法、 Fourier（1826）の線形不等式、 Cauchy（1847）の最急降下法など、 微分積分学の延長で最適化が体系化。 ただし「大域」と「局所」の区別はまだ明確でなく、 ほとんどは凸問題（あるいは局所解が大域解と一致する場合）が対象でした。

線形計画と凸計画（20 世紀前半〜中盤）

Dantzig（1947）のシンプレックス法は線形計画問題に対する大域最適化を初めて実用的に解いた。 Karmarkar（1984）の内点法は多項式時間で解け、 LP の地位を確立。 凸計画は大域最小 = 局所最小なので、 これらは「大域」を意識する必要がなかった。

非凸大域最適化（1970 年代〜）

Kirkpatrick, Gelatt, Vecchi（1983）「Optimization by Simulated Annealing」Science がシミュレーテッドアニーリングを提唱、 大域最適化を実用化。 Holland（1975）の遺伝的アルゴリズム、 Glover（1986）のタブーサーチ、 Eberhart & Kennedy（1995）の粒子群最適化が続く。 ベイズ最適化は Mockus（1978）が起源で、 Snoek et al.（2012）が機械学習に応用して再評価。

深層学習時代（2010 年代〜）

深層学習の非凸損失曲面の探索手法として、 Adam（Kingma & Ba 2015）、 RMSprop（Hinton 講義 2012）、 SGD with Momentum + Warm Restarts（Loshchilov & Hutter 2016）などが定着。 また「大域最小に到達せずとも汎化性能は十分」という理解が広まる。

🌐 大域最適化アルゴリズムの完全分類

🎓 凸性の判定方法

方法 1：定義から確認

任意の $x_1, x_2$ と $\theta \in [0,1]$ について：

$$f(\theta x_1 + (1-\theta) x_2) \leq \theta f(x_1) + (1-\theta) f(x_2)$$

方法 2：1 階微分

微分可能なら、 任意の $x_1, x_2$ で：

$$f(x_2) \geq f(x_1) + \nabla f(x_1)^\top (x_2 - x_1)$$

つまり接線が関数値以下なら凸。

方法 3：2 階微分（ヘシアン）

2 階微分可能なら、 ヘシアン $H = \nabla^2 f(x)$ が定義域全体で半正定値（全固有値 $\geq 0$）なら凸。 すべて正なら強凸（厳密凸）。

SSDSE-B-2026 の例で凸性チェック

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)   # 日本語の列名で読む（2 行目を見出しにする）
df = df[df['年度']==2023]
X = df[['総人口']].values
y = df['出生数'].values

# 線形回帰の損失関数は凸：L(w) = sum((y - X@w)^2)
# 解析解：w = (X^T X)^(-1) X^T y
def loss(w):
    return np.sum((y - X @ w)**2)

# ヘシアン
H = 2 * X.T @ X
eigvals = np.linalg.eigvalsh(H)
print(f"固有値: {eigvals}")
print(f"すべて正？: {all(e > 0 for e in eigvals)}")
# → 強凸であることを確認、 大域最小は解析的に求まる
w_opt = np.linalg.solve(X.T @ X, X.T @ y)
print(f"最適解: w = {w_opt}")

🔬 SSDSE-B-2026 で実装する非凸最適化問題

問題：47 都道府県の「総合幸福度」の最適重み付け

SSDSE-B-2026 から、 4 つの指標を選び、 都道府県別の「幸福度指数」を作成：

$$H_i(w) = w_1 \cdot \tilde{r}_i + w_2 \cdot \tilde{e}_i + w_3 \cdot \tilde{p}_i - w_4 \cdot \tilde{u}_i$$

ここで $\tilde{r}_i$=正規化出生数、 $\tilde{e}_i$=正規化教育水準（小学校児童数）、 $\tilde{p}_i$=正規化消費支出、 $\tilde{u}_i$=正規化新規求職申込件数。 $w \in [0,1]^4, \sum w = 1$ の制約下で、 「47 都道府県間の標準偏差を最小化」する $w$ を求める（地域格差最小化）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

import numpy as np
import pandas as pd
from scipy.optimize import minimize, dual_annealing

np.random.seed(42)  # マルチスタートの再現性を固定
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)   # 日本語の列名で読む（2 行目を見出しにする）
df = df[df['年度']==2023].dropna()
# 正規化（z-score）
features = ['出生数', '小学校児童数', '消費支出（二人以上の世帯）', '新規求職申込件数（一般）']
X = df[features].values
X_norm = (X - X.mean(axis=0)) / X.std(axis=0)

def objective(w):
    # 制約：w[3] は失業率なので符号を反転
    weights = np.array([w[0], w[1], w[2], -w[3]])
    H = X_norm @ weights
    return H.std()  # 標準偏差を最小化

# 制約：sum(w) = 1, w >= 0
constraints = {'type': 'eq', 'fun': lambda w: sum(w) - 1}
bounds = [(0, 1)] * 4
x0 = [0.25, 0.25, 0.25, 0.25]

# 局所最適化
res_local = minimize(objective, x0, method='SLSQP',
                      bounds=bounds, constraints=constraints)
print(f"局所最適: w = {res_local.x}, 目的値 = {res_local.fun:.4f}")

# 大域最適化（dual_annealing）
res_global = dual_annealing(objective, bounds=bounds, maxiter=500, seed=42)
print(f"大域最適: w = {res_global.x}, 目的値 = {res_global.fun:.4f}")

# 多数のランダム初期値からのマルチスタート
best = (None, float('inf'))
for _ in range(20):
    x_init = np.random.dirichlet(np.ones(4))
    r = minimize(objective, x_init, method='SLSQP',
                  bounds=bounds, constraints=constraints)
    if r.fun < best[1]:
        best = (r.x, r.fun)
print(f"マルチスタート: w = {best[0]}, 目的値 = {best[1]:.4f}")

📊 ベンチマーク関数による比較

💼 産業応用：詳細

創薬：分子最適化

薬効が高く副作用が少ない分子を探す問題は、 離散・連続混合の高次元非凸最適化。 強化学習＋遺伝的アルゴリズム＋ベイズ最適化の組合せで、 候補分子を探索。 創薬コスト（1 つの新薬で 1,000 億円）を 10-30% 削減した事例多数。

半導体設計：チップフロアプラン

数億個のトランジスタを物理的に配置する問題は、 NP 困難な組合せ最適化。 シミュレーテッドアニーリング、 遺伝的アルゴリズム、 最近では DeepMind の AlphaChip（強化学習）が業界標準。

物流・運送：配送ルート最適化

TSP（巡回セールスマン問題）、 VRP（車両配送問題）の発展形。 Google Maps の道案内、 Amazon の配送、 Uber Eats の配達経路、 すべて大域最適化問題。 解法はメタヒューリスティック中心。

機械学習：ハイパーパラメータ探索

学習率、 バッチサイズ、 隠れ層のサイズなど、 関数評価が「数時間〜数日のモデル訓練」。 ベイズ最適化（Hyperopt、 Optuna）、 BOHB、 ASHA などが定石。

エネルギー：電力系統最適化

発電所の出力配分、 送電網のルーティング、 需要予測との連動。 全国規模では数千変数の非凸最適化。 内点法 + 分枝限定法のハイブリッドが主流。

🎯 実践演習・チェックリスト

🎓 大域最適化の 50 ステップ実習

1. scipy.optimize.minimize の基本（凸関数で動作確認）
2. $(x-3)^2 + 5$ を最小化、 局所最適確認
3. BFGS、 L-BFGS-B、 Nelder-Mead の比較
4. 勾配（jac=）を陽に渡す効果
5. Hessian（hess=）の効果
6. 制約付き最適化（SLSQP）
7. 境界制約 bounds=
8. 非凸関数 $x^2 + \sin(5x)$ で初期値依存を体験
9. Rosenbrock 関数（細長い谷）を解く
10. Rastrigin 関数（多数の局所最小）で勾配降下が失敗する例
11. マルチスタート：20 個の初期値で並列
12. basinhopping アルゴリズム
13. differential_evolution アルゴリズム
14. dual_annealing（焼きなまし）
15. shgo（Simplicial Homology Global Optimization）
16. brute（グリッド探索）
17. 関数評価回数 vs 結果の精度を可視化
18. 各手法の実行時間比較
19. ベイズ最適化（scikit-optimize の gp_minimize）
20. Hyperopt の TPE（Tree-structured Parzen Estimator）
21. Optuna での試行管理
22. SSDSE-B-2026 での K-means クラスタリング（非凸）
23. K-means の初期値依存を確認
24. k-means++ で改善
25. n_init=10 でマルチスタート
26. シルエット係数でクラスタ数決定
27. GMM（Gaussian Mixture Model）でも同様に
28. EM アルゴリズムは局所最適
29. 線形回帰の解析解（凸、 大域最適）
30. ロジスティック回帰の凸性確認
31. SVM の dual problem は凸 QP
32. ニューラルネット 1 層の損失曲面可視化
33. SGD vs Adam の収束軌跡比較
34. 学習率スケジューリング
35. warm restart の効果
36. バッチサイズが大域収束に及ぼす影響
37. NN の損失曲面の鞍点を観察
38. Hessian の固有値で凸性確認
39. Eigen-spectrum の可視化
40. 制約付き：SSDSE-B 重み付き和の格差最小化
41. Lagrange 双対問題
42. KKT 条件の確認
43. 大域最小の信頼性（マルチスタートで一致）
44. 大域最適の停止条件（収束判定）
45. 大域最適化のベンチマーク評価
46. Wilcoxon 検定で手法比較
47. 関数評価予算（budget）の使い方
48. 並列化（joblib、 multiprocessing）
49. GPU 加速（PyTorch、 JAX）
50. 本番運用での最適化（Sagemaker、 Vertex AI）

📈 SSDSE-B-2026 を題材にした大域最適化問題集

問題 1：47 都道府県中で総人口最小の県は？（離散・全数探索）

1
2
3
4
5
6

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)   # 日本語の列名で読む（2 行目を見出しにする）
df_2023 = df[df['年度']==2023]
min_pref = df_2023.loc[df_2023['総人口'].idxmin()]
print(min_pref['都道府県'], min_pref['総人口'])
# → 鳥取県、 537,000 人

問題 2：出生数から総人口を予測する線形回帰（凸最適化）

1
2
3
4
5

from sklearn.linear_model import LinearRegression
X = df_2023[['出生数']].values
y = df_2023['総人口'].values
model = LinearRegression().fit(X, y)
print(f'a={model.coef_[0]:.2f}, b={model.intercept_:.2f}, R²={model.score(X,y):.4f}')

問題 3：47 都道府県を 4 クラスタに分類（K-means、 非凸）

1
2
3
4
5
6
7

from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
features = ['総人口', '出生数', '死亡数', '着工建築物数']
X = StandardScaler().fit_transform(df_2023[features].fillna(0))
km = KMeans(n_clusters=4, n_init=20, random_state=42).fit(X)
df_2023 = df_2023.assign(cluster=km.labels_)
print(df_2023.groupby('cluster')['都道府県'].apply(list))

問題 4：重み付き総合指標の大域最小化（連続・非線形）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from scipy.optimize import dual_annealing
import numpy as np
# 4 指標を正規化
indicators = ['出生数', '小学校児童数', '消費支出（二人以上の世帯）', '新規求職申込件数（一般）']
X = (df_2023[indicators] - df_2023[indicators].mean()) / df_2023[indicators].std()

def objective(w):
    H = X.values @ np.array([w[0], w[1], w[2], -w[3]])
    return H.std()  # 47 都道府県間の標準偏差を最小化

res = dual_annealing(objective,
                      bounds=[(0,1)]*4,
                      maxiter=500,
                      seed=42)
print(f"重み: {res.x}, 標準偏差: {res.fun:.4f}")

問題 5：47 都道府県を巡回する最短ルート（離散・組合せ）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

# TSP（巡回セールスマン問題）
# 47 都道府県の代表座標を準備（緯度経度）
import numpy as np
from scipy.spatial.distance import cdist
# 都道府県名 → (緯度, 経度)
coords = {
    '北海道':(43.064,141.347),'青森県':(40.825,140.74),'岩手県':(39.704,141.153),
    '宮城県':(38.269,140.872),'秋田県':(39.719,140.103),'山形県':(38.241,140.364),
    '福島県':(37.75,140.468),'茨城県':(36.342,140.447),'栃木県':(36.566,139.884),
    '群馬県':(36.391,139.061),'埼玉県':(35.857,139.649),'千葉県':(35.605,140.123),
    '東京都':(35.69,139.692),'神奈川県':(35.448,139.643),'新潟県':(37.902,139.024),
    '富山県':(36.695,137.211),'石川県':(36.595,136.626),'福井県':(36.065,136.222),
    '山梨県':(35.664,138.568),'長野県':(36.651,138.181),'岐阜県':(35.391,136.722),
    '静岡県':(34.977,138.383),'愛知県':(35.180,136.907),'三重県':(34.730,136.509),
    '滋賀県':(35.005,135.869),'京都府':(35.022,135.756),'大阪府':(34.687,135.520),
    '兵庫県':(34.691,135.183),'奈良県':(34.685,135.833),'和歌山県':(34.226,135.168),
    '鳥取県':(35.504,134.238),'島根県':(35.472,133.051),'岡山県':(34.662,133.935),
    '広島県':(34.397,132.460),'山口県':(34.186,131.471),'徳島県':(34.066,134.559),
    '香川県':(34.34,134.043),'愛媛県':(33.842,132.766),'高知県':(33.560,133.531),
    '福岡県':(33.607,130.418),'佐賀県':(33.249,130.299),'長崎県':(32.745,129.874),
    '熊本県':(32.79,130.742),'大分県':(33.238,131.613),'宮崎県':(31.911,131.424),
    '鹿児島県':(31.560,130.558),'沖縄県':(26.213,127.681),
}
# 距離行列
labels = list(coords.keys())
points = np.array(list(coords.values()))
D = cdist(points, points)

# 焼きなまし
from scipy.optimize import dual_annealing
# 順列をビット表現に変換するなどの工夫が必要
# 実用的には Concorde や OR-Tools を使用

📊 主要最適化ライブラリ比較

⚡ パフォーマンスチューニング

1. 勾配を陽に与える：数値勾配（finite difference）より自動微分（autograd、 JAX）が高速・正確。
2. ヘシアンを近似：BFGS は擬似ヘシアン、 L-BFGS は省メモリ版。
3. 関数評価のキャッシュ：同じ点を何度も評価するなら functools.lru_cache。
4. 並列評価：differential_evolution、 PSO、 GA は並列化可能（workers 引数）。
5. GPU 加速：JAX、 PyTorch で勾配計算 + GPU。 行列演算なら数倍〜数十倍。
6. 初期値の選び方：マルチスタートは Sobol 系列で空間を網羅。
7. 変数のスケール統一：すべての変数を [0, 1] に正規化すると勾配の方向が安定。
8. 制約の扱い：罰金法より直接アプローチ（SLSQP、 内点法）の方が高速。
9. 停止条件：絶対許容誤差・相対許容誤差・最大反復数を適切に設定。
10. 結果の検証：複数手法でクロスチェック、 大域最小の信頼度を確認。

📚 包括的付録

📖 包括的付録：大域最小値の完全ガイド

本付録は、 大域最小値を初めて学ぶ人から、 実務でフル活用する人まで、 段階的に深掘りできるよう構成されています。 すべての例は SSDSE-B-2026 を使った実コードで、 そのままコピペで動作確認できます。

E.1 ベンチマーク関数の詳細

E.1.1 Rosenbrock 関数

$f(x, y) = (1-x)^2 + 100(y - x^2)^2$。 細長い湾曲した谷を持ち、 勾配降下が困難。 大域最小は $(1, 1)$ で 0。

def rosenbrock(x):
    return (1 - x[0])**2 + 100*(x[1] - x[0]**2)**2

E.1.2 Rastrigin 関数

$f(\mathbf{x}) = An + \sum_{i=1}^n [x_i^2 - A\cos(2\pi x_i)]$、 $A=10$。 多数の局所最小、 大域最小は原点で 0。 メタヒューリスティックの評価で頻出。

def rastrigin(x, A=10):
    n = len(x)
    return A*n + sum(xi**2 - A*np.cos(2*np.pi*xi) for xi in x)

E.1.3 Ackley 関数

$f(\mathbf{x}) = -20\exp(-0.2\sqrt{\frac{1}{n}\sum x_i^2}) - \exp(\frac{1}{n}\sum \cos(2\pi x_i)) + 20 + e$。 多峰、 大域最小は原点で 0。

E.1.4 Himmelblau 関数

$f(x, y) = (x^2 + y - 11)^2 + (x + y^2 - 7)^2$。 4 つの大域最小（すべて 0）：$(3, 2)$、 $(-2.81, 3.13)$、 $(-3.78, -3.28)$、 $(3.58, -1.85)$。

E.1.5 Schwefel 関数

$f(\mathbf{x}) = 418.9829 n - \sum x_i \sin(\sqrt{|x_i|})$。 大域最小から離れた位置に強い局所最小がある「騙し的」関数。

E.1.6 Eggholder 関数

2 次元、 極めて多峰。 大域最小は $(512, 404.2319)$ 付近で $-959.6407$。 大域最適化アルゴリズムの限界テストに使用。

E.2 主要最適化アルゴリズムの計算量と特性

n: 変数次元、 b: バッチサイズ、 P: 集団サイズ、 T: 反復数、 f: 関数評価コスト、 m: L-BFGS のメモリパラメータ

E.3 大域最小と局所最小の判別フロー

[ステップ 1] 関数 f が凸か？
    Yes → 局所最小 = 大域最小 → 勾配降下や BFGS で OK
    No  → ステップ 2 へ
[ステップ 2] 関数 f は連続か？
    Yes → ステップ 3 へ
    No  → ヒューリスティック（SA、 GA、 PSO）
[ステップ 3] 変数の次元は？
    ≤ 5  → グリッド探索、 もしくは shgo
    ≤ 20 → ベイズ最適化、 differential_evolution
    > 20 → CMA-ES、 マルチスタート + L-BFGS
[ステップ 4] 関数評価コストは？
    軽い → 集団ベース（GA、 PSO、 DE）
    重い → ベイズ最適化、 サロゲートモデル
[ステップ 5] 制約は？
    なし → 上記そのまま
    あり → SLSQP（局所）、 dual_annealing + 罰金（大域）
[ステップ 6] 解の信頼性は？
    マルチスタートで複数解を比較
    複数のアルゴリズムで合議
    Wilcoxon 検定で統計的差を確認

E.4 SSDSE-B-2026 で 47 都道府県の TSP（巡回セールスマン）を解く

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

import numpy as np
from scipy.spatial.distance import cdist
import itertools

# 都道府県庁所在地の緯度経度（一部、 実コード用）
coords = {
    '北海道':(43.064,141.347),'青森県':(40.825,140.74),'岩手県':(39.704,141.153),
    '宮城県':(38.269,140.872),'秋田県':(39.719,140.103),'山形県':(38.241,140.364),
    '福島県':(37.75,140.468),'茨城県':(36.342,140.447),'栃木県':(36.566,139.884),
    '群馬県':(36.391,139.061),'埼玉県':(35.857,139.649),'千葉県':(35.605,140.123),
    '東京都':(35.69,139.692),'神奈川県':(35.448,139.643),'新潟県':(37.902,139.024),
    '富山県':(36.695,137.211),'石川県':(36.595,136.626),'福井県':(36.065,136.222),
    '山梨県':(35.664,138.568),'長野県':(36.651,138.181),'岐阜県':(35.391,136.722),
    '静岡県':(34.977,138.383),'愛知県':(35.180,136.907),'三重県':(34.730,136.509),
    '滋賀県':(35.005,135.869),'京都府':(35.022,135.756),'大阪府':(34.687,135.520),
    '兵庫県':(34.691,135.183),'奈良県':(34.685,135.833),'和歌山県':(34.226,135.168),
    '鳥取県':(35.504,134.238),'島根県':(35.472,133.051),'岡山県':(34.662,133.935),
    '広島県':(34.397,132.460),'山口県':(34.186,131.471),'徳島県':(34.066,134.559),
    '香川県':(34.34,134.043),'愛媛県':(33.842,132.766),'高知県':(33.560,133.531),
    '福岡県':(33.607,130.418),'佐賀県':(33.249,130.299),'長崎県':(32.745,129.874),
    '熊本県':(32.79,130.742),'大分県':(33.238,131.613),'宮崎県':(31.911,131.424),
    '鹿児島県':(31.560,130.558),'沖縄県':(26.213,127.681),
}
labels = list(coords.keys())
points = np.array(list(coords.values()))
D = cdist(points, points)  # 47 × 47 距離行列

# 2-opt 法による近似解
def tour_length(tour, D):
    return sum(D[tour[i], tour[(i+1) % len(tour)]] for i in range(len(tour)))

def two_opt(tour, D, n_iter=1000):
    best = tour[:]
    best_len = tour_length(best, D)
    for _ in range(n_iter):
        i, j = sorted(np.random.choice(len(tour), 2, replace=False))
        new = best[:i] + best[i:j+1][::-1] + best[j+1:]
        if tour_length(new, D) < best_len:
            best = new
            best_len = tour_length(best, D)
    return best, best_len

tour, length = two_opt(list(range(47)), D, n_iter=10000)
print(f'最短ルート長: {length:.2f} km')
print(f'順序: {[labels[i] for i in tour]}')

# 焼きなましでさらに改善
from scipy.optimize import dual_annealing
# 順列をパラメータ化するのは難しいので、 専用のアルゴリズム
# OR-Tools の TSP ソルバが実用的

E.5 深層学習における大域最小の研究最前線

• Mode Connectivity（Garipov et al. 2018）：訓練済みの異なる NN 解は、 損失曲面上の低損失パスで繋がっている。 「悪い局所最小は稀」という洞察。
• Lottery Ticket Hypothesis（Frankle & Carbin 2019）：訓練済みネットワークの中に、 ランダム初期化から訓練しても同等性能が出る部分ネットワーク（lottery ticket）が存在する。
• Linear Mode Connectivity（Frankle et al. 2020）：訓練の途中段階以降は、 異なる訓練軌跡の解が線形パスで繋がる。
• Edge of Stability（Cohen et al. 2021）：実際の NN 訓練では、 損失関数のヘシアン最大固有値が 2/η（η は学習率）付近で振動。
• Grokking（Power et al. 2022）：訓練データに過剰適合した後、 さらに長く訓練すると突然汎化性能が向上する現象。
• Neural Tangent Kernel (NTK)（Jacot et al. 2018）：無限幅 NN の挙動を解析、 凸問題に近似できる。

E.6 大域最適化の倫理的考慮

「最適化の目的関数」自体が倫理的に問題になる場合があります。 SNS のアルゴリズムが「滞在時間」を最大化したら、 結果として中毒性・誤情報拡散を促進。 自動運転の経路最適化が「最短時間」を目指したら、 歩行者の多い住宅街を抜け道として使用。

対策：(1) 多目的最適化で複数の価値を同時に考慮、 (2) 制約付き最適化で許容できない結果を排除、 (3) RLHF（Reinforcement Learning from Human Feedback）で人間の価値判断を取り込む、 (4) 因果推論で「最適化が引き起こす連鎖」を予測。

SSDSE-B-2026 を使った地域政策最適化でも同様の考慮が必要：「総人口最大化」を目指すと地方は捨てられる。 「地域格差最小化」「持続可能性」「世代間公平」など、 目的関数の設計こそが最重要。

🎁 追加リファレンス

🧮 大域最小値の数学的厳密性

最適化問題の標準形

$$\min_{x \in \mathbb{R}^n} f(x) \quad \text{subject to} \quad g_i(x) \leq 0, \quad i = 1, ..., m \quad \text{and} \quad h_j(x) = 0, \quad j = 1, ..., p$$

ここで $f: \mathbb{R}^n \to \mathbb{R}$ は目的関数、 $g_i, h_j$ は制約関数。 大域最小値は、 すべての制約を満たす点（実行可能領域 $\mathcal{F}$）の中で $f$ を最小化する $x^*$ で：

$$f(x^*) = \min_{x \in \mathcal{F}} f(x) \quad \text{かつ} \quad x^* \in \arg\min_{x \in \mathcal{F}} f(x)$$

凸性の厳密定義

関数 $f: \mathbb{R}^n \to \mathbb{R}$ が凸であるとは、 任意の $x, y \in \mathbb{R}^n$ と $\theta \in [0, 1]$ について：

$$f(\theta x + (1-\theta) y) \leq \theta f(x) + (1-\theta) f(y)$$

強凸：ある $\mu > 0$ について：

$$f(\theta x + (1-\theta) y) \leq \theta f(x) + (1-\theta) f(y) - \frac{\mu}{2} \theta(1-\theta) \|x - y\|^2$$

大域最小存在の十分条件

Weierstrass の極値定理：$f$ が連続、 $\mathcal{F}$ が有界閉集合（コンパクト）なら、 $f$ は $\mathcal{F}$ 上で大域最小・最大を持つ。 SSDSE-B-2026 の 47 都道府県は有限集合なので、 自動的にコンパクト → 大域最小存在。

KKT 条件（Karush-Kuhn-Tucker）

制約付き最適化の必要条件。 ラグランジアン：

$$L(x, \lambda, \mu) = f(x) + \sum_i \lambda_i g_i(x) + \sum_j \mu_j h_j(x)$$

• 停留性：$\nabla_x L = 0$
• 原始可解性：$g_i(x) \leq 0$、 $h_j(x) = 0$
• 双対可解性：$\lambda_i \geq 0$
• 相補スラック性：$\lambda_i g_i(x) = 0$

🎓 大域最適化の収束保証

📊 SSDSE-B-2026 全 47 都道府県の人口最小化問題

洞察：人口最少 5 県はすべて中国・四国・北陸地方。 14 年で平均 9.8% 減少、 全国平均 (-3.1%) の約 3 倍のペース。 大域最小値（鳥取）の絶対値だけでなく、 「最小領域の構造的変化」を見ることが政策的に重要。

🚀 最適化を実装する 5 つの言語比較

🔧 補足リソース

🎓 大域最適化の学習リソース

教科書（基礎）

• Boyd & Vandenberghe『Convex Optimization』（無料 PDF）
• Nocedal & Wright『Numerical Optimization』
• Bertsekas『Nonlinear Programming』
• Bishop『Pattern Recognition and Machine Learning』第 7 章
• 『はじめての最適化』金谷健一
• 『最適化と変分法』金谷健一

教科書（応用）

• Goodfellow et al.『Deep Learning』第 8 章
• Kochenderfer & Wheeler『Algorithms for Optimization』
• Talbi『Metaheuristics: From Design to Implementation』
• 『最適化問題における乱択アルゴリズム』松井秀俊

オンラインコース

• Coursera "Discrete Optimization" by Pascal Van Hentenryck
• edX "Convex Optimization" by Stephen Boyd
• MIT OCW 6.255J "Optimization Methods"
• Stanford EE364A "Convex Optimization I"

⚡ Python 最適化ライブラリのベンチマーク（Rastrigin 関数 10 次元）

結論：(1) 単純な勾配法は局所最適で停滞、 (2) DE と SA は確実に大域に到達、 (3) BO は評価回数少で粗い解、 (4) 関数評価コストが軽い問題なら DE、 重い問題なら BO が選択基準。

🚀 業界別の大域最適化応用

📖 重要論文

• Kirkpatrick, Gelatt, Vecchi (1983). "Optimization by Simulated Annealing." Science, 220(4598).
• Holland (1975). Adaptation in Natural and Artificial Systems. University of Michigan.
• Storn & Price (1997). "Differential Evolution." Journal of Global Optimization.
• Kennedy & Eberhart (1995). "Particle Swarm Optimization." IEEE ICNN.
• Snoek, Larochelle, Adams (2012). "Practical Bayesian Optimization of Machine Learning Algorithms." NeurIPS.
• Kingma & Ba (2015). "Adam: A Method for Stochastic Optimization." ICLR.
• Dauphin et al. (2014). "Identifying and attacking the saddle point problem." NeurIPS.
• Choromanska et al. (2015). "The Loss Surfaces of Multilayer Networks." AISTATS.
• Garipov et al. (2018). "Loss Surfaces, Mode Connectivity, and Fast Ensembling." NeurIPS.
• Frankle & Carbin (2019). "The Lottery Ticket Hypothesis." ICLR.

📖 完全マスター・ハンドブック

📋 大域最適化ハンドブック：100 のヒント

1. まず関数を可視化（散布図、 等高線）
2. 凸性を確認（ヘシアン正定値）
3. 凸なら大域最小 = 局所最小
4. 非凸ならマルチスタート必須
5. 初期値は Sobol 系列で網羅
6. 勾配は陽に与える（自動微分が高速）
7. ヘシアンは近似で十分（BFGS）
8. L-BFGS は大規模問題向き
9. Newton 法は強凸問題で 2 次収束
10. 共役勾配法はメモリ効率良
11. SGD のノイズは局所最適脱出に有効
12. Adam はデフォルトで安定
13. 学習率はウォームアップ + 減衰
14. バッチサイズは小さい方が汎化良好
15. シミュレーテッドアニーリングで大域到達
16. 温度冷却スケジュールは指数的に
17. 遺伝的アルゴリズムは離散問題に
18. 粒子群最適化（PSO）は連続問題に
19. 微分進化（DE）は scipy で利用可
20. ベイズ最適化は評価コスト高い問題に
21. 獲得関数は EI、 UCB、 PI から選択
22. 探索 vs 活用のバランス
23. 制約は SLSQP、 trust-constr
24. 等式制約は Lagrange 乗数法
25. 不等式制約は KKT 条件
26. 罰金法より直接アプローチ
27. 変数の正規化（[0,1] や [-1,1]）
28. 変数のスケール統一
29. 停止条件：絶対誤差、 相対誤差
30. 最大反復数を必ず設定
31. マルチスタートは並列実行
32. basinhopping で局所最適を巡る
33. shgo で構造的サンプリング
34. brute force は低次元のみ
35. シンプレックス法は LP の定番
36. 内点法は LP/QP に高速
37. 分枝限定法は MIP 専用
38. 切除平面法は緩和問題を強化
39. 動的計画法は重複部分問題で
40. 欲張り法は近視眼的
41. ナップサック問題は DP
42. TSP は NP 困難
43. 2-opt、 3-opt 法
44. Lin-Kernighan ヒューリスティック
45. Concorde TSP ソルバ
46. OR-Tools（Google）
47. Gurobi（商用、 業界最高速）
48. CPLEX（商用、 IBM）
49. SCIP（OSS、 学術用途無償）
50. HiGHS（OSS、 LP/MIP）
51. cvxpy（Python、 凸計画）
52. pulp（Python、 LP）
53. Pyomo（Python、 大規模）
54. scipy.optimize（汎用）
55. Optuna（ハイパーパラメータ）
56. Hyperopt（TPE）
57. scikit-optimize（BO）
58. BoTorch（Facebook、 BO）
59. Ax（Facebook、 実験計画）
60. Nevergrad（Facebook、 メタ）
61. DEAP（GA、 ES）
62. pymoo（多目的）
63. NLopt（多種アルゴリズム）
64. IPOPT（NLP、 内点法）
65. SNOPT（商用、 大規模 NLP）
66. KNITRO（商用、 NLP）
67. BARON（商用、 大域 NLP）
68. 関数評価のキャッシュ
69. 並列評価（multiprocessing、 dask）
70. GPU 加速（JAX、 PyTorch）
71. 微分可能プログラミング
72. 自動微分（forward、 reverse）
73. JAX の jit、 vmap、 grad
74. PyTorch の autograd
75. TensorFlow の GradientTape
76. SymPy で記号微分
77. numdifftools で数値微分
78. 多目的最適化は Pareto フロント
79. NSGA-II、 NSGA-III
80. MOEA/D（分解ベース）
81. 重み付き和法
82. 制約付き多目的
83. ロバスト最適化（worst-case）
84. 確率制約付き最適化
85. 確率計画問題
86. 強化学習で最適制御
87. 動的計画 + 関数近似
88. Q 学習、 SARSA
89. Policy Gradient、 PPO
90. Actor-Critic、 A3C
91. モデルベース vs モデルフリー
92. 最適輸送（Optimal Transport）
93. Wasserstein 距離
94. Sinkhorn アルゴリズム
95. ロバスト統計と最適化
96. 正則化（L1、 L2、 Elastic Net）
97. 近接勾配法
98. ADMM（分散最適化）
99. サブグラディエント法
100. ミラー降下法
101. Frank-Wolfe 法
102. ベンチマーク：CEC、 BBOB
103. 大域最適化研究：Journal of Global Optimization

🌟 まとめと次のステップ

📚 大域最小値（Global Minimum）の総合チェックポイント

1. 基本理解

大域最小値（Global Minimum）を学ぶ上で、 最初に押さえるべき概念とその関係性。 SSDSE-B-2026 を題材に、 47 都道府県 × 12 年 × 112 指標のデータを使って実際に試すことで、 理論と実践のギャップを埋めることができます。 統計学・データサイエンスの教育では、 ハンズオン形式での学習が最も効果的とされており、 本ページもその設計思想に従って構成されています。

2. 応用力

基本を押さえたら、 実務での応用力を養います。 教科書通りの「綺麗なケース」ではなく、 SSDSE-B-2026 のような現実のデータには、 表記揺れ・欠損・外れ値・分布の偏りなど、 様々な「現実のノイズ」が含まれています。 これらに対処しながら意味のある分析結果を導く力こそが、 データサイエンティストとしての真価です。

3. 倫理と社会的責任

データ分析者には、 単なる技術的能力以上のものが求められます。 (1) プライバシー保護：個人情報の取扱、 (2) バイアスへの自覚：データに含まれる社会的偏見、 (3) 透明性：分析手法と前提の開示、 (4) 再現可能性：他者が同じ結論に到達できる文書化、 (5) 社会的影響：分析結果が引き起こす意思決定の影響範囲。

4. 継続的な学習

データサイエンスは急速に進化する分野です。 新しい手法・ツール・データソースが次々と登場するため、 継続的な学習が不可欠。 (1) 論文購読：arXiv の関連分野を週次でチェック、 (2) ライブラリ追跡：scipy、 sklearn、 PyTorch のリリースノート、 (3) カンファレンス：NeurIPS、 ICML、 KDD、 PyData、 (4) コミュニティ：Twitter／X、 LinkedIn、 国内の勉強会、 (5) ハンズオン：Kaggle、 SIGNATE、 SSDSE コンペ。

5. 本ページから次のステップへ

大域最小値（Global Minimum）を理解したら、 次は関連概念へ。 本サイトの「関連用語」セクションから派生概念へ進み、 「関連グループ教材」で全体像を把握。 さらに「論文一覧」では、 統計データ分析コンペティションで実際に提出された 159 件の論文を、 ハンズオン形式で再現することができます。 ぜひ自分のテーマで、 SSDSE-B-2026 を使った独自の研究にも挑戦してみてください。

🔬 用語固有の具体例（10 個）

1. SSDSE-B-2026 の総人口最小県（鳥取県 537,000 人）を全数探索で特定
2. 線形回帰の二乗誤差は凸関数なので、 解析解 w = (X^T X)^(-1) X^T y で大域最小
3. K-means クラスタリングは非凸なので、 n_init=10 でマルチスタート
4. scipy.optimize.dual_annealing で焼きなまし、 多峰関数の大域最小を探索
5. 差分進化 differential_evolution は連続変数の非凸問題に強い
6. Nelder-Mead は勾配不要、 ノイズに頑健（小規模問題向き）
7. Adam optimizer のモメンタムが鞍点脱出に有効（深層学習）
8. SLSQP で制約付き最適化（重み和=1 制約下の最小化）
9. Bayesian Optimization（gp_minimize）は評価コスト高い問題に
10. 47 都道府県の TSP（巡回セールスマン）は 2-opt + 焼きなまし

🎯 SSDSE-B-2026 で学べること

SSDSE-B-2026 は単なるデータセットではなく、 「日本のデータサイエンス教育のための共通言語」として設計されています。 47 都道府県という馴染みのある単位、 12 年間という適切な期間、 112 個という網羅的な指標。 すべての受講生が同じデータを扱うことで、 結果を比較・議論・批判できるという、 教育的価値を持っています。

本ページで紹介した大域最小値の理論と実装は、 SSDSE-B-2026 という共通の素材を介して、 全国の学習者・研究者・実務家が共有できる知識基盤となります。 学習を通じて、 ぜひ「自分の県」「自分の地域」「自分の興味」を切り口に、 オリジナルの分析にチャレンジしてみてください。

📞 困ったときのサポート

• 本サイト内：用語集トップ → 概念マップ → 論文一覧
• 関連書籍：本ページの参考文献セクションを参照
• オンラインフォーラム：Stack Overflow、 Cross Validated、 teratail
• 公的サポート：統計センター、 e-Stat ヘルプデスク
• 勉強会：PyData Tokyo、 R-bloggers、 JapanTUG

本ページの内容は、 統計・データサイエンスを学ぶすべての方の参考となれば幸いです。 大域最小値を深く理解し、 実務・研究・教育の様々な場面で活用してください。 ご質問・ご指摘がある場合は、 本リポジトリの GitHub Issues にお寄せください。

🖼 補講: 大域最小値の地形・直線探索・更新式

大域最小値 (global minimum) と局所最小値 (local minimum) は、 損失関数の地形を「景色」として描くと直観的に理解できる。 ここでは SSDSE-B-2026 の都道府県人口データから二次関数的な損失を構築し、 (1) 地形の俯瞰、 (2) 直線探索の様子、 (3) 反復更新の数値遷移、 の 3 観点でビジュアル化する。

🖼 図 A: 損失関数の地形 (1 次元イメージ)

→ 赤丸が大域最小値、 橙丸は局所最小値。 勾配降下法は出発点に応じて橙へ吸い込まれる可能性があり、 これが「大域最小に到達する保証がない」という SGD の限界の核心。

🖼 図 B: 等高線と探索経路 (二次元イメージ)

→ 同心楕円は損失の等高線。 初期値 (左上の緑点) から赤丸 (大域最小) へ向かう経路を矢印で示す。 凸関数では出発点に依存せず必ず赤丸に到達できるが、 非凸では矢印が途中で別の極小に吸い込まれる。

🖼 図 C: 反復更新と損失低下

→ 反復ごとに損失が単調減少し、 大域最小値付近で平坦化する典型的な学習曲線。 凸最適化では数学的に収束が保証される。

🔬 数式を言葉で読み解く

大域最小値の定義 $f(x^*) \le f(x) \;\;\forall x \in \mathcal{X}$ は、 「定義域 $\mathcal{X}$ の中で $x^*$ より小さい値を取る点は一つも存在しない」と読む。 局所最小値は近傍 $U(x^*)$ に限定した不等式 $f(x^*) \le f(x) \;\;\forall x \in U(x^*)$ なので、 「半径 $\epsilon$ の球の中だけで最小」という弱い主張になる。 機械学習では損失関数 $L(\theta)$ をパラメータ $\theta$ について最小化するため、 大域最小は「あらゆる $\theta$ より自分の予測誤差が小さい」ことを意味し、 これに到達できれば学習は完了とみなせる。

🐍 補講コード: 1 次元二次関数で大域最小を確認

このコードでやること: SSDSE-B-2026 の人口を読み込み、 「平均人口に最も近い X が損失を最小にする」という二次損失関数を作って、 解析解と数値解の一致を確認する。

📥 入力 (SSDSE-B-2026 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
pop = df.iloc[:, 3].astype(float).values  # 総人口列

# 二次損失 L(x) = sum((pop - x)**2)
def L(x):
    return np.sum((pop - x) ** 2)

# 解析解: 微分=0 を解くと x* = mean(pop)
x_star_analytic = pop.mean()
print(f"解析的な大域最小 x* = {x_star_analytic:,.0f}")
print(f"最小損失 L(x*)      = {L(x_star_analytic):.3e}")

# 数値解: 100 点で全探索
xs = np.linspace(pop.min(), pop.max(), 1000)
losses = np.array([L(x) for x in xs])
x_star_numeric = xs[np.argmin(losses)]
print(f"数値的な大域最小 x* = {x_star_numeric:,.0f}")

📤 実行例:

💬 解析解 (平均人口 約 269 万人) と数値解がほぼ一致した。 二次関数は凸関数なので、 どんな初期値から探索しても同じ大域最小に到達できる。 一方、 ニューラルネットの損失関数は非凸であり、 同じ手法では大域最小に至るとは限らない、 という対比が本ページのコア・メッセージである。

🐍 補講コード: 勾配降下と局所解の罠 (1 次元非凸)

このコードでやること: 非凸な 1 次元関数 $f(x)=\sin(x)+0.1x^2$ を題材に、 勾配降下法が初期値次第で異なる極小に吸い込まれることを観察する。

📥 入力: 上記関数 f と初期値リスト [-6, -2, 1, 5]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import numpy as np

f       = lambda x: np.sin(x) + 0.1 * x ** 2
f_grad  = lambda x: np.cos(x) + 0.2 * x

def gd(x0, lr=0.1, steps=200):
    x = x0
    for _ in range(steps):
        x = x - lr * f_grad(x)
    return x, f(x)

for x0 in [-6, -2, 1, 5]:
    x_end, f_end = gd(x0)
    print(f"初期値 {x0:+d} → 収束点 x={x_end:+.3f}, f(x)={f_end:+.3f}")

📤 実行例:

💬 初期値 -6/-2/+1 からは大域最小付近 x≈-1.31（f≈-0.795）に到達したが、 初期値 +5 は別の浅い局所最小 x≈+3.84（f≈+0.832）に吸い込まれた。 「初期値依存」「複数局所解」が非凸最適化の難しさそのもの。 実務では複数初期値からの並列探索や、 Adam/モメンタム/シミュレーテッドアニーリングなどで脱出を促す。

📋 補講まとめ表

関連: 局所最小値, 勾配降下法, 損失関数, 最適化。

📝 大域最小に到達するための実務戦略 10 選

深層学習や非凸最適化において、 大域最小値に到達 (あるいは「実用上十分良い解」に到達) するために提案されてきた代表的なテクニックを 10 件まとめる。 教科書的な勾配降下法だけでは局所解から抜け出せないため、 実務ではこれらの戦略を組み合わせる。

1. 複数初期値の並列探索 (Multistart) — 乱数で初期化した複数の SGD を並列に走らせ、 最も低い損失を採用する。 計算資源は線形に増えるが、 局所解に吸い込まれる確率を $p^n$ に下げられる。 SSDSE-B-2026 で線形回帰を学習する場合は不要だが、 ニューラルネットでは標準テクニック。
2. モメンタム法 — 過去の勾配の指数移動平均を慣性として加える。 浅い局所解を「勢い」で突き抜けられる。 数式は $v_{t+1} = \mu v_t + \nabla L,\; \theta_{t+1}=\theta_t - \eta v_{t+1}$。 $\mu=0.9$ が定石。
3. Adam / AdamW — 1 次モーメント (勾配の平均) と 2 次モーメント (勾配の二乗平均) を両方追跡し、 パラメータごとに学習率を自動調整する。 局所解を脱出する能力と収束安定性の両立に優れる。
4. 学習率スケジューリング — Cosine annealing や warm restart で学習率を周期的に増減させると、 平坦な極小から再離脱する機会が生まれる。 SGDR の論文ではこれで ImageNet 精度が向上した。
5. バッチサイズ調整 — 小さいバッチ (32-128) は勾配ノイズが大きく、 局所解からの脱出に寄与する。 大バッチは高速だが鋭い極小に収まりやすい (Keskar 2017)。
6. 確率的勾配ノイズの注入 — Langevin dynamics や SGLD のように勾配にガウスノイズを加えると、 マルコフ連鎖モンテカルロ的に大域最小をサンプリングできる。 理論保証付き。
7. シミュレーテッドアニーリング — 温度パラメータを徐々に下げながらランダム摂動を許容する。 凸でなくても確率 1 で大域最小に収束する (定理あり、 ただし指数時間)。
8. 遺伝的アルゴリズム / 進化計算 — 個体群を交配・突然変異させて損失を下げる。 勾配を必要としないので、 微分不可能な目的関数にも適用できる。 ハイパーパラメータ探索でよく使う。
9. ベイズ最適化 — ガウス過程で目的関数の事後分布を学習し、 獲得関数で次の探索点を選ぶ。 高コストな目的関数 (例: モデル全学習を 1 評価とする) に最適。
10. 凸緩和 (Convex Relaxation) — 非凸問題を凸問題に近似 (例: LASSO の L1 正則化、 半正定値計画 SDP)、 解析的に大域最小を得る。 凸問題に置き換えられる範囲では強力。

📝 大域最小 vs 鞍点 vs 局所最小 — 微分の見分け方

高次元では「局所最小」より「鞍点 (saddle point)」の方が圧倒的に多いことが Dauphin (2014) で示されている。 鞍点では勾配がゼロだが、 一部の方向で増加・別の方向で減少する。 これを判別するにはヘッセ行列 $H = \nabla^2 L$ の固有値を見ればよい。

ニューラルネットの損失曲面では、 局所最小は理論的にも経験的にも稀で、 SGD が「動かなくなる」原因の多くは鞍点とプラトーである。 これを脱出する戦略 (モメンタム、 Adam、 学習率スケジューリング) は前項の 10 選と直結する。

📝 凸最適化と非凸最適化の境界 — 線形回帰から深層学習まで

機械学習モデルを「損失関数が凸か非凸か」で分類すると、 大域最小到達の難易度が一目で分かる。 線形回帰の二乗誤差、 ロジスティック回帰の対数尤度、 サポートベクトルマシン (ハードマージン) は凸関数で、 凸最適化の理論で大域最小が保証される。 一方、 多層ニューラルネット、 GAN、 強化学習の方策最適化は非凸であり、 SGD の収束先は「停留点」の保証しかない。

興味深いのは、 ニューラルネットでは「大域最小」より「広い谷 (flat minima)」の方が汎化性能が高いことが Hochreiter & Schmidhuber (1997) 以来繰り返し報告されている点である。 鋭い極小 (sharp minima) は訓練損失こそ低いが、 入力にわずかな揺らぎが入っただけで損失が跳ね上がる。 平坦な谷は周辺の損失も低く、 テストデータに対しても安定する。 したがって深層学習では「大域最小に到達する」より「平坦で良質な極小に到達する」方が実用上重要、 という逆説的な現状になっている。

📝 SSDSE-B-2026 で実感する凸最適化の威力

SSDSE-B-2026 の都道府県人口 (47 点) を独立変数、 消費支出を従属変数とする単純線形回帰を考える。 損失関数 $L(a,b) = \sum_i (y_i - a x_i - b)^2$ は二次関数なので凸。 ヘッセ行列を計算すると正定値で、 唯一の大域最小 $(a^*, b^*)$ が解析的に求まる ($a^* = \mathrm{Cov}(x,y)/\mathrm{Var}(x)$, $b^* = \bar{y} - a^* \bar{x}$)。 これが正規方程式の本質である。 一方、 同じ 47 点に 5 層 MLP を当てはめると損失曲面は非凸になり、 異なる初期化で異なる解が得られる。 ニューラルネットの「再現性のばらつき」の根本原因はここにある。

📝 落とし穴 — 大域最小信仰の罠

• 過学習との混同 — 訓練データで大域最小に到達しても、 テストデータで悪化することがある (オーバーフィッティング)。 大域最小=汎化最良ではない。
• 計算可能性の限界 — 一般の非凸関数で大域最小を保証付きで見つけることは NP-hard。 実務では「局所最小だが十分良い」で妥協する。
• 勾配ゼロ ≠ 最小 — 勾配がゼロでも鞍点・プラトー・局所最大の可能性がある。 ヘッセ行列の固有値で識別すること。
• 収束判定の粗さ — 損失の変化量だけで「収束した」と判断すると、 プラトーで誤判定する。 勾配ノルム・パラメータ変化量も併用すべき。
• 学習率の罠 — 大き過ぎる学習率は大域最小を飛び越え、 小さ過ぎる学習率は局所最小に閉じ込められる。 cosine annealing で動的調整するのが現代の定石。

📝 理解度チェック (練習問題)

大域最小値の概念を自分のものにするための練習問題を 6 問用意した。 自分で考えてから解答例を確認してほしい。

📝 大域最小値を扱う論文・教科書 — さらなる学習リソース

大域最小値、 非凸最適化、 ニューラルネット損失曲面に関する重要文献を時系列で整理する。 初学者は Boyd の凸最適化を出発点に、 順次深層学習方向へ進むのが効率的。

• Boyd & Vandenberghe (2004) 『Convex Optimization』 — 凸最適化の標準教科書。 大域最小の保証や双対性を厳密に学べる。 オンライン無料公開。
• Nocedal & Wright (2006) 『Numerical Optimization』 — 非凸を含む数値最適化の包括教科書。 Newton 法・準 Newton 法・信頼領域法を網羅。
• Hochreiter & Schmidhuber (1997) "Flat Minima" — 平坦な極小が汎化に有利という古典的論文。 後の SGD バッチサイズ研究の起点。
• Dauphin et al. (2014) "Identifying and attacking the saddle point problem" — 高次元損失曲面では局所最小より鞍点が支配的、 という重要発見。
• Choromanska et al. (2015) "The Loss Surfaces of Multilayer Networks" — ニューラルネットの損失曲面をスピングラスでモデル化、 大域最小と局所最小の損失差は次元と共に縮むことを示した。
• Keskar et al. (2017) "On Large-Batch Training" — 大バッチが鋭い極小に収束しやすく汎化性能が落ちる現象を実証。
• Goodfellow, Bengio & Courville (2016) 『Deep Learning』 — 第 8 章「Optimization for Training Deep Models」で大域最小・局所最小・鞍点を整理。

これらの文献を読み進めると、 「大域最小に到達することよりも、 平坦で頑健な解に到達することの方が深層学習では重要」という現代的な理解に辿り着く。 SSDSE のような小規模公的データで線形回帰を学ぶ段階では「大域最小=最適」で十分だが、 ニューラルネットを実装する段階で、 この「大域最小信仰」を一度脱ぎ捨てる必要が出てくる。

🗺 概念マップ

大域最適解（global minimum）を中心に、局所最適解との対比、最適化アルゴリズム（勾配降下法・モーメンタム・Adam・焼きなまし）、損失関数の凸性・非凸性、深層学習における鞍点問題を放射状に配置した。実務では「真の大域解」より「十分良い局所解」を素早く得る戦略が支配的である点も矢印で示している。

大域最小値を中心とする概念マップは、 最適化アルゴリズム (勾配降下法 / 焼きなまし / 遺伝的アルゴリズム / 分枝限定法 / ベイズ最適化) を「探索範囲 (局所 vs 大域)」「計算コスト (low vs high)」「保証 (経験的 vs 厳密)」の 3 軸で配置することで全体像が把握できる。 凸関数 (線形回帰、 SVM 双対、 ロジスティック回帰) では勾配降下法が最短経路、 非凸関数 (深層学習、 混合ガウス、 K-means) では multi-start や Adam + warm restart の組み合わせが実用的選択肢になる。

🔗 隣接手法への橋渡し

「大域最小値」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。

• 上流: 入力データの前処理・整備 — 凸最適化 ・ 勾配降下法
• 並列: 類似目的を持つ代替手法 — 局所的最小値 ・ 鞍点
• 下流: 出力結果の評価・解釈 — 焼きなまし法 (Kirkpatrick 1983) ・ 遺伝的アルゴリズム

上流の凸性判定・勾配計算で最適化問題の構造を確認し、 並列の局所最小・鞍点・モメンタム法と挙動を比較し、 下流の確率的勾配降下・Adam・学習率スケジューラで実装に落とす。 大域最小は理論的目標であり、 深層学習では局所最小・平坦最小・汎化との関係を含めて再解釈する。

🌳 手法選択フロー

「大域最小値」を実際の課題に当てはめるとき、 状況別に何を選ぶかを 3 段階で判定する。

1. 目的関数は凸か? 凸 → 勾配降下で大域最小到達保証、 非凸 → 局所最小・鞍点に注意し複数初期値で再試行
2. 探索戦略は? 滑らかな関数 → 勾配法、 微分困難 → ベイズ最適化・遺伝的アルゴリズム・シミュレーテッドアニーリング
3. 深層学習の文脈か? 大域最小よりも「汎化する平坦最小」を目標、 SGD のノイズ・大きな学習率・SAM 系で平坦解を探索

大域最小は理論的概念で、 深層学習では「到達不可能だが達成不要」が実態。 損失値そのものより検証損失・汎化ギャップを最適化指標として扱い、 大域性に固執しない設計が現代の主流。

🧭 追補: 大域最小を「見つける」ことの本質（深掘り）

ここまでの節・🎮ウィジェット・📝補足を前提に、 別の切り口から大域最小を掘り下げる。 キーワードは「検証の非対称性」「条件数」「組合せ爆発」の 3 点。 いずれもこのページの他の解説とは重複しない角度である。

💡 直感 ── 「谷底の確認」と「全域の保証」は別問題

大域最小と局所最小の本質的な差は、 「その場で確かめられるか」にある。 ある点 $\tilde{x}$ が局所最小かどうかは、 勾配 $\nabla f(\tilde{x})=0$ とヘッセ行列 $\nabla^2 f(\tilde{x})$ の正定値性を調べれば有限の手順でその場で判定できる。 ところが同じ点が大域最小かどうかは、 定義 $f(x^*) \le f(x)\ \forall x \in \mathcal{X}$ が定義域全体にわたる主張なので、 手元の情報だけでは原理的に確認できない ── これが検証の非対称性である。 「局所性は局所的に検証でき、 大域性は大域的にしか検証できない」。 だからこそ、 局所最適化アルゴリズム（勾配降下法）は自分が大域最小に居るのかを知る術を持たず、 「収束した」と「最適に達した」が別物になる。

重要なのは、 大域最小探索の難しさは「大域」という言葉ではなく「連続 × 非凸」の組合せから生じる点だ。 探索空間が有限なら（例: SSDSE-B-2026 の 47 都道府県から 1 つ選ぶ問題）、 全走査で大域最小は必ず・確実に見つかる。 難しくなるのは、 定義域が連続で無限個の候補を持ち、 かつ凸性が崩れて谷が複数現れたときだけである。

⚠️ 落とし穴 ── 「凸なのに大域最小へ届かない」条件数の罠

「凸関数なら勾配降下は必ず大域最小に収束する」は理論的には正しい。 だが実務では凸でも届かないことがある。 その主犯が条件数（ヘッセ行列の最大固有値 ÷ 最小固有値）だ。 SSDSE-B-2026（cp932, skiprows=[1], 2023 年 47 都道府県）の実測で確かめてみる。 「出生数 $=\beta_0 + \beta_1 \cdot$ 総人口」という単回帰の二乗誤差は凸関数で、 大域最小は正規方程式から一意に定まる：

• 大域最小（解析解）：$\beta_1 \approx 0.006104$（総人口 1,000 人あたり出生 約 6.10 人）、 $\beta_0 \approx -676.9$、 決定係数 $R^2 \approx 0.9909$
• この点でのヘッセ行列の固有値は約 49.1 と約 1.378×10¹⁵ ── 比（条件数）は約 2.8×10¹³ という桁違いの悪条件

意味するところは深刻だ。 生の変数のまま勾配降下すると、 発散を避ける学習率は $\eta < 2/\lambda_{\max} \approx 1.5\times10^{-15}$ に制限され、 一方で小さい固有値の方向（切片方向）はその学習率ではほとんど動かない。 収束に必要な反復数は条件数のオーダー、 すなわち兆回規模となり、 現実には凸なのに大域最小へ到達しない。 対処は単純で、 変数を標準化（z-score 化）すると条件数はほぼ 1 に落ち、 勾配降下はただちに大域最小（標準化した傾き＝相関係数 $\approx 0.99542$）へ収束する。 凸性は大域最小の「存在と一意性」を保証するが、 「到達の速さ」までは保証しない ── ここが盲点である（詳しくは学習率・連続最適化）。

他にも、 このページの他節が触れていない落とし穴がある：

• 「離散＝全数探索で安泰」の油断：47 都道府県の全走査は確実だが、 どの列を目的関数にするか・欠損をどう処理するか（dropna か 0 埋めか）で大域最小の「答え」自体が変わる。 大域最小の一意性は問題定義が固定された後の話で、 定義の揺らぎは保証の外にある。
• 複数の大域最適とタイブレーク：$f(x)=\cos x$ が無限個の大域最小を持つように、 大域最小は一意とは限らない。 argmin はそのうち1 つだけを実装依存の順序で返すため、 「同点をどう扱うか」を明文化しないと再現性が崩れる。
• 訓練損失の大域最小 ≠ 最良の解：全データで損失を厳密に最小化しても、 未知データ（検証・テスト）で悪化することがある。 最小化すべきは訓練損失ではなく汎化性能であり、 大域最小の追求が過学習と表裏一体になる場面がある。

🚀 発展 ── 保証・組合せ爆発・「ノイズという温度」

(1) 凸最適化が与える二重の保証。 凸性は 2 つの別々の恩恵をまとめて与える。 ひとつは存在（連続関数 × 有界閉集合なら Weierstrass の極値定理で最小点が存在）、 もうひとつは局所＝大域（凸なら任意の局所最小が大域最小）。 この 2 つが揃うと、 局所探索の結果をそのまま大域最小と読み替えられる。 逆に非凸では両方の橋が落ちるため、 局所探索の結果に「大域」の看板を掛けてはいけない（上位概念は数理最適化、 対比は局所最適解）。

(2) 離散化がもたらす組合せ爆発。 SSDSE-B-2026 で「47 都道府県から代表 5 県を選び目的を最適化」といった選択問題に踏み込むと、 候補数は $\binom{47}{5}=1{,}533{,}939$ 通りに跳ね上がり、 選ぶ数を増やすほど指数的に膨張する。 こうなると全数探索は破綻し、 分枝限定法やメタヒューリスティクスが必要になる（組合せ最適化）。 大域最小の「存在」は有限集合ゆえ保証されるのに、 「発見」は現実的に困難 ── 存在と発見の乖離が最も鮮明に出る領域だ。

(3) ノイズを「温度」として使う。 焼きなまし法が温度パラメータで山越えを許すのと同様、 確率的勾配降下（SGD）のミニバッチ由来のノイズは実効的な温度として働き、 浅い谷や鞍点からの脱出を助ける。 学習率を大きく保つ期間はこの温度を高く保つことに相当し、 減衰させる過程は徐冷に対応する（勾配降下法・学習率）。 大域探索の系譜（焼きなまし法・遺伝的アルゴリズム）と局所探索の力学（勾配法）は、 この「ノイズ＝温度」という視点で地続きに理解できる。

※ 上記のうち回帰係数・決定係数・ヘッセ行列の固有値・相関係数は SSDSE-B-2026（2023 年・47 都道府県）の実測値。 $\binom{47}{5}$ は組合せ数の算術例、 $f(x)=\cos x$ は概念説明のための架空の関数例。