🔖 キーワード索引

このページで扱う主要キーワード（クリックで該当セクションへ）：

🎨 直感で掴む

連続最適化は、 決定変数が 連続実数 である最適化問題を扱う分野です。 「最小二乗で回帰係数を決める」「最尤推定でパラメータを当てはめる」「ニューラルネットの重みを学習する」のは、 すべて連続最適化問題です。

対比として 組合せ最適化は決定変数が 0/1 や順列などの離散値、 たとえば「都道府県をどの 3 クラスタに分けるか」のような問題を扱います。 連続最適化は微分・凸性という強力な道具立てが使えるため、 数値解法は概して洗練されています。

SSDSE の例で言えば、 「新規求職申込件数を 総人口、 着工建築物数など複数の指標で説明する線形回帰」は、 47 個の県データに対する複数の連続パラメータの最適化問題です。

🎨 直感で掴む — 「霧の中の谷下り」

直感 1: 山と谷

目的関数 $f(x)$ を山と谷の地形と見なす。 最小化は「谷底を見つける」ことに相当。 凸関数は 1 つの谷だけ、 非凸は 複数の谷と 鞍点（馬の鞍のような形）を持つ。

直感 2: 勾配は最大上昇方向

$\nabla f(x)$ は「その地点から最も急に上る方向」。 最小化したいので 逆に進む ($-\nabla f$)。 学習率 $\eta$ は「一歩の歩幅」。

直感 3: ニュートン法は「地形を 2 次曲線で近似」

勾配だけでなくヘッセ行列で 地形の曲がり方も使う。 「谷の底にある放物線の頂点」を 1 ステップで予測。 ただしヘッセ行列の計算は次元 $n$ の 2 乗、 逆行列は 3 乗で高コスト。

直感 4: SGD は「霧の中を 1 メートルずつ進む」

全データの勾配 = 「視界が良い」、 SGD = 「視界 1 メートル」。 細かく見える分だけ 振動するが、 平均的には正しい方向に進む。 ノイズが鞍点脱出に役立つ。

直感 5: モメンタムは「ボールが転がる慣性」

単純な GD は 各ステップで方向リセット。 モメンタムは「過去の方向を記憶」して谷の長軸方向に加速。 物理的にはエネルギー保存とぶつかった壁での跳ね返りに似る。

🎨 連続最適化を視覚で掴む — 3 枚の図で景観を理解する

最適化アルゴリズムを「式」だけで理解するのは難しい。 「ボールが谷を転がる」「霧の中で坂を下る」といった景観メタファーが、 アルゴリズム選択の直感を強化する。 ここでは SSDSE-B-2026 の都道府県データから生成できる 3 つの典型的なロスランドスケープを通じて、 最適化が「何を相手にしているか」を視覚化する。

図 1: 散布図 — 損失関数の入力データ

SSDSE-B-2026 の都道府県 47 点を散布図に並べると、 各点は「最適化アルゴリズムが当てはめようとする直線・曲線が通るべき目標」になる。 線形回帰の二乗誤差を最小化する最適化は、 この散布図に最もよくフィットする直線を求める。 点が直線的なら凸の良条件問題、 ばらつきが大きければ条件数が悪化する。

図 2: ヒストグラム — 総人口の分布

SSDSE-B-2026 の 47 都道府県の総人口をヒストグラムにすると、 少数の大都市県が右に長い裾を引く強い右歪みの分布になる。 このように入力データや残差の分布が歪んでいると、 二乗誤差を最小化する最適化は裾の大きな値に引っ張られやすい。 分布が正規に近ければ最小二乗法が適切、 裾が重ければロバスト回帰 (Huber loss、 LAD) を選ぶ。 二乗誤差は正規分布の最尤推定、 絶対誤差はラプラス分布の最尤推定に対応する。

図 3: グループ別箱ひげ図 — カテゴリ変数の影響

都道府県を KMeans で分けたクラスタごとに一般診療所数を箱ひげ図にしたもの。 クラスタ間で中央値・分散が大きく異なる場合、 階層ベイズや混合効果モデルが必要になり、 最適化問題の次元と非凸性が一気に増す。 単純な OLS の凸問題 → 混合効果モデルの非凸問題、 と問題の難しさが構造的に変わる例。

📝 連続最適化マスターまとめ — 「これだけ覚えれば実務で困らない」7 原則

1. 標準化は最適化の前提: 条件数を下げるだけで反復回数が桁違いに減る。 「学習率を下げて凌ぐ」前に StandardScaler。
2. 凸性が選択肢を決める: 凸なら閉形式 / BFGS で安心、 非凸なら multi-start / SGD / 大域最適化が必要。
3. 規模で手法を切り替える: 変数 100 以下はニュートン、 1 万以下は BFGS、 100 万以上は SGD/Adam。
4. 制約は SLSQP / trust-constr: ペナルティ法より厳密で堅実。 cvxpy も凸問題なら 1 行で済む。
5. 収束判定は勾配ノルム + 目的関数差: 「success=True」だけを信用しない。 結果を別の初期値・別の手法で再現確認。
6. 微分が無いなら Nelder-Mead / BayesOpt: 数値微分でも動くが、 計算回数 × 関数評価コストで詰む。
7. 深層学習は AdamW + cosine schedule + warmup: 2020 年代の事実上の標準。 SGD+momentum も画像系で根強い。

❓ 実務で頻出する FAQ 15 連発

Q. SGD と勾配降下の違いを 1 文で言うと？

勾配降下は全データで勾配を計算、 SGD は 1 サンプル (またはミニバッチ) ごとに勾配を計算。 SGD の方が 1 反復が安いが、 推定勾配にノイズが乗るため振動する。

Q. なぜ深層学習の学習率は 1e-3 あたりが多い？

Adam の規定値が 1e-3 で、 多くの研究がこれをベースラインに調整するため。 SGD なら 0.01 ～ 0.1 が標準。 オーダーが違うのは適応学習率の有無による。

Q. scipy.optimize.minimize と scipy.optimize.least_squares の使い分けは？

一般的な最適化なら minimize。 目的関数が「残差ベクトルの二乗和」の形なら least_squares (Levenberg-Marquardt) が劇的に速い。 非線形回帰の標準ツール。

Q. 「収束しない」と言われたらまず何を疑う？

(1) 学習率が大きすぎる、 (2) 特徴量未標準化、 (3) 目的関数が NaN/Inf を返す、 (4) 勾配の符号が逆 (符号バグ)、 (5) 数値微分の刻み幅が大きすぎる、 の順で疑う。

Q. L-BFGS の "L" は何？

Limited-memory の L。 通常の BFGS は O(n²) のメモリ消費だが、 L-BFGS は過去 m 回 (通常 m=10) の勾配差分だけを保持して O(mn) に抑える。 大変数問題のデファクト。

Q. Adam と AdamW の違いは？

Adam は L2 正則化を勾配に加える (適応学習率に影響)。 AdamW は重み減衰を「適応学習率の外側」で別に引く。 後者が理論的にも実験的にも汎化性能で優位。 Transformer 系は AdamW が標準。

Q. 勾配降下と Newton 法、 どちらが「正しい」？

どちらも局所最適へ向かう正しいアルゴリズム。 違いは「1 ステップの情報量」と「1 ステップのコスト」のトレードオフ。 規模・凸性・微分可能性で正解が変わる。

Q. なぜ非凸関数は局所最適に詰まる？

勾配降下は「下る方向にしか動かない」ため、 一度谷の底に着くと出られない。 谷の高さ (障壁) を越えるには確率的揺らぎ (SGD のノイズ) か熱的揺らぎ (シミュレーテッドアニーリング) が必要。

Q. SSDSE-B-2026 で連続最適化を学ぶメリットは？

47 都道府県 × 約 110 変数という小規模で「全手法をデスクトップで全部動かせる」サイズ感。 大規模実験前のアルゴリズム挙動学習に最適。 実データのため標準化・条件数の影響も体感できる。

Q. 「勾配消失」と「勾配爆発」の違いは？

深い NN で勾配が「(連鎖律で) 何度も掛け算される」結果、 1 未満なら指数的に小さく (消失)、 1 超なら指数的に大きく (爆発) なる。 解決策は ResNet の skip connection、 LayerNorm、 勾配クリッピング。

Q. cvxpy はいつ使う？

凸最適化問題で、 制約や目的関数が複雑な場合。 数式をそのまま Python で書ける DSL (Domain Specific Language)。 ポートフォリオ最適化、 SDP、 Lasso などで標準ツール。 非凸問題には使えない。

Q. 数値微分は使ってよい？

変数が少なく (< 20)、 解析微分が困難ならアリ。 ただし「丸め誤差」と「打ち切り誤差」のバランスで刻み幅 h を √(machine eps) ≈ 1e-8 に設定する必要。 自動微分 (autograd, JAX) が使えるならそちらが圧勝。

Q. 自動微分は何が嬉しい？

順方向計算と同じコストで厳密勾配が得られる (逆伝播)。 手計算ミスがなく、 任意の計算グラフに対応。 PyTorch / JAX / TensorFlow の中核機能。 深層学習の急速発展はこれが基盤。

Q. 「再現できない」と言われたら？

乱数シード固定 (numpy, torch, random)、 CUDA deterministic mode、 同じバージョンのライブラリ、 同じバッチ順、 を全部揃える。 それでも GPU 計算は非決定的な場合があり、 完全再現は困難な領域がある。

Q. 連続最適化と組合せ最適化の境目は？

変数が連続実数なら連続最適化、 整数・順列・選択集合なら組合せ最適化。 整数計画 (MILP) は連続緩和 + 分枝限定で解く混合戦略。 学習率は連続、 層数は離散、 という意味で深層学習設計は両者を混在する。

📐 数式・定義

もっとも基本的な連続最適化問題は、 制約なし最小化：

解の必要条件は KKT (Karush-Kuhn-Tucker) 条件：

代表的な数値解法：

📐 凸最適化 vs 非凸最適化

凸最適化の定義

関数 $f$ が 凸とは、 任意の $x, y$ と $\lambda \in [0,1]$ で $f(\lambda x + (1-\lambda) y) \le \lambda f(x) + (1-\lambda) f(y)$ を満たすこと。 直感的には「2 点を結ぶ線分が常に関数の上にある」。

凸最適化の威力

• 局所最適 = 大域最適: 1 つでも極小点を見つければ完璧
• 多項式時間で解ける: 内点法や cutting plane で大規模も解ける
• 双対性が成り立つ: 主問題と双対問題のギャップなし
• 確実な停止条件: $\nabla f = 0$ のみで OK

代表的な凸最適化問題

非凸最適化の現実

ニューラルネット、 混合モデル、 GAN、 強化学習はすべて非凸。 大域最適は 原理的に保証できないが、 現代の経験則:

• 高次元非凸では「悪い局所最適」より「良い局所最適」が遥かに多い (Dauphin+ 2014)
• 鞍点が真の問題で、 SGD/Adam が鞍点脱出に有効
• 「初期値の工夫 + 適応的学習率 + 正則化」の組合せで実用上は十分
• 過パラメータ化されたモデルでは大域最適と局所最適のギャップが小さい

📜 連続最適化の歴史

17 世紀 — Newton 法の原型

Newton が方程式 $f(x) = 0$ を解くために $x_{t+1} = x_t - f(x_t)/f'(x_t)$ を提案。 後に最適化の 2 次法に拡張される。

1847 — Cauchy の勾配降下

Augustin-Louis Cauchy が連続関数の最小化に「最急降下法」を提案。 現代の勾配降下法の原典。

1947 — Dantzig のシンプレックス法

George Dantzig が LP のシンプレックス法を考案。 戦後の生産計画・経済モデルで爆発的に利用。

1951 — Karush-Kuhn-Tucker 条件

不等式制約付き最適化の必要条件 (KKT) が確立。 双対理論と並んで凸最適化の基礎に。

1959-1970 — 準ニュートン法 (DFP, BFGS)

Davidon, Fletcher, Powell が DFP 法 (1959)、 Broyden, Fletcher, Goldfarb, Shanno が BFGS (1970) を独立提案。 ヘッセ行列を陽に計算しない準ニュートン法の確立。

1984 — Karmarkar の内点法

Narendra Karmarkar が LP の多項式時間アルゴリズムを内点法ベースで実用化。 CVX, MOSEK などの基礎。

1997 — L-BFGS

Liu と Nocedal が限定メモリ BFGS を提案。 大規模機械学習（数百万パラメータ）の標準ソルバに。

2010s — Adam と適応的学習率

Duchi+ の AdaGrad (2011)、 Tieleman & Hinton の RMSProp (2012)、 Kingma & Ba の Adam (2014) と続く。 深層学習の暴発的進歩を支えた。

2010s-2020s — 大規模凸最適化と ML への融合

ADMM (Boyd+ 2011), SAGA, SVRG, Catalyst など分散・確率的凸最適化が ML 大規模化を支える。 CVXPY (2014) で凸最適化をモデル化のみから自動ソルバへ。

📐 収束理論 — 「なぜ反復で最適解に近づくのか」の数学的保証

連続最適化のアルゴリズムは「動かしてみたら良い解が出た」では実務に使えない。 「どんな条件で、 何イテレーションで、 どれくらいの精度に達するか」 という収束理論が、 ハイパーパラメータ選択や打ち切り判定の根拠を与える。 ここでは主要手法の収束レートを 1 表に整理し、 SSDSE-B-2026 規模の問題で何を選ぶかの根拠を示す。

主要手法の収束レート比較

記号: L = 勾配のリプシッツ定数（曲率の上限）、 μ = 強凸性（曲率の下限）、 L/μ = 条件数 κ。 強凸の線形収束 (1-1/κ)^k は条件数が良い（κ が小さい）ほど高速。 標準化が学習率調整より本質的に効くのは、 これにより L/μ 比が劇的に改善するため。

L-平滑性と μ-強凸性の定義

L-平滑性: 任意の x, y で ||∇f(x) - ∇f(y)|| ≤ L||x - y||。 「勾配の変化が L 倍以下」、 つまり Hessian の最大固有値が L 以下。 学習率 η = 1/L が理論的最適（過大なら発散、 過小なら遅延）。

μ-強凸性: f(y) ≥ f(x) + ∇f(x)ᵀ(y-x) + (μ/2)||y-x||²。 「下から μ で湾曲」、 つまり Hessian の最小固有値が μ 以上。 最適解の一意性と線形収束を保証する。

条件数 κ = L/μ: SSDSE-B-2026 の線形回帰では標準化前 κ ≈ 10⁶（人口は 10⁵ 桁、 失業率は 10⁻²）、 標準化後 κ ≈ 10 程度に縮小する。 反復回数比は 10⁶ / 10 = 10⁵ 倍 の差で、 これが「標準化しないと収束しない」現象の理論的根拠。

なぜ Nesterov 加速で 1/k² になるのか

Nesterov 加速は更新を 2 系列で進める:

「外挿点 y で勾配を計算」する 1 ステップ先読みが本質。 直感的には「ボールの慣性を予測して、 行き過ぎる前にブレーキをかける」働き。 Lyapunov 関数 V_k = k²(f(x_k) - f*) + ||z_k - x*||² が単調減少することから O(1/k²) 収束が証明される（Beck-Teboulle 2009、 FISTA 論文）。

なぜニュートン法は 2 次収束するのか

ニュートン法は x_{k+1} = x_k - H(x_k)^{-1} ∇f(x_k)。 テイラー展開で目的関数を 2 次関数で局所近似し、 その最小値に一歩で飛ぶ。 解の近傍では 2 次近似がほぼ正確になるため、 誤差 ||x_k - x*|| が次のステップで ||x_{k+1} - x*|| ≤ C ||x_k - x*||² に縮む。 10⁻² → 10⁻⁴ → 10⁻⁸ → 10⁻¹⁶ と倍々で桁が増える「桁数倍化」が 2 次収束の標識。

🔬 数式を言葉で読み解く

連続最適化を支える概念を整理します。

🔬 数式を言葉で読み解く（勾配降下から準ニュートン法まで）

連続最適化は「連続関数 $f(x)$ の最小値を 反復的に探す」枠組み。 機械学習の損失最小化、 回帰の係数推定、 ハイパーパラメータ調整など、 実務のあらゆる場面に出てきます。 ここでは式 5 本を、 記号ごとに丁寧に言葉にし、 SSDSE-B-2026 で動かして確かめます。

式 ① — 最適化問題の標準形

言葉に直すと: 「$x$ を動かして $f(x)$ を最小化する。 ただし $g_i$ と $h_j$ の制約を満たさなければならない」。 SSDSE で「総人口 → 新規求職申込件数」の線形回帰なら、 $x$ は係数 $(\beta_0, \beta_1)$、 $f$ は MSE、 制約なし（無制約最適化）。

式 ② — 一階の最適性条件（勾配ゼロ）

言葉に直すと: 「最適解 $x^*$ では、 全方向に向かう傾きがゼロ」。 凸関数ならこれが 大域最小の必要十分条件、 非凸なら局所最小・鞍点・極大の 必要条件（十分ではない）。 二階条件 ヘッセ行列が正定なら極小、 鞍点なら符号混在。

式 ③ — 勾配降下法（最も基本のアルゴリズム）

言葉に直すと: 「現在地点から、 勾配と 逆向きに学習率 $\eta$ だけ進む」。 山の頂で霧に包まれて視界が悪くても、 足元の傾きを感じて 少しずつ下るイメージ。 $\eta$ を大きくしすぎると 谷を飛び越える、 小さすぎると 永遠に着かない。

式 ④ — ニュートン法（2 次の情報を使う）

言葉に直すと: 「勾配だけでなく ヘッセ行列の逆行列を掛けて方向と歩幅を決める」。 凸関数なら 2 次収束（1 ステップで桁数倍）、 ただしヘッセ行列の計算と逆行列が高コスト。 大規模問題では BFGS のような 準ニュートン法（ヘッセ行列を近似）が現実解。

式 ⑤ — 確率的勾配降下 (SGD)

言葉に直すと: 「データ全部の勾配ではなく、 ランダムに 1 件（または小バッチ）の勾配で更新」。 全件計算が重い深層学習でほぼ必須。 確率ノイズが入ることで 鞍点を脱出しやすいという思わぬ利点も。 Adam, RMSProp, AdaGrad などの拡張版が現代の標準。

🧮 実値で計算してみる（SSDSE-B-2026）

🧮 SSDSE-B-2026 実装 1: 勾配降下で線形回帰を解く

🎯 このコードでやること: SSDSE-B-2026 から 2023 年 47 県の総人口 (A1101) と新規求職申込件数（一般, F3101）を取得し、 勾配降下法を手書きで 100 イテレーション回して回帰係数 $a$ を求める。 学習率 $\eta=0.1$ で標準化空間 → 元スケールに復元。 解析的 OLS 解と一致を確認。

📥 入力データ（SSDSE-B-2026, 2023 年 47 行）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]

pop   = pd.to_numeric(d['A1101']).values.astype(float)
house = pd.to_numeric(d['F3101']).values.astype(float)

# 標準化
xn = (pop   - pop.mean()) / pop.std()
yn = (house - house.mean()) / house.std()

def loss(a, b): return np.mean((a*xn + b - yn)**2)
def grad(a, b):
    e = a*xn + b - yn
    return 2*np.mean(e*xn), 2*np.mean(e)

a, b, eta = 0.0, 0.0, 0.1
for i in range(100):
    ga, gb = grad(a, b)
    a -= eta * ga
    b -= eta * gb
    if i in [0,1,5,10,50,99]:
        print(f"iter {i+1:3d}: a={a:.5f} b={b:.5f} loss={loss(a, b):.6f}")

# 解析解 (OLS)
a_an = np.sum(xn*yn) / np.sum(xn**2)
print(f"\n解析解 OLS: a={a_an:.6f}  loss={loss(a_an, 0):.6f}")

# 元スケール係数
a_real = a_an * house.std() / pop.std()
b_real = house.mean() - a_real * pop.mean()
print(f"\n元スケール: house = {a_real:.6f} × pop + {b_real:.2f}")

📤 実行結果:

💬 結果の読み方: $\eta=0.1$ で 50 イテレーション程度で 解析解 OLS と 5 桁一致。 元スケール係数 $a = 0.018345$ は「総人口 100 万人につき新規求職申込 18,345 件」と読める実用的な解釈。 $b = 11{,}867$ は基準切片（人口ゼロでの仮想的な件数）で、 そのままでは意味を持たないが回帰式の数学的構成要素。 勾配降下の iter ごとの loss 単調減少が確認でき、 凸関数で安定収束する基本パターン。

🧮 SSDSE-B-2026 実装 2: 学習率の効果を可視化（発散と収束）

🎯 このコードでやること: 同じ SSDSE-B-2026 データで学習率 $\eta = 0.01, 0.1, 0.5, 1.05$ を試し、 学習率が大きすぎると発散することを実演する。 「ハイパーパラメータ調整の重要性」と「凸関数でも実用上の制約がある」ことを体感。

📥 入力データ: 実装 1 と同じ (人口, 新規求職申込件数) の標準化済みベクトル。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]
pop = pd.to_numeric(d['A1101']).values.astype(float)
house = pd.to_numeric(d['F3101']).values.astype(float)
xn = (pop-pop.mean())/pop.std(); yn = (house-house.mean())/house.std()

for eta in [0.01, 0.1, 0.5, 1.05]:
    a = 0.0
    diverged = False
    for i in range(100):
        g = 2*np.mean((a*xn-yn)*xn)
        a = a - eta*g
        if abs(a) > 1e6: diverged = True; break
    lo = np.mean((a*xn-yn)**2) if not diverged else np.inf
    print(f"η={eta:5.2f}: a={a:12.6f} loss={lo:.6f} {'発散' if diverged else '収束'}")

📤 実行結果:

💬 結果の読み方: $\eta=0.01$ では 100 iter で未収束（最適 0.968 に対して 0.840 止まり）。 $\eta=0.1, 0.5$ では完全収束。 $\eta=1.05$ では 1 step で大谷を飛び越え、 振動 → 発散。 凸関数（MSE）の 1D 勾配降下の収束条件は $\eta < 2/L$ ($L$ はリプシッツ定数)。 ここではデータの標準化で $L \approx 2$ なので $\eta < 1$ が安全圏。 「学習率は理論上限の 1/2〜1/10 が実用解」という現代深層学習の経験則がここから来る。

🧮 SSDSE-B-2026 実装 3: scipy.optimize.minimize で 6 手法を比較

🎯 このコードでやること: 同じ SSDSE-B-2026 線形回帰 MSE 最小化を、 scipy.optimize.minimize の 6 種類の手法（BFGS, Nelder-Mead, CG, Powell, L-BFGS-B, trust-ncg）で解き、 必要評価回数とイテレーション数を比較する。 「準ニュートン法は速い」「Nelder-Mead は遅いがロバスト」を実感。

📥 入力データ: 同じ標準化済みベクトル (xn, yn)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
import numpy as np
from scipy.optimize import minimize

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]
pop = pd.to_numeric(d['A1101']).values.astype(float)
house = pd.to_numeric(d['F3101']).values.astype(float)
xn = (pop-pop.mean())/pop.std(); yn = (house-house.mean())/house.std()

def f(t): return np.mean((t[0]*xn+t[1]-yn)**2)
def g(t):
    e = t[0]*xn+t[1]-yn
    return np.array([2*np.mean(e*xn), 2*np.mean(e)])

for method in ['BFGS', 'Nelder-Mead', 'CG', 'Powell', 'L-BFGS-B']:
    res = minimize(f, [0.0,0.0], jac=g if method in ['BFGS','CG','L-BFGS-B'] else None,
                   method=method)
    print(f"{method:12s}: theta={res.x} nit={res.nit:3d} nfev={res.nfev:3d} fun={res.fun:.6f}")

📤 実行結果（概略）:

💬 結果の読み方: 全手法が同じ最適値 (loss=0.0629) に到達。 BFGS / L-BFGS-B / CG が 2 イテレーション・3 関数評価で爆速（2 次の情報を使う準ニュートン法の威力）。 Nelder-Mead は勾配を使わないので 53 イテ・104 評価とほぼ 40 倍遅い。 ただし Nelder-Mead は 微分不能関数や離散制約でも動くロバスト性が魅力。 本番では「滑らかな凸 → BFGS、 ノイジーな目的関数 → Nelder-Mead」と使い分けるのが定石。

🧮 SSDSE-B-2026 実装 4: 確率的勾配降下 (SGD) とバッチ勾配の比較

🎯 このコードでやること: 同じ SSDSE-B-2026 47 県データに対して、 全バッチ勾配降下と SGD (1 サンプル更新) の収束軌道を比較。 SGD は確率ノイズで振動するが、 平均的には最適解へ向かう。 これが深層学習の基本動作。

📥 入力データ: SSDSE-B-2026 の標準化済み (xn, yn) ベクトル 47 件。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]
pop = pd.to_numeric(d['A1101']).values.astype(float)
house = pd.to_numeric(d['F3101']).values.astype(float)
xn = (pop-pop.mean())/pop.std(); yn = (house-house.mean())/house.std()
N = len(xn)

# 全バッチ勾配降下
a_bg, eta = 0.0, 0.1
hist_bg = [a_bg]
for i in range(50):
    g = 2*np.mean((a_bg*xn-yn)*xn)
    a_bg -= eta*g
    hist_bg.append(a_bg)

# SGD (1 サンプル) - data の順番のみ実データから決定
a_sgd = 0.0
hist_sgd = [a_sgd]
eta_sgd = 0.05
order = np.argsort(pop)  # 人口順に提示 (固定順序、 乱数なし)
for epoch in range(5):
    for i in order:
        g = 2*(a_sgd*xn[i]-yn[i])*xn[i]
        a_sgd -= eta_sgd*g
        hist_sgd.append(a_sgd)

print(f"全バッチ GD 最終: a={a_bg:.6f} (50 iter)")
print(f"SGD       最終: a={a_sgd:.6f} (5 epochs × 47 = 235 step)")
print(f"SGD 終盤 10 step: a 軌道 {[round(v, 4) for v in hist_sgd[-10:]]}")

📤 実行結果（概略）:

💬 結果の読み方: 全バッチ GD は滑らかに 0.968 に収束。 SGD は最終値 1.040 と 大きくブレたが、 平均的には正しい解の周りで振動。 SGD の振動は ノイズによる正則化効果を生み、 鞍点脱出にも有利。 深層学習で「SGD + モメンタム」が定番なのは、 ① 大規模データで全勾配が不可能、 ② 局所最適・鞍点を脱しやすい、 という理由から。 SSDSE 47 件では全バッチで十分だが、 ImageNet 1400 万件では SGD 一択。

📊 連続最適化アルゴリズムの全体マップ

選択フロー

1. 関数は滑らか? 微分可能? → Yes へ。 No なら Nelder-Mead / SA / GA
2. 凸関数? → Yes なら BFGS / L-BFGS / CG。 No へ進む
3. 非凸 + 大規模 ML? → Adam / SGD + Momentum
4. 関数評価が極端に高コスト (実験・シミュレーション)? → ベイズ最適化
5. 離散最適化が混じる? → 分枝限定法 / 整数計画法

🧮 SSDSE-B-2026 実装 5: 制約付き最適化（線形制約の取り扱い）

🎯 このコードでやること: SSDSE-B-2026 の 8 地方人口を「予算 1000 を割り振る」最適化問題に変換。 各地方の人口に応じて重みを最大化したいが、 非負制約と総和制約を満たさなければならない。 scipy.optimize.minimize の SLSQP 法で解く。

📥 入力データ: SSDSE-B-2026 (2023) の 8 地方別人口 (集計済み)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np
from scipy.optimize import minimize

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]

# 地方別人口 (SSDSE 実値から集計済み定数)
regions = ['関東','近畿','中部','九州','東北','中国','北海道','四国']
pops    = np.array([43527000,21990000,20749000,14029000,
                    8318000,7070000,5092000,3578000])
w = pops / pops.sum()  # 重要度ウェイト

# 目的関数: 配分 x に対して -Σ w_i log(x_i)  (人口比例で大きく配りたい)
def f(x): return -np.sum(w * np.log(x))

# 制約: Σx = 1000、 各 x ≥ 1
cons = [{'type':'eq', 'fun':lambda x: x.sum() - 1000}]
bounds = [(1, None)] * 8
x0 = np.full(8, 125)  # 均等配分から開始

res = minimize(f, x0, method='SLSQP', bounds=bounds, constraints=cons)
print("最適配分 (合計 1000):")
for r, v, pp in zip(regions, res.x, pops):
    print(f"  {r:4s}: {v:6.2f} (人口 {pp:,})")
print(f"総和: {res.x.sum():.2f}  目的値: {res.fun:.4f}")

📤 実行結果（概略）:

💬 結果の読み方: 最適配分は 人口シェアにほぼ正確に比例（数学的に $x_i^* = 1000 \cdot w_i$ が KKT 条件の最適解）。 関東 350 ≒ 人口シェア 35.0%、 四国 28.77 ≒ 2.88% という具合。 これは 等式制約 (Σ=1000)、 不等式制約 (各 x ≥ 1)、 凹目的関数の最大化を SLSQP が同時に解いた結果。 予算配分・ポートフォリオ最適化・在庫割当などの基本パターンで、 SSDSE 実データに適用できることを示している。

🧮 SSDSE-B-2026 実装 6: モメンタム付き勾配降下

🎯 このコードでやること: 同じ線形回帰問題で、 単純な勾配降下と モメンタム付き勾配降下 の収束を比較する。 モメンタムは「過去の更新方向を慣性として保持」することで、 谷の長軸方向に加速し、 振動を抑える。 深層学習の SGD+Momentum の基本動作。

📥 入力データ: 同じ SSDSE-B-2026 標準化済み (xn, yn) ベクトル。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]
pop = pd.to_numeric(d['A1101']).values.astype(float)
house = pd.to_numeric(d['F3101']).values.astype(float)
xn = (pop-pop.mean())/pop.std(); yn = (house-house.mean())/house.std()

def grad(a): return 2*np.mean((a*xn-yn)*xn)
def loss(a): return np.mean((a*xn-yn)**2)

# 通常の GD (小さい η)
a_gd, eta = 0.0, 0.05
for i in range(30):
    a_gd -= eta*grad(a_gd)

# Momentum GD
a_mom, v, mu = 0.0, 0.0, 0.9
for i in range(30):
    v = mu*v - eta*grad(a_mom)
    a_mom += v

print(f"通常 GD     (30 iter, η=0.05)        : a={a_gd:.6f} loss={loss(a_gd):.6f}")
print(f"Momentum GD (30 iter, η=0.05, μ=0.9): a={a_mom:.6f} loss={loss(a_mom):.6f}")
print(f"OLS 解析解                            : a=0.968035 loss=0.062909")

📤 実行結果:

💬 結果の読み方: 同じ 30 イテで、 通常 GD は a=0.927 (まだ収束途中)、 Momentum は a=1.162 と OLS 解 0.968 を 行き過ぎてオーバーシュート（loss も 0.101 と悪化）。 モメンタム $\mu=0.9$ により 実効的な学習率が約 10 倍に増幅されるため、 30 イテ時点では谷を通り越して振動している。 このようにモメンタムが強すぎると振動・オーバーシュートが増える（さらに反復すれば OLS 解に収束する）。 Nesterov モメンタム（先読み付き）、 Adam（適応的学習率）と並んで、 深層学習の標準オプティマイザの基礎技術。

🧮 SSDSE-B-2026 実装 7: Adam オプティマイザでの最適化

🎯 このコードでやること: 同じ SSDSE-B-2026 線形回帰問題を、 深層学習で標準の Adam（適応的学習率 + モメンタム + 二乗勾配の指数移動平均）で解く。 学習率を パラメータごとに自動調整するので、 ハイパラ調整なしでもうまくいく。

📥 入力データ: 同じ標準化済み (xn, yn) ベクトル。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]
pop = pd.to_numeric(d['A1101']).values.astype(float)
house = pd.to_numeric(d['F3101']).values.astype(float)
xn = (pop-pop.mean())/pop.std(); yn = (house-house.mean())/house.std()

# Adam ハイパラ (Kingma & Ba 2014 の推奨値)
a = 0.0
m, v = 0.0, 0.0
lr, b1, b2, eps = 0.1, 0.9, 0.999, 1e-8

for t in range(1, 51):
    g = 2*np.mean((a*xn-yn)*xn)
    m = b1*m + (1-b1)*g
    v = b2*v + (1-b2)*g**2
    m_hat = m / (1-b1**t)
    v_hat = v / (1-b2**t)
    a = a - lr * m_hat / (np.sqrt(v_hat) + eps)
    if t in [1,5,10,25,50]:
        lo = np.mean((a*xn-yn)**2)
        print(f"Adam iter {t:3d}: a={a:.6f} loss={lo:.6f}")

📤 実行結果（概略）:

💬 結果の読み方: Adam は $\beta_1=0.9$（モメンタム）+ $\beta_2=0.999$（二乗勾配 EMA）を組合せる。 学習率 $0.1$ ではいったん iter 25 で a=1.13 まで オーバーシュートし、 iter 50 で a≈0.984 と OLS 解 (0.968) 付近へ収束していく。 単純な GD と比べて 自動的に適切なステップサイズを計算するため、 ハイパラ調整が楽。 深層学習の事実上の標準オプティマイザ（PyTorch torch.optim.Adam、 TensorFlow tf.keras.optimizers.Adam）。 SSDSE のような単純問題でも動くし、 1 兆パラメータの LLM 学習でも使われる汎用性。

🧮 SSDSE-B-2026 実装 8: ロジスティック回帰の数値最適化

🎯 このコードでやること: SSDSE-B-2026 から「人口 ≥ 300 万なら大都市県 (1)、 それ以外 (0)」というラベルを作り、 出生率を特徴量とした 1 次元ロジスティック回帰を L-BFGS-Bで最適化する。 線形回帰と違って解析解がないので、 必ず数値最適化が必要。

📥 入力データ: SSDSE-B-2026 (2023) 47 行、 A4103 (出生率) を $x$、 A1101 (人口) ≥ 300 万を $y$。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

import pandas as pd
import numpy as np
from scipy.optimize import minimize

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
cols = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
df.columns = cols
d = df[df['SSDSE-B-2026']==2023]
pop = pd.to_numeric(d['A1101']).values.astype(float)
tfr = pd.to_numeric(d['A4103']).values.astype(float)

x = (tfr - tfr.mean()) / tfr.std()
y = (pop >= 3e6).astype(float)
print(f"ラベル分布: 正例 {int(y.sum())} / 負例 {int(len(y)-y.sum())}")

# 負の対数尤度
def nll(t):
    a, b = t
    z = a*x + b
    # numerically stable log(1 + exp(z))
    log1pe = np.logaddexp(0, z)
    return -np.mean(y*z - log1pe)

def grad_nll(t):
    a, b = t
    z = a*x + b
    p = 1/(1+np.exp(-z))
    e = p - y
    return np.array([np.mean(e*x), np.mean(e)])

res = minimize(nll, [0.0,0.0], jac=grad_nll, method='L-BFGS-B')
print(f"最適 (a, b) = {res.x}")
print(f"最終 NLL    = {res.fun:.6f}")
print(f"nit={res.nit} nfev={res.nfev}")

# 推定確率と分類
a, b = res.x
prob = 1/(1+np.exp(-(a*x+b)))
acc = ((prob > 0.5) == (y == 1)).mean()
print(f"訓練精度: {acc:.4f}")

📤 実行結果（概略）:

💬 結果の読み方: 47 県のうち人口 300 万人以上は 10 県（正例）、 残り 37 県が負例。 ロジスティック回帰の最適係数 $a = -1.49$ は「出生率が低いほど大都市県の確率が上がる」を意味する負の符号。 L-BFGS-B は 7 イテレーションで収束、 訓練精度 79%。 OLS のような解析解は存在しないため、 必ず数値最適化が必要。 sklearn の LogisticRegression も内部で L-BFGS or liblinear で同じ計算をしている。

📝 連続最適化マスターカード

即実装パターン

• 線形回帰 → numpy.linalg.lstsq または OLS 公式
• ロジスティック → sklearn.linear_model.LogisticRegression（内部 L-BFGS）
• 制約付き → scipy.optimize.minimize(method='SLSQP')
• 大規模 ML → torch.optim.Adam
• 非凸大域最適 → scipy.optimize.differential_evolution または optuna
• 線形計画 → scipy.optimize.linprog または cvxpy

🧮 SSDSE-B-2026 実装 9: 条件数の実測 — 標準化の威力を数値で確認

このコードでやること: SSDSE-B-2026 の総人口・着工建築物数・新規求職申込件数・合計特殊出生率を特徴量とする線形回帰について、 X^T X の条件数（最大固有値 / 最小固有値）を「標準化前」「標準化後」で比較し、 勾配降下の収束レートが何倍変わるかを示す（桁が大きく異なる列が混ざると条件数が悪化する点に注目）。

📥 入力データ (SSDSE-B-2026, 2023 年 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
df.columns = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
d = df[df['SSDSE-B-2026'] == 2023]
codes = ['A1101', 'C3301', 'F3101', 'A4103']  # 総人口, 着工建築物数, 新規求職, 出生率
X = d[codes].astype(float).values

# 標準化前の条件数
eig_raw = np.linalg.eigvalsh(X.T @ X)
cond_raw = eig_raw.max() / eig_raw.min()
print(f"標準化前 κ(X^T X) = {cond_raw:.3e}")

# 標準化後の条件数
X_std = StandardScaler().fit_transform(X)
eig_std = np.linalg.eigvalsh(X_std.T @ X_std)
cond_std = eig_std.max() / eig_std.min()
print(f"標準化後 κ(X^T X) = {cond_std:.3e}")

print(f"\n収束ステップ数の比: {cond_raw / cond_std:.3e} 倍")

📤 実行すると次の出力が得られる:

💬 標準化前の条件数は 10¹³ 桁 (総人口 10⁶ と出生率 10⁰ の比が桁外れに大きい)。 強凸の線形収束レートは (1-1/κ)^k なので、 同精度に達するイテレーション数は条件数比で増える。 標準化後も κ ≈ 10² 残るのは特徴量間の相関（多重共線性）に由来するが、 標準化前より 11 桁改善している。 標準化を「前処理の慣習」と捉えず、 収束理論の必須条件と理解する根拠がここにある。

🧮 SSDSE-B-2026 実装 10: 学習率自動調整（ライン探索）の効果

このコードでやること: SSDSE-B-2026 の多変量回帰で、 (a) 固定学習率 η = 0.01、 (b) Armijo ライン探索（バックトラッキング）を比較し、 同じ反復回数での損失減少幅を測る。 Armijo は「目的関数が十分減るまで η を半分にし続ける」単純戦略で、 学習率調整の手間を消す。

📥 入力データ (SSDSE-B-2026 抜粋、 標準化済み 47 都道府県):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=2, header=None)
df.columns = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=0).columns
d = df[df['SSDSE-B-2026'] == 2023]
X = StandardScaler().fit_transform(d[['A1101', 'C3301', 'A4103']].astype(float).values)
y = StandardScaler().fit_transform(d[['F3101']].astype(float).values).ravel()

def loss(w):
    return ((X @ w - y) ** 2).mean()

def grad(w):
    return 2 * X.T @ (X @ w - y) / len(y)

# (a) 固定学習率
w = np.zeros(3)
for i in range(100):
    w -= 0.01 * grad(w)
print(f"固定 η=0.01, 100 iter 後の損失: {loss(w):.6f}")

# (b) Armijo ライン探索
w = np.zeros(3)
for i in range(100):
    g = grad(w)
    eta = 1.0
    while loss(w - eta * g) > loss(w) - 0.5 * eta * (g @ g):
        eta *= 0.5
    w -= eta * g
print(f"Armijo,  100 iter 後の損失: {loss(w):.6f}")

📤 実行すると次の出力が得られる:

💬 Armijo は同じ 100 反復で固定学習率の約半分の損失に達する。 固定学習率は「安全な小さい値」を選ばざるを得ないが、 ライン探索は各ステップで適切な大きさを自動選択する。 scipy.optimize.minimize の BFGS / L-BFGS-B はすべて内部で Wolfe 条件付きライン探索を実装しているため、 「学習率を渡さなくても安定して収束する」のはこの仕組みのおかげ。

🧮 数式に値を入れて手で計算する: 最急降下法 1 step

f(x)=x²-4x+5 の最急降下で 1 step 更新する。

Step 1: f と勾配

Step 2: 初期値 x₀=5, 学習率 lr=0.3

Step 3: 1 step 後

🐍 Python で再現

1
2
3
4
5
6
7
8

def f(x): return x**2 - 4*x + 5
def df(x): return 2*x - 4
x = 5.0
lr = 0.3
x1 = x - lr * df(x)
print(f"f(x₀)={f(x)}, f'(x₀)={df(x)}")
print(f"x₁ = {x1}")
print(f"f(x₁) = {f(x1):.4f}")

📤 実行結果

💬 手計算 (Step 2,3) x₁=3.2 / f(x₁)=2.44 と Python 出力が完全一致。

🐍 Python 実装

例 1：scipy.optimize.minimize で非凸関数を解く

1
2
3
4
5
6
7
8

import numpy as np
from scipy.optimize import minimize

def rosenbrock(x):
    return (1 - x[0])**2 + 100*(x[1] - x[0]**2)**2

res = minimize(rosenbrock, x0=[-1.2, 1.0], method='BFGS')
print(res.x, res.fun)

例 2：cvxpy で制約付き凸最適化（凸 QP）— SSDSE の制約付き回帰

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd, numpy as np
import cvxpy as cp

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)

x = df['総人口'].astype(float).to_numpy()/1e6
y = df['新規求職申込件数（一般）'].astype(float).to_numpy()/1e4  # 万件
n = len(x)
X = np.column_stack([np.ones(n), x])

beta = cp.Variable(2)
obj = cp.Minimize(cp.sum_squares(X @ beta - y))
cons = [beta[1] >= 0]                # 「傾きは非負」という制約
prob = cp.Problem(obj, cons)
prob.solve()
print('係数:', beta.value, '残差^2:', prob.value)

例 3：scikit-learn で正則化付き回帰（連続凸最適化の代表）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd

# ここは日本語の列名を使うので、2 行目を見出しにして読み直す
# （直前のブロックが cvxpy 未導入で止まると df が残らないため、ここで用意する）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)

from sklearn.linear_model import Ridge

X_full = df[['総人口','15歳未満人口','15～64歳人口','65歳以上人口']].astype(float).to_numpy()
model = Ridge(alpha=1.0)
model.fit(X_full, df['新規求職申込件数（一般）'].astype(float))
print('回帰係数:', model.coef_)
print('切片:', model.intercept_)

例 4：勾配降下を手書きで（線形回帰）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd

# ここは日本語の列名を使うので、2 行目を見出しにして読み直す
# （直前のブロックが cvxpy 未導入で止まると df が残らないため、ここで用意する）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)

import numpy as np
x = df['総人口'].astype(float).to_numpy()/1e6
y = df['新規求職申込件数（一般）'].astype(float).to_numpy()/1e4
X = np.column_stack([np.ones_like(x), x])
theta = np.zeros(2)
eta = 1e-3
for k in range(2000):
    grad = X.T @ (X @ theta - y) / len(y)
    theta -= eta * grad
print('GD 解:', theta)

📂 ケーススタディ・追加実装例

ケース 1：線形回帰 = 凸 2 次計画

最小二乗問題：

これは凸 2 次計画 (QP) で、 解析解が存在します。

ケース 2：ロジスティック回帰 = 凸最尤

負の対数尤度を最小化：

勾配は閉形ではないが凸なので、 Newton-Raphson や IRLS で大域最適に収束。

ケース 3：SVM = 凸 QP（双対形）

ケース 4：LASSO = 凸非滑らか最適化

$\|\cdot\|_1$ が非滑らかなので、 座標降下法・近接勾配法 (ISTA/FISTA) を使う。

ケース 5：ニューラルネット = 非凸連続最適化

重み $W$ について損失 $L(W)$ が高度に非凸。 Adam・AdamW・SGD with momentum が標準。 局所最適より サドル点が問題 という研究もある。

ケース 6：実 SSDSE で勾配降下を試す

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import pandas as pd, numpy as np
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)
X = df[['総人口']].astype(float).to_numpy() / 1e6
y = df['新規求職申込件数（一般）'].astype(float).to_numpy() / 1e12
X = np.hstack([np.ones_like(X), X])
theta = np.zeros(2)
for k in range(5000):
    grad = X.T @ (X @ theta - y) / len(y)
    theta -= 0.005 * grad
    if k % 1000 == 0:
        loss = ((X @ theta - y) ** 2).mean()
        print(f'iter {k}: loss={loss:.4f}, theta={theta}')

🪜 ステップバイステップ チュートリアル

チュートリアル：SSDSE で「制約付き回帰」を凸最適化として解く

ステップ 1：問題設定

$y$ = 新規求職申込件数（万件）、 $x_1$ = 総人口（百万人）、 $x_2$ = 65歳以上人口割合（%）。 回帰モデル $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2$。 「$\beta_1$（人口係数）は非負」 という業務制約を加える。

ステップ 2：cvxpy で定式化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd, numpy as np
import cvxpy as cp

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)
df['総人口'] = df['総人口'].astype(int)
df['65歳以上人口'] = df['65歳以上人口'].astype(int)
df['新規求職申込件数（一般）'] = df['新規求職申込件数（一般）'].astype(int)
df['65歳以上比率'] = df['65歳以上人口'] / df['総人口'] * 100

n = len(df)
X = np.column_stack([np.ones(n),
                     df['総人口'].to_numpy()/1e6,
                     df['65歳以上比率'].to_numpy()])
y = df['新規求職申込件数（一般）'].to_numpy()/1e4

beta = cp.Variable(3)
obj = cp.Minimize(cp.sum_squares(X @ beta - y))
cons = [beta[1] >= 0, beta[1] <= 10]    # 業務知識からの制約
prob = cp.Problem(obj, cons)
prob.solve()
print('係数:', beta.value)
print('残差二乗和:', prob.value)

ステップ 3：KKT 条件の確認

1
2
3
4

grad = 2 * X.T @ (X @ beta.value - y)
# beta[1] が制約境界に当たっていれば、 対応するラグランジュ乗数 > 0
for i, c in enumerate(cons):
    print(f'制約 {i} 双対変数:', c.dual_value)

ステップ 4：制約あり vs なし比較

1
2
3
4

unc, *_ = np.linalg.lstsq(X, y, rcond=None)
print('無制約解:', unc)
print('制約解:', beta.value)
# 残差・予測精度・解釈を比較

ステップ 5：感度分析

各係数を ±10% 動かしたときの残差変化を計算。 ラグランジュ乗数は「制約を 1 単位緩めたときの目的改善」を示す。

🚀 現場での応用シナリオ（8 例）

応用 1：機械学習の学習

$\min_\theta L(\theta)$ — 損失 $L$ を連続パラメータ $\theta$ について最小化。 線形回帰・ロジスティック・SVM・NN すべて。

応用 2：ポートフォリオ最適化

Markowitz の平均-分散最適化。 凸 QP。 制約付き SSDSE 県別投資配分にも応用可。

応用 3：最尤推定

$\hat\theta = \arg\max \log p(D|\theta)$ — 統計推定の中核は連続最適化。

応用 4：強化学習の方策勾配

REINFORCE、 PPO、 SAC — 報酬期待値を最大化する連続パラメータ最適化。

応用 5：ニューラルアーキテクチャ探索 (NAS)

勾配ベース NAS（DARTS）は連続最適化として定式化。

応用 6：制御工学

LQR・MPC — 二次形コスト最小化の連続制御。 自動運転・ロボット制御。

応用 7：構造最適化

建築・機械部品の質量最小化、 強度制約付き。 SQP / 内点法。

応用 8：エネルギーグリッド

発電配分の凸最適化。 LP / QP / 確率計画。

🏋️ 演習問題（8 題）

1. SSDSE-B-2026 で「総人口 → 新規求職申込件数」 の線形回帰を、 numpy.linalg.lstsq で解け。
2. 同じ問題を scipy.optimize.minimize（BFGS）で解き、 解析解と比較せよ。
3. 切片を 0 に固定した「制約付き回帰」 を cvxpy で解け。
4. 勾配降下法を手書きで実装し、 学習率を 0.001, 0.01, 0.1 で振った結果を比較せよ。
5. Adam optimizer を numpy で実装し、 同じ問題に適用せよ。
6. Rosenbrock 関数 (1-x)² + 100(y-x²)² を 5 種類の手法で最小化し、 反復数を比較せよ。
7. LASSO 回帰 (L1 正則化) を ISTA で実装せよ。 sklearn の Lasso と比較。
8. Ridge 回帰の閉形式解 $(X^TX + \lambda I)^{-1}X^T y$ を numpy で書け。

⚠️ よくある落とし穴

❓ よくある質問（FAQ）

📜 歴史と背景

歴史と位置づけ：連続最適化は 17 世紀の微積分（Newton, Leibniz）にまで遡りますが、 現代的な体系化は 20 世紀。 主な節目：

• 1947 Dantzig が 線形計画法（LP）のシンプレックス法を提案
• 1951 Kuhn-Tucker（後の Karush-Kuhn-Tucker）が制約付き最適化の必要条件を整理
• 1970 年代 Fletcher, Powell らによる BFGS 法などの準ニュートン法
• 1979 Khachiyan が LP の楕円体法で多項式時間を達成（理論的衝撃）
• 1984 Karmarkar が内点法で実用的多項式時間 LP を実現
• 1990 年代 半正定値計画 (SDP)、 内点法の凸最適化への拡張
• 2000 年代以降 機械学習の文脈で確率的勾配降下 (SGD)・Adam・Adagrad 等が爆発的に発展

機械学習・統計の 学習は事実上すべて連続最適化問題で、 損失関数の最小化として定式化されます。 凸最適化（Boyd & Vandenberghe, 2004）は本分野の標準教科書。

⚠️ 連続最適化の落とし穴 10 件

🌐 関連手法・派生・対概念

🌐 連続最適化が支える機械学習・データ科学

1. 線形回帰 / ロジスティック回帰

凸最適化の代表。 解析解 (OLS) または BFGS / L-BFGS で高速求解。 SSDSE の人口 → 新規求職申込件数も典型。

2. サポートベクターマシン (SVM)

凸 2 次計画。 SMO アルゴリズム or 内点法で解く。

3. ニューラルネット

非凸最適化の代表。 Adam / SGD + Momentum で学習。 鞍点や局所最適に強い経験則ベースの工夫が必要。

4. ハイパーパラメータ最適化

学習率・正則化強度・木の深さなどを最適化。 関数評価が高コストなのでベイズ最適化 (GPyOpt, Optuna) が主流。

5. EM アルゴリズム

混合モデルや欠損データの最尤推定。 E ステップで期待値、 M ステップで連続最適化。 凸ではないが対数尤度の単調増加が保証。

6. 強化学習の方策最適化

方策パラメータを連続最適化。 PPO, TRPO, A3C など。 期待累積報酬を勾配上昇で最大化。

7. GAN の Min-Max 最適化

非凸非凹のサドル点問題。 学習の不安定さが課題で、 WGAN / Spectral Normalization などの工夫が発達。

8. 推薦システムの行列分解

交互最小化 (ALS) で凸部分問題に分解。 大規模スパースデータに有効。

📝 理解度チェック（12 問・連続最適化の核心）

連続最適化を「アルゴリズムの暗記」ではなく「目的関数の景観に対する戦略選択」として理解できているかを 12 問で確認する。 各問は 『状況設定 → あなたなら何を選ぶか』 の形式で、 実務で遭遇する判断点を再現している。 SSDSE-B-2026 都道府県データ（A1101 総人口 / C3301 着工建築物数 / A4103 合計特殊出生率 / F3101 新規求職申込件数 など、 47 都道府県 × 約 110 列、 期間 2012 ～ 2023 年）で実際に動かしながら回答することを推奨する。

Q1. 線形回帰の閉形式と勾配降下の選択

SSDSE-B-2026 から「A1101 総人口 → F3101 新規求職申込件数」を予測する単回帰モデル y = ax + b を当てはめたい。 サンプル数は 47 都道府県のみ、 特徴量は 1 個。 あなたなら閉形式解 (X^T X)^{-1} X^T y と勾配降下のどちらを選ぶか。

Q2. 学習率の桁ずれ

勾配降下で SSDSE-B-2026 の「A1101 → F3101」を解く際、 特徴量を標準化せずに学習率 η = 0.1 を設定したら損失が NaN に発散した。 まずどの対応を試すべきか。

Q3. 収束したか否かの判定

scipy.optimize.minimize の BFGS で SSDSE-B-2026 の多変量回帰を解いたら、 result.success = True、 result.nit = 14、 勾配ノルム ||∇f|| = 1.2e-7 と出力された。 これは「収束した」と判定してよいか。

Q4. Hessian は使うべきか

特徴量 100 個・サンプル数 47 のロジスティック回帰を解く際、 ニュートン法（Hessian 直接）と BFGS（近似 Hessian）のどちらを選ぶか。

Q5. SGD のミニバッチサイズ

SSDSE-B-2026 47 都道府県のうち、 ミニバッチサイズを batch_size = 1, 16, 47 の 3 通りで SGD を回した。 損失曲線はどの順に滑らかになるか。

Q6. モメンタムは何のためか

細長い谷状の損失関数（条件数が悪い）で、 純粋な勾配降下はジグザグに振動して収束が遅い。 モメンタム項 v_t = γ v_{t-1} + η∇f を加えるとなぜ高速化するか。

Q7. Adam が無敵ではない理由

深層学習で「とりあえず Adam」と言われるが、 Adam が SGD with momentum に劣る場面もある。 どんな場合か。

Q8. 制約付き最適化の選択

SSDSE-B-2026 の県別予算配分を、 合計 100 万件かつ各県 ≥ 0 という制約下で最適化したい。 どの手法が適切か。

Q9. 局所最適の見分け方

非凸目的関数を 10 個の異なる初期値で BFGS 最適化したところ、 7 個は同じ最適値 f* = 12.3、 3 個は別の値 f* = 15.7 に収束した。 どう解釈すべきか。

Q10. 微分が解析的に書けないとき

シミュレーションの出力を最小化したい。 目的関数値は 1 回 30 秒かかる Monte Carlo の平均で、 解析的勾配は無い。 scipy.optimize.minimize の何を使うか。

Q11. 学習率スケジューリング

深層学習で学習率を固定するか、 cosine annealing で減衰させるか、 warmup 付きで増減させるか。 どう選ぶか。

Q12. SSDSE-B-2026 で動かす総合演習

SSDSE-B-2026 から「C3301 着工建築物数 / A4103 合計特殊出生率 / A1101 総人口」を特徴量、 「F3101 新規求職申込件数」を目的変数とする多変量線形回帰モデルを 3 つの方法で解いて係数を比較せよ。 (1) sklearn.LinearRegression、 (2) scipy.optimize.minimize(method='BFGS')、 (3) 自前の勾配降下。 結果はどう一致するか。

🔗 関連用語（前提・並列・発展）

📘 前提となる用語

🤝 並列・関連する用語

🚀 発展・応用

continuous optimization を学ぶ際に併読すると理解が深まる関連用語を「前提・並列・発展」の 3 区分で整理する。

• 前提概念: continuous optimization を理解するために事前に押さえるべき基礎概念 (確率論 / 統計学 / 線形代数)
• 並列概念: 同じカテゴリ内の他手法・同じ目的を別アプローチで達成する概念
• 発展概念: continuous optimization を拡張・応用した発展手法・実問題への適用例

各概念は本用語集の他ページにリンクしている。 関連用語を横断的に学ぶことで、 continuous optimization の位置付けが明確になる。

📚 関連グループ教材

このページの内容を、より広い文脈で学びたいときは：

• 📚 数理最適化 — 連続・離散・確率最適化を貫く視点
• 📚 機械学習の基礎 — 学習＝最適化、 という観点で全体像
• 📚 統計推定 — 最尤・ベイズと最適化の関係

📚 参考文献・出典

• Boyd, S., Vandenberghe, L. (2004). Convex Optimization. Cambridge UP.
• Nocedal, J., Wright, S. (2006). Numerical Optimization. Springer.
• Bertsekas, D. (2016). Nonlinear Programming. Athena Scientific.
• Karmarkar, N. (1984). A new polynomial-time algorithm for linear programming. Combinatorica, 4, 373-395.

📚 連続最適化を深掘りするための学習ガイド（自学自習用）

連続最適化は「数値計算 × 凸解析 × 確率論 × 統計学 × 機械学習」の交差点に位置するため、 学習資源も多岐に渡る。 ここでは初学者から研究者まで段階別に推奨するアプローチを示す。 SSDSE-B-2026 を題材に手を動かしながら理論書を読むのが最短ルート。

レベル 1: 初心者（高校 ・ 大学初年級）

まず「勾配降下を Excel または Python で 1 変数関数 f(x) = x² に適用」を体験する。 x_new = x - 0.1 * 2x を 30 回繰り返すと x = 1 から x = 0.0012 へ収束するのが分かる。 次に SSDSE-B-2026 の 1 変数線形回帰を同じ方法で解く。 学習率 ・ 反復回数 ・ 収束判定の概念をここで体感する。

レベル 2: 学部生（統計学 / 機械学習を学んでいる）

Boyd & Vandenberghe "Convex Optimization" の 1-3 章 (凸集合 ・ 凸関数 ・ 凸最適化問題) を読む。 SSDSE-B-2026 を題材に scipy.optimize.minimize の 6 手法を比較。 ニュートン法 ・ BFGS ・ L-BFGS の違いを「Hessian 利用の有無」で説明できるようになる。 ライン探索の実装 (Armijo, Wolfe) もここで触れる。

レベル 3: 院生 ・ 研究者

Nocedal & Wright "Numerical Optimization" 全章 (信頼領域 ・ 内点法 ・ SQP ・ 共役勾配)。 Bertsekas "Nonlinear Programming"。 凸最適化の最新研究なら Bubeck "Convex Optimization: Algorithms and Complexity" (free PDF)。 SGD の理論なら Bottou et al. "Optimization Methods for Large-Scale Machine Learning" (SIAM Review 2018)。

レベル 4: 深層学習特化

Goodfellow et al. "Deep Learning" の 8 章 (Optimization for Training Deep Models)。 Smith "Cyclical Learning Rates" (2017)、 Loshchilov & Hutter "Decoupled Weight Decay Regularization" (AdamW, 2017)、 You et al. "LARS / LAMB" (大バッチ学習)、 Chen et al. "SAM: Sharpness-Aware Minimization" (2021)。 最新の Optimizer 比較は HuggingFace のドキュメントが網羅的。

実装ライブラリの推奨スタック

scipy.optimize: 中規模 ・ 凸 ・ 非凸の汎用問題 → minimize, least_squares, linprog, differential_evolution。 cvxpy: 凸 QP / LP / SDP を数式記述。 Optuna / scikit-optimize: ハイパーパラメータの Bayesian Optimization。 JAX: 自動微分 + JIT で高速。 PyTorch / TensorFlow: 深層学習 (SGD, Adam, etc.) と自動微分。

🗺 学習ロードマップ

🗺 学習ロードマップ

1. レベル 1 — 関数の最小値・最大値、 1 次微分による停留点。
2. レベル 2 — 多変数の偏微分、 勾配ベクトル、 ヘッセ行列。
3. レベル 3 — 凸性の判定、 KKT 条件、 ラグランジュ乗数。
4. レベル 4 — 勾配降下、 Newton 法、 BFGS。 SciPy/CVXPY の API。
5. レベル 5 — 確率的勾配降下 (SGD)、 Adam、 学習率スケジュール、 NN の学習。
6. レベル 6 — 双対性、 内点法、 SDP、 ADMM、 Frank-Wolfe、 鞍点問題、 ミニマックス最適化。

📊 比較表（兄弟手法・選択肢）

主要解法の比較

📖 用語ミニ辞典

🍳 コードレシピ（コピペ用 15 連発）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import numpy as np

# 最小化する関数と出発点。ここでは 2 変数のよくある試験関数（Rosenbrock）
def f(v):
    x, y = v
    return (1 - x) ** 2 + 100 * (y - x ** 2) ** 2
x0 = np.array([-1.2, 1.0])

from scipy.optimize import minimize
res = minimize(f, x0, method='BFGS')

minimize(f, x0, jac=grad_f, method='Newton-CG')

minimize(f, x0, jac=grad_f, hess=hess_f, method='trust-ncg')

minimize(f, x0, constraints=[{'type':'ineq', 'fun': g}])

minimize(f, x0, bounds=[(0,1),(0,5)], method='L-BFGS-B')

1
2

import cvxpy as cp
x = cp.Variable(); prob = cp.Problem(cp.Minimize(cp.square(x-3))); prob.solve()

beta, *_ = np.linalg.lstsq(X, y, rcond=None)

1
2

from sklearn.linear_model import Ridge
Ridge(alpha=1.0).fit(X, y)

1
2

from sklearn.linear_model import Lasso
Lasso(alpha=0.1).fit(X, y)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import pandas as pd
from sklearn.preprocessing import StandardScaler

# 分類なので y は「クラス」でなければならない（連続値だと Unknown label type）
_d = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
_d = _d[_d['SSDSE-B-2026'] == 2023].reset_index(drop=True)
X = StandardScaler().fit_transform(_d[['A1301', 'A1303', 'A4101']].astype(float))
y = (_d['A1101'] >= _d['A1101'].median()).astype(int)   # 人口が中央値以上か

from sklearn.linear_model import LogisticRegression
LogisticRegression().fit(X, y)

1

import jax; grad_f = jax.grad(f)

opt = torch.optim.Adam(model.parameters(), lr=1e-3)

1
2
3
4
5
6
7
8
9

import numpy as np

# 線形計画の材料。min c^T x  s.t. A x <= b
c = np.array([-3.0, -2.0])                 # 最大化したいので符号を反転
A = np.array([[1.0, 1.0], [2.0, 1.0]])
b = np.array([4.0, 6.0])

from scipy.optimize import linprog
res = linprog(c, A_ub=A, b_ub=b)

for k in range(N):
    x -= np.linalg.solve(hess_f(x), grad_f(x))

if np.linalg.norm(grad) < tol: break

連続最適化を中心とした「学習＝最適化」の構図：

  ［損失/負尤度］─ 最小化 ─► ［パラメータ］
        ▲                         │
        │                         ▼
   ［データ］──────────► ［勾配/ヘッセ］
                                  │
                                  ▼
              （勾配降下／ニュートン／BFGS／SGD／Adam）

   凸 ←─ 線形回帰・ロジスティック・SVM（線形）・LASSO・Ridge ─→ 大域最適
   非凸 ←─ NN・混合モデル・EM・GAN ─→ 局所最適 + 複数初期値

🗺 連続最適化アルゴリズム選択フローチャート（実務向け）

「目の前の最適化問題に何を使うか」を 1 分で判断するフロー。 SSDSE-B-2026 規模（変数 ～ 100、 サンプル ～ 数千）から深層学習規模（変数 ～ 億）まで網羅する。

scipy.optimize.minimize の method 引数早見表

🚫 連続最適化にまつわる 10 の誤解 — 「常識」を疑う

誤解 1: 「Adam を使えば学習率調整は不要」

Adam は学習率に対するロバスト性が高いだけで、 オーダーは依然として重要。 η = 10⁻¹ と 10⁻⁵ では結果が大きく違う。 経験則は 1e-3 から開始し、 ロスが減らなければ 1/10、 振動すれば 1/3。

誤解 2: 「収束 = 大域最適到達」

非凸関数では「勾配ノルム ≈ 0」は局所最適、 鞍点、 高次の停留点のいずれの可能性もある。 大域最適の保証には凸性、 または大域最適化ラッパー（differential_evolution 等）が必要。

誤解 3: 「学習率を小さくすれば安全」

安全だが、 過小学習率は (a) 浅い局所最適から脱出できない、 (b) 鞍点近傍で停滞、 (c) 計算時間が爆発、 の 3 つの罠がある。 適切な大きさ（条件数で言えば 1/L 程度）が「速度と安全のスイートスポット」。

誤解 4: 「データが多いほど SGD が有利」

SGD はサンプル数 N に対し 1 epoch のコストが O(N) で、 一見データが多いほど SGD が有利。 しかし「同じ精度に達する勾配計算回数」は SGD の方が多い (O(1/√k) vs バッチの O(1/k))。 N が大きくバッチ計算が一括で済むなら、 L-BFGS の方が総合的に速いことも多い。

誤解 5: 「ニュートン法は常に最速」

収束の局所漸近レートは 2 次で最速だが、 1 ステップあたりの計算量は O(n³)。 変数 1000 個なら 10⁹ 演算 / イテレーション、 L-BFGS の数千倍重い。 実務では「変数 100 個まで」が目安。

誤解 6: 「凸関数なら何で解いても結果は同じ」

最適解は同じだが、 計算時間・数値安定性・実装手間が異なる。 SSDSE-B-2026 規模なら閉形式が圧勝、 N=10⁵ なら L-BFGS、 N=10⁹ なら SGD と、 規模で正解が変わる。

誤解 7: 「正則化は最適化と独立」

L1 正則化（Lasso）は微分不可点を持つため、 BFGS / Newton で正しく動かない。 座標降下や近接勾配法が必須。 L2（Ridge）は滑らかなので全手法が使える。 「正則化項の性質」と「最適化手法の選択」は連動する。

誤解 8: 「ハイパーパラメータ最適化も連続最適化」

バッチサイズ・層数などは離散、 学習率は連続だが「目的関数」が訓練ループ全体（数時間）。 関数評価が高コストかつノイジーなため、 グリッド / ランダム探索 / ベイズ最適化が標準。 通常の連続最適化アルゴリズムは適用不可。

誤解 9: 「early stopping は最適化の失敗」

機械学習文脈では訓練ロスを「途中で止める」のがしばしば最適。 訓練ロスは下がり続けても汎化ロスは上昇する（過学習）ため、 検証ロスが最小の時点で打ち切るのが正解。 「収束させきる」が常に良いわけではない。

誤解 10: 「最適化の結果は決定的」

SGD / Adam は乱数（バッチサンプリング、 初期重み）に依存するため、 同じコード・同じデータでも実行ごとに最終解が異なる。 再現性確保には np.random.seed、 torch.manual_seed、 CUDA の deterministic mode を全部固定する必要がある。

🚀 現場ケース集 — 連続最適化が解いている社会課題

教科書だけでは「アルゴリズムは分かったが、 何に使うのか」が見えにくい。 ここでは SSDSE-B-2026 を含む実データ問題で連続最適化が現にどう使われているかを 8 ケース紹介する。 各ケースには「目的関数」「変数」「制約」「使用される手法」を明示し、 自分の研究テーマに応用するためのテンプレートとする。

ケース 1: 都道府県別教育予算配分の最適化

SSDSE-B-2026 の各都道府県教育費 (E2101 など) と学力指標を組み合わせ、 限られた中央予算 1 万件を 47 都道府県に配分して全国平均学力を最大化する問題。 目的関数: Σ score_i(budget_i)、 変数: 47 個の予算配分、 制約: Σ budget_i = 10000 億円 かつ budget_i ≥ 最低保障額。 SLSQP で解ける典型例。 限界生産性が逓減する関数を仮定すると、 「現在予算が少ない県ほど多く配分」が最適解となる。

ケース 2: ワクチン配送ルート最適化

47 都道府県のワクチン需要 (人口 ・ 高齢化率から算出) と物流コストを目的関数化。 連続変数として「各物流拠点 → 各県への配送量」を持ち、 制約は (a) 各拠点の供給上限、 (b) 各県の需要充足、 (c) 配送量 ≥ 0。 線形計画 (scipy.linprog) で大規模問題を 1 秒以内に解く。 災害時の食料・燃料配給にも同じ枠組みで応用される。

ケース 3: 機械学習モデルのハイパーパラメータ探索

勾配ブースティング (XGBoost / LightGBM) の学習率 ・ 木の深さ ・ 正則化強度を SSDSE-B-2026 で交差検証 RMSE を最小化するように調整。 目的関数値は「モデルを訓練して検証スコアを返す」関数 (1 回数秒)。 微分不可で雑音あり。 Bayesian Optimization (scikit-optimize, Optuna) が標準。 グリッド探索より 10 倍少ない評価回数で良い解に到達する。

ケース 4: 株式ポートフォリオ最適化 (Markowitz)

N 銘柄への投資比率 w について、 リスク (分散) を最小化しつつ期待リターンを μ 以上に保つ問題。 目的関数: w^T Σ w (二次関数)、 制約: w^T μ_vec ≥ μ, Σ w_i = 1, w_i ≥ 0。 凸 QP 問題で cvxpy 一行で解ける。 SSDSE-B-2026 の都道府県別経済指標を「資産」とみなすと、 リスク分散投資戦略の入門演習になる。

ケース 5: 画像分類モデル (CNN) の訓練

ResNet50 の 2500 万パラメータについて、 訓練データの分類誤差を最小化。 変数次元 n = 10⁷、 サンプル数 N = 10⁶。 SGD + momentum (momentum=0.9) + cosine learning rate schedule + weight decay。 1 epoch 数分、 200 epoch で訓練完了が標準。 Adam も使えるが最終精度で SGD に劣るため画像分野では非主流。

ケース 6: 大規模言語モデル (LLM) の事前学習

変数次元 10¹¹ (1000 億パラメータ)、 サンプル数 10¹² tokens。 AdamW (Adam + 重み減衰の分離) + warmup → cosine decay の学習率スケジューリング + 勾配クリッピング。 計算リソースが膨大なため、 学習率や warmup steps の調整 1 つで数千万円の計算費用が変わる。 連続最適化の実務インパクトが最大化する領域。

ケース 7: 物理シミュレーションのパラメータ較正

気候モデル / 燃焼シミュレーション / 量子化学計算のパラメータを実測データに合わせる「インバース問題」。 シミュレーション 1 回が分 ～ 時間かかり、 解析的勾配は無い。 Bayesian Optimization、 surrogate model (Gaussian Process)、 Nelder-Mead が標準。 SSDSE-B-2026 規模の小データでも同じ枠組みが応用できる。

ケース 8: 推薦システムの行列分解

ユーザー × アイテムの評価行列 R を 2 つの低次元行列 U, V の積で近似する非凸最適化。 目的関数: ||R - UV^T||² + λ(||U||² + ||V||²)。 U を固定して V を解く → V を固定して U を解く、 の交互最小化 (ALS) で凸部分問題に分解。 Netflix / Spotify / Amazon の主要レコメンドエンジンの基盤。

📖 連続最適化の重要用語ミニ辞典（補強版 25 項）

🔗 隣接手法への橋渡し

「連続最適化」は実数変数で目的関数を最小化する問題で、 上流の凸性・微分可能性の検証と下流の勾配法・準ニュートン法の選択を切り離すと、 局所最適に落ちるか発散して計算が無駄になる。

• 上流: 連続最適化 の入力となる47 都道府県データへの線形回帰係数推定 を整える前処理 (データクレンジング、 欠損値処理)
• 並列: 類似目的を持つ代替手法 (誤差逆伝播、 活性化関数) と比較・併用
• 下流: 出力結果の評価・解釈 (調整済み決定係数、 バイアス・バリアンス)

上流で凸性・滑らかさを確認し、 並列の勾配降下・準ニュートン (BFGS)・内点法をベンチマークし、 下流で収束判定・ステップサイズ調整を入れれば、 線形回帰の閉形式解から深層学習の確率的勾配降下まで「同じ枠組み」で扱える。

🌳 手法選択フロー

「連続最適化」を実際に使うとき、 何をどう選ぶかを順に判断する。 上から順に答えていくと、 使うべき手法と評価の仕方が決まる。

1. 目的関数は凸か
   凸なら局所最小＝大域最小なので 1 回解けば終わる。 線形回帰の二乗誤差やロジスティック回帰の対数尤度は凸。 非凸なら初期値を変えて何度も解く。
2. 勾配が計算できるか
   計算できるなら勾配法（最急降下法・準ニュートン法）が速い。 式が複雑なら自動微分に任せる。 勾配が得られないなら、 ネルダー・ミードのような微分を使わない方法へ。
3. 制約はあるか
   「合計 100%」「非負」のような制約があるなら、 制約付き最適化として解く。 無理に罰則項で表すと、 罰則の重みが結果を左右してしまう。
4. 収束をどう判定するか
   勾配のノルム、 目的関数の変化量、 反復回数のどれで止めるかを決める。 許容誤差を変えれば「最適解」も変わるので、 報告に書いておく。

連続最適化は「なめらかに動かせる変数」を扱う。 「どの県を選ぶか」のような 0/1 の選択は微分できないので、 組合せ最適化の手法に移る。

🎮 触って理解する — 勾配降下の反復過程シミュレータ

連続最適化の代表的アルゴリズム 勾配降下法 $\theta^{k+1} = \theta^k - \eta\,f'(\theta^k)$ の「反復が進む様子」を、 1 変数関数の上で直接動かして体感するデモです。 曲線上をクリック / ドラッグして開始点を置き、 学習率 $\eta$ をスライダーで変えながら「1 ステップ実行」または「自動再生」してください。 各ステップで 現在点の接線（勾配） と 次の点への移動 が描画されます。

デモ関数（数式は解析的に正確、 勾配は手計算で検証済み）：
① 凸: $f(x)=\tfrac{1}{2}x^2$、 $f'(x)=x$、 最小点 $x^\star=0$（曲率 $f''=1$ なので $\eta>2$ で必ず発散、 $\eta=2$ で永久振動）
② 非凸: $f(x)=0.05x^4-0.5x^2+0.2x+2$、 $f'(x)=0.2x^3-x+0.2$、 極小点 $x\approx-2.330$（大域的、 $f\approx0.293$）と $x\approx2.129$（局所的、 $f\approx1.187$）

🧭 観察ポイント — 反復過程で何が起きているか

• ステップ幅は自動で縮む: 更新量は $-\eta f'(x)$ なので、 谷底に近づいて勾配が小さくなると、 同じ $\eta$ のままでも一歩が自然に短くなる。 「収束の減速」は仕様であって不具合ではない。
• 凸関数①で η を上げていく: $\eta<1$ では単調に接近、 $1<\eta<2$ では谷を 飛び越えながら 振動収束、 $\eta=2$ で同じ振幅の永久往復、 $\eta>2$ で振幅が指数的に拡大して発散する。 更新式が $x^{k+1}=(1-\eta)x^k$ になることから、 $|1-\eta|<1$ が収束の必要十分条件だと確かめられる。
• 非凸関数②で開始点を左右に動かす: 勾配降下は「下る」ことしかできないため、 局所最大 $x\approx0.202$ のどちら側から始めるかで到達する谷が変わる。 多峰性と大域解の詳細は 大域的最小値 のページで深掘りしている（本ページは反復過程そのものに焦点）。
• 非凸②では発散しきい値も場所で変わる: 大域的最小点近傍の曲率は $f''(-2.330)\approx2.26$ なので $\eta\gtrsim0.89$ で振動・発散が始まる。 凸①（しきい値 2）より小さい η で暴れることを確かめてほしい。 「安全な学習率は関数の曲率（リプシッツ定数 $L$）に依存し、 $\eta<2/L$ が目安」という理論の実演になっている。

⚠️ 落とし穴 — 学習率の選択と収束判定

このデモが示すように、 勾配降下の成否はほぼ学習率で決まる。 実務では次の 3 点を押さえる。

• 大きすぎる η は「遅い」のではなく「壊れる」: 発散は損失が NaN になって初めて気づくことが多い。 損失曲線が 1 度でも増加したら η を 1/10 にするのが第一手。 デモの 💥 プリセットで、 数ステップで画面外に消える速さを体感できる。
• 小さすぎる η は「安全だが実質停止」: 🐢 プリセット（η=0.01）では凸関数ですら数百ステップかかる。 反復回数の上限とセットで考えないと「収束した」と「まだ途中」を混同する。
• 収束判定は 2 本立てで: 目的関数の変化 $|f(x^{k+1})-f(x^k)|<\varepsilon$ だけだと、 η が小さすぎて止まって見える場合や鞍点・平坦部でも「収束」と誤判定する。 勾配ノルム $|f'(x)|<\varepsilon$ を必ず併用する（このデモの収束判定も勾配基準 $|f'|<10^{-3}$）。

🚀 発展 — 素朴な勾配降下を超えて

• モメンタム法: 速度 $v^{k+1}=\beta v^k-\eta f'(x^k)$ を導入し「ボールの慣性」で谷底へ加速。 振動を平均化して打ち消すため、 細長い谷（条件数が悪い問題）で特に効く。 Nesterov 加速勾配は理論収束レートを $O(1/k)$ から $O(1/k^2)$ に改善する。
• 二次法（ニュートン法）: 曲率 $f''$ を使い $x^{k+1}=x^k-f'(x^k)/f''(x^k)$ と更新。 凸①なら任意の点から 1 ステップ で厳密最小点に着く（$x-x/1=0$）。 学習率調整が不要になる代わりにヘッセ行列の計算コストが問題になり、 実務では BFGS / L-BFGS などの準ニュートン法が主流。
• 適応学習率（Adam 系）: 座標ごとに勾配の履歴から η を自動調整。 このデモのスライダー操作を「アルゴリズムが自分でやる」仕組みと考えるとよい。 詳細は 学習率 のページを参照。

関連ページ: 勾配降下法 学習率 大域的最小値 局所最小値 数理最適化

🔬 解説を深める — 最適化の「難しさ」はデータ側で決まる：条件数の実測

本文の収束理論では条件数 $\kappa = L/\mu$ が反復回数を支配することを紹介しました。 この節ではそれを一歩進め、 SSDSE-B-2026（2023 年・47 都道府県）の実データからヘッセ行列の固有値と条件数を実際に計算し、 悪条件には「スケール由来」と「相関由来」の 2 種類があること、 そして標準化で直るのは前者だけであることを実測で確かめます。 アルゴリズム側（学習率・手法選択）を扱った本文・デモに対し、 ここはデータ側から最適化問題の地形を診断するという補完的な視点です。

💡 直感 — 谷の「細長さ」はアルゴリズムではなくデータが決める

最小二乗の目的関数 $f(w)=\frac{1}{n}\|Xw-y\|^2$ のヘッセ行列は $H=\frac{2}{n}X^\top X$ で、 どこで計算しても同じ定数行列です。 つまり谷の形（各主軸方向の曲率 = 固有値）は勾配降下を始める前からデータ $X$ だけで確定しています。 最大固有値と最小固有値の比 $\kappa$ が「谷の細長さ」で、 これを SSDSE-B-2026 の設計行列で実測すると次のようになります（目的変数 $y$ = 新規求職申込件数 F3101 を標準化、 勾配降下は $\eta=1/L$、 収束判定 $\|\nabla f\|<10^{-6}$）。

1 行目 → 2 行目：標準化はスケール由来の悪条件を $\kappa\approx10^{13}$ から $1$ まで消し去ります（本文・収束理論の節の概算 $\kappa\approx10^6$ よりさらに極端です。 総人口の分散は $(2{,}767{,}630)^2\approx7.7\times10^{12}$ で、 これがそのまま曲率の桁差になるため）。 一方 3 行目：標準化 済み でも、 2 つの説明変数が強く相関していると谷は再び細長くなります。 標準化 2 変数の場合、 固有値は厳密に $2(1\pm r)$ となるので $\kappa=\frac{1+|r|}{1-|r|}$。 総人口と 15 歳未満人口は $r=0.9967$ なので $\kappa=601$、 相関の弱い降水日数との組（$r=-0.375$）の $\kappa=2.2$ と比べ、 同じ 47 点・同じ 2 次元なのに勾配降下の反復数は 5,410 回 vs 23 回と約 235 倍の差になります。

実測に使った要点コード（数値は下記で再現できます）：

⚠️ 落とし穴（重要） — 「標準化したから大丈夫」ではない

🚀 発展 — 条件数を「直す」3 つの戦略

• リッジ正則化 = 最小固有値の底上げ: $\lambda\|w\|^2$ を足すとヘッセ行列は $H+2\lambda I$ になり、 全固有値が一律に $2\lambda$ 持ち上がる。 実測（$\lambda=0.1$）では固有値が $(0.2066,\ 4.1934)$ となり $\kappa$ は $601\to20.3$、 勾配降下の反復数は $5{,}410\to179$ 回、 係数は $(1.353,\ -0.386)\to(0.488,\ 0.432)$ と両方正に安定化した。 収束加速と係数安定化が同じ処方箋で同時に得られるのは、 両症状の原因が同じ最小固有値だからである。
• 前処理（プレコンディショニング）と 2 次法: ニュートン法は更新に $H^{-1}$ を掛けるため実質 $\kappa=1$ の座標系で動くのと同じで、 上の凸 2 次問題なら悪条件でも 1 ステップで解に着く。 BFGS / L-BFGS はその近似。 一方 Adam の適応学習率は 対角 前処理なので、 スケール差は直せても相関（谷の「回転」）は直せない — 標準化と同じ限界を持つ点は意外と見落とされる。
• データ設計で $r$ 自体を下げる: 主成分分析や QR 分解で説明変数を直交化すれば相関由来の悪条件は消える。 より実務的には「15 歳未満人口（実数）」を「15 歳未満人口 割合」に変えるなど、 総人口と情報が重複しない特徴量へ設計し直すのが根本治療。 最適化アルゴリズムをいくら替えても、 谷の形はデータを替えない限り変わらない。

📝 補足: 本節の数値はすべて data/raw/SSDSE-B-2026.csv（2023 年・47 都道府県）からの実測値です。 なお「条件数」を単独で扱う用語ページは現時点では未作成のため、 詳細は本節と本文の収束理論の節を参照してください。

🔗 関連ページ

多重共線性 標準化 リッジ回帰 Lasso 正則化 固有値 勾配降下法 学習率 線形回帰 数理最適化 組合せ最適化