🏛 OLS の歴史・思想・他分野での使われ方

200 年以上の歴史 — 天体観測の苦闘から生まれた

最小二乗法は、 18 世紀末から 19 世紀初頭にかけて、 ガウス (Carl Friedrich Gauss, 1777-1855)、 ルジャンドル (Adrien-Marie Legendre, 1752-1833)、 ラプラス (Pierre-Simon Laplace, 1749-1827) らによって独立に提案・発展された推定法です。 直接のきっかけは 1801 年の小惑星セレス (Ceres) の発見と再観測問題でした。 1801 年 1 月にイタリアの天文学者ピアッツィが新しい天体を発見しましたが、 観測データは 41 日分しかなく、 太陽の背後に隠れた後で再発見するには、 限られたデータから軌道を高精度に推定する必要がありました。 ガウスは当時 24 歳で、 自ら考案した最小二乗法を用いて軌道を計算し、 1801 年 12 月末、 ピアッツィの最後の観測から 1 年弱経った時点で、 ガウスの予測に従って観測した結果、 ほぼ予測通りの位置にセレスを再発見することができました。 この劇的な成功が、 最小二乗法を一気に 科学的計算の中核ツール として確立しました。

公式の最初の発表はルジャンドルが 1805 年の著書『彗星の軌道決定の新方法』で行いましたが、 ガウスは「自分は 1795 年から使っていた」と主張し、 優先権争いが起こりました。 真相は今も決着していませんが、 ガウスは 1809 年に 誤差の正規分布を仮定すれば最小二乗法が最尤推定と一致する という、 統計学史に残る重要な理論的基礎づけを行いました。 これが現代まで続く「正規分布 + OLS」セットの起源です。

19 世紀後半、 ゴルトン (Francis Galton) は両親と子供の身長の関係を最小二乗法で分析する中で、 「平均への回帰 (regression toward the mean)」という現象を発見しました。 高身長の親の子供は親より平均寄り、 低身長の親の子供も親より平均寄りに「回帰」する、 という統計的性質です。 「回帰 (regression)」という用語はここから来ていて、 現代の機械学習で「回帰モデル」と呼ぶのも、 元をたどればこの語源にたどり着きます。 ピアソン (Karl Pearson) はゴルトンの研究を理論化し、 相関係数 と 回帰係数 の関係を整理し、 現代統計学の基礎を築きました。 20 世紀に入ると、 フィッシャー (R.A. Fisher) が 分散分析 (ANOVA) や 最尤推定 の理論を完成させ、 OLS は単なる計算手法から、 統計的推測の体系の中核 へと位置づけが昇格しました。 こうして、 18 世紀の天体観測ツールが、 21 世紀のビッグデータ・機械学習時代まで生き残る「不滅の方法」になったのです。

200 年以上前に確立されながら、 なぜ最小二乗法は色褪せないのでしょうか。 理由は 3 つに集約できます。 第 1 に、 「残差を 2 乗して足す」という非常にシンプルな数学が、 線形代数の枠組み（正規方程式・射影・特異値分解）と美しく結びついていること。 第 2 に、 仮定が満たされる限り「最良線形不偏推定量 (BLUE)」という最強の理論保証が付いてくること。 第 3 に、 仮定が破れた時の 診断ツールと対処法 が整備されており、 失敗のリカバリーまで含めて「再現可能な分析プロセス」を提供してくれること。 現代のディープラーニングの最終層、 ベイズ階層モデルの事前分布、 制約付き最適化の双対問題 — どこを開けても OLS の影が見えるほど、 この方法は統計学・データ科学の 原子 として機能し続けています。

🌐 他分野での OLS — 経済学・心理学・物理学・機械学習

🧠 OLS が「思想」として持つ 3 つの含意

1. 「平均」をモデル化する哲学：OLS の予測値は「与えられた x のもとでの y の条件付き平均」を推定する。 中央値ではなく平均にこだわるのは、 「全観測点を等しく扱う」「外れ値も無視しない」という思想の表れ。 もし外れ値を排除したいなら分位点回帰、 中央値だけ見たいなら LAD 回帰へ。
2. 「線形性」という強い前提を受け入れる代わりに、 計算可能性と解釈性を得る：OLS の係数は「他の変数を一定とした時、 x を 1 単位増やすと y が β 単位変わる」という極めて分かりやすい意味を持つ。 ブラックボックスな機械学習では難しい 説明責任 (accountability) が果たせるのが OLS の最大の魅力。
3. 「仮定の確認」を強制する：OLS の理論枠組みは、 推定の信頼性を「仮定が満たされているかどうか」に明示的に紐づけている。 残差プロット、 Q-Q プロット、 VIF、 Durbin-Watson — これらの診断ツールを通して、 分析者は自分のモデルの限界に直面させられる。 これは機械学習の評価指標（精度や AUC）では得られない、 科学的誠実さ を育てる効果がある。

🗺 概念マップ — OLS を中心とした学習ネットワーク

最小二乗法（OLS）は、 統計学・機械学習・経済学・心理学など、 ほぼあらゆる定量分野で「最初に学ぶ」推定法であり、 同時に、 より高度な推定法（一般化線形モデル、 罰則付き回帰、 ベイズ推定、 因果推論）の基礎でもあります。 ここでは、 OLS の上位概念・並列概念・派生概念・周辺概念をツリーで整理します。

📚 OLS の位置づけ（4 階層）

🔄 OLS の派生・拡張系統図

OLS は「等分散・独立・線形・誤差期待値 0」の仮定が満たされる時に BLUE（最良線形不偏推定量）になりますが、 仮定が崩れると派生法に切り替える必要があります。 どの仮定が崩れた時に、 どの拡張へ進むかを整理しましょう。

🧭 学習ロードマップ — OLS の前と後

OLS を本当に使いこなすには、 前提となる線形代数・統計学・確率論を押さえた上で、 派生手法へ展開していく順序が大切です。 SSDSE-B-2026 を題材に、 おすすめの学習ステップを示します。

🎓 理解度チェック — OLS クイズ 7 問

ここまでの学習を「使える知識」に変えるための確認問題。 答えはクリック（タップ）で表示。 全問正解なら、 OLS の核心は押さえたと言ってよいでしょう。

🧩 補足解説 — OLS にまつわるよくある誤解を解く

最後に、 OLS の周りで頻繁に飛び交う「もっともらしいけれど不正確な」言説を 5 つピックアップして、 正しい理解を整理しておきます。 これらは初学者だけでなく、 一定の経験を積んだ実務家でも勘違いしやすいポイントです。

• 誤解①「OLS は正規分布を仮定する」 → 正確には、 OLS の推定値そのもの（係数の点推定）は 正規性なしでも不偏 です。 正規性が必要なのは t 検定・F 検定・信頼区間を「小サンプルでも」厳密に正当化する時。 標本サイズが大きければ中心極限定理によって近似的に成立するため、 実務上 n が 30〜50 を超えれば正規性違反はそれほど問題になりません。
• 誤解②「R² が低いモデルは使えない」 → R² の絶対値だけで「良い・悪い」は判定できません。 物理現象なら R²=0.99 が当たり前ですが、 社会現象では R²=0.20 でも科学的に意味のある関係を示せることがあります。 重要なのは「目的に対して十分か」「係数が安定して推定できているか」「誤差構造が想定通りか」の 3 点。
• 誤解③「OLS の係数は因果効果を表す」 → 一般には 表しません。 OLS は「条件付き平均の関係」を推定するだけで、 因果関係は ① 無作為割当て（RCT）、 ② 操作変数、 ③ 差分の差分法、 ④ 回帰不連続デザイン、 ⑤ 傾向スコア、 のいずれかの設計を伴って初めて主張できます。 観察データに OLS を当てはめただけで「X が Y を引き起こす」と言うのは典型的な過剰主張。
• 誤解④「変数を増やせばモデルは良くなる」 → 過学習を引き起こし、 訓練データへの当てはまりは良くなるが、 新規データへの汎化性能は悪化 することがほとんど。 調整済み R²、 AIC/BIC、 そして交差検証スコアで「真に予測に貢献する」変数だけを残すべき。 また、 重共線性が悪化して標準誤差が爆発する副作用もある。
• 誤解⑤「OLS は古典的すぎて、 現代では機械学習に置き換えるべき」 → 用途次第。 解釈性・不確実性定量化・因果推論が必要な場面では OLS が今でも第一選択です。 機械学習（ランダムフォレスト、 勾配ブースティング、 ニューラルネット）は予測精度を最大化したい時に強いですが、 「なぜそうなったか」を説明したい時は OLS の透明性が圧倒的に有利。 現代の実務では「OLS でベースラインを取った上で、 必要なら ML へ進む」のがベストプラクティス。

📝 自由演習問題（解答は自分で書いてみよう）

1. SSDSE-B-2026 から「総人口（A1101）」を説明変数、 「出生数（A4101）」を目的変数として単回帰 OLS を実行し、 R² と回帰直線をグラフ化せよ。 さらに、 両変数を 対数変換 してから再度回帰し、 残差プロットがどう変わるかを比較せよ。
2. 「死亡数（A4200） ~ 65歳以上人口（A1303） + 総人口（A1101） + 年平均気温（B4101）」の重回帰を実行し、 ① 各係数の 95% 信頼区間、 ② VIF（A1101 と A1303 は強く相関し VIF が跳ね上がる）、 ③ Breusch-Pagan 検定の結果をレポートせよ。 もし等分散性が破られていたら、 HC3 ロバスト標準誤差で再推定し、 信頼区間がどう変わるか比較せよ。
3. 同じデータに対して、 OLS、 Ridge（α=1.0）、 LASSO（α=0.1）の 3 種類で係数を推定し、 5-fold 交差検証 RMSE を比較する表を作成せよ。 どの手法が予測に最適か、 また係数の解釈はどう変わるかを議論せよ。

🧮 数式に値を入れて手で計算する: OLS の正規方程式

合成データで β̂ = (X'X)⁻¹X'y を計算する。

Step 1: 行列

Step 2: X'X と X'y

Step 3: β̂

🐍 Python で再現

1
2
3
4
5
6

import numpy as np
x = np.array([2,4,7,5,3])
y = np.array([3,7,12,9,4])
X = np.column_stack([np.ones(5), x])
beta = np.linalg.inv(X.T @ X) @ X.T @ y
print(f"β̂: {beta.round(3)}")

📤 実行結果

💬 手計算 (Step 3) と Python 出力が完全一致。

🌳 手法選択フロー

「最小二乗法（OLS）」を実際に使うとき、 何をどう選ぶかを順に判断する。 上から順に答えていくと、 使うべき手法と評価の仕方が決まる。

1. 関係は直線で近似できるか
   散布図を見て曲がっているなら、 変数を対数に変えるか、 非線形の手法に移る。 直線を当てはめてから残差を見て気づくのでは遅い。
2. 外れ値とてこ比の高い点はあるか
   OLS は誤差を二乗するので、 1 点に強く引きずられる。 都道府県データでは東京が典型で、 Cook 距離を見て、 除いた場合の結果も併記する。
3. 説明変数どうしが強く相関していないか
   相関が高いと係数の標準誤差が膨らみ、 符号すら反転しうる。 VIF を計算し、 大きければ変数を絞るか Ridge へ。
4. 残差は等分散で独立か
   分散が右へ広がるなら不均一分散で、 頑健標準誤差を使う。 時系列や地域データでは残差が相関しうるので、 その場合は別の推定法が要る。

OLS は前提が満たされていれば最良の線形不偏推定量だが、 前提の確認をしないなら単なる直線当てはめ。 係数を解釈する前に、 必ず残差を見る。

🔗 隣接手法への橋渡し

「最小二乗法 (OLS)」は単独で完結せず、 前後の手法と組み合わさって価値が発揮される。 入力データの準備 (上流)・同目的の代替手法との比較 (並列)・結果の活用 (下流) という 3 軸で隣接領域を整理する。

• 上流 (入力の準備): 散布図 による線形性確認、 相関 分析、 多重共線性 の事前検査
• 並列 (同目的の代替): 加重最小二乗法 (WLS)、 Ridge 回帰、 Lasso 回帰、 ロバスト回帰 が代替
• 下流 (結果の活用): 残差 分析 (等分散性・正規性)、 決定係数 R² 評価、 重回帰・予測区間 への拡張

この上流・並列・下流の対応を地図化することで、 「最小二乗法 (OLS)」を中核に据えた分析パイプライン (データ準備 → 手法選択 → 結果の検証と展開) の全体像が見えてくる。

📚 関連グループ教材

OLS は単体で完結する手法ではなく、 「回帰」という大きな流れの入口にある。 全体像を掴むには、 次の教材を横断的に読むのが効率的である。

• 📚 回帰分析 — OLS を含む回帰全体の地図。 まずここで文脈を掴む
• 📚 重回帰分析 — 説明変数が 2 つ以上になったときの解法と解釈
• 📚 相関 — 回帰の前段。 単相関 $r$ と決定係数 $R^2$ の関係を押さえる
• 📚 決定係数 — 当てはまりの良さをどう測り、 どう誤読されるか
• 📚 残差 — OLS が最小化している当のもの。 診断はすべてここから始まる
• 📚 多重共線性 — 説明変数どうしが似ていると係数が壊れる問題（下のコードで実測する）
• 📚 仮説検定 — 係数の p 値が何を意味しているのか
• 📚 機械学習 — 「解釈」から「予測」へ視点を移したときの位置づけ

🧭 グループ教材が扱う 3 段階を 1 つの表で見る

回帰の教材は「単回帰 → 重回帰 → 診断」の順に進む。 その 3 段階を 同じデータ・同じ OLS で並べると、 各段階で何が変わるのかが一目で分かる。

📥 入力: SSDSE-B-2026 の 2023 年 47 都道府県。 目的変数は出生数 (A4101)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
import numpy as np
import statsmodels.api as sm

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023]
y = d['A4101'].astype(float).values          # 出生数

# 同じ OLS でも「何を説明変数に入れるか」で結論が変わる。
# 回帰グループ教材が扱う 3 段階を 1 つの表にして見比べる。
specs = {
    '① 単回帰（総人口のみ）':            ['A1101'],
    '② 重回帰（＋15歳未満人口）':        ['A1101', 'A1301'],
    '③ 重回帰（＋65歳以上人口）':        ['A1101', 'A1301', 'A1303'],
}
print(f'{"モデル":<26}{"R²":>8}{"補正 R²":>9}{"AIC":>9}   総人口の係数')
for name, cols in specs.items():
    X = sm.add_constant(d[cols].astype(float).values)
    r = sm.OLS(y, X).fit()
    print(f'{name:<26}{r.rsquared:>8.4f}{r.rsquared_adj:>9.4f}{r.aic:>9.1f}   {r.params[1]:>+9.5f}')

print('\n→ 説明変数を足すと R² は必ず上がるが、 総人口の係数は符号や大きさが動く。')
print('  「係数の解釈」はモデルの中身とセットでしか意味を持たない。')

# 多重共線性の確認（回帰グループ教材の必修項目）
from numpy.linalg import inv
X = d[['A1101', 'A1301', 'A1303']].astype(float).values
Xc = (X - X.mean(0)) / X.std(0)
vif = np.diag(inv(np.corrcoef(Xc, rowvar=False)))
print('\nVIF（分散拡大係数, 10 超で多重共線性を疑う）')
for c, v in zip(['総人口', '15歳未満人口', '65歳以上人口'], vif):
    print(f'  {c:<14} VIF = {v:8.2f}  {"← 危険" if v > 10 else ""}')

📤 実行するとこの出力が得られる:

💬 結果の読み方: R² は 0.9909 → 0.9956 → 0.9979 と説明変数を足せば必ず上がる（補正 R² と AIC も改善しているので、 この 3 変数は無意味な追加ではない）。 一方で総人口の係数は +0.00610 → +0.00093 → +0.00299 と 6 倍以上動く。 「総人口が 1 人増えると出生数が何人増えるか」という問いに、 モデルを指定せずに 答えることはできない。
理由は VIF が示している。 3 変数の VIF は 200.7 / 150.9 / 55.7 と、 危険水準の 10 を 大きく超えた強い多重共線性がある。 総人口・15 歳未満人口・65 歳以上人口は 定義上ほぼ足し算の関係にあるので当然で、 係数を個別に解釈してはいけない状態である。 予測だけが目的なら問題にならないが、 「どの変数がどれだけ効くか」を語るなら 変数を絞るか、 リッジ回帰のような正則化に切り替える必要がある。

🎮 触って理解する — 残差の二乗和を手で最小化する

最小二乗法（OLS）の核心は 「残差（実測値 − 予測値）の二乗和 SSE を最小にする直線を選ぶ」 こと。 下の散布図で、 スライダーを動かして直線を当てはめ、 各点に描かれる オレンジの正方形（＝残差の二乗＝面積）の合計をできるだけ小さくしてみましょう。 「最小二乗解」ボタンを押すと、 正規方程式 $\hat{\beta}=(X^\top X)^{-1}X^\top y$ で計算した厳密な最適解と比べられます。

💡 直感 — なぜ「二乗和の最小化」なのか

各点から直線までまっすぐ下ろした縦の長さが残差。 それを一辺とする正方形の面積がまさに残差の二乗であり、 SSE はその面積の総和です。 直線を動かすと正方形が伸び縮みし、 合計面積が最小になる位置で手を止めたくなる — これが最小二乗法の気持ちです。 二乗を使う理由は、 (i) 正負のズレが相殺しない、 (ii) 大きなズレを重く罰する、 (iii) 微分すると 残差 と説明変数が直交する線形方程式（正規方程式）になり閉形式で一発で解ける、 の3点。 手で最小化しようとすると、 厳密解（緑の線）に驚くほど近づけないことも体感できます。

⚠️ よくある落とし穴 — 触って確かめる

• 外れ値の影響：「外れ値を追加」を押すと、 その1点の正方形だけ巨大になり、 最小二乗解の直線がぐいっと引っ張られるのが分かります。 二乗が大きなズレを重罰するため、 OLSは外れ値に弱い。 対策は ロバスト統計（M推定など）。
• 仮定（Gauss-Markov）：点を一方向に湾曲させて配置すると、 直線では残差にパターンが残り SSE が下がりきりません。 これは線形性・等分散性の仮定が破れたサイン。 残差 プロットでの診断が必須。
• 外挿の危険：フィットは点が存在する範囲でのみ信頼できます。 観測範囲の外に直線を延ばした予測（外挿）は保証されません。
• R²の読み方：あなたの直線を最小二乗解から外すと R² が下がり、 ひどい線ではマイナスにもなります（平均で予測するより悪い）。 決定係数 R² は「当てはまりの良さ」の指標。

🎓 発展 — 正規方程式・一般化最小二乗・正則化

• 正規方程式：SSE を $\beta$ で微分して0とおくと $X^\top X\hat\beta = X^\top y$、 すなわち $\hat\beta=(X^\top X)^{-1}X^\top y$。 この計算をボタンが内部で実行しています（単回帰なので 2×2 行列の逆行列）。 大規模・多重共線では逆行列を直接使わず 勾配降下法 や QR/特異値分解で解きます。
• 一般化最小二乗（GLS/WLS）：誤差が等分散でない・自己相関するとき、 分散共分散行列 $\Omega$ で重み付けした $\hat\beta=(X^\top\Omega^{-1}X)^{-1}X^\top\Omega^{-1}y$ を使う。
• 正則化：$(X^\top X)$ が不安定（多重共線）なとき、 罰則を足して安定化する Ridge回帰・Lasso回帰 を使う。 総論は 正則化、 多変数への拡張は 重回帰 を参照。

➕ 直感を深める — 「最もよく当てはまる直線」＝直交射影

OLS の一言まとめは 「残差平方和 (RSS) を最小にする＝データに最も近い直線を選ぶ」。 ここで「近い」の意味を掘り下げると、 単なる散布図の見た目の話ではなく、 ベクトル空間での距離の話であることが見えてきます。 目的変数 $\mathbf{y}$（$n$ 次元ベクトル）を、 説明変数の列が張る部分空間 $\mathrm{col}(X)$（＝X で作れる予測値の集合）の中で「最も近い点」に置き換える操作、 それが OLS です。 その最も近い点が予測値 $\hat{\mathbf{y}}=X\hat{\boldsymbol{\beta}}$、 そこへ届かなかったズレが残差ベクトル $\mathbf{e}=\mathbf{y}-\hat{\mathbf{y}}$ になります。

🎯 なぜ「直交」射影なのか

部分空間 $\mathrm{col}(X)$ 上の点で $\mathbf{y}$ に最も近いのは、 $\mathbf{y}$ から部分空間へ垂直に足を下ろした点（正射影）です。 三角形の斜辺より垂線のほうが短いのと同じ理屈で、 「最短距離＝直交」。 したがって残差ベクトル $\mathbf{e}$ は説明変数が張る空間と直交します。 これを式にしたものがまさに正規方程式 (normal equations) です。

正規方程式が語っていることを言葉にすると：

• 残差は説明変数と無相関になるように決まる：$X^\top \mathbf{e}=\mathbf{0}$ は「各説明変数と残差の（中心化後の）共分散がゼロ」を意味します。 説明変数で説明できる分は使い切り、 残ったのは説明変数と関係のない成分だけ、 という状態が最適解の証拠。
• 切片があれば残差の合計はゼロ：$X$ の先頭列（定数 1 の列）との直交条件から $\sum_i e_i = 0$。 予測値は平均的にはズレていません。
• $X^\top X$ は説明変数同士の関係を集約した行列：この逆行列が存在してはじめて解が一意に決まります。 説明変数が完全に相関している（一方が他方の定数倍）と $X^\top X$ が特異になり逆行列が存在しない — これが多重共線性の幾何的な正体です（部分空間が「潰れて」射影先が一意に決まらない）。
• 予測値 ŷ は「ハット行列」による y の射影：$\hat{\mathbf{y}}=X(X^\top X)^{-1}X^\top \mathbf{y}=H\mathbf{y}$。 $H$（ハット行列）は射影行列で $H^2=H$、 対角成分 $h_{ii}$ がてこ比 (leverage)＝その点が自分の予測値をどれだけ引っ張るかを表します。

💡 ページ上部の 🎮 触って理解するウィジェット は、 各点の残差を一辺とする正方形（＝残差の二乗＝面積）を描き、 その総面積 SSE を最小化する体験でした。 ここで学んだ「直交射影」は、 その正方形の総面積が最小になる位置＝残差が説明変数と直交する位置、 という同じ現象をベクトルの言葉で言い換えたものです。 単回帰・重回帰・多項式回帰まで、 OLS はすべて「$\mathbf{y}$ を $\mathrm{col}(X)$ に直交射影する」一つの操作に統一できます。

➕ 落とし穴を深める — Gauss-Markov 仮定が破れると何が壊れるか

OLS が「最良線形不偏推定量 (BLUE)」であるためには、 ガウス・マルコフの仮定（線形性・外生性＝説明変数と誤差の無相関・等分散・誤差間の無相関）が必要でした。 大切なのは どの仮定が破れると「点推定（係数）」が壊れ、 どれが破れると「標準誤差（不確実性の評価）」だけが壊れるか を区別すること。 ここを混同すると、 「係数はバイアスなのに標準誤差だけ直して満足する」「本当は無バイアスなのに係数を捨ててしまう」といった誤対応につながります。

⚠️ 仮定の外にある、それでも致命的な落とし穴

• 外れ値への脆弱性（二乗が効く）：OLS は残差を二乗して足すため、 1 点の大きなズレが $10^2=100$ の罰として効き、 直線をぐいと引っ張ります。 平均が中央値より外れ値に弱いのと同じ構造。 ウィジェットの「💥外れ値を追加」で緑の最小二乗線が動くのを体感できます。 対策は ロバスト回帰（M 推定・Huber・RANSAC）や、 てこ比・Cook の距離による影響点診断。
• 相関 ≠ 因果：OLS の係数は「$x$ を 1 動かすと $y$ が $\beta$ 動く」ではなく、 あくまで条件付き平均の関係。 因果を主張するには外生性が必要で、 交絡があれば符号すら逆転しえます（アイスクリーム売上と溺死数を「気温」という交絡が結ぶ古典例）。 観察データに OLS を当てただけの因果主張は典型的な過剰主張。
• 外挿の危険：本ページの実データは高齢者人口の観測範囲内で当てはめたもの。 その直線を範囲外に延ばした予測（外挿）は、 直線関係が広範囲で続く保証がなく信頼できません。
• 多重共線性で係数が不安定：説明変数同士が強く相関すると $X^\top X$ が特異に近づき、 $(X^\top X)^{-1}$ が暴れて個々の係数の標準誤差が爆発。 符号が直感と逆になることも。 VIF で診断し、 変数を絞るか Ridge へ。 ただし予測精度自体は落ちにくいので、 解釈が目的のときだけ深刻な問題。
• 不均一分散で標準誤差を誤る：上表のとおり係数は無バイアスでも、 通常の標準誤差は「等分散」を前提に導いているため、 不均一分散下では t 値・p 値・信頼区間が系統的にズレます。 Breusch-Pagan 検定で疑いを持ったら HC3 で補正が安全（本ページの実データでも p≈0.0002 で不均一分散のサインが出ていました）。

➕ 発展を深める — BLUE の意味と、その先の推定法

🏆 BLUE（最良線形不偏推定量）を正しく読む

ガウス・マルコフの定理は「仮定が満たされるとき OLS は BLUE」と述べます。 4 文字を分解すると：

• L（Linear・線形）：推定量が観測 $\mathbf{y}$ の線形結合 $\hat{\boldsymbol{\beta}}=A\mathbf{y}$ で書ける、 という候補の絞り込み。 つまり「線形推定量という土俵の中で」の話。
• U（Unbiased・不偏）：平均すれば真値を当てる $E[\hat{\boldsymbol{\beta}}]=\boldsymbol{\beta}$。
• B（Best・最良）：ここでの「最良」は分散が最小という意味に限定。 他のどんな線形不偏推定量と比べても、 OLS の分散共分散行列がいちばん小さい（差が半正定値）。

つまり BLUE は「線形かつ不偏」という枠の中での条件付きチャンピオンであって、 無条件の最強ではありません。 枠を外せば OLS より「良い」推定量が存在しえます — わざと少しバイアスを入れて分散を大きく減らす Ridge はその代表で、 平均二乗誤差 (MSE) では OLS を上回ることがあります（バイアス・分散トレードオフ）。 また誤差が正規分布なら OLS は最尤推定 (MLE) と一致し、 「線形」の枠すら外した全推定量の中で有効になります。

🔧 仮定が破れたときの「正統な」拡張 — GLS / WLS

等分散・無相関が破れると OLS は BLUE でなくなります。 そこで誤差の分散共分散構造 $\mathrm{Var}(\boldsymbol{\varepsilon})=\sigma^2\Omega$ を明示的に取り込み、 再び BLUE を取り戻すのが一般化最小二乗 (GLS) です。

WLS（加重最小二乗）は不均一分散に、 GLS の非対角版は自己相関（時系列・パネル）に対応します。 直感的には「情報の質が高い観測ほど強く信じる」重み付けの射影です。

🛡 モデルは直さず標準誤差だけ直す — ロバスト標準誤差

$\Omega$ の形が分からない・特定したくないときは、 係数はそのまま OLS を使い、 不確実性の評価（標準誤差）だけを不均一分散や相関に頑健な形に差し替えます。 これがロバスト標準誤差（White／HC0–HC3、 クラスター、 HAC＝Newey–West）です。 「点推定は無バイアスなのに標準誤差だけ壊れる」タイプの破れ（上の落とし穴表の下 2 行）に対する、 最も軽量で実務的な処方箋。 statsmodels なら fit(cov_type='HC3') の一行で済みます。 なお名前が似た ロバスト回帰（M 推定など）は外れ値への頑健化で、 目的が異なる点に注意。

🎛 正則化（Ridge / Lasso）— OLS に「罰則」を足す

多重共線性や「変数が多すぎる」状況では、 RSS に係数の大きさへの罰則を足して解を安定させます。 これが正則化であり、 OLS の自然な一般化として読めます。

• Ridge（L2）：$\hat{\boldsymbol{\beta}}=(X^\top X+\lambda I)^{-1}X^\top\mathbf{y}$。 対角に $\lambda$ を足すことで、 特異に近い $X^\top X$ を必ず逆行列を持つように安定化。 多重共線性の幾何的問題を直接的に緩和します。 係数は 0 には縮むが完全には 0 にならない。
• Lasso（L1）：一部の係数をちょうど 0 にでき、 自動的な変数選択になる。 スパースな解が欲しいときに有効。
• 共通の代償：どちらもわずかなバイアスと引き換えに分散を大きく下げる。 BLUE の「不偏」の枠をあえて外すことで、 予測の平均二乗誤差を改善する戦略です。 罰則の強さ $\lambda$ は交差検証で選びます。

🧭 まとめると、 OLS を中心に「IV（外生性の破れ）」「GLS・WLS／ロバストSE（等分散・無相関の破れ）」「Ridge・Lasso（共線性・高次元）」「GAM（線形性の破れ）」が、 それぞれどの仮定が破れたかに応じて枝分かれしていきます。 破れの診断（残差プロット・VIF・Breusch-Pagan・Durbin-Watson）が、 どの枝へ進むべきかの地図になります。