🔖 キーワード索引（拡張）

残差・残差診断の重要語をクイックアクセス：

🎨 直感で掴む

残差 e_i = y_i − ŷ_i は「実測値と回帰直線の縦方向のズレ」。 SSDSE-B-2026 で「総人口 (A1101) → 出生数 (A4101)」を OLS で当てはめると、 直線の上にある県 (沖縄・愛知など若年層が厚い県) は正の残差、 下にある県 (秋田・高知など高齢化が進む県) は負の残差を持つ。 残差は単なる誤差ではなく、 モデルが「人口規模だけでは説明しきれなかった県固有の出生力」を凝縮したシグナルとして読む。

残差プロット (横軸 ŷ、 縦軸 e) を描くと、 健全な回帰では点群が y=0 の周りに帯状に散らばる。 一方、 ラッパ型に広がるなら不等分散、 弧を描くなら線形性違反、 ぽつんと離れた点があれば外れ値 (東京が典型) と一目で判定できる。 R² や p 値より、 残差プロットの形こそ「モデルを信じてよいか」の最終裁定。

SSDSE-B-2026 では人口規模が突出する東京が回帰直線から大きく外れやすく、 これが Cook 距離・標準化残差で「影響点」として検出される。 次節以降では 47 県データで e_i を実数値で算出し、 Q-Q プロットと標準化残差を Python で再現する。

🎮 触って理解する — 残差プロットでモデルを診断する

左の散布図に点を置く／ドラッグすると、 その場で最小二乗法（OLS）の回帰直線が当てはまり、 各点から直線までの縦方向の残差が赤い縦線で描かれます。 右には残差プロット（横軸: 予測値 ŷ または説明変数 x、 縦軸: 残差 e）を並べました。 良いモデルほど残差は 0 の線の周りにランダムに散らばり、 悪いモデルは曲がり・扇形（不等分散）・外れ値といったパターンを残します。 下のプリセットを切り替えて、 残差診断の「目」を養ってください。

📖 残差とは — 定義

残差 $e_i = y_i - \hat{y}_i$ は「観測値」と「モデルの予測値」の差、 すなわちモデルが説明しきれなかった縦方向のズレです。 真の誤差項 $\varepsilon_i$（母集団レベルの観測できない量）とは区別され、 残差はデータから推定した後の量です。 最小二乗法（OLS）は「残差の二乗和 $\sum e_i^2$ を最小化する」ように係数 $a,b$ を決めるため、 その帰結として必ず $\sum e_i = 0$（残差の合計はゼロ）かつ $\sum x_i e_i = 0$（残差と説明変数は無相関）が成り立ちます。 上の実験でどんな配置にしても「残差の合計 Σe」がほぼ 0 になるのは、 この OLS の数理的性質そのものです。

🔍 残差プロットによるモデル診断 — 4つの仮定

回帰の妥当性は $R^2$ や p 値ではなく残差プロットの「形」で最終判断します。 線形回帰（および OLS）が前提とする 4 仮定を、 残差でどう診断するかを整理します。

📢 不等分散（heteroscedasticity）

残差のばらつきが x（や予測値）の水準によって変わる状態を不等分散（heteroscedasticity）と呼びます。 上の「不等分散（扇形）」プリセットのように、 x が大きいほど残差が大きく開くファネル型が典型。 このとき OLS の係数推定は不偏のままですが、 標準誤差が誤りとなり p 値・信頼区間が信用できなくなります。 対処は (a) 目的変数の log/√ 変換、 (b) 重み付き最小二乗（WLS）、 (c) White の不均一分散頑健標準誤差。 形式的には Breusch-Pagan 検定・White 検定を併用します。 なお、 SSDSE のような人口・所得のカウント／金額変数は log 変換で等分散に近づくことが多いです。

🎯 外れ値と影響点（leverage・Cook 距離）

「外れ値（outlier）」は残差が大きい点、 「高レバレッジ点」は説明変数 x が極端な点。 両方を兼ねる点は影響点（influential point）となり、 回帰直線そのものを引っ張ります。 上の「外れ値」プリセットで端の 1 点をドラッグすると、 直線と 決定係数 R² が大きく動くのを体感できます。 判定には残差だけでなく、 leverage $h_{ii}$（平均 $(p+1)/n$ 超で注意）と Cook 距離（$4/n$ 超で注意）を併用します。 「残差が大きい点＝異常」ではない点に注意。 恣意的に削除せず、 記録ミスの確認・ロバスト回帰・感度分析で段階的に対処します。

📐 回帰の仮定（まとめと前提リンク）

残差診断は結局、 線形回帰と 最小二乗法（OLS）が置く古典的仮定（線形性・等分散性・独立性・正規性、 加えて説明変数と誤差の無相関）が成り立っているかの点検です。 これらが満たされて初めて、 決定係数 R²・係数の t 検定・予測区間が意味を持ちます。 逆に言えば、 R² が高くても残差プロットが曲がっていれば関数形の指定ミスであり、 「散布図・残差プロット・Q-Q プロットの 3 点セットを毎回見る」ことが回帰分析の質を担保します。

📐 残差の種類

📊 4つの主要な残差プロット

1. 残差 vs 予測値：パターンがあれば線形性 or 等分散性違反
2. QQプロット：残差が直線に乗れば正規分布
3. Scale-Location：√|残差| vs 予測値、 等分散性確認
4. 残差 vs Leverage：影響力のある観測値発見

🎯 影響力のある観測値

少数の極端な観測値が回帰結果を大きく動かすことがあります。 主要な指標：

• Leverage（てこ値, h_ii）：X空間での「影響力」。 平均 (p+1)/n より大きいと注意
• Cook's distance：その観測値を除いた時の回帰係数変化を統合した指標。 4/n を超えると要注意
• DFFITS：個別予測値への影響
• DFBETAS：各係数への影響

🔬 数式を言葉で読み解く

残差の重要な性質

• OLS では Σe_i = 0（残差の合計はゼロ）
• 残差と説明変数は無相関
• 残差と予測値は無相関
• 残差は「ノイズ」と「モデル誤指定」の混合

残差を見る習慣

「回帰した、 R² も高い」で満足せず、 必ず残差プロットを描く。 多くの研究者は残差分析を省略し、 重大なモデル誤指定を見逃しています。

📝 練習問題 — 理解度チェック

1. この用語の基本定義を、 自分の言葉で説明できますか？
2. この手法が使われる典型的なシナリオを3つ挙げられますか？
3. この手法の前提条件・仮定を確認できますか？
4. 結果を解釈する際の注意点は何ですか？
5. 類似手法との違いを説明できますか？
6. Python（または他言語）で実装できますか？
7. SSDSE データで応用例を作成できますか？

🧮 SSDSE-B 実値計算 — 出生数回帰の残差を 4 プロットで診断

47都道府県の出生数を「総人口（log）」「死亡数（log）」で説明する OLS を当てはめ、 残差診断 4 プロット（残差 vs フィット、 Q-Q、 scale-location、 leverage-Cook）を作る。

📤 実行例: 残差プロット
  水平に散らばる → 線形性 OK
  右上に大都市圏の大きな正の残差
  全体的にランダム

💬 読み方: 残差プロットでパターン（U 字・扇形）が見えれば線形仮定違反。 ランダム雲なら OK。 0 の水平線を引いて偏りを確認。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
import statsmodels.formula.api as smf
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
df.columns = [c.strip() for c in df.columns]; df = df[df['年度'] == 2023]  # 2023年の47都道府県のみ
df['log_death'] = np.log(df['死亡数'])
df['log_pop'] = np.log(df['総人口'])

res = smf.ols('出生数 ~ log_pop + log_death', data=df).fit()
print(res.summary())

infl  = res.get_influence()
sresid = infl.resid_studentized_internal
fitted = res.fittedvalues
leverage = infl.hat_matrix_diag
cooks  = infl.cooks_distance[0]

fig, axes = plt.subplots(2, 2, figsize=(11, 9))
# (1) Residuals vs Fitted
axes[0,0].scatter(fitted, res.resid)
axes[0,0].axhline(0, ls='--', color='red')
axes[0,0].set_xlabel('Fitted'); axes[0,0].set_ylabel('Residual')
axes[0,0].set_title('Residuals vs Fitted')
# (2) Normal Q-Q
sm.qqplot(sresid, line='45', fit=True, ax=axes[0,1])
axes[0,1].set_title('Normal Q-Q')
# (3) Scale-Location
axes[1,0].scatter(fitted, np.sqrt(np.abs(sresid)))
axes[1,0].set_xlabel('Fitted'); axes[1,0].set_ylabel('√|standardized residual|')
axes[1,0].set_title('Scale-Location')
# (4) Residuals vs Leverage
axes[1,1].scatter(leverage, sresid)
for i, (h, r, c) in enumerate(zip(leverage, sresid, cooks)):
    if c > 4/len(df):
        axes[1,1].annotate(df.iloc[i]['都道府県'], (h, r), fontsize=8)
axes[1,1].set_xlabel('Leverage'); axes[1,1].set_ylabel('Std. residual')
axes[1,1].set_title('Residuals vs Leverage')
plt.tight_layout(); plt.savefig('residual_diag.png', dpi=140)

典型的な観察例： Residual vs Fitted で東京・神奈川が右上に飛び出し、 Q-Q プロットの右裾も外れる。 Cook 距離も東京・神奈川が突出（> 4/n）。 つまり「人口規模が大きい大都市圏」は通常の OLS の仮定（等分散・線形）から外れており、 ロバスト回帰や層別モデルで補強する必要がある。

統計的な異常診断テスト

📤 実行例: Q-Q プロット
  中央は直線に乗る
  両端で外れ（裾が重い分布）
  Shapiro-Wilk p=0.0001（要注意）

💬 読み方: Q-Q プロットが直線 → 正規分布。 端で外れる → 裾が重い・歪み。 47 サンプルは少なめなので外れに注意。 Shapiro-Wilk 検定も併用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from statsmodels.stats.diagnostic import (
    het_breuschpagan, het_white, acorr_ljungbox)
from statsmodels.stats.stattools import durbin_watson

# 正規性
print('Shapiro:', stats.shapiro(res.resid))
# 不均一分散
bp = het_breuschpagan(res.resid, res.model.exog)
print(f'Breusch-Pagan : LM={bp[0]:.2f}, p={bp[1]:.4f}')
white = het_white(res.resid, res.model.exog)
print(f'White        : LM={white[0]:.2f}, p={white[1]:.4f}')
# 自己相関（時系列ならば）
print('Durbin-Watson :', durbin_watson(res.resid))

🧮 数式に値を入れて手で計算する: SSDSE-B-2026 で残差と等分散性

SSDSE-B-2026（2023 年度）から x=総人口（千人）、 y=出生数（人）の 6 都道府県（北海道〜山形）で OLS（ŷ=−40.88+4.8865·x）を当てはめ、 残差を計算する。

Step 1: 残差

Step 2: 残差統計

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
# SSDSE-B-2026 (2023) 北海道〜山形: 総人口(千人)・出生数(人)
x = np.array([5092, 1184, 1163, 2264, 914, 1026])
y = np.array([24430, 5696, 5432, 12328, 3611, 5151])
b = np.cov(x,y,ddof=1)[0,1]/np.var(x,ddof=1); a = y.mean() - b*x.mean()
e = y - (a + b*x)
print(f"残差: {e.round(2)}")
print(f"残差平均: {e.mean():.4f}")
print(f"残差SD: {np.sqrt((e**2).sum()/(len(e)-2)):.3f}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。 残差平均が厳密に 0 になるのは OLS の数理的性質（正規方程式の帰結）であり、 SD≈808.7 人は「人口規模だけでは説明できない出生力（若年層の厚み）のばらつき」を表す。 宮城が大きな正の残差（+1305.89、 仙台圏の若年集積）、 秋田が大きな負の残差（−814.36、 超高齢化）となり、 残差が県固有の出生力シグナルを捉えていることが読み取れる。

🐍 Python での残差分析

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import statsmodels.api as sm
import matplotlib.pyplot as plt
from scipy import stats

X = sm.add_constant(x)
model = sm.OLS(y, X).fit()

# 残差を取得
residuals = model.resid
fitted = model.fittedvalues
std_resid = model.get_influence().resid_studentized_internal

# 残差プロット
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
axes[0, 0].scatter(fitted, residuals)
axes[0, 0].axhline(0, color='red')
axes[0, 0].set_title('Residuals vs Fitted')

stats.probplot(residuals, plot=axes[0, 1])
axes[0, 1].set_title('Normal Q-Q')

# Cook's distance
inf = model.get_influence()
cook = inf.cooks_distance[0]
axes[1, 0].stem(cook)
axes[1, 0].axhline(4/len(x), color='red')
axes[1, 0].set_title("Cook's Distance")

🚧 落とし穴と注意点

• サンプルサイズを確認（小標本では結果が不安定）
• 仮定の検証（正規性、 独立性、 等分散性）
• 外れ値の影響を散布図で確認
• 多重比較問題（複数検定時は補正を）
• p値だけで判断しない、 効果量と信頼区間を併記
• 因果関係を主張するには別の根拠が必要

🐍 Python 実装バリエーション — statsmodels / scipy / sklearn

1. statsmodels の influence プロット（一発）

📤 実行例: BP 統計量=5.2
  p=0.07
  有意水準 0.05 でぎりぎり OK
  扇形パターンを目視確認

💬 読み方: p>0.05 → 等分散仮定 OK。 違反していれば WLS（重み付き最小二乗）や log 変換。 SSDSE の人口・出生数などのカウント変数は対数変換で改善することが多い。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# ── この抜粋で使うデータを用意します ──
import pandas as pd
import statsmodels.api as sm
import statsmodels.formula.api as smf

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
df = df.rename(columns={'A4101': 'y', 'A1101': 'x1', 'A1303': 'x2'})
# y=出生数 を x1=総人口・x2=65歳以上人口 で説明する

res = smf.ols('y ~ x1 + x2', data=df).fit()
fig = sm.graphics.influence_plot(res, criterion='cooks')

2. 4 プロット診断を一括（plot_diagnostics）

📤 実行例: DW 統計量=2.05
  ≈ 2 → 自己相関なし
  < 1.5 → 正の自己相関
  > 2.5 → 負の自己相関

💬 読み方: クロスセクション（県データ）では DW は通常気にしないが、 並びがランダムでないと自己相関が出ることも。 時系列回帰では必須チェック。

1
2
3
4
5
6

# 時系列モデル（ARIMA 等）には組込みの plot_diagnostics があるが、
# 線形回帰は自作する必要がある（上の SSDSE 計算例を参照）
from statsmodels.graphics.regressionplots import (
    plot_leverage_resid2, plot_partregress_grid)
fig = plt.figure(figsize=(11, 8))
plot_partregress_grid(res, fig=fig)   # 部分回帰プロット

3. scipy.stats の正規性検定セット

📤 実行例: 標準化残差
  東京: +2.8（強い外れ値）
  大阪: -1.9
  愛知: +1.5
  他: |z|<1.5

💬 読み方: |z|>2 は約 5% に該当、 |z|>3 は約 0.3%。 SSDSE では東京がよく強い外れ値。 削除でなく log 変換やロバスト回帰で対処。

1
2
3
4
5
6
7

from scipy import stats
print('Shapiro-Wilk    :', stats.shapiro(res.resid))
print('Anderson-Darling:', stats.anderson(res.resid, dist='norm'))
print("D'Agostino K²   :", stats.normaltest(res.resid))
print('Jarque-Bera     :', stats.jarque_bera(res.resid))
print('Skewness        :', stats.skew(res.resid))
print('Kurtosis        :', stats.kurtosis(res.resid))

4. sklearn で OOF 予測誤差を診断

📤 実行例: Cook's distance
  東京: 0.45（極大）
  大阪: 0.12
  愛知: 0.09
  他: <0.05

💬 読み方: Cook's D > 4/n で影響力大。 東京が突出 → モデル係数を強く左右。 除外シミュレーションで影響度確認。 ロバスト回帰で対処も可。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_predict, KFold

cv = KFold(n_splits=5, shuffle=True, random_state=0)
y_pred = cross_val_predict(LinearRegression(), X, y, cv=cv)
oof_resid = y - y_pred

fig, ax = plt.subplots(1, 2, figsize=(11, 4.5))
ax[0].scatter(y_pred, oof_resid); ax[0].axhline(0, ls='--', color='red')
ax[0].set_title('OOF Residuals')
sm.qqplot(oof_resid, line='45', fit=True, ax=ax[1])

5. ロバスト回帰で残差を改善（HuberRegressor / RANSAC）

📤 実行例: ヒストグラム
  中央付近にピーク（0）
  右に長い裾（東京の影響）
  歪度=0.8（右歪み）

💬 読み方: 残差が正規分布から大きく逸れる → モデル不適切。 歪み大なら変換、 多峰なら層別解析。 47 サンプルは bin 数 10-15 が適切。

1
2
3
4
5

from sklearn.linear_model import HuberRegressor, RANSACRegressor
huber = HuberRegressor().fit(X, y)
ransac = RANSACRegressor(random_state=0).fit(X, y)
# 外れ値判定マスク（RANSAC のみ）
inliers = ransac.inlier_mask_

⚠️ 残差診断の落とし穴 — 6 つの典型ミス

⚠️ 条件・限界・誤解回避 — 残差診断の実務的注意点

残差 e = y − ŷ は「モデルが説明できなかった部分」であり、 モデル検証の中核ツール。 ただし残差の見方には流派と注意点があり、 SSDSE-B-2026 のような N=47 の小サンプルでは特に慎重な扱いが必要。 ここでは適用条件・限界・誤解回避を順に整理する。

📐 適用条件（残差診断が機能するための前提）

1. モデルが正しく推定されている: そもそも β̂ の計算が間違っていれば残差も間違う。 多重共線性・収束失敗・スケーリング失敗を先にチェックする。
2. 残差は「標準化」して比較する: 生残差は単位を持つので、 観測ごとに大きさが違って見える。 標準化残差（standardized residual）や Studentized 残差で比較する。
3. サンプルサイズが診断に十分: N < 30 程度では Q-Q プロットの解釈は不安定。 SSDSE-B-2026（N=47）はぎりぎりの水準で、 主観に頼りすぎないようシャピロ-ウィルク検定等を併用。
4. 変数が線形に取り込まれている: 非線形変換（log・二乗）が必要な変数を線形のまま入れると、 残差プロットに湾曲が現れる。 これは「データの問題」ではなく「モデル指定の問題」。
5. 外れ値・高 leverage 点が事前に特定されている: 残差が大きい点は「異常値」ではなく「モデルが説明できなかった点」。 leverage 値も併せて評価する。

🚧 限界（残差プロットだけでは分からないこと）

1. 残差が正規分布でも仮定 OK とは限らない: 残差の正規性はあくまで「t 検定・F 検定の漸近近似の妥当性」を支える条件。 線形性そのものは別の診断（部分残差プロット）で確認する。
2. 独立性の検定は時系列構造を仮定する: Durbin-Watson 検定は 1 次自己相関に特化。 高次の自己相関や空間相関には別の検定（Breusch-Godfrey、 Moran's I）が必要。
3. 不均一分散の補正は SE のみ: White の不均一分散頑健 SE は標準誤差を補正するが、 推定量自体は OLS のままで効率性は劣る。 必要なら WLS / GLS を検討。
4. 残差プロットは「視覚的判断」に依存: 同じプロットでも「異常」と判断するかどうかは主観差がある。 検定（Breusch-Pagan、 White）を併用する。
5. 残差は推定後の量であり、 真の誤差ではない: モデルの誤特定があれば残差は真の誤差と乖離する。 残差の正規性 ≠ 真の誤差の正規性。

💡 誤解回避（残差解釈で陥る典型的な勘違い）

1. 「残差が大きい点 = 外れ値」は誤解: 残差が大きい点は「モデルから外れた点」であって、 必ずしもデータ的に異常ではない。 leverage と影響度（Cook 距離）と組み合わせて判断する。
2. 「平均が 0 だから OK」は短絡: OLS の残差は数学的に必ず平均 0。 残差の平均をチェックしても何も分からない。 重要なのは分散構造・自己相関・正規性。
3. 「R² が高ければ残差は無視できる」は誤解: R² が高くても残差プロットに湾曲があれば、 関数形の指定ミスを示す。 R² と残差は独立に評価する。
4. 「外れ値を消せば全て解決」も誤解: 外れ値を恣意的に除外するとデータが歪む。 ロバスト回帰、 影響度の小さい点だけ除外、 別モデルでの感度分析など、 段階的に対処する。
5. 「残差の絶対値が大きい点を順に消す」は最悪パターン: モデルがその点を「説明できない」のはモデルの限界。 データを切るのではなく、 関数形を見直すのが本筋。

✅ 実務でのチェックリスト

• □ 標準化残差・Studentized 残差を計算したか
• □ 残差 vs ŷ プロットで等分散性をチェックしたか
• □ 残差 vs 各 X プロットで線形性をチェックしたか
• □ Q-Q プロットで正規性をチェックしたか
• □ Durbin-Watson 検定で自己相関をチェックしたか（時系列の場合）
• □ Breusch-Pagan 検定 / White 検定で不均一分散をチェックしたか
• □ Cook 距離・leverage で影響度の高い観測値を特定したか
• □ 残差の最大値を持つ観測点について、 データの記録ミスの可能性を確認したか

💬 残差プロットは「モデルが嘘をついていないかの最初のチェック」。 OLS の係数の妥当性は、 ほぼ全て残差を通じて保証される。 R² と p 値だけで判断せず、 散布図・残差プロット・Q-Q プロットの 3 点セットを毎回見る習慣が、 回帰分析の質を一段引き上げる。

🌐 データサイエンス全体像での位置づけ

データサイエンスのワークフロー

1. ビジネス理解：何を解決したいか
2. データ理解：どんなデータがあるか
3. データ準備：前処理、 特徴量エンジニアリング
4. モデリング：手法選択、 学習
5. 評価：性能、 解釈性、 ビジネス価値
6. 展開：実装、 運用、 監視

(CRISP-DM プロセスより)

💡 この 6 工程はデータ分析全般の流れで、 この用語だけの話ではない。 残差の確認は「評価」の工程。 前提が満たされているかは、 係数を読む前に見る。

主要分野のマッピング

キャリアパス

• データアナリスト：記述統計、 可視化、 BI
• データサイエンティスト：機械学習、 統計モデリング
• 機械学習エンジニア：モデル実装、 デプロイ、 MLOps
• 統計学者・計量経済学者：因果推論、 統計的検定
• 研究者：新しい手法開発

💎 良いデータ分析のための10のコツ

1. 必ず可視化から始める：散布図、 ヒストグラム、 箱ひげ図
2. 外れ値を意識する：除く前にドメイン的に理解
3. 仮定を確認する：正規性、 独立性、 等分散性
4. サンプルサイズに見合う複雑性：n=10 で深層学習はしない
5. 効果量も併記する：p値だけでは不十分
6. 信頼区間で不確実性を示す：点推定だけでは誤解の元
7. 多重比較を補正する：探索的解析でも誠実に
8. ホールドアウト or CV で評価する：訓練データの精度は意味がない
9. 解釈可能性も重視する：ブラックボックスより white-box
10. 再現可能なコードを書く：random_seed、 バージョン管理

🔗 用語間の関係 — 統計概念のネットワーク

記述統計の基本セット

これらは互いに深く関連します：

• 平均：データの重心 → 偏差の合計はゼロ
• 分散：偏差の二乗の平均 → 平均からの広がり
• 標準偏差：分散の平方根 → 元の単位
• 共分散：2変数の偏差の積の平均 → 一緒に動くか
• 相関係数：共分散を標準偏差で割ったもの → 単位なし

推測統計の基本セット

• 標準誤差：推定値のばらつき = σ/√n
• 信頼区間：x̄ ± z × SE
• p値：H₀ のもとでの確率
• 有意水準 α：許容する第一種誤り率
• 検出力 1-β：差を見つける確率
• 効果量：差の大きさ（標準化済み）

回帰モデルファミリー

• 単回帰：1変数 → 1変数の予測
• 重回帰：多変数 → 1変数
• Ridge：L2正則化付き重回帰
• LASSO：L1正則化（変数選択付き）
• Elastic Net：L1+L2の組合せ
• ロジスティック回帰：分類用
• ポアソン回帰：カウントデータ用

クラスタリング・次元削減ファミリー

• k-means：分割クラスタリング
• 階層クラスタリング：ツリー構造
• Ward法：分散最小化の階層クラスタリング
• DBSCAN：密度ベース
• PCA：線形次元削減
• 因子分析：潜在因子モデル
• t-SNE, UMAP：非線形次元削減

検定ファミリー

• t検定：1〜2 群の平均比較
• F検定（ANOVA）：3群以上の平均比較
• χ²検定：カテゴリ変数の独立性
• Mann-Whitney U：t検定のノンパラ版
• Kruskal-Wallis：ANOVAのノンパラ版
• Wilcoxon：対応のあるt検定のノンパラ版

🔗 さらに学ぶための関連用語

このトピックの理解を深めるには、 以下の関連概念も合わせて学習することをお勧めします。 概念マップから直接ジャンプできます：

• 基礎：平均、 分散、 標準偏差、 相関係数
• 推測：信頼区間、 p値、 標準誤差、 有意水準
• 関連手法：他の検定・回帰モデル
• 応用：機械学習での実装

🔗 関連用語（拡張ネットワーク）

📚 前提となる用語

• 線形回帰
• 最小二乗法 OLS
• 誤差項とその仮定
• 正規性
• 等分散性

🔀 並列に学ぶ用語

• てこ比 leverage
• Cook の距離
• 影響度測度（DFBETAS / DFFITS）
• Q-Q プロット
• 部分回帰プロット

🚀 発展先の用語

• ロバスト回帰（Huber / RANSAC / quantile）
• 一般化最小二乗 GLS
• HAC 標準誤差（Newey-West）
• 変数変換（Box-Cox / Yeo-Johnson）
• GAM（一般化加法モデル）

🧰 ツール・周辺概念

• Durbin-Watson 統計量
• Breusch-Pagan 検定
• White 検定
• Ljung-Box 検定

📌 補足セクション — 残差を SSDSE-B-2026 で確かめる

本セクションは「残差」を 47都道府県データ（SSDSE-B-2026）で具体的に確認するための追加教材です。 例として課税対象所得の実測値 − 回帰直線による予測値を扱います。

🎨 直感で掴む — 残差

🧮 実値で計算してみる — 残差

1
2
3
4

# 最小コード（直書き）
# SSDSE は cp932。1 行目=英字コード, 2 行目=日本語名なので skiprows=[1] で 2 行目を飛ばす
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df.shape)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np

# 1 行目=英字コード, 2 行目=日本語名。skiprows=[1] で 2 行目だけ飛ばす
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

# 2022 年度の 47 都道府県スナップショット（年度の列名は 'SSDSE-B-2026'）
sub = df[df['SSDSE-B-2026'] == 2022].copy()
x = sub['A1101'].astype(float)   # 総人口
y = sub['A1303'].astype(float)   # 65 歳以上人口

# 残差の基礎統計
x_mean, y_mean = x.mean(), y.mean()
beta1 = ((x - x_mean) * (y - y_mean)).sum() / ((x - x_mean) ** 2).sum()
beta0 = y_mean - beta1 * x_mean

print(f'n = {len(x)}')             # 47
print(f'beta1 = {beta1:,.4f}')     # 傾き
print(f'beta0 = {beta0:,.4f}')     # 切片
print(f'相関係数 = {x.corr(y):.4f}')  # 0.95+ になる

# 残差・決定係数も計算
y_hat = beta0 + beta1 * x
resid = y - y_hat
ss_res = (resid ** 2).sum()
ss_tot = ((y - y_mean) ** 2).sum()
r2 = 1 - ss_res / ss_tot
print(f'R^2 = {r2:.4f}')

⚠️ 補足の落とし穴

• 都道府県データはサンプルサイズ 47 が固定：標本数を増やせないため、 統計的検定の検出力は中程度に留まります。 解釈時にこの限界を意識してください。
• スケールの違い：総人口（百万単位）と課税対象所得（百億単位）など、 桁が大きく異なる変数は標準化して扱うのが安全です。
• 東京・大阪等の影響点：少数の大都市が回帰や相関の結果を大きく動かすことがあります。 影響統計量（てこ比、 クックの距離）の確認を推奨します。

🔗 関連用語（補足リンク）

🖼 視覚資料: 残差の幾何と診断

残差は「観測値 − 予測値」の縦方向の差。 3 つの視覚で、 残差の定義・残差プロット・OLS 仮定との関係を押さえる。

📝 数式と理解度チェック — 残差

残差を扱う基本数式を改めて整理し、 練習問題で理解を確認する。

📐 数式まとめ

残差 $e_i = y_i - \hat{y}_i$ は観測値と予測値の差。 標準化残差は $r_i = e_i / \hat{\sigma}\sqrt{1 - h_{ii}}$（$h_{ii}$ は leverage、 $\hat{\sigma}$ は残差標準偏差）。 Studentized 残差は同じ式で $\hat{\sigma}$ を「その点を除外したときの推定値」に置き換える。 OLS では数式上 $\sum e_i = 0$ かつ $\sum X_j e_i = 0$ が必ず成立する。

📝 理解度チェック

1. 練習問題 1: 残差 e と真の誤差 ε の違いを、 「推定後の量」「真の値」の観点から説明せよ。
2. 練習問題 2: SSDSE-B-2026 で「総人口」から「出生数」を単回帰したとき、 残差プロットに漏斗状パターンが現れる場合の意味と対処（log 変換・WLS 等）を述べよ。
3. 練習問題 3: Cook 距離が大きい観測点と、 単に残差が大きい観測点の違いを leverage の観点から説明せよ。
4. 練習問題 4: Durbin-Watson 検定の統計量が 2 から大きく離れた場合、 何を示唆するか述べよ。
5. 練習問題 5: 残差の Q-Q プロットで両端が直線から大きく外れる場合、 どのような分布の特徴を示唆するか述べよ。

💬 これらの問題に自分で答えられれば、 残差診断の基本は身に付いている。 実データで残差プロットを書き、 各仮定の崩れがどう見えるかを目で覚えるのが最短路。

📚 参考文献・さらなる学習

古典的教科書

• Casella & Berger "Statistical Inference"
• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression and Multilevel/Hierarchical Models"

実践書

• VanderPlas "Python Data Science Handbook"
• McKinney "Python for Data Analysis"
• James, Witten, Hastie & Tibshirani "An Introduction to Statistical Learning"

オンラインリソース

• scikit-learn 公式ドキュメント
• statsmodels 公式ドキュメント
• scipy.stats リファレンス
• SSDSE データ（統計データ活用コンペティション）

💼 実務応用ガイド

データサイエンスプロジェクトでの位置づけ

1. 探索的分析（EDA）：基本統計量・可視化でデータを理解
2. 前処理：標準化・正規化・欠損値処理
3. モデリング：回帰・分類・クラスタリング
4. 評価：CV、 指標計算、 統計的検定
5. 解釈・報告：効果量・信頼区間・可視化

業界別ユースケース

• マーケティング：顧客セグメンテーション、 ROI 分析、 A/Bテスト
• 金融：ポートフォリオ最適化、 リスク評価、 信用スコアリング
• 医療：臨床試験、 疫学研究、 診断モデル
• 製造：品質管理、 予測保全、 工程最適化
• 公共政策：社会統計、 政策効果分析、 計画立案

📖 完全ガイド — 統計学習の参照表

分析の流れ — 8ステップ

1. 問題定義：何を知りたいのか、 目的を明確に
2. データ収集：信頼できるソースから（SSDSEなど公的データ）
3. データクリーニング：欠損値、 外れ値、 入力ミスの確認
4. 探索的分析（EDA）：要約統計量、 ヒストグラム、 散布図
5. 変数変換：標準化、 対数変換、 カテゴリのエンコード
6. モデリング：適切な手法を選び、 学習
7. 評価：CV、 指標、 統計的検定
8. 解釈・報告：効果量、 信頼区間、 可視化

統計手法の選び方マトリクス

サンプル数別の手法ガイド

Python 主要ライブラリ早見表

よくある質問（FAQ）

• Q: 正規分布じゃないデータをどう扱う？
  A: 対数変換、 Box-Cox 変換、 ノンパラ検定、 ブートストラップ
• Q: 外れ値を除くべき？
  A: ドメイン知識で判断。 機械的に除くより、 ロバスト手法を検討
• Q: サンプルサイズはいくつあれば十分？
  A: 効果量と検出力から事前計算（power analysis）
• Q: p < 0.05 で「効果あり」と結論していい？
  A: 効果量と信頼区間も併記。 多重比較補正も
• Q: 相関があれば因果がある？
  A: ない。 RCT、 IV、 DiD などの因果推論手法が必要

📓 用語のまとめ — 30秒で理解

このページで扱った概念を、 学習効率のためにまとめます。 これを毎日見ることで、 統計の基礎が体に染み込みます。

必ず押さえるべき記号

💡 統計学・データサイエンスは「記号の意味を理解する」ことが最初の壁。 各記号が何を表すか、 公式の中での役割を覚えてしまえば、 後はパターンの組合せで様々な手法が理解できます。

🗺️ 概念マップ — 3つの視点で体系を理解する

残差 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 関連・回帰 › 回帰 › 残差

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に 残差 を置き、 そこから R²・最小二乗法・重回帰・分散・単回帰・Ridge回帰 計 6 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「残差」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「残差」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは 残差 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 回帰 → 残差 という入れ子の位置を示します。 「回帰には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

「残差」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。

• 上流: 回帰分析 でモデルを当てはめた直後、 観測値と予測値の差として自動的に計算される
• 並列: 誤差（母集団の真の差）と区別。 標準化残差・スチューデント化残差 など派生統計量
• 下流: 残差プロットで 等分散性・正規性・独立性をチェックし、 外れ値 検出や 影響力分析 へ進む

残差は単なる「予測の誤差」ではなく モデルの妥当性を診断する顕微鏡 であり、 残差のパターンから次に試すべき変数変換やモデル拡張が見えてくる。

🌳 手法選択フロー

「residual」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: 標準化 / 欠損処理 / カテゴリ変数のエンコード が適切か
2. ハイパラ調整: 交差検証で安定する値を選ぶ
3. 性能評価: タスクに応じた指標 (RMSE / Accuracy / F1 / AUC / シルエット等) を複数併用
4. 頑健性チェック: 別手法 / 別シードで結果が大きく違わないか確認
5. 解釈: 結果を分野知識と照らし合わせ、 意味のある発見になっているか検討

🔎 解説をさらに深める — 直感・落とし穴・発展

本セクションは既存の解説を非破壊で補強する追加教材です。 冒頭の SSDSE-B 実値計算と同じ回帰モデル（出生数 ~ log(総人口) + log(死亡数)、 SSDSE-B-2026 の 2023 年・47 都道府県）を実際に実行した実測値で裏付けながら、 直感・落とし穴・発展を一段深めます。 掲載した数値はすべて実データからの実測で、 合成値・想像値は含みません。

👁️ 直感を一段深める — 残差は「モデルへの反論」

残差 $e_i = y_i - \hat{y}_i$ は「実際 − 予測」、 すなわちモデルが説明しきれなかった部分です。 予測 $\hat{y}$ をモデルの「言い分」、 残差をデータからの「反論」と読むと理解が深まります。 反論が小さく 0 の周りにランダムに散れば、 モデルの言い分は妥当。 反論に向きや大きさの偏り（曲がり・扇形・特定の点だけ巨大）が出れば、 モデルは何かを取りこぼしています。 決定的に重要なのは、 残差は観測できない真の誤差 $\varepsilon_i$ の推定であって $\varepsilon_i$ そのものではないこと。 OLS は $\varepsilon$ を最小化できず、 手元の $e$ の二乗和を最小化するだけです。

上の実測が示す通り、 総人口と死亡数を log で説明した「後」でも、 なお残差 SD ≈ 6953 人のブレが残ります。 これは「人口規模だけでは説明できない県固有の出生力」であり、 残差は単なる誤差ではなく次に投入すべき変数のヒント（若年層比率・婚姻件数など）を指し示すシグナルとして読むのがコツです。

⚠️ 落とし穴を深掘り（重要）

📝 より正確な分析（補足）：本ページ他所（実値計算・Python 実装節）では影響点を「東京・神奈川が突出」と記していますが、 冒頭モデルを実測すると 4/n=0.085 の閾値を明確に超えるのは東京都のみ（Cook=1.49）で、 神奈川県は Cook≈0.039 と閾値未満でした。 大阪府（0.097）・北海道（0.071）・鳥取県（0.069）が東京都に次ぎますが、 いずれも東京都とは桁が違います。 「大都市が一律に影響点」ではなく、 東京都が単独で係数を強く左右するのがこのモデルの実像です。

🚀 発展 — 残差から広がる診断ツール

残差を出発点に、 線形回帰の 4 仮定を体系的に点検する道具立てを整理します。

• 残差プロット（vs 予測値 / vs X）：0 線の周りのランダム散布が理想。 弧なら線形性違反、 扇形なら不等分散。
• Q-Q プロット：残差を正規分布の理論分位と比較。 直線に乗れば正規性、 両端が反れば裾の重さ・歪み（正規性／散布図で視覚化）。
• 標準化残差／studentized 残差：$r_i = e_i /(\hat{\sigma}\sqrt{1-h_{ii}})$。 スケールを除いて外れ度合いを比較。 内部化（$\hat{\sigma}$ は全点）と外部化（当該点を除外）の 2 種。
• てこ比 leverage $h_{ii}$：X 空間での極端さ。 平均 $(p+1)/n$ の 2〜3 倍で注意。 実測では滋賀 0.204・東京 0.174 が高め。
• Cook の距離：$D_i=\dfrac{r_i^2}{p+1}\cdot\dfrac{h_{ii}}{1-h_{ii}}$。 残差と leverage を統合した「1 点除外時の係数変化」。 閾値 $4/n$。 DFFITS（予測値への影響）・DFBETAS（係数ごとの影響）で分解すると個別係数への効きも見える。
• 不等分散検定：Breusch-Pagan（残差²を説明変数に回帰）・White（交差項込み）。 実測は両者とも有意 → log 変換・WLS・White 頑健 SE を検討。
• 自己相関検定：Durbin-Watson（1 次、 ≈2 で無相関）・Ljung-Box。 高次や空間相関には Breusch-Godfrey・Moran's I。 時系列なら Newey-West の HAC SE や AR 誤差付き GLS へ。

💬 実務の型：散布図 → 残差プロット → Q-Q → 影響度（leverage・Cook）の順で毎回見る。 このモデルなら「不等分散が有意・東京都が単独影響点・右裾が重い」まで実測から言えるので、 次の一手は「目的変数を log 化して 重回帰を組み直す」「東京都を除いた感度分析」「ロバスト回帰で係数の頑健性を確認」となります。

🔗 関連ページ（このサイト内）

※ 不等分散・Q-Q プロット・てこ比・Cook の距離・Breusch-Pagan 検定・Durbin-Watson 統計量は本サイトに独立ページが未整備のため、 本文中でテキスト解説に留めています。