🔖 キーワード索引

「regression line」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「regression line」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「regression line の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 概念図で押さえる（回帰直線を視覚で理解）

🎨 概念図で押さえる（回帰直線を視覚で理解）

回帰直線は「散布図に最もよくフィットする 1 本の直線」であり、 残差の二乗和を最小化することで決まります。 以下 2 点の概念図で「最小二乗の幾何学的意味」と「外れ値が直線を引っ張る挙動」を視覚化します。

図A: 残差二乗の最小化 — 縦の距離を最小にする直線

→ 青点は観測値、 赤線が回帰直線、 オレンジ縦線が残差 (予測誤差)。 最小二乗法は「縦方向のズレ」の二乗の総和 SSE を最小にする傾き β₁ と切片 β₀ を選ぶ。 縦距離なので x 軸方向の誤差は無視、 また直線は必ず (x̄, ȳ) を通る。

図B: 外れ値の影響 — てこの原理で直線が引っ張られる

→ 東京のような高レバレッジ点 (x が平均から大きく離れている) は、 残差二乗を最小化する性質上「直線がそこに引っ張られる」効果を持ちます。 赤破線 (東京を含む) と緑実線 (除外) では傾きが変わり、 切片も上下します。 回帰直線を見たら必ず「外れ値を除外したらどう変わるか」を確認すべき理由がここにあります。

🖼 補足: 回帰直線を実画像で再点検

回帰直線 (regression line) の本質は、 「y を x の線形関数で予測する直線のうち、 残差二乗和を最小化するもの」 である。 ここでは ① 直線の幾何（重心を通る）、 ② 残差の幾何、 ③ 直交射影、 の 3 軸で、 本文 🧮 の 2 つの例（総人口 → 生産年齢人口、 住宅地の標準価格 → 消費支出。 いずれも 2023 年度の 47 都道府県）を図にする。 外れ値の影響は上の図B と図D の東京都で確かめられる。

💬 3 枚を通すと、 回帰直線は「直線」 という見た目だけでなく「縦距離最小化」 「直交射影」 「重心を通る」 という 3 つの異なる幾何的解釈で同じ直線を指していることが分かる。 どの視点でも結果は同じ直線になるという美しさが、 回帰直線が統計学の基礎中の基礎として位置づけられる理由でもある。

📋 回帰直線の性質 早見表

回帰直線の不思議は、 これらの性質が「最小二乗法を解く」 という単一の数学操作から自動的に出てくる点。 「重心を通る」 「残差の和ゼロ」 「残差と x が無相関」 はすべて最小二乗の正規方程式の帰結であり、 別途仮定する必要はない。 多変量回帰でも同じ性質 (残差ベクトルが X 空間に直交) が成り立つ。

✅ 理解度チェック

1. 回帰直線は必ず点 (x̄, ȳ) を通る。 これが、 回帰直線をプロットしたあと最初に確認すべきポイントになる理由を述べよ。
2. 「残差と説明変数 x が無相関」 という性質は、 最小二乗法の何の帰結か。 直感的な意味も添えて説明せよ。
3. 標準化した回帰では、 傾き β₁ が相関係数 r と一致する。 これを使うと、 単回帰の傾きを暗算で計算できる。 r=0.7、 sy=10、 sx=5 のときの β₁ を求めよ。
4. 外挿 (extrapolation) はなぜ危険か。 訓練範囲外で予測区間が広がる幾何的理由を述べよ。
5. 東京を除外したら傾きが半分になった。 これは「東京が外れ値」 を意味するか、 それとも「東京は典型的な高レバレッジ点」 を意味するか。 区別の方法も述べよ。

📐 数式または定義

regression line の定義や代表的な数式を以下に示す。 数式の各記号の意味は次節で言葉に翻訳する。

regression line は文脈に応じて複数の定式化があるが、 教育目的では最も基本的な形を抑えることが重要。 具体的な値での計算例は後続セクションを参照。

$$\text{regression line}: f(\mathbf{X}, \boldsymbol{\theta}) \to y$$

記号の対応はこうです。 $x_i$ は $i$ 番目の県の説明変数、 $y_i$ は目的変数、 $\hat{y}_i$ は回帰直線が返す予測値（実測 $y_i$ と区別するためのハット）。 $i = 1, \dots, 47$ は 47 都道府県を走る添字です。 $\hat{\beta}_1$ は傾きで、 分子 $\sum (x_i - \bar{x})(y_i - \bar{y})$ が共分散の $n$ 倍、 分母 $\sum (x_i - \bar{x})^2$ が$x$ の分散の $n$ 倍。 つまり $\hat{\beta}_1 = \mathrm{Cov}(x,y) / \mathrm{Var}(x)$ です。 $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$ という形から、 回帰直線は必ず平均点 $(\bar{x}, \bar{y})$ を通ることが読み取れます。 ハットの付いた記号は「データから推定した値」で、 真の値 $\beta$ とは区別します。

🔬 「回帰直線」を深く理解する

🔬 「回帰直線」を深く理解する

回帰直線の性質

• 必ず (x̄, ȳ) を通る
• 傾き = r × (s_y/s_x)（相関と標準偏差比の積）
• x→y と y→x の2つの回帰直線は同じではない（点 (x̄, ȳ) で交わる）
• 2つの傾きの積 = r²

歴史

Galton（1885）が身長の親子関係を研究中に発見。 「平均への回帰」現象。 子は親より平均に近づく傾向 → これが「regression（回帰）」の名前の由来。

📝 練習問題 — 理解度チェック

1. この用語の基本定義を、 自分の言葉で説明できますか？
2. この手法が使われる典型的なシナリオを3つ挙げられますか？
3. この手法の前提条件・仮定を確認できますか？
4. 結果を解釈する際の注意点は何ですか？
5. 類似手法との違いを説明できますか？
6. Python（または他言語）で実装できますか？
7. SSDSE データで応用例を作成できますか？

回帰直線 $\hat y = a + b x$ の数式は短いが、 各記号には5 つの言葉が同時に詰まっています。 計算で機械的に出るのは a と b だけですが、 それを支える $\bar x$ ・ $\bar y$ ・ $S_{xx}$ ・ $S_{xy}$ それぞれが「どんな質問に答えているか」を見ていきます。

記号 → 言葉 → 役割

「直線が必ず $(\bar x, \bar y)$ を通る」の意味

最小二乗法の正規方程式の第一式は、 残差の和が 0 になることを保証します。 残差の和が 0 ということは、 平均で見ると過大予測も過小予測も打ち消し合うということです。 これが「直線が必ず $(\bar x, \bar y)$ を通る」という性質に直結します。 SSDSE-B-2026 で 47 都道府県の点を眺めながらこの一点を強調すると、 「外れ値が偏る方向に直線が引っ張られる」イメージが直感で掴めます。

$b$ の符号と相関係数の符号は必ず一致する

$b = S_{xy}/S_{xx}$、 $r = S_{xy}/\sqrt{S_{xx} S_{yy}}$。 分母は常に正なので、 $b$ と $r$ の符号は $S_{xy}$ の符号で同じになります。 したがって「相関が正なら傾きも正、 相関が負なら傾きも負」 — 別々の概念に見えて、 符号の情報源は同一です。

🧮 SSDSE-B-2026 実値計算 — 標準地価から消費支出を予測

47 都道府県データ（2023 年）を使い、 単回帰 消費支出 = a + b × 標準地価 を最小二乗法で推定します。

① 単回帰の手計算

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
import numpy as np
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]
x = df['C5401'].to_numpy()
y = df['L3221'].to_numpy()
b = np.cov(x, y, ddof=1)[0,1] / np.var(x, ddof=1)
a = y.mean() - b * x.mean()
yhat = a + b * x
ss_res = ((y - yhat)**2).sum()
ss_tot = ((y - y.mean())**2).sum()
r2 = 1 - ss_res/ss_tot
print(f'a = {a:.2f}, b = {b:.4f}, R² = {r2:.3f}')

② 出力例

🧮 数式に値を入れて手で計算する: 回帰直線の予測（SSDSE-B-2026 総人口→生産年齢人口）

SSDSE-B-2026 (2023) で「総人口 x（百万人）→ 生産年齢人口 y（百万人）」を 47 件で OLS した結果 ŷ = -0.128 + 0.643·x （切片約 -0.13, 傾き 0.64）を、 5 都道府県の実人口に当てはめる。

Step 1: 5 都道府県の x→ŷ

Step 2: 検算（東京都 x=14.09）

🐍 Python で再現

1
2
3

def yhat(x): return -0.128 + 0.643*x  # SSDSE-B-2026 47都道府県 OLS 結果
for name, x in [('鳥取',0.54),('北海道',5.09),('千葉',6.26),('愛知',7.48),('東京',14.09)]:
    print(f"{name} x={x}: ŷ={yhat(x):.3f} 百万人")

📤 実行結果

💬 手計算 (Step 2) 8.932 と Python 出力が完全一致。 回帰直線が「総人口 1 百万人増 → 生産年齢人口 約 64 万人増」という人口構成上妥当な感覚を 1 式で表す。

🎮 触って理解する

スライダーで自分の手で直線を動かし、 残差平方和 (SSE) をどこまで小さくできるか挑戦してみましょう。 図の空白部分をクリック / タップすると点を追加、 点をドラッグすると移動できます。 各点から直線へ伸びる赤い縦線が残差 (予測誤差) で、 その二乗の総和が SSE です。 「📉 最小二乗解を表示」を押すと、 数式 b = Cov(x,y)/Var(x)・a = ȳ − b·x̄ で計算した本当の回帰直線 (青破線)と、 あなたの手動の直線 (緑)を見比べられます。

💡 直感 — なぜ「二乗和の最小」なのか

スライダーを動かすと、 直線の位置に応じて赤い残差の長さが伸び縮みし、 SSE がリアルタイムで変わります。 傾き b と切片 a の 2 つのつまみを回して SSE をどんどん下げていくと、 ある一点でそれ以上下がらなくなる — これが最小二乗解です。 手作業では谷底を探り当てるのに苦労しますが、 数式 b = Cov(x,y)/Var(x)・a = ȳ − b·x̄ はこの谷底を一発で計算してくれます。 「📉 最小二乗解を表示」で答え合わせをすると、 あなたが手で見つけた直線が青破線にどれだけ近いか分かります。 残差の「和」ではなく「二乗和」を使うのは、 正負が打ち消し合わないようにし、 かつ大きな外れに強くペナルティを与えるためです。

⚠️ よくある落とし穴 — このミニ実験で体感できること

• 外れ値への感応：右端や上方にポツンと 1 点を追加してドラッグしてみてください。 その 1 点だけで最小二乗直線 (青) が大きく傾きます。 二乗和はてこ比の高い点に引っ張られやすい、 という 外れ値 の性質が目で見えます。
• 外挿の危うさ：点は x の範囲内にしか置けません。 直線を範囲外へ延ばした先の予測は、 データが 1 つも無い領域の当てずっぽうです。 図の端でも自信を持ってはいけません。
• 相関 ≠ 因果：点を右肩上がりに並べれば R² は 1 に近づきますが、 それは「x で y を予測できる」というだけで「x が y の原因」を意味しません。 きれいな直線ほどこの誤読が起きやすいので注意です。
• R² が負になる：わざと的外れな直線にすると R² がマイナスになります。 R² = 1 − SSE/SS_tot は「平均で予測するより悪い直線」ではマイナスになり得る、 という定義そのものを確認できます。

🚀 発展 — この先へ

• 最小二乗法 (OLS)：ここで手作業した「二乗和最小化」を微分で解くと、 b = Cov/Var の公式が導けます。
• 共分散 と 相関係数：傾き b の分子は共分散、 標準化すると b は相関係数 r に一致します。
• 残差 と 決定係数 R²：赤い縦線 (残差) の二乗和が SSE、 それを使った適合度指標が R² です。
• 散布図 と ロバスト統計：外れ値に振り回されない当てはめには、 二乗和ではなく絶対値や Huber 損失を使うロバスト回帰が有効です。

🐍 Python での回帰直線描画

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

# ── 回帰直線の例で使うデータを用意します（47 都道府県）──
import numpy as np
import pandas as pd

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_df['総人口'] = pd.to_numeric(_df['総人口'], errors='coerce')
_df['消費支出（二人以上の世帯）'] = pd.to_numeric(_df['消費支出（二人以上の世帯）'], errors='coerce')
_df = _df.dropna(subset=['総人口', '消費支出（二人以上の世帯）'])

x = _df['総人口'].to_numpy(dtype=float)          # 説明変数
y = _df['消費支出（二人以上の世帯）'].to_numpy(dtype=float)   # 目的変数
df = _df

import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
from scipy import stats

# 散布図 + 回帰直線
plt.scatter(x, y, alpha=0.6)

# scipy で計算
slope, intercept, r, p, se = stats.linregress(x, y)
xx = np.linspace(x.min(), x.max(), 100)
plt.plot(xx, slope*xx + intercept, 'r-', lw=2)
plt.text(0.05, 0.95, f'y = {slope:.5f}x + {intercept:.2f}\nR² = {r**2:.3f}',
         transform=plt.gca().transAxes)

# seaborn で簡単に
sns.regplot(x=x, y=y, ci=95)  # 信頼区間付き
sns.regplot(x=x, y=y, lowess=True)  # 非線形平滑化

🚧 落とし穴と注意点

• サンプルサイズを確認（小標本では結果が不安定）
• 仮定の検証（正規性、 独立性、 等分散性）
• 外れ値の影響を散布図で確認
• 多重比較問題（複数検定時は補正を）
• p値だけで判断しない、 効果量と信頼区間を併記
• 因果関係を主張するには別の根拠が必要

🐍 Python 実装バリエーション

A. scipy.stats.linregress（最も簡潔・p 値付き）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# ── 回帰直線の例で使うデータを用意します（47 都道府県）──
import numpy as np
import pandas as pd

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_df['総人口'] = pd.to_numeric(_df['総人口'], errors='coerce')
_df['消費支出（二人以上の世帯）'] = pd.to_numeric(_df['消費支出（二人以上の世帯）'], errors='coerce')
_df = _df.dropna(subset=['総人口', '消費支出（二人以上の世帯）'])

x = _df['総人口'].to_numpy(dtype=float)          # 説明変数
y = _df['消費支出（二人以上の世帯）'].to_numpy(dtype=float)   # 目的変数
df = _df

from scipy import stats
r = stats.linregress(x, y)
print(r.slope, r.intercept, r.rvalue**2, r.pvalue, r.stderr)

B. numpy.polyfit（多項式回帰にも拡張可）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

# ── 回帰直線の例で使うデータを用意します（47 都道府県）──
import numpy as np
import pandas as pd

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_df['総人口'] = pd.to_numeric(_df['総人口'], errors='coerce')
_df['消費支出（二人以上の世帯）'] = pd.to_numeric(_df['消費支出（二人以上の世帯）'], errors='coerce')
_df = _df.dropna(subset=['総人口', '消費支出（二人以上の世帯）'])

x = _df['総人口'].to_numpy(dtype=float)          # 説明変数
y = _df['消費支出（二人以上の世帯）'].to_numpy(dtype=float)   # 目的変数
df = _df

b, a = np.polyfit(x, y, deg=1)
print(a, b)
# 2次多項式に拡張
c2, c1, c0 = np.polyfit(x, y, deg=2)

C. statsmodels.OLS（標準誤差・CI・診断統計を完備）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

# ── 回帰直線の例で使うデータを用意します（47 都道府県）──
import numpy as np
import pandas as pd

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_df['総人口'] = pd.to_numeric(_df['総人口'], errors='coerce')
_df['消費支出（二人以上の世帯）'] = pd.to_numeric(_df['消費支出（二人以上の世帯）'], errors='coerce')
_df = _df.dropna(subset=['総人口', '消費支出（二人以上の世帯）'])

x = _df['総人口'].to_numpy(dtype=float)          # 説明変数
y = _df['消費支出（二人以上の世帯）'].to_numpy(dtype=float)   # 目的変数
df = _df

import statsmodels.api as sm
X = sm.add_constant(x)
m = sm.OLS(y, X).fit()
print(m.summary())
print(m.conf_int(alpha=0.05))

D. sklearn.linear_model.LinearRegression（パイプライン向け）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# ── 回帰直線の例で使うデータを用意します（47 都道府県）──
import numpy as np
import pandas as pd

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_df['総人口'] = pd.to_numeric(_df['総人口'], errors='coerce')
_df['消費支出（二人以上の世帯）'] = pd.to_numeric(_df['消費支出（二人以上の世帯）'], errors='coerce')
_df = _df.dropna(subset=['総人口', '消費支出（二人以上の世帯）'])

x = _df['総人口'].to_numpy(dtype=float)          # 説明変数
y = _df['消費支出（二人以上の世帯）'].to_numpy(dtype=float)   # 目的変数
df = _df

from sklearn.linear_model import LinearRegression
lr = LinearRegression().fit(x.reshape(-1,1), y)
print(lr.intercept_, lr.coef_, lr.score(x.reshape(-1,1), y))

E. ロバスト回帰（外れ値耐性）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# ── 回帰直線の例で使うデータを用意します（47 都道府県）──
import numpy as np
import pandas as pd

_df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
_df = _df[_df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
_df['年度'] = pd.to_numeric(_df['年度'], errors='coerce')
_df = _df[_df['年度'] == _df['年度'].max()]
_df['総人口'] = pd.to_numeric(_df['総人口'], errors='coerce')
_df['消費支出（二人以上の世帯）'] = pd.to_numeric(_df['消費支出（二人以上の世帯）'], errors='coerce')
_df = _df.dropna(subset=['総人口', '消費支出（二人以上の世帯）'])

x = _df['総人口'].to_numpy(dtype=float)          # 説明変数
y = _df['消費支出（二人以上の世帯）'].to_numpy(dtype=float)   # 目的変数
df = _df

import statsmodels.api as sm
rlm = sm.RLM(y, sm.add_constant(x), M=sm.robust.norms.HuberT()).fit()
print(rlm.params)

⚠️ 回帰直線の落とし穴 7 連発

🌐 データサイエンス全体像での位置づけ

データサイエンスのワークフロー

1. ビジネス理解：何を解決したいか
2. データ理解：どんなデータがあるか
3. データ準備：前処理、 特徴量エンジニアリング
4. モデリング：手法選択、 学習
5. 評価：性能、 解釈性、 ビジネス価値
6. 展開：実装、 運用、 監視

(CRISP-DM プロセスより)

💡 この 6 工程はデータ分析全般の流れで、 この用語だけの話ではない。 回帰直線は「モデリング」で当てはめ、 「評価」で残差を見る。 この 2 工程をまたぐ。

主要分野のマッピング

キャリアパス

• データアナリスト：記述統計、 可視化、 BI
• データサイエンティスト：機械学習、 統計モデリング
• 機械学習エンジニア：モデル実装、 デプロイ、 MLOps
• 統計学者・計量経済学者：因果推論、 統計的検定
• 研究者：新しい手法開発

💎 良いデータ分析のための10のコツ

1. 必ず可視化から始める：散布図、 ヒストグラム、 箱ひげ図
2. 外れ値を意識する：除く前にドメイン的に理解
3. 仮定を確認する：正規性、 独立性、 等分散性
4. サンプルサイズに見合う複雑性：n=10 で深層学習はしない
5. 効果量も併記する：p値だけでは不十分
6. 信頼区間で不確実性を示す：点推定だけでは誤解の元
7. 多重比較を補正する：探索的解析でも誠実に
8. ホールドアウト or CV で評価する：訓練データの精度は意味がない
9. 解釈可能性も重視する：ブラックボックスより white-box
10. 再現可能なコードを書く：random_seed、 バージョン管理

🔗 用語間の関係 — 統計概念のネットワーク

記述統計の基本セット

これらは互いに深く関連します：

• 平均：データの重心 → 偏差の合計はゼロ
• 分散：偏差の二乗の平均 → 平均からの広がり
• 標準偏差：分散の平方根 → 元の単位
• 共分散：2変数の偏差の積の平均 → 一緒に動くか
• 相関係数：共分散を標準偏差で割ったもの → 単位なし

推測統計の基本セット

• 標準誤差：推定値のばらつき = σ/√n
• 信頼区間：x̄ ± z × SE
• p値：H₀ のもとでの確率
• 有意水準 α：許容する第一種誤り率
• 検出力 1-β：差を見つける確率
• 効果量：差の大きさ（標準化済み）

回帰モデルファミリー

• 単回帰：1変数 → 1変数の予測
• 重回帰：多変数 → 1変数
• Ridge：L2正則化付き重回帰
• LASSO：L1正則化（変数選択付き）
• Elastic Net：L1+L2の組合せ
• ロジスティック回帰：分類用
• ポアソン回帰：カウントデータ用

クラスタリング・次元削減ファミリー

• k-means：分割クラスタリング
• 階層クラスタリング：ツリー構造
• Ward法：分散最小化の階層クラスタリング
• DBSCAN：密度ベース
• PCA：線形次元削減
• 因子分析：潜在因子モデル
• t-SNE, UMAP：非線形次元削減

検定ファミリー

• t検定：1〜2 群の平均比較
• F検定（ANOVA）：3群以上の平均比較
• χ²検定：カテゴリ変数の独立性
• Mann-Whitney U：t検定のノンパラ版
• Kruskal-Wallis：ANOVAのノンパラ版
• Wilcoxon：対応のあるt検定のノンパラ版

📖 包括的解説 — この概念を完全マスター

📍 学習の3ステップ

1. 定義を理解する：この概念は何か？ 数式や条件を確認
2. 具体例を見る：実データ（SSDSE 等）で計算してみる
3. 応用する：自分のデータに適用、 結果を解釈

🔧 Python実装パターン

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 基本パターン
import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

# 基本統計量
df.describe()

# 可視化
sns.pairplot(df[['食料費（二人以上の世帯）', '教育費（二人以上の世帯）', '住居費（二人以上の世帯）']])
plt.show()

📚 統計概念マップでの位置

このページの上にある3つの概念マップ（関係マップ、 包含マップ、 ツリーマップ）でこの概念の位置づけが視覚的に分かります。 関連手法を辿って学習を進めましょう。

🎯 SSDSE-B-2026 で挑戦

統計データ活用コンペティションのSSDSE-B-2026データは、 47都道府県の社会経済データ。 この概念を使って以下のような分析ができます：

• 地域別の特徴抽出
• 家計支出パターンの解析
• 人口動態と社会経済指標の関連
• 気候要因の影響評価

💡 よく使うコマンド集

🚧 一般的な落とし穴と対策

• 外れ値の影響：散布図・ 箱ひげ図で確認、 ロバスト手法も検討
• サンプルサイズ不足：power analysis で事前に確認
• 仮定の違反：正規性、 独立性、 等分散性をチェック
• 多重比較問題：補正（Bonferroni、 FDR）を適用
• p-hacking：事前登録（pre-registration）で防ぐ
• 因果と相関の混同：観察データから因果結論を出さない

📊 結果報告の標準フォーマット

• 点推定：得られた値
• 不確実性：信頼区間または標準誤差
• サンプルサイズ：n を明記
• 効果量：実質的な意義
• p値：統計的有意性
• 仮定の確認：診断プロット

🌐 関連分野での応用

• マーケティング：A/Bテスト、 顧客分析
• 医療：臨床試験、 疫学研究
• 金融：リスク管理、 ポートフォリオ
• 製造：品質管理、 工程最適化
• 公共政策：効果評価、 計画立案
• 研究：仮説検証、 探索的解析

🎓 さらに学ぶための文献

• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression"
• VanderPlas "Python Data Science Handbook"

🔗 統計用語ネットワーク

この概念は、 他の多くの統計概念と密接に関連しています。 ジャストインタイム型学習では、 必要に応じて関連用語へジャンプしながら全体像を構築します。

主要な関連概念のグループ

学習順序の推奨

1. 記述統計（平均、 分散、 標準偏差）
2. 可視化（ヒストグラム、 散布図）
3. 確率分布（正規分布）
4. 推測統計（標準誤差、 信頼区間、 p値）
5. 仮説検定（t検定、 χ²検定）
6. 相関と回帰（単回帰、 重回帰）
7. 多変量解析（PCA、 クラスタリング）
8. 機械学習（決定木、 RF、 NN）
9. 時系列・因果推論（応用）

📝 実践練習 — SSDSE-B-2026 で挑戦

初級課題

1. 東北6県の家計食料費の基本統計量を計算
2. 食料費のヒストグラムを描く
3. 食料費と教育費の散布図を描く
4. 都道府県を「東日本/西日本」に分け、 平均を比較

中級課題

1. 家計支出 5項目で相関行列を作成、 ヒートマップ可視化
2. 食料費 → 教育費の単回帰を実行、 残差分析
3. 家計5項目で PCA を実施、 バイプロット表示
4. k-means (k=3) で都道府県をクラスタリング、 解釈

上級課題

1. 地域別の家計パターンに有意差があるか ANOVA で検定
2. 重回帰で教育費を予測、 多重共線性を VIF で確認
3. Ridge/LASSO で正則化、 CV で α を最適化
4. 階層クラスタリングと Ward 法で都道府県を分類、 デンドログラム作成

🔗 さらに学ぶための関連用語

このトピックの理解を深めるには、 以下の関連概念も合わせて学習することをお勧めします。 概念マップから直接ジャンプできます：

• 基礎：平均、 分散、 標準偏差、 相関係数
• 推測：信頼区間、 p値、 標準誤差、 有意水準
• 関連手法：他の検定・回帰モデル
• 応用：機械学習での実装

🔗 関連用語（前提・並列・発展）

📘 前提となる用語

• 相関係数 — 傾き b と R = b · SD_x/SD_y の関係。
• 分散・共分散 — 傾きの計算で直接使う量。
• 最小二乗法 — 残差二乗和を最小化する原理。
• 散布図 — 視覚で関係性を確認する第一手。

⚖️ 並列で比較する用語

• 重回帰 — 説明変数が複数のとき。
• ロジスティック回帰 — 目的変数が二値のとき。
• Ridge / LASSO — 正則化付きの線形回帰。
• LOESS / スプライン — ノンパラ的滑らかな関係。

🚀 発展で学ぶ用語

• 残差分析 — モデル診断の中心。
• 多重共線性 — 説明変数が相関しているとき。
• 不均一分散 — 残差の散らばりが一定でない問題。
• 分位点回帰 — 平均ではなく分位点を予測。
• ベイズ回帰 — 係数の事後分布を得る。

📚 参考文献・さらなる学習

📚 参考文献・さらなる学習

古典的教科書

• Casella & Berger "Statistical Inference"
• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression and Multilevel/Hierarchical Models"

実践書

• VanderPlas "Python Data Science Handbook"
• McKinney "Python for Data Analysis"
• James, Witten, Hastie & Tibshirani "An Introduction to Statistical Learning"

オンラインリソース

• scikit-learn 公式ドキュメント
• statsmodels 公式ドキュメント
• scipy.stats リファレンス
• SSDSE データ（統計データ活用コンペティション）

💼 実務応用ガイド

データサイエンスプロジェクトでの位置づけ

1. 探索的分析（EDA）：基本統計量・可視化でデータを理解
2. 前処理：標準化・正規化・欠損値処理
3. モデリング：回帰・分類・クラスタリング
4. 評価：CV、 指標計算、 統計的検定
5. 解釈・報告：効果量・信頼区間・可視化

業界別ユースケース

• マーケティング：顧客セグメンテーション、 ROI 分析、 A/Bテスト
• 金融：ポートフォリオ最適化、 リスク評価、 信用スコアリング
• 医療：臨床試験、 疫学研究、 診断モデル
• 製造：品質管理、 予測保全、 工程最適化
• 公共政策：社会統計、 政策効果分析、 計画立案

📖 完全ガイド — 統計学習の参照表

分析の流れ — 8ステップ

1. 問題定義：何を知りたいのか、 目的を明確に
2. データ収集：信頼できるソースから（SSDSEなど公的データ）
3. データクリーニング：欠損値、 外れ値、 入力ミスの確認
4. 探索的分析（EDA）：要約統計量、 ヒストグラム、 散布図
5. 変数変換：標準化、 対数変換、 カテゴリのエンコード
6. モデリング：適切な手法を選び、 学習
7. 評価：CV、 指標、 統計的検定
8. 解釈・報告：効果量、 信頼区間、 可視化

統計手法の選び方マトリクス

サンプル数別の手法ガイド

Python 主要ライブラリ早見表

よくある質問（FAQ）

• Q: 正規分布じゃないデータをどう扱う？
  A: 対数変換、 Box-Cox 変換、 ノンパラ検定、 ブートストラップ
• Q: 外れ値を除くべき？
  A: ドメイン知識で判断。 機械的に除くより、 ロバスト手法を検討
• Q: サンプルサイズはいくつあれば十分？
  A: 効果量と検出力から事前計算（power analysis）
• Q: p < 0.05 で「効果あり」と結論していい？
  A: 効果量と信頼区間も併記。 多重比較補正も
• Q: 相関があれば因果がある？
  A: ない。 RCT、 IV、 DiD などの因果推論手法が必要

📓 用語のまとめ — 30秒で理解

このページで扱った概念を、 学習効率のためにまとめます。 これを毎日見ることで、 統計の基礎が体に染み込みます。

必ず押さえるべき記号

💡 統計学・データサイエンスは「記号の意味を理解する」ことが最初の壁。 各記号が何を表すか、 公式の中での役割を覚えてしまえば、 後はパターンの組合せで様々な手法が理解できます。

回帰直線は単一の式ですが、 「単回帰 → 多重回帰 → 一般化線形モデル → 機械学習回帰」という階段の最初の段です。 SSDSE-B-2026 を題材にこの階段を上ると、 「線が動く理由」を 4 つの段階で体得できます。

このページから飛べる主要グループ教材

• 処置群・対照群 グループ教材 — 回帰直線の傾きを「因果効果」として読むときの落とし穴を扱います。
• 時系列グループ教材 — 時系列回帰における自己相関と通常の OLS の違いを整理します。
• クラスタリング・グループ教材 — 「直線では説明できない構造」をクラスタで掴むための入り口。

SSDSE-B-2026 における回帰直線学習の流れ（推奨）

1. 散布図で 2 変数の関係を眺める。
2. 相関係数で線形連動の強さを確認する。
3. 単回帰で傾きと切片を計算する。
4. 多重回帰に進み、 他要因をコントロールした上での傾きを得る。
5. ロバスト統計で外れ値に強い回帰へ移行する。

到達目標

• 「単回帰の傾き」と「多重回帰の偏回帰係数」の意味の違いを言語化できる。
• SSDSE-B-2026 で東京都・沖縄県のような点が直線の傾きをどれだけ動かすか実験できる。
• 回帰直線 → GLM → 機械学習という抽象化の階段を上れる。

❓ よくある質問 — 回帰直線の実務 12 問

Q1. 回帰直線と相関係数はどう違うか

相関係数は強さと方向を 1 つの数字で要約、 回帰直線は予測の関係式。 相関 0.7 でも傾きが大きいか小さいかは別問題。

Q2. 切片に意味はあるか

x=0 が実データの範囲外なら、 切片自体は解釈不要。 SSDSE-B-2026 で「標準地価 0 円/㎡ の県」は存在しないので、 切片は「直線が $(\bar x, \bar y)$ を通すための調整」に過ぎない。

Q3. 単回帰と多重回帰のどちらを使うべきか

説明変数候補が複数あり、 それらが互いに相関しているなら多重回帰。 単回帰の傾きは「他要因をコントロールしていない」ことを忘れない。

Q4. 外れ値が傾きに与える影響

右端や左端の単一外れ値は傾きを大きく動かす。 SSDSE-B-2026 で東京都を含む/除外する分析を必ず両方行うこと。

Q5. ロバスト回帰はいつ使うか

残差プロットで明らかな外れ値が見えるとき、 または分布が重い裾を持つとき。 Huber 損失や Theil-Sen 推定量が選択肢。

Q6. 信頼区間と予測区間の違い

信頼区間は回帰直線の位置の不確実性、 予測区間は個別観測値の不確実性。 予測区間の方が常に広い。

Q7. 残差プロットで何を確認するか

(1) ランダムに散らばっているか（線形性）、 (2) 一定の幅を保つか（等分散性）、 (3) 正規分布に近いか（正規性）、 (4) 個別に大きな点はないか（外れ値・てこ）。

Q8. 多重共線性は回帰直線に影響するか

単回帰では関係ない。 多重回帰では係数の標準誤差が爆発し、 解釈不能になる。 VIF が 10 を超えると要警戒。

Q9. 「相関は因果でない」を超えるには

無作為化、 自然実験、 操作変数、 DID、 RDD のいずれかが必要。 通常の回帰直線では因果は語れない。

Q10. 多項式回帰と線形回帰

$y = a + b x + c x^2$ はパラメータについては線形なので OLS で推定可能。 形状を変えてフィットさせたいときに使う。

Q11. 回帰直線と機械学習回帰の違い

線形回帰は「解釈可能 ・ 漸近性質が確立 ・ 推論可能」、 ML 回帰（XGBoost ・ NN）は「予測性能 ・ ブラックボックス」。 用途で使い分ける。

Q12. 標準誤差・p 値の解釈

p 値は「真の傾きが 0 だったとして、 この大きさの傾きが偶然出る確率」。 効果量も併せて報告する。 p < 0.05 だけで議論しない。

📋 ケーススタディ — SSDSE-B-2026 で回帰直線が変わる 4 シナリオ

シナリオ A: 全 47 県でフィット

標準地価と消費支出で単回帰。 傾きは正だが弱く（r ≈ 0.31）、 「地価 1,000 円/㎡ 増で消費 116 円増」程度の関係。 ただし東京都が右上に大きく離れ、 傾きを支配している。

シナリオ B: 東京都を除外

東京都を除外すると、 残り 46 県では傾きがやや小さくなる可能性が高い。 これは「東京都が傾きを引っ張っていた」ことの証拠。

シナリオ C: ログ変換

標準地価 ・ 消費の両方を log 化してから回帰すると、 傾きは「弾力性」になる。 つまり「地価 1% 増で消費 0.X% 増」と読み替えられる。

シナリオ D: 高齢化率で層別

高齢化率の中央値で県を 2 群に分け、 群別に回帰すると傾きが異なる。 これは「異質処置効果」の入り口で、 相互作用項を入れる動機になる。

📖 回帰直線関連用語ミニ辞典 — 12 語

回帰直線

y = a + bx の関係式。 OLS で a, b を決定。

傾き (slope)

x が 1 単位増えたときの y の平均変化量。

切片 (intercept)

x=0 のときの y の予測値。 解釈は文脈依存。

残差 (residual)

観測値 - 予測値。 直線で説明できなかった部分。

決定係数 R^2

y の分散のうち回帰直線で説明される割合。

標準誤差

傾き・切片の推定値のばらつき。

OLS (Ordinary Least Squares)

残差二乗和最小化による直線フィッティング。

等分散性 (homoscedasticity)

残差の分散が x に依存しない性質。

異分散性 (heteroscedasticity)

残差の分散が x で変わる性質。 White SE で対処。

外れ値の影響

てこ比 (leverage) と Cook 距離で評価。

ロバスト回帰

Huber ・ Theil-Sen など外れ値に強い回帰族。

予測区間

個別観測値の不確実性。 信頼区間より広い。

✨ ベストプラクティス集 — 回帰直線を引く作法 12 箇条

1. 必ず散布図を先に描く。 数値だけで回帰係数を信じない。
2. 残差プロットを 4 種類描く（vs x, vs ŷ, Q-Q, レバレッジ）。
3. 外れ値の影響を Cook 距離 ・ DFFITS で評価する。
4. 信頼区間と予測区間を区別して報告する。
5. 変換（log ・ Box-Cox）を躊躇わない。
6. OLS の仮定（線形・独立・等分散・正規）を必ず確認。
7. 異分散があれば White SE で標準誤差を補正。
8. 外れ値があればロバスト回帰を併用。
9. 切片の解釈は文脈に合わせて控えめに。
10. 多項式 ・ 相互作用は VIF をチェック。
11. 多重共線性が強ければ Ridge ・ Lasso へ。
12. 因果を語るなら回帰直線では足りない。 設計を強化。

📝 練習問題 — SSDSE-B-2026 で回帰直線分析 4 タスク

練習 1: 単回帰

「標準地価 → 消費支出」の単回帰を全 47 県で実施し、 傾き ・ 切片 ・ R^2 を報告せよ。

練習 2: 外れ値の影響

東京都を除外して再フィットし、 傾きがどれだけ変わるかを定量化せよ。

練習 3: ログ変換

両変数を log 化して再フィットし、 傾きの解釈が「弾力性」になることを確認せよ。

練習 4: 残差診断

残差 vs 予測値、 Q-Q プロット、 Cook 距離プロットを描き、 OLS の仮定がどこで崩れるかを特定せよ。

📜 歴史的文脈 — 回帰直線の発展

「回帰」という用語は Galton (1886) の身長研究に由来します。 親の身長と子の身長の関係を調べた Galton は、 親の身長が平均から離れているほど、 子の身長は平均に「回帰」する傾向を見出し、 これを regression toward the mean と名付けました。

歴史的マイルストーン

• 1805: Legendre が最小二乗法を発表。
• 1809: Gauss が正規分布と最小二乗法の関係を示す。
• 1886: Galton が「回帰」の概念を導入。
• 1896: Pearson が相関係数を体系化。
• 1922: Fisher が最尤推定法を提唱。
• 1959: Gauss-Markov 定理が現代的に再定式化。
• 1970-80 年代: ロバスト回帰の発展（Huber, Tukey, Rousseeuw）。
• 2000 年代: スパース回帰 (Lasso, Elastic Net) の隆盛。

✅ 回帰直線フィッティングの最終チェックリスト 12 項目

1. 散布図を回帰前に必ず描いたか。
2. 残差 vs x、 残差 vs ŷ、 Q-Q プロット、 レバレッジプロットの 4 種類を確認したか。
3. Cook 距離 ・ DFFITS で外れ値の影響を評価したか。
4. 信頼区間と予測区間を区別して報告したか。
5. 変換（log ・ Box-Cox）の選択肢を検討したか。
6. OLS の 4 仮定（線形性 ・ 独立性 ・ 等分散性 ・ 正規性）を確認したか。
7. 異分散があれば White SE で標準誤差を補正したか。
8. 外れ値があればロバスト回帰を併用したか。
9. 切片の解釈を文脈に合わせて控えめに行ったか。
10. 多重共線性が強ければ Ridge ・ Lasso を検討したか。
11. 因果を語る場合、 設計（無作為化 ・ IV ・ DID ・ RDD）を強化したか。
12. SSDSE-B-2026 で東京都を含む/除外する 2 通りの分析を行ったか。

📝 まとめノート — 回帰直線

このページは「回帰直線」を SSDSE-B-2026 (47 都道府県 × 多変量) を題材に体系的に学ぶための一気通貫の教材です。 単なる用語定義集ではなく、 「直感 → 数式 → 実装 → 落とし穴 → 関連手法」 という流れで一周することで、 業務での意思決定にそのまま使える知識に組み上げます。

本ページで取り上げた手法・記号・コード例は、 すべて実データの 47 都道府県を入力として動作する形にしてあります。 合成データに依存しないため、 SSDSE-B-2026 を data/raw/SSDSE-B-2026.csv として配置するだけでコード片を再現できます。

関連グループ教材へのリンクを使い、 「この用語が属する大きな分野」を俯瞰してから戻ってくると、 知識が一段抽象化された形で定着します。 用語ページは点、 グループ教材は線、 概念マップは面 — 三層を往復しながら学習を進めてください。

本ページの内容に不足を感じたら、 相関ページ（correlation.html）を参照基準として、 ご自身の解釈を加筆していくことを推奨します。 教材の完成形ではなく、 学習者自身の理解の出発点として位置付けてください。

最後に、 SSDSE-B-2026 の 47 都道府県データは「N=47 と少ない」という構造的制約があります。 統計検定の漸近近似が崩れる場面、 単一の県（東京都・沖縄県）が全体傾向を支配する場面、 標準誤差が過小評価される場面 — これらは本ページの随所で繰り返し注意喚起しました。 「実データの小ささを軽視しない」 という姿勢が、 実務でのデータサイエンティストの基本姿勢です。

🗺️ 概念マップ — 3つの視点で体系を理解する

回帰直線 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 関連・回帰 › 回帰 › 回帰直線

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に 回帰直線 を置き、 そこから 単回帰・散布図・OLS・重回帰・相関係数・ヒストグラム など 計 8 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「回帰直線」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「回帰直線」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは 回帰直線 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 回帰 → 回帰直線 という入れ子の位置を示します。 「回帰には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

📌 補足セクション — 回帰直線を SSDSE-B-2026 で確かめる

本セクションは「回帰直線」を 47都道府県データ（SSDSE-B-2026）で具体的に確認するための追加教材です。 例として総人口を説明変数、 高齢人口（65歳以上人口）を目的変数とした直線を扱います。

🎨 直感で掴む — 回帰直線

📐 数式または定義

🧮 実値で計算してみる — 回帰直線

1
2

# 最小コード（直書き）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

# 2023 年の 47都道府県スナップショット
sub = df[df['SSDSE-B-2026'] == 2023].copy()
x = sub['A1101'].astype(float)   # 総人口
y = sub['A1303'].astype(float)   # 高齢人口（65歳以上人口）

# 回帰直線の基礎統計
x_mean, y_mean = x.mean(), y.mean()
beta1 = ((x - x_mean) * (y - y_mean)).sum() / ((x - x_mean) ** 2).sum()
beta0 = y_mean - beta1 * x_mean

print(f'n = {len(x)}')             # 47
print(f'beta1 = {beta1:,.4f}')     # 傾き 0.2458
print(f'beta0 = {beta0:,.4f}')     # 切片 120,545.05
print(f'相関係数 = {x.corr(y):.4f}')  # 0.99+ になる

# 残差・決定係数も計算
y_hat = beta0 + beta1 * x
resid = y - y_hat
ss_res = (resid ** 2).sum()
ss_tot = ((y - y_mean) ** 2).sum()
r2 = 1 - ss_res / ss_tot
print(f'R^2 = {r2:.4f}')

⚠️ 補足の落とし穴

• 都道府県データはサンプルサイズ 47 が固定：標本数を増やせないため、 統計的検定の検出力は中程度に留まります。 解釈時にこの限界を意識してください。
• スケールの違い：総人口（百万単位）と消費支出（十万単位）など、 桁が大きく異なる変数は標準化して扱うのが安全です。
• 東京・大阪等の影響点：少数の大都市が回帰や相関の結果を大きく動かすことがあります。 影響統計量（てこ比、 クックの距離）の確認を推奨します。

🔗 関連用語（補足リンク）

🔗 隣接手法への橋渡し

「回帰直線」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。

• 上流: 散布図 で 2 変数の関連を確認した後、 最小二乗法 で 残差 の二乗和を最小化して引く
• 並列: 相関係数 は直線の「強さ」、 回帰直線は「式」。 分位点回帰 は外れ値に強い代替直線
• 下流: 直線の 傾き・切片 を解釈し、 予測 や 予測区間 による不確実性評価へ進む

47 都道府県データに「y = β₀ + β₁x」の 1 本の直線 を当てはめることで、 ばらついた点群を 2 つのパラメータに圧縮し、 解釈と予測の両方を可能にする。

🌳 手法選択フロー

「regression line」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: 標準化 / 欠損処理 / カテゴリ変数のエンコード が適切か
2. ハイパラ調整: 交差検証で安定する値を選ぶ
3. 性能評価: タスクに応じた指標 (RMSE / Accuracy / F1 / AUC / シルエット等) を複数併用
4. 頑健性チェック: 別手法 / 別シードで結果が大きく違わないか確認
5. 解釈: 結果を分野知識と照らし合わせ、 意味のある発見になっているか検討

👁️ 直感をもう一段深める — 回帰直線は「予測の物差し」

回帰直線 ŷ = a + b·x は、 「x を 1 つ与えたら y の平均的な値を返す物差し」です。 散布図の点群のまん中を貫く 1 本の直線を、 残差（各点から直線への縦のズレ）の二乗和 SSE が最小になるように置いた結果が回帰直線になります。 なぜ「二乗和」かというと、 正負のズレが打ち消し合わないようにし、 かつ大きなズレを強めに嫌うためです。 絶対値の和ではなく二乗の和にすることで、 微分でスッと解ける（正規方程式が線形になる）という計算上の利点もあります。

傾き b ＝「x が 1 増えると y が平均でどれだけ動くか」

SSDSE-B-2026（2023 年・47 都道府県）で 総人口 A1101 → 高齢人口 A1303 を当てはめると、 実測で ŷ = 120545.05 + 0.2458·x。 傾き b＝0.2458（実測）は「総人口が 1 人多い県ほど、 高齢人口が平均で 0.2458 人多い」と読めます。 都道府県スケールに直せば「総人口 100 万人増 → 高齢人口 約 24.6 万人増」。 傾きは単位に依存するので、 大小を他変数と比べたいときは標準化してから比較します（標準化偏回帰係数）。

切片 a ＝「x=0 での y」だが解釈は文脈次第

切片 a＝120545.05（実測）は「総人口 0 の県」というデータ範囲外への外挿値なので、 数値そのものの実質的意味は薄く、 「直線を重心 (x̄, ȳ) に通すための高さ調整」と捉えるのが安全です。 x=0 が現実に起こり得る文脈でのみ、 切片は素直に解釈できます。

回帰と相関は「同じ S_xy を別の物差しで見たもの」

傾き b と相関係数 r は、 分子が同じ偏差積和 S_xy で、 分母だけが違います：$b = S_{xy}/S_{xx}$、 $r = S_{xy}/\sqrt{S_{xx}S_{yy}}$。 したがって符号（正か負か）は必ず一致します。 標準化（z 得点化）してから回帰すると分母が揃い、 標準化した傾きは r に一致します（$b = r\cdot s_y/s_x$）。 総人口→高齢人口では r＝0.9910（実測）で、 「線形連動がほぼ完全」なことを示します。 共分散・最小二乗法・散布図を合わせて眺めると、 相関（強さ）と回帰（式）の役割分担が腑に落ちます。

🕳️ 落とし穴をもう一段深める（重要）

以下はいずれも SSDSE-B-2026 の実測値で確認した挙動です。 数字はすべて 2023 年・47 都道府県のデータから計算しています。

① 外挿 — データ範囲の外は「当てずっぽう」

回帰直線はx が観測された範囲の中でだけ信頼できます。 総人口→高齢人口の直線を「人口 3,000 万人の県」に当てても、 そんな県は存在せず、 関係が非線形に折れる可能性も高い。 信頼区間・予測区間は x̄ から離れるほど砂時計状に広がり、 範囲外では急激に増大します。 「端まで直線が引けるから予測できる」は錯覚です。

② 外れ値・高レバレッジ点 — 東京都で実測検証

x が平均から大きく離れた点（高レバレッジ点）は、 二乗和最小化の性質上、 直線を強く引っ張ります。 総人口が最大の東京都を除外して総人口→高齢人口を再フィットすると（実測）:

この例では傾きは上がりました（東京都は傾きを引き下げる方向のてこだった）。 引っ張る向きはデータ次第で、 事前に決めつけられません。 だからこそ「1 点で結論が変わらないか」を Cook 距離・DFBETAS・てこ比 h_ii で調べ、 外れ値を含む/除く 2 通りの感度分析を必ず併記します。

③ 平均への回帰 — 相関が弱いほど予測は平均へ縮む

標準化すると予測は $\hat z_y = r\cdot z_x$。 |r|<1 なので、 x が平均から k 標準偏差ずれていても、 予測される y は平均から r·k 標準偏差しかずれません（＝平均へ縮む）。 標準地価 C5401 → 消費支出 L3221 は実測で r＝0.3096。 標準地価が平均より 2 標準偏差高い県でも、 消費支出の予測は平均より 0.62 標準偏差（＝2×0.3096）高いだけです。 これが「平均への回帰（regression to the mean）」で、 実力だけでなく偶然の変動を含む指標ほど顕著に現れます。 「昨年トップの県が今年は少し落ちた」だけで施策の効果と誤読しないための必須知識です。

④ 相関 ≠ 因果 — 傾きが有意でも「効果」ではない

観察データの回帰係数は予測関係であって介入効果ではありません。 総人口→高齢人口の傾きが強く有意でも「人口を増やせば高齢者が増える」という因果は言えず、 単に両者が同じ人口規模を反映しているだけです。 交絡を除きたいなら重回帰での共変量調整、 DID、 IV、 RCT などの因果デザインが要ります。

⑤ x と y を入れ替えると別の直線 — 実測で確認

「y を x で説明する直線」と「x を y で説明する直線」は別物です。 総人口 x → 高齢人口 y は実測で傾き 0.2458。 逆に高齢人口 → 総人口を当てると傾き 3.9956（実測）で、 1/0.2458＝4.07 とは一致しません。 2 本の直線は重心 (x̄, ȳ) で交わり、 2 つの傾きの積が R²（＝r²）に一致します：0.2458 × 3.9956 ＝ 0.982（実測）。 「どちらを説明変数に置くか」で傾きが変わるので、 目的（何を予測したいか）を先に決めることが大切です。

⑥ 非線形を直線で押さえつけない

社会データの多くは非線形（逓減・飽和・折れ曲がり）です。 残差を x に対してプロットして系統的な曲がり（U 字・扇形）がないか目視し、 あれば log 変換・二次項・スプライン（回帰分析の拡張）を検討します。 R² が高くても、 残差にパターンが残っていれば直線は不適切です。

🚀 発展をもう一段深める

最小二乗の幾何 — y を X の張る空間へ直交射影する

OLS は、 観測ベクトル y を「説明変数（と切片の 1 ベクトル）が張る部分空間」へ直交射影する操作と等価です。 予測 ŷ が射影の足、 残差 e ＝ y − ŷ が射影の残りで、 e はその空間に直交します（$X^\top e = 0$）。 これが「残差の和 ＝ 0」「残差と x の積和 ＝ 0」の幾何的正体です。 直交だからピタゴラスの定理が使え、 $\|y-\bar y\|^2 = \|\hat y-\bar y\|^2 + \|e\|^2$、 すなわち SS_tot ＝ SS_reg ＋ SS_res という分解が出ます。

決定係数 R² との関係

上の分解から $R^2 = SS_{reg}/SS_{tot} = 1 - SS_{res}/SS_{tot}$。 単回帰では R² ＝ r² が成り立ちます。 総人口→高齢人口では R²＝0.9820 ＝ r²（r＝0.9910 の二乗、実測）。 「射影の足の長さの二乗の割合」が R² です。 なお R² は「平均で予測するより悪い直線」では負にもなり得ます（本ページ上部の🎮ウィジェットで体感できます）。

信頼区間と予測区間 — 幅が違う理由

回帰直線の位置の不確実性が信頼区間、 個別の新規観測の不確実性が予測区間です。 予測区間は残差の分散 σ² を追加で含むぶん常に広く、 どちらも x̄ から離れるほど広がります（砂時計型）。 「平均的な y」を語るのか「ある 1 県の y」を語るのかで、 示すべき区間が変わります。

頑健回帰 — 二乗和をやめるという選択肢

二乗和は外れ値に弱いので、 絶対値損失（最小絶対偏差 LAD）・Huber 損失・Theil–Sen 推定などの頑健（ロバスト）回帰が代替になります。 中央値ベースの 分位点回帰も、 平均ではなく分位点の傾きを見たいときや裾の重い分布に有効。 東京都のような高レバレッジ点の影響を抑えたいときの第一選択です。

「回帰」の語源 — ゴルトンと平均への回帰

Galton（1886）は親子の身長を調べ、 「背の高い親の子は親ほどは高くなく、 平均へ戻る（regress）」現象を発見し、 これが regression の語源になりました。 落とし穴③で見た「標準化傾き＝r による縮み」が、 その数学的な正体です。 回帰係数・単回帰・線形回帰へと言葉を辿ると、 同じ 1 本の直線が分野ごとに別名で呼ばれていることが分かります。