🔖 キーワード索引 — 拡張版

散らばり（dispersion）に関連する用語を、 計算量・スケール・代表値との関係 別に整理しました。

🔖 キーワード索引

論文記事から各用語のリンクをクリックすると、 該当箇所が開きます：

🎨 直感で掴む — 散らばりとは「予測のズレ幅」

散らばり（dispersion）は、 「平均値で代表したときに、 個々のデータがどれだけ外れるか」という予測誤差の典型サイズと理解すると応用が効く。 例: 47 都道府県の人口の平均は 270 万人だが、 個別の県を予測すると最大 1100 万人以上外れる。 「平均だけで代表する」のがどれだけ大胆な簡略化かを散らばりは数値化してくれる。

• SD ≈ 「典型的なズレ幅」: 平均 ± SD の範囲に正規分布なら 68% のデータが入る
• IQR ≈ 「真ん中 50% の幅」: 箱ひげ図の箱の長さ。 外れ値に強い
• Range ≈ 「最大の振れ幅」: 端から端まで。 外れ値に最も弱い
• CV ≈ 「相対的なばらつき」: 単位の違う変数を比較するときの共通言語

比喩で言えば、 平均は「クラスの代表点」、 散らばりは「個性の幅」。 平均だけ語ると「全員同じ」のように見えるが、 SD・IQR を添えると初めて「多様性」が定量化される。

📐 分散（Variance, $\sigma^2$）

分散は、 データの散らばり具合を1つの数字で表す最も基本的な指標。 各データから平均までの距離（偏差）の2乗を平均したもの。 平均が「重心」だったのに対し、 分散は「重心からどれだけ離れているか」を測ります。

母分散の定義は

$$ \sigma^2 = \mathbb{E}[(X - \mu)^2] = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^2 $$

記号：$\sigma^2$ は「シグマの二乗」（母分散）、 $\mu$ は「ミュー」（母平均）、 $\mathbb{E}[\cdot]$ は「期待値」、 $(x_i - \mu)^2$ は「偏差の2乗」。

なぜ2乗するのか

偏差 $(x_i - \mu)$ を素朴に足すと、 正の偏差と負の偏差が打ち消し合って必ずゼロになります（これが「平均は重心」の意味）。 2乗すれば全て非負になり「散らばりの大きさ」を測れます。

🧮 SSDSE 実値で計算 — 東北6県の食料費

平均 $\bar{x} = 80.824$、 $n = 6$。 標本分散（÷n）= $40.4382/6 = \mathbf{6.7397}$ (千円²)、 不偏分散（÷(n-1)）= $40.4382/5 = \mathbf{8.0876}$ (千円²)。

🎲 ÷n か ÷(n-1) か — Bessel 補正

「÷n」だと標本分散は母分散を過小評価します（$\mathbb{E}[s_n^2] = \frac{n-1}{n}\sigma^2$）。 そこで $\frac{n}{n-1}$ を掛けて補正したものが不偏分散：

$$ s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2 $$

直感的説明：n 個のデータから $\bar{x}$ を計算した時点で、 偏差の合計がゼロになるという「1つの制約」が生じる。 残りの自由な情報は n − 1 個 → これが自由度。

🔢 ベクトル表記

$\boldsymbol{x} \in \mathbb{R}^n$ について、 中心化ベクトル $\tilde{\boldsymbol{x}} = \boldsymbol{x} - \bar{x}\mathbf{1}$ を使うと：

$$ s_n^2 = \frac{1}{n} \|\tilde{\boldsymbol{x}}\|^2 = \frac{1}{n} \tilde{\boldsymbol{x}}^\top \tilde{\boldsymbol{x}} $$

「中心化ベクトルのノルムの2乗 ÷ n」。 標準偏差はそのノルムを $\sqrt{n}$ で割ったもの。 多次元行列 $X \in \mathbb{R}^{n \times d}$ なら列ごとの分散ベクトル $\boldsymbol{s}^2 \in \mathbb{R}^d$、 これが共分散行列の対角成分に。

🐍 Python で確認

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import numpy as np
import pandas as pd

x = np.array([77.899, 81.997, 83.835, 78.124, 84.105, 78.984])

# 標本分散（÷n）と不偏分散（÷(n-1)）
print(np.var(x))             # 標本分散 (NumPy デフォルト)
print(np.var(x, ddof=1))     # 不偏分散

# Pandas（÷(n-1) がデフォルト）
s = pd.Series(x)
print(s.var())               # 不偏
print(s.var(ddof=0))         # 標本

# 行列の列ごと分散
X = np.array([[1, 10], [3, 30], [5, 50], [7, 70], [9, 90]])
print(np.var(X, axis=0, ddof=1))   # [10.0, 1000.0]

# ベクトル表記での確認
mean = x.mean()
print(np.linalg.norm(x - mean) ** 2 / len(x))   # 標本分散と一致

📐 分散の重要な性質

• 定数の足し算：$\mathrm{Var}(X + c) = \mathrm{Var}(X)$（平行移動では変わらない）
• 定数倍：$\mathrm{Var}(aX) = a^2 \mathrm{Var}(X)$（2倍すると4倍に）
• 独立な変数の和：$\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$
• 一般の場合：$\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X,Y)$
• 標本平均の分散：$\mathrm{Var}(\bar{X}) = \sigma^2 / n$（サンプル増で減る）

📏 標準偏差（Standard Deviation, $\sigma$）

標準偏差は分散の平方根。 分散は単位が「元の単位の2乗」（食料費なら千円²）で解釈しにくいので、 平方根を取って元の単位に戻したものです。

$$ \sigma = \sqrt{\sigma^2} = \sqrt{\frac{1}{N} \sum (x_i - \mu)^2} $$

東北6県の食料費の例では、 標本標準偏差 $s_n = \sqrt{6.7397} ≈ 2.596$ 千円、 不偏標準偏差 $s = \sqrt{8.0876} ≈ 2.844$ 千円。 「東北6県の食料費は平均 80.8 千円から平均的に ±2.8 千円ずれる」と解釈できます。

📊 68-95-99.7 ルール — 正規分布での意味

データが正規分布に従うとき、 標準偏差で「データが含まれる範囲」を予測できます：

• $\mu \pm 1\sigma$ — 約 68% のデータが含まれる
• $\mu \pm 2\sigma$ — 約 95%（厳密には $\pm 1.96\sigma$）
• $\mu \pm 3\sigma$ — 約 99.7%（外側は外れ値候補）

これは「品質管理」「異常検知」「信頼区間」の基礎。 シックスシグマ品質管理の $\pm 6\sigma$ は 99.9999998% カバレッジを意味します。

🎯 標準化（z-score）— 単位を消す

異なる単位の変数を比較するには、 「平均からのズレを標準偏差で割る」標準化：

$$ z = \frac{x - \mu}{\sigma} $$

$z$ は無次元で「平均から何標準偏差離れているか」。 偏差値はこれを変形した $T = 50 + 10z$。

🐍 Python で標準化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import numpy as np
from sklearn.preprocessing import StandardScaler

x = np.array([77.899, 81.997, 83.835, 78.124, 84.105, 78.984])
print(np.std(x))             # 標本SD: 2.60
print(np.std(x, ddof=1))     # 不偏SD: 2.84

# z-score 標準化
z = (x - x.mean()) / x.std(ddof=1)
print(z)                     # 平均 0, SD 1

# sklearn の StandardScaler（機械学習で多用）
X = np.array([[1, 10], [3, 30], [5, 50]])
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
print(X_scaled.mean(axis=0))  # ≈ 0
print(X_scaled.std(axis=0))   # ≈ 1

🔗 共分散（Covariance, $\sigma_{xy}$）

共分散は「2つの変数が一緒に動くか」を測る指標。 分散の2変数版とも言えます。 平均からの偏差を 2変数で掛け合わせたものの平均。

$$ \sigma_{xy} = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = \frac{1}{N} \sum (x_i - \mu_X)(y_i - \mu_Y) $$

幾何学的意味 — 4象限の積

散布図上で平均 $(\bar{x}, \bar{y})$ を原点として4象限に分けると：

• 第1象限（両方+）→ $(+)(+) = $ 正
• 第3象限（両方-）→ $(-)(-) = $ 正（負×負=正）
• 第2・4象限（一方+、 一方-）→ 負

これらを全部足して n で割ると共分散。 第1・第3象限に多ければ正の共分散、 第2・第4 に多ければ負。

🧮 SSDSE 実値で計算 — 東北6県の食料費 × 教育費

不偏共分散 $s_{xy} = 15.7168 / (6 - 1) = \mathbf{3.1434}$。 正の値なので「食料費が高い県は教育費も高い」傾向。

🔢 ベクトル表記と共分散行列

2つの中心化ベクトル $\tilde{\boldsymbol{x}}, \tilde{\boldsymbol{y}}$ について：

$$ s_{xy} = \frac{1}{n-1} \tilde{\boldsymbol{x}}^\top \tilde{\boldsymbol{y}} $$

$d$ 変数のデータ行列 $X \in \mathbb{R}^{n \times d}$ について、 中心化行列 $\tilde{X}$ から共分散行列：

$$ \Sigma = \frac{1}{n-1} \tilde{X}^\top \tilde{X} \in \mathbb{R}^{d \times d} $$

$d \times d$ の対称・半正定値行列。 対角は各変数の分散、 非対角がペアの共分散。 これを固有値分解すればPCA になります。

⚠️ 共分散の問題点と相関への展開

共分散は単位に依存するため、 大小比較が困難です。 同じデータでも単位を変えれば共分散が変わってしまいます：

これを解消するため、 標準偏差で正規化したのが 相関係数：$r = \sigma_{xy} / (\sigma_x \sigma_y)$。 $r \in [-1, +1]$ で単位フリー。

🐍 Python で共分散

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
import pandas as pd

x = np.array([77.899, 81.997, 83.835, 78.124, 84.105, 78.984])
y = np.array([6.713, 6.748, 11.245, 4.316, 7.267, 10.115])

# NumPy の cov（デフォルトは不偏、 ddof=1）
print(np.cov(x, y))           # 2x2 共分散行列
print(np.cov(x, y)[0, 1])     # x と y の共分散

# Pandas
df = pd.DataFrame({'x': x, 'y': y})
print(df.cov())
print(df['x'].cov(df['y']))

# 多変数の共分散行列
X = np.random.randn(100, 5)
Sigma = np.cov(X, rowvar=False)
print(Sigma.shape)            # (5, 5)
diag = np.diag(Sigma)         # 各列の分散

📏 範囲（Range）

範囲は最も単純なばらつき指標：$\mathrm{Range} = \max(x) - \min(x)$。 「データの広がる幅」。

長所：計算が極めて簡単、 直感的。
短所：外れ値に最も弱い（1点で値が変わる）、 中央のデータ分布の情報を失う。

実務では「最低・最高」を併記して提示するか、 四分位範囲（IQR）に置き換えることが多い。

🛡️ MAD（中央絶対偏差）

標準偏差は平均と分散をベースとするため外れ値に弱い。 そのロバスト版がMAD（Median Absolute Deviation）：

$$ \mathrm{MAD} = \mathrm{median}(|x_i - \mathrm{median}(x)|) $$

「中央値からの絶対距離の中央値」。 平均と標準偏差が外れ値で歪むのに対し、 MAD は50% 崩壊点（半分のデータが壊れても影響なし）。

正規分布での換算

正規分布の場合、 $\sigma \approx 1.4826 \times \mathrm{MAD}$。 つまり MAD を 1.4826 倍すれば「ロバストな標準偏差」になります。

1
2
3
4
5
6
7
8
9

from scipy import stats
import numpy as np

# 外れ値を含むデータ
data = np.array([1, 2, 3, 4, 5, 6, 7, 100])

print(np.std(data, ddof=1))                              # 33.8（外れ値で歪む）
print(stats.median_abs_deviation(data))                  # 2.5（ロバスト）
print(stats.median_abs_deviation(data, scale='normal'))  # 3.7（正規分布換算）

散らばり（dispersion）を測る指標は 分散・標準偏差・範囲・四分位範囲（IQR）・平均絶対偏差（MAD）・変動係数（CV）の 6 つが代表的。 それぞれが「どの中心からどう距離を測るか」という設計思想で分かれる。 ここではすべての数式を一覧し、 各記号がどんな意味を持つかを徹底的に読み解く。

🔬 数式を言葉で読み解く：標本分散 \(s^2\)

標本分散は次のように定義される（不偏分散、 分母 \(n-1\)）。

• \(x_i\): 個々のデータ点（例: 47 都道府県それぞれの人口）
• \(\bar{x}\): 標本平均（中心位置の代表値）
• \((x_i - \bar{x})\): 偏差。 中心からどれだけ離れているか（符号付き）
• \((x_i - \bar{x})^2\): 偏差を 2 乗。 符号を消し、 大きな外れ値の影響を強調する
• \(\sum_{i=1}^{n}\): 全データ点について合計
• \(\frac{1}{n-1}\): 自由度補正（Bessel 補正）。 標本から母分散を推定する際、 平均自体が標本から推定されたぶん 1 自由度を消費する

つまり「中心からのズレを 2 乗してから平均する。 ただし平均値を標本から推定したぶんの誤差を補正する」というのが標本分散の意味。

🔬 数式を言葉で読み解く：標準偏差 \(s\)

分散の平方根を取るだけだが、 これにより単位が元データと同じになるのが決定的に重要。 人口（人）の分散の単位は「人²」だが、 SD の単位は「人」。 グラフの目盛りや日常的な感覚と直接比較できる。 \(\bar{x} \pm s\) の範囲に正規分布なら約 68% のデータが入る、 という直感的な解釈もここから生まれる。

🔬 数式を言葉で読み解く：四分位範囲（IQR）

• \(Q_1\): 第 1 四分位数（下から 25% 目）
• \(Q_3\): 第 3 四分位数（下から 75% 目）
• \(Q_3 - Q_1\): 真ん中 50% のデータが収まる幅

外れ値が両端 25% に隠れるので、 IQR は外れ値の影響をほぼ受けない。 箱ひげ図の「箱」の長さがまさにこれ。

🔬 数式を言葉で読み解く：MAD（中央絶対偏差）

平均ではなく中央値を中心に取り、 偏差の絶対値を取って、 さらにその中央値を取る。 平均・分散は外れ値 1 個で大きく動くが、 MAD は半分以上のデータが入れ替わらない限り動かない、 という極めて頑健な指標。 正規分布のとき \(1.4826 \times \mathrm{MAD} \approx \sigma\) という換算が成り立つので、 ロバスト統計では SD の代用として使われる。

🔬 数式を言葉で読み解く：変動係数 CV

SD を平均で割ることで無次元化される。 単位が異なる変数間（例: 人口と面積）や、 桁が大きく違うデータ間で「相対的なばらつきの大きさ」を比較するときに使う。 平均が 0 近くだと不安定になるので、 比率や正の量で使うのが定石。

🧪 SSDSE-B-2026 でばらつき指標を総当たり計算する（都道府県人口・実測値）

ここまでに紹介した 分散・標準偏差・範囲・IQR・MAD・変動係数 を、 同じデータ（SSDSE-B-2026 の都道府県 総人口、 2023 年、 N=47）に対して一気に計算し、 値の意味を読み比べる。 すべて生データから直接計算しているので、 自分の手元で再現したときも数値は一致する。 数字が動くタイミング（外れ値の有無、 ddof の選び方、 平均周りか中央値周りか）を体感するのが目的。

📥 入力データ（SSDSE-B-2026 抜粋・2023 年）

47 都道府県のうち、 ばらつきを支配する 上位 5 件と、 ばらつきの底を作る 下位 5 件を抜粋する。 最大値の東京都（14,086,000 人）と最小値の鳥取県（537,000 人）の差はおよそ 26 倍。 この極端な右側の尾が、 後で平均・分散と中央値・MAD の値を大きく食い違わせる原因になる。

🐍 1) 平均・分散・標準偏差・範囲を一括で出す

このコードでやること: SSDSE-B-2026 を読み込み、 最新年（2023）に絞ってから numpy と pandas で 平均・不偏分散・標準偏差・範囲（range）を計算する。 分散と SD は ddof=1（標本分散・標本標準偏差）を使う。 ddof=0 と 1 でわずかに値が変わる理由は、 後で対比して示す。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]
x = latest['A1101'].astype(float).values

print('N         :', len(x))
print('平均      :', round(np.mean(x), 1))
print('不偏分散  :', round(np.var(x, ddof=1), 1))
print('標準偏差  :', round(np.std(x, ddof=1), 1))
print('範囲(max-min):', x.max() - x.min())
print('最大      :', x.max(), '最小:', x.min())

📤 実行すると次の出力が得られる:

💬 平均 約 265 万人に対して SD が 約 280 万人と、 SD のほうが平均より大きい。 これは右側に巨大な外れ値（東京）が引っ張っているサイン。 範囲 1354.9 万人は「最大の都道府県と最小の都道府県の差」そのもの。 範囲は 1 つの巨大値だけで決まるので、 散らばりの代表値には向かない。

🐍 2) 中央値・四分位範囲（IQR）・中央絶対偏差（MAD）

このコードでやること: 同じデータで 中央値・第 1 四分位・第 3 四分位・IQR・MAD を計算する。 平均・分散と違い、 これらは外れ値の影響を受けにくい（ロバスト統計）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]
x = latest['A1101'].astype(float).values

med = np.median(x)
q1 = np.percentile(x, 25)
q3 = np.percentile(x, 75)
iqr = q3 - q1
mad = np.median(np.abs(x - med))

print('中央値    :', med)
print('Q1        :', q1)
print('Q3        :', q3)
print('IQR(Q3-Q1):', iqr)
print('MAD       :', mad)
print('1.4826*MAD :', round(1.4826 * mad, 1), '  ← 正規分布なら SD と一致するはずの値')

📤 実行すると次の出力が得られる:

💬 中央値 155 万人は平均 265 万人より 110 万人も小さい。 これも分布が右に長く伸びていることを示す。 IQR は 160 万人なので、 「真ん中 50% の都道府県は 103.4 万人〜263.7 万人の間に収まる」と読める。 MAD は 62.3 万人と、 SD（280 万人）の 4 分の 1 以下。 \(1.4826 \times \mathrm{MAD} \approx 92\) 万人と SD（280 万人）が大きく食い違うのは「正規分布から外れている」シグナル。 人口データのように極端な外れ値がある場合は、 SD ではなく IQR や MAD で散らばりを語るほうが、 実態に合う説明になりやすい。

🐍 3) 変動係数（CV）と外れ値除去後の比較

このコードでやること: 変動係数 \(\mathrm{CV} = s/\bar{x}\) を「全 47 都道府県」と「東京都を除く 46 都道府県」で計算し、 1 件の外れ値がばらつきの相対指標をどれだけ動かすかを確認する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]

x_all = latest['A1101'].astype(float).values
x_noTokyo = latest[latest['Prefecture'] != '東京都']['A1101'].astype(float).values

def stats(x, label):
    print(f'--- {label} ---')
    print(f'  N      : {len(x)}')
    print(f'  平均   : {np.mean(x):.1f}')
    print(f'  SD     : {np.std(x, ddof=1):.1f}')
    print(f'  CV     : {np.std(x, ddof=1) / np.mean(x):.4f}')

stats(x_all,    '全 47 都道府県')
stats(x_noTokyo, '東京都を除く 46 都道府県')

📤 実行すると次の出力が得られる:

💬 1 件除いただけで CV は 1.057 → 0.936（12% 減少）。 SD は 280 万 → 224 万人と 20% も縮む。 これは「平均と分散は外れ値 1 個で大きく動く」という座学の主張を、 実データで肌で感じるための実験。 一方、 中央値・IQR・MAD は東京都を抜いても 0〜数% しか変化しない（自分で確かめてみると良い）。

📊 表: 6 つのばらつき指標を同じデータで並べると

💬 この表のキモは、 同じデータで指標を変えるだけで「散らばり」の大きさが 60 万〜1350 万人と、 桁が変わって見える こと。 ばらつきの値を引用するときは、 必ず「どの指標か」を併記しないと、 読み手は誤解する。 特にレポートで「平均 ± SD」とだけ書くのは、 分布が大きく歪んでいる場合（人口・所得・医療費・売上など）に意味を失いやすい。

🧩 分散の「分母 n と n-1」問題（ddof=0 vs ddof=1）

手計算と Python・Excel で値がわずかにずれた経験はないだろうか。 原因の 9 割は 分母の取り方 である。 分散の式には大きく 2 種類ある。

n が大きいほど両者の差は無視できるほど小さくなる（47 件なら 1/46 vs 1/47 で 2% 弱）。 一方、 n=5 程度では 25% も違うので、 必ず「分母をどちらにしたか」を明示するのがプロの作法。 Excel の VAR.P と VAR.S、 numpy の ddof、 pandas の既定（n−1）が混在するのは、 業務でよく遭遇する罠なので警戒する。

🐍 ddof=0 と ddof=1 を実データで比べる

このコードでやること: SSDSE-B-2026 都道府県人口で、 ddof=0 と ddof=1 の分散・SD を並べて表示する。 比 (n−1)/n を計算して両者の比率を可視化する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]
x = latest['A1101'].astype(float).values
n = len(x)

var0 = np.var(x, ddof=0)
var1 = np.var(x, ddof=1)
print(f'n        : {n}')
print(f'var ddof=0 (母分散の最尤推定): {var0:.1f}')
print(f'var ddof=1 (不偏分散)        : {var1:.1f}')
print(f'比 var1/var0 = {var1/var0:.6f}  (理論値 n/(n-1) = {n/(n-1):.6f})')
print(f'sd  ddof=0  : {np.sqrt(var0):.1f}')
print(f'sd  ddof=1  : {np.sqrt(var1):.1f}')

📤 実行すると次の出力が得られる:

💬 ddof=0 と ddof=1 の比はぴったり n/(n−1) = 47/46 = 1.0217。 SD では √1.0217 = 1.0108 倍と、 およそ 1% 差。 47 件ではこの差は小さいが、 n=10 では 10/9 = 1.111 倍、 SD でも 5.4% 差になる。 論文・報告書では原則 不偏分散（ddof=1）を使う。 機械学習の StandardScaler（scikit-learn）は ddof=0 なので、 同じデータの SD でも値が違って見える原因になる。

🎯 共分散と分散の関係（よくある混乱の整理）

共分散 \(\mathrm{Cov}(X, Y)\) は、 2 変数版の分散だと思って良い。 同じ変数同士の共分散はそのまま分散になる:

また 2 変数 X, Y の和の分散は次の式で表せる:

この式は、 ポートフォリオ理論・誤差伝播・線形回帰の予測区間など、 統計の至るところで顔を出す基本公式。 X と Y が無相関（Cov = 0）なら和の分散は単純な足し算になり、 相関が正なら和の分散は単独の和より大きく、 負なら小さくなる。 これが「分散投資」の数学的根拠でもある。

📊 表: 分散・標準偏差・共分散・相関の単位と関係

💬 相関係数 \(r = \mathrm{Cov}(X, Y) / (\sigma_X \sigma_Y)\) は、 共分散を X と Y それぞれの SD で割って無次元化したもの。 だから「相関係数の絶対値が共分散より大きく見えても、 共分散のほうが情報量が多い、 という訳ではない」 — むしろ単位とスケールの違いを揃えた結果、 一段抽象度が上がっただけと理解すべき。 詳細は 相関係数 の解説を参照。

🪜 ばらつきが小さい・大きいデータをどう扱うべきか — 実務の判断フロー

現場で「このデータ、 ばらつきが大きい/小さい」と言うとき、 何を基準に判断すれば良いのか。 以下は実務で繰り返し使える判断フローを 7 ステップで整理したもの。

1. まずヒストグラム/箱ひげ図を描く — 数字の前に形を見る。 単峰か多峰か、 左右対称か歪んでいるかを最初に確認する。
2. 形が左右対称・単峰なら「平均 ± SD」を主指標にする — 大数の法則・中心極限定理が効きやすく、 正規分布近似で議論できる。
3. 形が右に歪んでいる（人口・所得・売上など）なら「中央値 + IQR」または「対数変換後の平均・SD」 — 平均は外れ値に持っていかれる。
4. 外れ値が 1〜数件あるなら MAD で検出 — \(|x_i - \mathrm{median}| > 3 \times 1.4826 \times \mathrm{MAD}\) を超える点は要調査。
5. 単位や桁が異なる変数を比較するなら CV — 例: 総人口（百万単位）と消費支出（万円単位）の散らばりの比較。
6. 機械学習の前処理では Z スコア標準化（平均 0、 SD 1） — ただし外れ値が多い場合は RobustScaler（中央値・IQR ベース）を選ぶ。
7. レポートでは必ず「どの指標を使ったか」「ddof は何か」「外れ値を除いたか」を明示 — これだけで読者の誤解の 8 割は防げる。

📐 経験則「3σ ルール」と Chebyshev の不等式

正規分布のとき、 平均から ±1σ 内に約 68%、 ±2σ 内に約 95%、 ±3σ 内に約 99.7% のデータが入る、 という経験則がよく使われる。 しかし、 分布の形を仮定しない場合は Chebyshev の不等式 が頼りになる:

例えば k=2 なら、 どんな分布でも「平均から 2σ 以上離れた点」の割合は 25% 以下と保証される。 k=3 なら 11.1% 以下、 k=5 なら 4% 以下。 正規分布前提の経験則ほどタイトではないが、 分布形を仮定せずに使える普遍的な上限 として、 異常検知や品質管理の理論的根拠となっている。

📐 分散の主要な性質（要点）

分散は単なる「散らばりの量」ではなく、 いくつかの便利な代数的性質を持つ。 これらは推測統計の証明や、 ポートフォリオ理論の最適化計算で繰り返し使われる。

性質 1: 定数を足してもばらつきは変わらない

全データに同じ値を足すと、 平均が同じだけ動くので偏差は変わらず、 分散もそのまま。 気温データに「+273.15 で絶対温度に変換」しても、 ばらつきの大きさは同じ。

性質 2: 定数倍するとばらつきは二乗倍

つまり SD は \(|a|\) 倍に縮む・伸びる。 単位変換（m → cm）で分散は 10,000 倍、 SD は 100 倍になる。 これが「分散を扱うときは単位を明示しないと混乱する」最大の理由。

性質 3: 独立な変数の和の分散は加法的

これにより、 n 個の独立な観測値の 平均の分散は \(\sigma^2/n\) となり、 SE = \(\sigma/\sqrt{n}\) という有名な式が導かれる。 「観測回数を 4 倍にすれば SE は半分になる」というのは、 この加法性と平方根の関係から来ている。

性質 4: 期待値と分散の便利な恒等式

定義式 \(E[(X - \mu)^2]\) を展開すると上記が得られる。 これにより、 数列が「足し算可能」な形で分散を計算できる（オンライン分散計算で重要）。 ただし数値計算では \(E[X^2]\) と \((E[X])^2\) が近い大きさのとき桁落ちが発生しやすい。 大規模データでは Welford のオンラインアルゴリズムを使うのが安全。

性質 5: 線形結合の分散

ポートフォリオ理論の中核式。 2 資産 X, Y を比率 a, b で持つときのリスク（分散）が、 個別リスクの単純和ではなく 相関に依存することを表す。 Cov が負（逆相関）なら和の分散は小さくなり、 これが「分散投資でリスクが減る」数学的根拠。

📊 表: 上記 5 性質を SSDSE-B-2026 で確認

💬 これら 5 性質は 分散・SD・共分散の代数そのもの。 暗記より、 単純な数式変形で導けることを 1 度自分の手で確かめておくと、 後で出てくる回帰・分散分析・主成分分析の式の中で「ああ、 これは性質 N だ」とすぐに気付ける。 特にデータサイエンスの文脈では性質 5（線形結合の分散）が、 線形回帰の係数推定や、 ベイズ統計の事後分布の分散計算に直結する。

性質 5 を実データで確認する Python コード

このコードでやること: SSDSE-B-2026 の都道府県 総人口 と 15歳未満人口 という 2 列を取って、 Var(X+Y) と Var(X)+Var(Y)+2 Cov(X,Y) がぴったり一致することを実測で確認する。 「式が本当に成り立っているのか」と疑ったときは、 こうやって自分のデータで再現するのが最速の理解手段。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]
x = latest['A1101'].astype(float).values
y = latest['A1301'].astype(float).values  # 列が無ければ別の人口列に置き換える

var_x = np.var(x, ddof=1)
var_y = np.var(y, ddof=1)
cov = np.cov(x, y, ddof=1)[0, 1]
lhs = np.var(x + y, ddof=1)
rhs = var_x + var_y + 2 * cov

print(f'Var(X)       = {var_x:.3e}')
print(f'Var(Y)       = {var_y:.3e}')
print(f'Cov(X, Y)    = {cov:.3e}')
print(f'Var(X+Y)     = {lhs:.3e}   ← 直接計算')
print(f'V(X)+V(Y)+2Cov = {rhs:.3e}   ← 性質 5 から計算')
print(f'差          = {abs(lhs - rhs):.3e}   ← 浮動小数誤差レベルで一致するはず')

💬 出力された 2 つの分散の差は通常 10^-7 オーダー以下の浮動小数誤差に収まり、 数式が確かに成立していることが確認できる。 こうした「式の手元検証」は、 公式を覚えるよりも遥かに記憶に残るし、 実務で式を逆向きに使うとき（例えば Cov を Var(X+Y) から逆算する）の自信にもなる。

🔬 等分散性の検定：Levene と Bartlett の使い分け

群間で「分散が等しいか」を統計的に検定するのが等分散検定。 t 検定や ANOVA の前提条件「等分散性」が成り立つかをチェックする際に使う。 代表的なのが Levene 検定（ロバスト、 非正規でも使える）と Bartlett 検定（正規分布を仮定、 検出力が高い）の 2 つ。

🔬 数式を言葉で読み解く：Levene 検定統計量

• \(Z_{ij} = |x_{ij} - \tilde{x}_i|\): 各観測値の中央値（または平均）からの絶対偏差
• \(\bar{Z}_{i\cdot}\): \(i\) 群内での \(Z\) の平均、 \(\bar{Z}_{\cdot\cdot}\): 全体平均
• 分子: 群間のばらつきの差、 分母: 群内のばらつき
• \(k\): 群の数、 \(N\): 全データ数

要は「絶対偏差に対して ANOVA をかける」のが Levene。 ANOVA の枠組みを「ばらつきのばらつき」に応用していると思えばよい。 中央値を中心とする Brown-Forsythe 版がより頑健で、 scipy ではデフォルトで使われる。

🐍 Python 実装：3 県グループの SD を Levene/Bartlett で比較

このコードでやること: SSDSE-B-2026 の人口を「関東 vs 関西 vs 九州」の 3 群に分け、 scipy.stats.levene と scipy.stats.bartlett で等分散性を検定する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import pandas as pd
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df47 = df[df['SSDSE-B-2026'] == 2023].copy()

kanto = ['茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県']
kansai = ['滋賀県','京都府','大阪府','兵庫県','奈良県','和歌山県']
kyushu = ['福岡県','佐賀県','長崎県','熊本県','大分県','宮崎県','鹿児島県']

g1 = df47[df47['Prefecture'].isin(kanto)]['A1101']
g2 = df47[df47['Prefecture'].isin(kansai)]['A1101']
g3 = df47[df47['Prefecture'].isin(kyushu)]['A1101']

print(f'関東 SD = {g1.std():,.0f}')
print(f'関西 SD = {g2.std():,.0f}')
print(f'九州 SD = {g3.std():,.0f}')

stat_l, p_l = stats.levene(g1, g2, g3, center='median')
stat_b, p_b = stats.bartlett(g1, g2, g3)

print(f'Levene   W = {stat_l:.3f},  p = {p_l:.4f}')
print(f'Bartlett T = {stat_b:.3f},  p = {p_b:.4f}')

📤 実行例:

💬 結果の読み方: 関東の SD は 449 万人、 九州は 149 万人と 3 倍前後違う。 正規性を仮定する Bartlett は p=0.024 で 5% 有意だが、 中央値ベースでロバストな Levene は p=0.104 で有意とはいえない。 これは「正規性に敏感な Bartlett が分散差を検出する一方、 外れ値・非正規に頑健な Levene は慎重に判断する」という両検定の性格差がそのまま出た例。 分散が等しいと言い切れない以上、 これらの群を ANOVA で比較するなら、 等分散を仮定しない Welch ANOVA が無難。

📋 Levene vs Bartlett 使い分け表

実務的には Levene（中央値中心、 Brown-Forsythe）を第一選択にし、 正規性が QQ プロット等で確認できているとき Bartlett を補助的に使うのが安全。

🔬 分散・標準偏差の信頼区間（bootstrap）

分散の点推定だけでなく「信頼区間」を出すと、 推定の不確かさが伝えられて報告の質が上がる。 正規分布を仮定すれば \((n-1)s^2/\sigma^2 \sim \chi^2_{n-1}\) からカイ二乗ベースの CI が出るが、 SSDSE のような小標本・歪んだ分布では bootstrap CI の方が安全。

🔬 数式を言葉で読み解く：カイ二乗ベース CI

\((n-1)s^2/\sigma^2\) が自由度 \(n-1\) のカイ二乗分布に従うという事実を反転し、 母分散 \(\sigma^2\) について解いた区間。 正規分布前提に強く依存する。

🐍 Python 実装：47 都道府県人口の SD を bootstrap で 95% CI

このコードでやること: SSDSE-B-2026 の人口データから np.random.choice でリサンプリングを 5000 回行い、 SD のパーセンタイル CI を得る。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
pop = df[df['SSDSE-B-2026'] == 2023]['A1101'].values

B = 5000
rng = np.random.default_rng()
sd_boot = np.empty(B)
for i in range(B):
    resample = rng.choice(pop, size=len(pop), replace=True)
    sd_boot[i] = resample.std(ddof=1)

lo, hi = np.percentile(sd_boot, [2.5, 97.5])
print(f'点推定 SD = {pop.std(ddof=1):,.0f} 人')
print(f'95% CI   = [{lo:,.0f}, {hi:,.0f}] 人')

📤 実行例（乱数で変動）:

💬 結果の読み方: 点推定 SD は 280 万人だが、 bootstrap 95% CI は 169 万〜374 万と非常に広い。 47 都道府県という小標本かつ右に歪んだ分布のため、 SD の推定は不安定。 「SD は 280 万人」と断言するより「不確かさを含めると 170 万〜370 万の範囲」と報告すべき、 という重要な実務的教訓が出る。

🧮 SSDSE-B による散らばり指標 — 実値計算例

SSDSE-B-2026 から「47都道府県の総人口（万人）」を取り出して、 各種の散らばり指標を計算します。

① データの概要

総人口の最小値：約 53.7（鳥取県）、 最大値：約 1408.6（東京都）、 中央値：約 154.9（単位: 万人）

② 各指標の値（イメージ値）

💡 SD と IQR が大きく異なるのは、 東京都が外れ値として SD を引っ張っているためです。 外れ値の影響を避けたい場合は IQR や MAD を使います。

🧮 SSDSE-B-2026 で 47 都道府県人口の散らばりを実値計算

SSDSE-B-2026 の A1101 総人口（人） 列を 47 都道府県すべてで読み込み、 分散・SD・範囲・IQR・MAD・CV を実際に計算する。 全国合計行・年次違いを除外し、 最新年のみを抽出してから計算する点に注意。

📥 入力データ（SSDSE-B-2026 抜粋）

data/raw/SSDSE-B-2026.csv の先頭数行は次の構造。 1 行目がメタ、 2 行目がヘッダ、 3 行目以降が実データ。

🐍 Python 実装：分散・SD・CV を計算

このコードでやること: SSDSE-B-2026 を読み込み、 47 都道府県の総人口について var(ddof=1) で不偏分散、 std(ddof=1) で SD、 SD/mean で CV を計算する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
# 最新年（2023）の 47 都道府県を抽出
df47 = df[df['SSDSE-B-2026'] == 2023].copy()
pop = df47['A1101']  # 総人口 (人)

print(f'n        = {len(pop)}')
print(f'平均     = {pop.mean():,.0f} 人')
print(f'分散     = {pop.var(ddof=1):,.0f} 人²')
print(f'SD       = {pop.std(ddof=1):,.0f} 人')
print(f'CV       = {pop.std(ddof=1)/pop.mean():.3f}')
print(f'範囲     = {pop.max() - pop.min():,} 人')
print(f'IQR      = {pop.quantile(0.75) - pop.quantile(0.25):,.0f} 人')
print(f'MAD      = {np.median(abs(pop - pop.median())):,.0f} 人')

📤 実行例:

💬 結果の読み方: 47 都道府県人口の SD は約 280 万人で平均（約 265 万人）とほぼ同じ。 CV ≈ 1.06 は「平均と同じくらい散らばっている」ことを意味し、 これは東京・神奈川・大阪などのメガ都市が分布を大きく右に歪めているため。 一方 IQR は 160 万人、 MAD は 62 万人と SD よりはるかに小さい。 これは SD が外れ値（東京 1409 万人）に大きく引っ張られているサインで、 ロバスト指標（IQR・MAD）の方が「典型的な県の散らばり」をよく表している。

🧮 手計算で 5 県だけ追体験

全 47 県は人手では追えないので、 北海道（509）・宮城（226）・東京（1409）・大阪（876）・福岡（510）の 5 県（単位: 万人）で分散・SD を手計算してみる。

平均 \(\bar{x} = 3530/5 = 706\) 万人。 偏差平方和 = 830,734、 標本分散 \(s^2 = 830734/(5-1) = 207,684\) 万人²、 SD \(s = \sqrt{207684} \approx 456\) 万人。 平均 706 万人に対して SD 456 万人は大きい（CV ≈ 0.65）。 5 県でも東京が大きく分散を押し上げているのが分かる。

🧮 数式に値を入れて手で計算する: 範囲・分散・標準偏差

合成データ [2,4,7,5,3] で 3 つの散らばり指標を計算する。

Step 1: 範囲

Step 2: 平均と偏差²

Step 3: 分散と SD

🐍 Python で再現

1
2
3
4
5
6

import numpy as np
x = np.array([2, 4, 7, 5, 3])
print(f"範囲: {x.max() - x.min()}")
print(f"標本分散: {x.var(ddof=1)}")
print(f"標本 SD: {x.std(ddof=1):.3f}")
print(f"CV: {x.std(ddof=1)/x.mean():.3f}")

📤 実行結果

💬 手計算 (Step 1-3) と Python 出力が完全一致。

🐍 Python 実装バリエーション — numpy / scipy / pandas / statsmodels

① numpy（基本、 軽量）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import numpy as np
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
x = df[df['SSDSE-B-2026'] == 2023]['A1101'].to_numpy()

print('範囲   :', x.max() - x.min())
print('分散   (ddof=0):', np.var(x, ddof=0))   # 母分散
print('分散   (ddof=1):', np.var(x, ddof=1))   # 標本分散
print('標準偏差(ddof=1):', np.std(x, ddof=1))
print('CV     :', np.std(x, ddof=1) / np.mean(x))

② pandas（DataFrame向け、 describe()で一括）

1
2
3
4
5
6
7
8
9

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df[df['SSDSE-B-2026'] == 2023][['A1101', 'L3221', 'B4101']].describe())  # mean, std, min, 25%, 50%, 75%, max

# IQR
q1 = df[df['SSDSE-B-2026'] == 2023]['L3221'].quantile(0.25)
q3 = df[df['SSDSE-B-2026'] == 2023]['L3221'].quantile(0.75)
print('IQR:', q3 - q1)

③ scipy.stats（IQR、 トリム分散、 ロバスト指標）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from scipy import stats
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
x = df[df['SSDSE-B-2026'] == 2023]['A1101']

print('IQR     :', stats.iqr(x))
print('MAD     :', stats.median_abs_deviation(x))
print('歪度    :', stats.skew(x))
print('尖度    :', stats.kurtosis(x))
print('5%トリム平均:', stats.trim_mean(x, 0.05))
print('20%trimVar:', stats.tvar(x, limits=(x.quantile(0.1), x.quantile(0.9))))

④ statsmodels（記述統計まとめ）

1
2
3
4
5
6
7
8
9

import statsmodels.api as sm
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
desc = sm.stats.DescrStatsW(df[df['SSDSE-B-2026'] == 2023]['A1101'])
print('mean:', desc.mean)
print('std :', desc.std)
print('var :', desc.var)
print('95% CI:', desc.tconfint_mean())

⑤ 可視化（boxplot / violin）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
fig, ax = plt.subplots(1, 2, figsize=(10, 4))
sns.boxplot(y=df[df['SSDSE-B-2026'] == 2023]['A1101'], ax=ax[0])
sns.violinplot(y=df[df['SSDSE-B-2026'] == 2023]['A1101'], ax=ax[1])
plt.tight_layout()
plt.show()

⚠️ 散らばり指標の落とし穴 — 拡張版（実務で本当に困る5＋件）

1. 自由度の混乱（n vs n−1）：分散の分母を n とすると母集団の分散（最尤推定量）、 n−1 とすると不偏推定量になる。 numpy.var はデフォルト ddof=0（n割り）、 pandas .var() はデフォルト ddof=1（n−1割り）。 同じデータでも値が異なる原因になるため、 ddof を必ず明示することが事故防止の基本。
2. 外れ値による分散の爆発：分散・標準偏差は二乗を含むため、 1個の極端な値で値が大きく膨らむ。 例えば所得分布の上位1%を含めるかどうかで SD が 2 倍以上変わることも珍しくない。 外れ値の検討なしに SD を報告するのは危険で、 IQR や MAD など robust な指標を併用する。
3. 単位の異なる変数間で SD を直接比較：身長（cm）と体重（kg）の SD を比べても意味がない。 比較したい場合は 変動係数 CV = SD / 平均 のような無次元化指標を使うか、 標準化（z変換）してから比較する。 単位を意識しない比較は誤った結論を生む典型例。
4. 非対称分布での平均±SD の誤解：「平均±SD」が68%区間を示すのは正規分布の場合のみ。 所得分布や待機時間のように右に裾が長い分布で平均±SD を使うと、 平均−SD が負になり「マイナスの所得」を含むという奇妙な記述になる。 中央値と四分位数（boxplot）を使うか、 対数変換を検討する。
5. 少標本でのIQR・範囲の不安定さ：n=10 程度の小標本では、 IQR や範囲は標本ごとに大きく変動する。 信頼区間とセットで報告するか、 ブートストラップで再標本化する。 単一の値で「ばらつきはこれだけ」と断定しない姿勢が重要。
6. 分散と相関の混同：分散は単一変数のばらつき、 共分散・相関は2変数の連動の度合い。 「分散が大きい＝相関がある」とは言えない。 別の概念として整理して使い分ける。
7. 離散値・カテゴリ変数への適用：性別や血液型などの名義尺度に分散を計算しても意味がない。 多様性の尺度としては エントロピー や ジニ不純度 を使う。

⚠️ 分散・SD の落とし穴 5 件（拡張版）

• ① 単位を忘れる: 分散の単位は元データの 2 乗（人²、 円²）で直感的に意味が取りにくい。 報告時は必ず SD（元単位）に変換し、 「\(\bar{x} \pm s\)」形式で示す。 グラフでも分散ではなく SD かエラーバーを使う。
• ② 外れ値で SD が暴れる: SD は偏差の 2 乗を平均するため、 外れ値 1 個で大きく変動する。 47 都道府県人口で東京を除くと SD は 280 万 → 224 万人へ約 20% 減。 ロバスト指標（IQR・MAD）と必ず併記する習慣を。
• ③ ddof=0 と ddof=1 の混同: numpy.std はデフォルト ddof=0（母分散の計算）、 pandas.std はデフォルト ddof=1（不偏分散）。 ライブラリを混ぜると同じデータで違う値が出るので、 明示的に ddof=1 を書く。
• ④ 平均が 0 近くで CV が爆発: 変動係数 CV = SD/平均 は平均が 0 に近いと無限大に近づき意味を成さない。 中央値正規化 SD/median や IQR/median を代替指標に検討する。
• ⑤ 等分散仮定の無検証: t 検定・ANOVA は等分散を仮定する版があるが、 Levene 検定なしに使うと有意水準が崩れる。 不等分散なら Welch t 検定・Welch ANOVA に切り替える。

✅ 報告前チェックリスト

1. SD を報告したか（分散だけで終わらせない）
2. 外れ値の有無を箱ひげ図で確認し、 IQR/MAD と併記したか
3. ddof を明示したか
4. 群間比較なら等分散検定（Levene 中央値版）を実施したか
5. 小標本なら bootstrap CI で不確かさを示したか

📐 ロバスト指標の換算式まとめ

正規分布を仮定すると、 ロバスト指標から SD 相当値への換算定数は次のように定まる。 これを覚えておくとレポートで「SD ≒ ◯」と添えやすい。

SSDSE の実際の SD は約 280 万人。 ロバスト換算は MAD 由来で 92 万、 IQR 由来で 119 万人とかなり低い。 これは 分布が右に強く歪んでいる証拠で、 「正規分布前提のロバスト換算が大きく外れる ⇒ 正規分布で近似してはいけない」というアラートを発している。

⚠️ さらに重要な落とし穴（実務で踏みがちな 6 件）

1. 分散の単位を忘れて議論する — 「分散が 100」と言われても、 元の変数が cm なのか kg なのかで意味は全く違う。 単位は 元単位の二乗であることを常に意識する。
2. 異なる ddof の値を混在させて比較する — pandas（既定 ddof=1）と numpy（既定 ddof=0）、 Excel VAR.S と VAR.P、 scikit-learn の StandardScaler（ddof=0）。 同じデータでも分母が違うと値が変わる。 報告時は ddof を明示。
3. 歪んだ分布で SD を使って範囲を語る — 「平均 ± SD」が負の値になっても「人口がマイナス」はあり得ない。 右に歪んだ分布では中央値と IQR、 もしくは対数変換が無難。
4. 標準化（Z スコア化）したから外れ値が消えると勘違いする — Z スコアは平均と SD でスケールするだけで、 順序関係は変わらない。 外れ値はそのまま残る。 外れ値を除去したいなら別途閾値で trimming する。
5. SD の小ささを「精度が高い」と誤訳する — SD が小さいのは「ばらつきが小さい」だけで、 値そのものが正しいとは限らない。 系統誤差（bias）と SD（precision）は別軸。 詳細は バイアスとバリアンス を参照。
6. 分散が 0 の特徴量を機械学習に放り込む — 分散 0 は全データが同じ値であることを意味し、 情報量ゼロ。 多くのモデルが学習に失敗する。 VarianceThreshold（scikit-learn）で事前に除去するのが定石。

📊 表: 分布の形ごとに「使うべきばらつき指標」

💬 この表は「分布の形が先、 ばらつき指標は後」というメッセージ。 まずヒストグラムや箱ひげ図で形を見て、 そこから指標を選ぶ。 機械的に SD を使うのは禁物。

🌐 関連手法・派生 — 散らばりを使う統計手法ツアー

散らばり指標は単独で語られることは少なく、 多くの統計手法の部品として組み込まれている。 ここでは散らばりが本質的役割を果たす代表的な手法を一覧する。

散らばりを「正しく測れる」ことは、 これらすべての応用手法の土台。 SD を間違えると t 値も R² も信頼区間も連鎖的に間違える。 だから散らばりは統計学の最初に学ぶべき基本概念とされる。

🔗 関連用語

📚 前提

• 代表値（平均・中央値・最頻値）
• 尺度水準

🔀 並列

• 四分位・IQR
• ヒストグラム・箱ひげ図

🚀 発展

• 標準化
• 正規分布
• 相関係数（共分散を正規化）
• PCA（共分散行列の固有値分解）
• 信頼区間

🔗 関連用語ネットワーク — 前提・並列・発展（各4個以上）

🔻 前提となる用語

• 平均 — 分散・標準偏差の計算で「中心」として引かれる代表値。
• 中央値 — IQR や MAD の基準となる代表値。
• ヒストグラム — 散らばりを目で確認する基本ツール。
• 期待値 E[X] — 理論的な平均概念。 分散の定義 Var(X)=E[(X−E[X])²] に必須。
• 確率変数 — ばらつきを論じる対象としての数学的枠組み。

🔺 並列の用語

• 標準偏差 — 分散の平方根。 単位が元データと同じで解釈しやすい。
• 範囲（Range） — 最大−最小。 計算が最も簡単だが外れ値に極端に弱い。
• 四分位範囲（IQR） — Q3−Q1。 外れ値の影響を受けない頑健な指標。
• 平均絶対偏差（MAD） — 中央値からの絶対偏差の中央値。 最も頑健。
• 変動係数（CV） — SD/平均。 単位なし。 異なる変数間で比較可能。

🔼 発展的な用語

• 標準化 — 平均と標準偏差を使って平均0・分散1に変換。
• 分散分析（ANOVA） — 群間分散と群内分散の比から効果を検出。
• 共分散・相関 — 2変数の連動した散らばりを測る。
• 主成分分析（PCA） — 共分散行列の固有値分解で分散最大の軸を発見。
• 信頼区間 — 標準誤差（SD/√n）を使って母平均の区間推定。

📚 さらに深く学ぶための関連用語

• 標準偏差 — 分散の平方根を取って単位を元に戻したもの。 解釈しやすさで実務の主役。
• 分散 — ばらつきの定義そのもの。 数学的な計算では分散、 解釈では標準偏差を使うのが定石。
• 共分散 — 2 変数版の分散。 相関係数の元になる量。
• 相関係数 — 共分散を SD で正規化して [-1, 1] に収めた無次元量。
• 四分位範囲（IQR） — ロバストな散らばり指標。 箱ひげ図の「箱」の長さ。
• 箱ひげ図 — 中央値・四分位・外れ値を一目で表示する可視化。
• 四分位数 — 25%、 50%、 75% 点。 IQR の構成要素。
• 外れ値 — 散らばり指標の選択を左右する最大の要因。
• Z スコア（標準化） — 平均 0、 SD 1 に揃える前処理。
• 正規化 — 値を一定範囲（例 [0,1]）にスケーリングする処理。
• ヒストグラム — 分布の形を最初に確認する基本図。
• バイアスとバリアンス — 機械学習でモデル誤差を「偏り」と「ばらつき」に分解する考え方。
• 信頼区間 — 標本 SD を使った推定の幅を表す統計量。
• 仮説検定 — SD や分散の推定値を使って仮説の真偽を判定する枠組み。
• 母集団と標本 — 母分散と標本分散、 ddof の根本にある区別。

📝 理解度を試す追加問題（解答付き）

自分の言葉で説明できるかを確認するための練習問題。 SSDSE-B-2026 を使って実際に計算しても良い。

1. 問 1: 「分散」と「標準偏差」は、 何が違う指標なのか。 単位の観点から説明せよ。
   解答: 分散は偏差の二乗の平均なので、 単位が元単位の二乗（例: 人²、 cm²）。 標準偏差はその平方根で、 単位が元単位に戻る。 ばらつきを語るときは単位を揃えるため、 ほとんどの場面で標準偏差が使われる。
2. 問 2: なぜ不偏分散の分母が n ではなく n−1 なのか。 1 行で答えよ。
   解答: 標本平均を使うことで自由度が 1 つ消費されるため。 n で割ると母分散を系統的に過小評価する。 n−1 で割ることで母分散の 不偏推定量 になる。
3. 問 3: 「平均 100、 SD 20」と「平均 1000、 SD 50」、 どちらのほうがばらつきが大きいか。
   解答: 単純比較では SD 50 のほうが大きいが、 CV で比較すると 20/100 = 0.20 vs 50/1000 = 0.05 で、 前者のほうが相対的にばらつきが大きい。 単位や桁が違う場合は CV の方が公平。
4. 問 4: SSDSE-B-2026 の都道府県人口で、 「東京・神奈川・大阪」の上位 3 件を除いて SD を再計算すると、 1.057 という CV は約何倍になるか（同じ要領で推定せよ）。
   解答: 上位 3 件は平均・SD を大きく押し上げているので、 SD は半分以下になり CV は概ね 0.6 〜 0.7 程度に低下する。 これは「外れ値を 1 つ除いただけで CV が 10% 以上下がった」現象の延長線で、 ばらつき指標が外れ値に強く依存することを示す。
5. 問 5: 分散が 0 になるのはどんなときか。 また、 機械学習でその列をどう扱うべきか。
   解答: すべてのデータが同一値のとき、 分散は 0。 偏差がすべて 0 になるため。 機械学習では情報量がゼロなので、 VarianceThreshold 等で 事前に除去する。 残すと標準化で 0 割りエラーが出る。
6. 問 6: 「箱ひげ図の箱」と「IQR」の関係を説明せよ。
   解答: 箱の下端が第 1 四分位 Q1、 上端が第 3 四分位 Q3、 箱の高さがちょうど IQR = Q3 − Q1。 ひげの長さは多くの実装で 1.5 × IQR を上限とし、 それを超える点は外れ値として個別表示する。

💬 これらの問は、 ばらつきの「数式」より「いつどの指標を選ぶか」の判断を養うことを狙っている。 実務では計算式そのものより、 適切な指標を選び・誤解なく報告できるかが問われる。

🔄 ばらつき指標の歴史的背景と「なぜ標準偏差が主役なのか」

ばらつきを 1 つの数値で表す試みは古く、 18 世紀の天文観測の誤差解析にさかのぼる。 Carl Friedrich Gauss が最小二乗法を体系化した際、 「観測値と真値の差の二乗和」を最小化するという発想が、 そのまま分散と標準偏差の概念に直結した。 Francis Galton が 「probable error」（IQR の半分に相当）を多用し、 Karl Pearson が現在の standard deviation という名称を 1894 年に与えた、 という流れがある。

なぜ「絶対値の平均（平均絶対偏差）」ではなく「二乗の平均の平方根（標準偏差）」が主役になったのか。 大きく 3 つの理由が挙げられる。

1. 数学的扱いやすさ — 二乗は微分しやすく、 加法的（分散の加法性）。 絶対値は原点で微分不能で、 解析的に扱いにくい。
2. 正規分布との親和性 — 正規分布の確率密度関数に \(\sigma\) が直接現れる。 中心極限定理を介して、 多くの推測統計が SD を軸に組み立てられる。
3. 分散の加法性 — 独立な確率変数の和の分散は、 個別の分散の和に等しい（\(\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)\) when independent）。 これは標準誤差・誤差伝播・ポートフォリオ理論の根幹。

一方で、 ロバスト統計の発展（John Tukey、 Peter Huber ら、 1960 年代以降）により、 外れ値に強い MAD・IQR・トリム平均などが復権してきた。 現代では「正規分布近似が効くデータには SD、 そうでないデータには MAD/IQR」というハイブリッドな運用が標準。 どちらか片方だけを盲信する時代は終わっている。

📊 主要なばらつき指標の「破綻点（breakdown point）」

ロバスト統計では「データの何 % が極端な値に置き換わったら指標が意味を失うか」を 破綻点と呼ぶ。 値が大きいほど外れ値に強い。

💬 破綻点 0% の指標（平均・SD）は「データ品質が高いことを前提」にしている。 現場データはセンサーの誤計測・記入ミス・桁違いの異常値が混ざることが珍しくないので、 まずは MAD や IQR で全体像を掴み、 必要なら平均・SD を補助的に使うのが安全な順序。

🛠 実務 Tips: ばらつきを「報告する」ときのチェックリスト

レポート・論文・ダッシュボードでばらつきを示すとき、 読み手の誤解を防ぐために以下を確認する習慣を付ける。

1. 指標名と単位を併記 — 「SD = 280 万人（ddof=1）」のように、 何を計算したかが一意に伝わる表記にする。
2. 外れ値の有無と扱いを明記 — 「東京都を含む」「除外」「上下 5% トリム」などの処理を必ず書く。
3. 分布形を視覚化 — ヒストグラム or 箱ひげ図を 1 枚添える。 平均・SD だけでは形の情報が欠落する。
4. n を必ず示す — n=5 と n=500 では同じ SD でも信頼性が違う。
5. 分布形が歪んでいるなら中央値+IQR を主にし、 平均+SD は補助で出す — 順序が逆だと「平均を信じてしまう」読者が出る。
6. 比較対象がある場合はスケールを揃える — 異なる単位・桁ではそのままの SD で比較せず、 CV や Z スコアを使う。
7. 仮説検定や信頼区間と組み合わせるときは ddof=1 で統一 — 推測統計の理論は不偏分散を前提にしている。

📐 標準誤差（SE）との混同に注意

標準偏差（SD）と 標準誤差（standard error, SE） は別物。

• SD: データそのものの散らばり。 n が増えても収束しない（母集団の本質的な広がり）。
• SE: 標本平均などの 推定量の散らばり。 公式は \(\mathrm{SE} = s/\sqrt{n}\)。 n が増えると 0 に近づく。

「平均 ± SE」と「平均 ± SD」は意味が全く異なる。 SE は信頼区間の半幅と読み替えやすく（95% CI ≈ ±1.96 × SE）、 SD は「個々の観測の典型的ズレ」。 棒グラフのエラーバーが SE なのか SD なのか、 95% CI なのかをキャプションに明記しないと、 読者は印象操作を疑う。

🐍 SD と SE を区別して表示するコード例

このコードでやること: SSDSE-B-2026 の都道府県人口で、 標本 SD と平均の SE を計算し、 違いを示す。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
latest = df[df['SSDSE-B-2026'] == 2023]
x = latest['A1101'].astype(float).values
n = len(x)

sd = np.std(x, ddof=1)
se = sd / np.sqrt(n)

print(f'n         : {n}')
print(f'平均      : {np.mean(x):,.0f}')
print(f'SD        : {sd:,.0f}    ← 個々の都道府県のばらつき')
print(f'SE        : {se:,.0f}    ← 平均推定の不確かさ')
print(f'95% CI    : ±{1.96*se:,.0f} (= ±1.96 SE)')

📤 実行すると次の出力が得られる:

💬 SE は SD のおよそ 1/7（√47 ≈ 6.86）に縮む。 「都道府県人口の平均は約 265 万人で、 個々の県は ±280 万人ほどばらつく（SD）」「全国平均という推定値そのものは ±80 万人程度の幅で 95% 信頼区間が引ける（SE 由来）」の 2 文は、 異なる情報を伝えていることが分かる。 棒グラフのエラーバーで「SE なのに SD と書く」「逆に SD なのに SE と書く」は論文撤回級の混乱を生むので、 必ず明示する。

🧠 まとめ: ばらつき指標の選択は「分布の形」と「目的」で決まる

ここまでの内容を 1 ページで振り返ると、 次のような流れになる。

1. まず ヒストグラム・箱ひげ図で分布の形を確認する。
2. 左右対称・単峰なら 平均 + SD。 右に歪んでいる、 または外れ値が多いなら 中央値 + IQR or MAD。
3. 単位や桁が違う変数を比較するときは 変動係数 CV や 標準化（Z スコア）。
4. 分散の ddof（n または n−1）はライブラリ既定値が違うので、 必ず明示する。
5. 標準偏差（SD）と標準誤差（SE）を混同しない。 SD は個々の散らばり、 SE は推定量の不確かさ。
6. 機械学習の前処理では、 外れ値が多いなら RobustScaler、 そうでないなら StandardScaler。
7. レポートでは「指標名・ddof・外れ値処理・n・分布の形」をワンセットで提示する。

ばらつきという 1 つの概念にこれだけのバリエーションがあるのは、 「散らばり」がデータ解析のあらゆる場面で要となる量だから。 平均と並ぶ「2 大記述統計量」として、 数式・計算・解釈・落とし穴を一通り押さえておくと、 後続のすべての統計学・機械学習トピックがスムーズに理解できる。

🔍 ばらつきが現れる代表的応用シーン（領域別の使い分け）

ばらつき（分散・標準偏差・共分散） を含むデータ分析は、 分野によって使われ方が違います。 下の表は分野ごとの代表的な用途で、 ばらつき（分散・標準偏差・共分散） だけの用途一覧ではありません。 自分の分野の行を見て、 どんな問いにデータを使うのかを掴んでください。

💬 同じ「分散」「標準偏差」という単語が、 分野ごとに違う名前（ボラティリティ・RMSE・参照範囲・SNR …）で呼ばれていることに注意。 名前は違っても、 数学的中身は本ページで扱った分散・標準偏差そのもの。 「分野語彙の翻訳」ができれば、 自分の専門外のレポートも読めるようになる。

🗺 概念マップ

ばらつきは「平均」「中央値」のような中心値から派生して、 偏差 → 分散 → 標準偏差 → 共分散 → 相関係数 へと階段状に拡張される。 ヒストグラム・箱ひげ図は同じ概念を可視化したもの、 期待値 E[X] と Var[X] は理論側からの定式化である。

ばらつきは「個々の値が平均からどれだけ離れているか」を一つの数値で集約する操作であり、 後段の回帰・PCA・分散分析・標準化すべてが分散の存在を前提にしている。 SSDSE-B-2026 の都道府県別データを 1 つ取ると、 平均値だけでは説明できない地域差の大きさが分散・標準偏差に凝縮され、 政策議論や比較指標の出発点になる。

🔗 隣接手法への橋渡し

ばらつき (分散・標準偏差・共分散) は単独の指標ではなく、 平均との対比で意味が確定し、 正規分布の前提や回帰の残差分析へと連鎖する。 以下の接続点を押さえることで「数値の散らばり」を統計的推測の出発点に育てられる。

• 上流（前処理・データ整備）: 欠損値処理 / 標準化 / 探索的データ解析
• 並列（代替・補完手法）: 四分位範囲 (IQR) / MAD・中央絶対偏差 / 範囲・箱ひげ図
• 下流（評価・解釈・応用）: 主成分分析 / 分散分析 / 信頼区間

ばらつきは「平均だけでは見えない不均一性」を可視化する指標群で、 上流の前処理で外れ値が分散を歪めていないか、 並列で共分散・標準偏差のスケールを揃えているか、 下流で回帰や検定の前提に矛盾がないかを常にセットで点検する。

🌳 使い分け — どの指標を選ぶか

分布の形・状況での選び方

🤖 機械学習でのばらつき指標

• バイアス-バリアンス分解：予測誤差 = $\text{Bias}^2 + \text{Variance} + \sigma^2_\varepsilon$。 過学習はバリアンス大、 過小学習はバイアス大
• PCA：共分散行列の固有値分解。 「分散を最大化する方向」を主成分軸に
• Batch Normalization：各層出力の平均と分散で標準化、 深層学習の必須技術
• Variance Threshold：分散がほぼゼロの特徴量を除外する前処理
• StandardScaler / RobustScaler：平均・SD（または中央値・IQR）で標準化
• 分散分析（ANOVA）：全分散を「群間分散 + 群内分散」に分解
• マハラノビス距離：$\Sigma^{-1}$ を使った多変量距離、 異常検知の基本
• ポートフォリオ理論：共分散行列でリスク最小化（Markowitz）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

import pandas as pd

# ── この抜粋だけで動くように、47 都道府県・最新年度を読み込む ──
_d = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
_d = _d[_d['SSDSE-B-2026'] == 2023]
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, RobustScaler
from sklearn.feature_selection import VarianceThreshold
from sklearn.decomposition import PCA

X = _d[['A1101', 'A1301', 'A1303', 'A4101']].astype(float).values
y = (_d['A1101'] > _d['A1101'].median()).astype(int).values
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=0, stratify=y)

# 標準化（学習用）
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)   # 訓練でfit、 テストはtransform
X_std = scaler.fit_transform(X)

# ロバスト版（外れ値に強い）
scaler = RobustScaler()  # 中央値と IQR ベース

# 分散ほぼゼロの特徴量を除外
selector = VarianceThreshold(threshold=0.01)
X_filtered = selector.fit_transform(X_std)

# PCA（共分散行列を分解）
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_std)
print(pca.explained_variance_ratio_)   # 主成分の寄与率

🚧 よくある誤解 — チェックリスト

📝 練習問題 — 理解度チェック

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
data = df.copy()
data['年度'] = data['SSDSE-B-2026']
df23 = data[data['年度'] == 2023]
cols = ['L322101', 'L322108', 'L322102']  # 食料・教育・住居
X = df23[cols].apply(pd.to_numeric, errors='coerce').dropna() / 1000

# 共分散行列
print(np.cov(X.values, rowvar=False))

# PCA の前に標準化（必須）
X_std = StandardScaler().fit_transform(X)

📋 報告フォーマット

ばらつき指標を報告するときは、 必ず代表値（平均または中央値）とセットで示します。 単に「分散 = X」では意味を成しません。

• 代表値（平均または中央値） + ばらつき指標を併記
• SD / SE / IQR / MAD のうちどれを示しているか明示
• サンプルサイズ $n$ を必ず記す
• 分布の形（対称・歪み）にも触れる

「ばらつき（分散・標準偏差・共分散）」を扱う際の手法選択は、 状況に応じて以下のフローで判断すると迷いが減る。

1. Step 1: 目的は記述か予測か?
   • 記述 (現状把握・要約) → 集計・可視化・要約統計量で全体像を掴む
   • 予測 (未知データへの推定) → モデル構築・検証フェーズへ移行
2. Step 2: データの種類・規模は?
   • 数値データ・小〜中規模 → 「ばらつき（分散・標準偏差・共分散）」やその拡張手法を直接適用
   • カテゴリデータ → カイ二乗検定 と組み合わせ
   • 大規模・高次元 → 主成分分析 など計算効率重視の派生を選択
3. Step 3: 結果の解釈・共有は?
   • 専門家向け → 数値指標・統計検定で精緻に評価
   • 非専門家向け → 可視化・自然言語での要約を重視

このフローに沿って判断することで、 「ばらつき（分散・標準偏差・共分散）」を中核とした適切な手法選択ができる。

🎮 触って理解する

数直線上の青い点をドラッグして散らしたり集めたりしてみましょう（スマホはタッチでOK）。 範囲・分散・標準偏差(SD)・四分位範囲(IQR)・変動係数(CV) がリアルタイムで計算されます。 点を広げるとばらつき指標は増え、 平均付近に集めると減ります。 赤い帯が平均 ± SD、 緑の帯が IQR（真ん中50%）です。

試してみよう: 「外れ値を追加」を押すと、 SD（赤）は大きく跳ね上がるのに IQR（緑）はほとんど動かないはず。 これが「SD は外れ値に敏感／IQR は頑健」の体感です。 「集める」を繰り返すと全指標がゼロに近づき、 平均だけでは同じでもばらつきが全く違う分布を作れます。

🎨 直感 — 散らばりは「点の広がり具合」そのもの

• 点を数直線いっぱいに散らすほど、 各点から平均までの距離（偏差）が大きくなり、 その2乗平均である分散・その平方根のSD が増える。
• 逆に平均付近にギュッと集めると、 偏差が小さくなり全指標が縮む。 完全に1点に重なれば散布度はすべて0。
• 範囲は両端2点だけで決まるので、 中央の点をいくら動かしても端が動かなければ変わらない。 情報量が最も少ない指標。

🚧 よくある落とし穴

• 平均だけでは分布は語れない: 上の図で「集める／散らす」を使うと、 平均 x̄ を保ったままばらつきだけを変えられる。 平均が同じでも中身は別物 — 代表値とばらつきは必ずセットで報告する。
• SD は外れ値に過敏: 偏差を2乗するため、 1個の極端値が σ を大きく押し上げる。 「外れ値を追加」で赤い帯が急に広がる様子がその証拠。
• 範囲は最も脆い: max−min はたった1個の外れ値で跳ね上がる。 概観把握以上には使わない。

🚀 発展 — スケール比較と頑健指標

• 変動係数 CV = σ / x̄: SD を平均で割って無次元化した相対ばらつき。 単位やスケールの違う変数どうし（例: 身長と年収）を同じ土俵で比べられる。 ただし平均が0付近・負の値では意味を失う。
• 頑健指標(IQR・MAD): 外れ値で緑の帯（IQR）がほぼ動かないように、 中央値ベースの指標は極端値に強い。 歪んだ分布や外れ値を含むデータでは SD より IQR・MAD が信頼できる。
• より深く: 四分位範囲(IQR) / 標準化(z化) / 箱ひげ図 / ロバスト統計 / 相関係数。