🔖 キーワード索引（拡張）

分散と関連する重要用語：

🎨 直感で掴む — 分散は「ばらつきの大きさ」

分散（variance）は、 データの散らばり具合を1つの数字で表す指標。 平均から各データがどれくらい離れているか、 を2乗してから平均したものです。

各バーが東北6県の食料費。 赤線が平均、 オレンジ矢印が各県から平均までの距離（偏差）。 この偏差を集約したのが分散です。

なぜ「2乗」するのか？

左：偏差はプラスとマイナスが混在し、 合計はゼロになります（重心の性質）。 そのままでは「ばらつき」を表せません。
右：偏差を2乗するとすべて非負になり、 「平均からの距離の大きさ」を測れます。 この平均が分散。

3つの分散レベル

同じ平均（μ=50）でも、 分散が大きいほどデータは広がります。 分散は不確実性の大きさとも解釈できます。

💡 分散は幾何学的には「平均からの距離の2乗の平均」、 物理学的には「慣性モーメント」、 確率論的には「期待値の2次モーメント」と多角的に理解できます。

🎮 触って理解する — 分散シミュレータ

数直線上の点をドラッグして動かしたり、 空いた所をクリック（タップ）して点を追加すると、 平均・分散・標準偏差がリアルタイムで更新されます。 各点から平均への偏差を線で、 偏差の二乗を正方形の面積で描きます。 「分散 = 偏差二乗（正方形の面積）の平均」を目で体感してください。

この図で分かること

• 青い縦線が平均 x̄。 各点から平均までの水平線が偏差 (xᵢ − x̄)。
• その偏差を一辺とする正方形の面積が偏差の二乗 (xᵢ − x̄)²。 平均より上（右）はオレンジ、 下（左）はティール。
• 紫の破線正方形は「一辺 = 標準偏差」の正方形。 その面積がちょうど分散（＝色付き正方形の面積の平均）に等しい。
• 母分散 (÷n) と不偏分散 (÷n−1) を切り替えると、 分母の自由度が変わり、 分散・標準偏差・紫の正方形の大きさが変化します（n が小さいほど差が大きい）。

📚 もっと深く — 定義から共分散への拡張まで

分散の定義（ひとことで）

分散とは「各データが平均からどれだけ離れているか」を偏差の二乗の平均で測った散布度。 母分散は $$ \sigma^2 = \frac{1}{N}\sum (x_i-\mu)^2 $$、 不偏分散は $$ s^2 = \frac{1}{n-1}\sum (x_i-\bar{x})^2 $$。

なぜ「二乗」するのか — 絶対値との対比

偏差 (xᵢ − x̄) はそのまま足すと必ず 0 になる（平均の定義より）。 符号を消す方法は主に 2 つ：絶対値を取るか、二乗するか。

• 絶対値偏差（平均絶対偏差 MAD）: 直感的で外れ値に頑健だが、 原点 0 で微分不可能なため数学的に扱いにくい。
• 二乗偏差（分散）: どこでも滑らかに微分でき、 「最小二乗法・期待値の分解・ピタゴラスの定理（分散の加法性）」と綺麗に接続する。 その代償として、 大きな偏差を二乗で強調するため外れ値に敏感。

この「二乗ゆえの外れ値感度」を避けたいときは、 絶対値ベースの頑健な散布度（MAD・IQR）を使う。 詳しくは ロバスト統計 を参照。

母分散と標本分散 — n−1 の理由（ベッセル補正）

標本から母分散を推定するとき、 分母を n にすると系統的に過小評価される（$$ \mathbb{E}[s^2_n] = \frac{n-1}{n}\sigma^2 < \sigma^2 $$）。 これは偏差を「未知の母平均 μ」ではなく「標本から計算した x̄」で測るため、 平方和が必ず最小になってしまうから。 分母を n−1（＝自由度）にすると期待値が母分散に一致する（不偏推定量）。 これをベッセル補正と呼ぶ。 上のシミュレータで「母分散／不偏分散」を切り替えると、 n が小さいほど両者の差が大きい（比は n/(n−1)）ことが確認できる。

標準偏差との関係

分散は単位が「元の単位の二乗」（万人²・千円² など）になり解釈しづらい。 その平方根を取って元の単位に戻したのが 標準偏差（SD = √分散）。 実務の報告・可視化では SD が好まれる。 シミュレータの紫の破線正方形（一辺 = SD）は、 色付き正方形の面積の平均（＝分散）にちょうど等しく、 「SD は分散を長さに戻したもの」であることを示している。

外れ値への感度

偏差を二乗するため、 平均から大きく離れた 1 点が分散に与える影響は距離の二乗で効く。 例えば 47 都道府県の総人口は、 東京都（突出値）を含めると SD ≈ 280 万人、 除くと ≈ 224 万人と大きく変わる。 外れ値が疑われるデータでは、 分散・SD の代わりに IQR や MAD といった頑健な指標を併用する。 → ロバスト統計

共分散への拡張

分散は「1 変数の偏差 × 同じ偏差」の平均だが、 これを「x の偏差 × y の偏差」の平均に一般化すると 共分散 $$ \mathrm{Cov}(X,Y) = \frac{1}{n}\sum (x_i-\bar{x})(y_i-\bar{y}) $$ になる。 実際 $$ \mathrm{Cov}(X,X) = \mathrm{Var}(X) $$ であり、 分散は共分散の特殊ケース。 2 変数の和の分散には共分散項が現れる（$$ \mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\,\mathrm{Cov}(X,Y) $$）。 共分散を標準偏差で割って無次元化すると相関係数、 多変数に並べると分散共分散行列となり、 PCA やポートフォリオ理論の基礎になる。

📐 数式と読み方

① 母分散（population variance）

$$ \sigma^2 = \mathbb{E}[(X - \mu)^2] = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^2 $$

② 不偏分散（sample variance）

$$ s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2 $$

🔬 数式を言葉で読み解く — ③ 計算用の別形式

展開すると：

$$ s^2_n = \overline{x^2} - \bar{x}^2 = \frac{1}{n} \sum x_i^2 - \bar{x}^2 $$

「二乗の平均 − 平均の二乗」とも呼ばれます。 計算量が少なく、 ストリーミングデータでも使いやすい。

🔧 分散の性質 — 線形変換とどう動くか

① 定数を足しても分散は変わらない

$$ \text{Var}(X + c) = \text{Var}(X) $$

全データに同じ数を足すと、 全部が平行移動するだけで「散らばり」は変わらない。

② 定数倍すると分散はその二乗倍

$$ \text{Var}(aX) = a^2 \cdot \text{Var}(X) $$

2倍すると分散は4倍、 3倍すると分散は9倍。 ばらつきも2乗で広がる。

③ 独立な場合の和の分散

$$ \text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) \quad (X, Y \text{ 独立}) $$

独立な変数の和の分散は、 それぞれの分散の和。 大数の法則の根拠でもあります。

④ 一般の場合（共分散項あり）

$$ \text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2 \text{Cov}(X, Y) $$

独立でない場合、 共分散の項が追加されます。 ポートフォリオ理論や分散分析の基礎。

⑤ 標本平均の分散

$$ \text{Var}(\bar{X}) = \frac{\sigma^2}{n} $$

サンプルサイズを n 倍にすると、 平均のばらつきは 1/n に減る。 これが「サンプルを多く取れば平均が安定する」の理論的根拠。

📏 標準偏差との関係

分散の平方根が標準偏差（standard deviation）：

$$ \sigma = \sqrt{\sigma^2}, \quad s = \sqrt{s^2} $$

分散は単位が「元の単位の2乗」（千円² など）になるため、 解釈しにくいことがあります。 平方根を取った標準偏差は元のデータと同じ単位を持つので、 直感的。

🎯 分散分析 (ANOVA) — 分散の分解

分散の最大の応用が分散分析（Analysis of Variance）。 全体の分散を「群間の差による分散」と「群内の偶然の分散」に分けて、 「群差は本物か？」を検定します。

分散の分解

$$ \text{総分散} = \text{群間分散} + \text{群内分散} $$

$$ \sum_i (x_i - \bar{x})^2 = \sum_g n_g (\bar{x}_g - \bar{x})^2 + \sum_g \sum_i (x_{gi} - \bar{x}_g)^2 $$

F検定量

$$ F = \frac{\text{群間分散} / df_1}{\text{群内分散} / df_2} $$

F が大きい → 群間差が大きい → 群差は有意。 t検定の多群版とも言えます。

使用例

• 東北・関東・関西の食料費に違いはあるか？
• 3種類の肥料で収穫量に差はあるか？
• 4種類の治療法で効果に差はあるか？

🤖 機械学習での分散

① バイアス-バリアンス分解

機械学習モデルの予測誤差は3つに分解されます：

$$ E[(y - \hat{f}(x))^2] = \text{Bias}^2 + \text{Variance} + \sigma^2_\epsilon $$

• Bias²：モデル予測の平均と真の関数のズレ（モデル単純すぎ）
• Variance：データセット間での予測のバラつき（モデル複雑すぎ）
• σ²_ε：ノイズ（避けられない誤差）

過学習＝Variance が大（複雑モデルは学習データに敏感）、 過小学習＝Bias が大。

② PCA（主成分分析）

「分散を最大化する方向」を順に見つけ、 データの主要な変動を捉える次元削減手法。 分散がそのまま「情報量」として使われる。

③ Variance Threshold（特徴選択）

分散がほぼゼロの特徴量（全データで値が同じ）は予測に寄与しないので除外する前処理。

このコードでやること: 3 特徴量のうち分散が threshold=0.01 以下の列を自動除外する sklearn の VarianceThreshold の最小動作例。

📥 入力データ例:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# ── この抜粋で使うデータを用意します ──
import numpy as np
import pandas as pd
from sklearn.feature_selection import VarianceThreshold

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]        # 2023 年の 47 都道府県
# 総人口・65歳以上人口・消費支出を、桁を揃えて 3 列の行列にする
X = np.column_stack([
    df['A1101'].astype(float).values / 1e4,   # 総人口(万人)
    df['A1303'].astype(float).values / 1e4,   # 65歳以上人口(万人)
    df['L3221'].astype(float).values / 1e3])  # 消費支出(千円)

selector = VarianceThreshold(threshold=0.01)
X_filtered = selector.fit_transform(X)
print('各列の分散      :', np.round(selector.variances_, 3))
print('残った列の数    :', X_filtered.shape[1], '/', X.shape[1])

💬 分散が 0.01 以下の特徴量（全サンプルでほぼ同じ値）は予測に寄与しないため自動除去される。 前処理で不要な特徴量を削る標準的な手順。

④ Batch Normalization

各層の出力を「平均0、 分散1」に標準化する深層学習の必須技術。 「分散」が出てくるたびに必要なのが正規化。

📐 ddof パラメータ — 標本分散と不偏分散の決定的な違い

分散の計算で最初に詰まるのが「分母を n にするか n-1 にするか」問題。 NumPy / pandas / SciPy で ddof (Delta Degrees Of Freedom) という引数で制御する。 既定値が NumPy=0、 pandas=1 と異なるため、 同じデータでも違う値が出るのが要注意ポイント。

🔬 数式を言葉で読み解く — n-1 の意味

標本分散の定義は s² = Σ(xᵢ - x̄)² / (n - ddof)。 数式を言葉で読み解くと、 「観測値とその平均との差を二乗して足し、 自由度で割る」。 ここで自由度とは「自由に動ける情報の数」のこと。 標本平均 x̄ を計算するのに 1 個分の情報を使っているため、 残りの「真に独立な情報」は n - 1 個になる。 ddof=1 (= n-1 で割る) とすると、 推定された分散の期待値が母分散 σ² と一致する (不偏推定量)。 一方 ddof=0 では系統的に過小評価される。

🔬 数式を言葉で読み解く

分散 σ² = E[(X − μ)²] の各記号を日本語に翻訳する。

• x_i — 各データ点 (例: SSDSE-B-2026 の A1101 北海道 509 万人、 青森 118 万人、 …、 沖縄 147 万人)
• μ (mu) / x̄ — 母平均 / 標本平均 (47 都道府県の A1101 平均 ≈ 265 万人)
• x_i − μ — 偏差 (各都道府県が平均から何万人ずれているか)。 東京 1409 − 265 = +1144 万、 鳥取 54 − 265 = −211 万
• (x_i − μ)² — 偏差の二乗 (符号を消して大きさだけにする。 東京は約 130.9 万²、 鳥取は約 4.45 万²)
• Σ(x_i − μ)² / n — 母分散 (人口の典型的ばらつき幅²)
• Σ(x_i − x̄)² / (n−1) — 不偏分散 (n−1 で割る。 ベッセル補正)
• σ (sigma) — 標準偏差 (分散の平方根。 単位が元データと同じ「万人」)
• E[·] — 期待値 (確率分布での平均)。 標本では Σ/n に対応

分散の式は「データが平均からどれだけ広がっているか」を二乗距離の平均で測る。 SSDSE-B-2026 A1101 では分散 ≈ 7.7 × 10⁴ (万人²)、 標準偏差 ≈ 277 万人で「47 県の人口は平均 265 万人 ± 277 万人」と要約される。

母分散 vs 不偏分散の使い分け:

• 母分散 σ² (÷n) — 全数 (47 都道府県全て) を扱う場合や、 機械学習で最尤推定量として使う場合
• 不偏分散 s² (÷(n−1)) — 47 県を「日本全体の標本」として母集団に推測したい場合。 R の var(), pandas の .var() はデフォルト n−1
• 標本分散の SE — Var(s²) ≈ 2σ⁴/(n−1) (正規分布仮定下)。 信頼区間は χ² 分布
• 分散分解 — Var(X+Y) = Var(X) + Var(Y) + 2 Cov(X,Y)。 独立なら共分散 0
• 条件付き分散 — Var(X) = E[Var(X|Y)] + Var(E[X|Y]) (全分散の法則)

🧮 計算ステップ — 東北6県の分散を手計算

🧮 計算ステップ — 東北6県の分散を手計算

データと偏差・偏差の二乗

平均 x̄ = 80.824 千円。

標本分散（÷ n）

$$ s^2_n = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2 $$

計算：40.4382 ÷ 6 = 6.7397

不偏分散（÷ n-1）— 推論用

$$ s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2 $$

計算：40.4382 ÷ 5 = 8.0876

東北6県の食料費の分散は約 6.74〜8.09 (千円²)。 平方根を取れば標準偏差 ≈ 2.84 千円。

🎲 なぜ n-1 で割るのか？ — Bessel補正

「ばらつきを n 個で割って平均すれば、 1個あたりのばらつきになる」が直感的。 でも統計学ではn-1 で割るのが標準。 なぜでしょうか。

標本分散はバイアスを持つ

「÷n」で計算した標本分散 s²_n は、 母集団全体の分散 σ²より小さくなる傾向があります。

$$ \mathbb{E}[s^2_n] = \frac{n - 1}{n} \sigma^2 \quad < \sigma^2 $$

つまり「÷n」だと、 平均的に母分散より (n-1)/n 倍だけ過小評価します。 これを是正するため、 (n-1)/n の逆数 n/(n-1) を掛けて補正：

$$ s^2 = \frac{n}{n-1} \cdot s^2_n = \frac{1}{n - 1} \sum (x_i - \bar{x})^2 $$

これが不偏分散。 期待値が母分散 σ² に一致する（不偏性）。

上の図は1000回のサンプリングで分散を計算した平均値。 赤線（÷n）は常に真値より下にあり、 緑線（÷(n-1)）は真値に正しく一致。

直感的説明：自由度

n 個のデータがあって、 平均 x̄ を計算すると1つの「制約」ができます（偏差の合計がゼロ）。 残りの「自由に動ける情報の数」は n-1 個。 これが自由度と呼ばれる概念。

• n 個のデータ：n 個の情報
• x̄ で「平均」を1つ推定済み：1自由度消費
• 残り自由度：n − 1

自由度で割ることで、 「情報の量に合わせた平均」になります。

どちらを使うべきか？

• 標本そのものを記述したい（要約統計）→ ÷n（標本分散）
• 母集団の分散を推定したい（推論統計）→ ÷(n-1)（不偏分散）
• 機械学習では ÷n が標準（最尤推定量、 scikit-learn の StandardScaler や PCA も ÷n）
• numpy のデフォルト: np.var(x) は ÷n、 ddof=1 で ÷(n-1)
• pandas のデフォルト: df.var() は ÷(n-1) — 推論用

🧮 SSDSE-B 実値計算 — 47都道府県の主要変数で分散を計算

SSDSE-B-2026 の主要 6 変数で、 ① 標本分散、 ② 不偏分散、 ③ 標準偏差、 ④ 変動係数（CV）、 ⑤ Welford のオンライン計算 を実演する。

このコードでやること: SSDSE-B-2026 の 47 都道府県データ（2023 年）から「総人口・15歳未満人口・65歳以上人口・合計特殊出生率・年平均気温・消費支出」6 変数について、母分散・不偏分散・標準偏差・変動係数を一括計算する。

📥 入力データ（SSDSE-B-2026、2023 年 抜粋）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import numpy as np
import pandas as pd

# 先頭列名は "SSDSE-B-2026"(=年度)。2 行目の日本語ラベルは skiprows=[1] で除外し、
# コード列名(A1101 等)で読み込んでから 2023 年だけを抽出する。
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]

# (コード, 表示名, 単位変換) 人口系は万人、消費支出は千円に換算して比較する
feats = [('A1101', '総人口(万人)',      1e4),
         ('A1301', '15歳未満人口(万人)', 1e4),
         ('A1303', '65歳以上人口(万人)', 1e4),
         ('A4103', '合計特殊出生率',      1),
         ('B4101', '年平均気温(℃)',       1),
         ('L3221', '消費支出(千円)',      1e3)]

for code, name, u in feats:
    x = df[code].astype(float).values / u
    mu, sd = x.mean(), x.std(ddof=1)
    print(f'{name:<16} 平均={mu:8.2f}  σ²={x.var(ddof=0):10.2f}  '
          f's²={x.var(ddof=1):10.2f}  SD={sd:7.2f}  CV={sd/mu:6.3f}')

💬 消費支出の CV ≈ 0.082（世帯あたり支出は全国的に均質）に対し、総人口の CV ≈ 1.057（東京都が突出して大きい）と最大。「ばらつきを比較する」には絶対値の分散ではなく、単位無次元の CV が有効。

典型的な観察例： 総人口の CV は 1.0 を超え（東京都がずば抜けて大きい）、 消費支出の CV は 0.08 程度と均質。 「ばらつきを比較する」には絶対値の分散ではなく、 単位無次元の CV を使うのが定石。 また ddof=0（母分散）と ddof=1（不偏分散）の差は n=47 では約 2.2% で実用上ほぼ無視できるが、 教科書通り「サンプルから母数を推定」する文脈では必ず ddof=1 を使う。

Welford のオンラインアルゴリズム（数値安定）

このコードでやること: SSDSE-B-2026（2023 年）の消費支出を Welford アルゴリズムで計算し、numpy の一括計算と完全一致することを確認する。

📥 入力データ（SSDSE-B-2026 消費支出、47 県分）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]
x = df['L3221'].astype(float).values / 1e3   # 消費支出(二人以上の世帯)を千円に

def welford(xs):
    n, mean, M2 = 0, 0.0, 0.0
    for v in xs:
        n += 1
        delta = v - mean
        mean += delta / n
        M2   += delta * (v - mean)
    return mean, M2/n, M2/(n-1)   # 母分散, 不偏分散

mu, var_pop, var_samp = welford(x)
print(f'Welford : μ={mu:.2f}, σ²={var_pop:.2f}, s²={var_samp:.2f}')
print(f'numpy   : μ={x.mean():.2f}, σ²={x.var(ddof=0):.2f}, '
      f's²={x.var(ddof=1):.2f}')

💬 Welford アルゴリズムの μ=295.86、σ²=570.53、s²=582.94 が numpy と完全一致。 ストリーミング計算でも numpy の一括計算と同じ結果が得られる。

分散の加法性（独立確率変数の和）

このコードでやること: SSDSE-B-2026 の「15歳未満人口」と「65歳以上人口」は相関があるため Var(a+b) ≠ Var(a)+Var(b) となる。共分散項の補正がなければ分散の加法性が成立しないことを実データで確認する。

📥 入力データ（SSDSE-B-2026 抜粋）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 15歳未満 + 65歳以上 = 「非生産年齢人口」とすると Var の加法性は崩れる
# （両者は同じ県内のサンプルなので相関がある）
a = df['A1301'].astype(float) / 1e4
b = df['A1303'].astype(float) / 1e4
print(f'Var(a)   = {a.var(ddof=1):.2f}')
print(f'Var(b)   = {b.var(ddof=1):.2f}')
print(f'Var(a+b) = {(a+b).var(ddof=1):.2f}')
print(f'2*Cov(a,b) = {2 * a.cov(b):.2f}')
print(f'分散の加法性チェック: '
      f'Var(a)+Var(b)+2Cov(a,b) = '
      f'{a.var(ddof=1) + b.var(ddof=1) + 2*a.cov(b):.2f}')

💬 Var(a)+Var(b) = 5787.70 に対し Var(a+b) = 10065.49。 差は 2×Cov(a,b) = 4277.79 で完全一致。 15歳未満と65歳以上は都市部で共に多い傾向があり、強い正の共分散を持つため加法性が単純には成立しない。

🧮 SSDSE-B-2026 47 県人口で分散を実計算 — ddof による差

このコードでやること: SSDSE-B-2026 の 47 県人口について、 ddof=0 (標本分散) と ddof=1 (不偏分散) の差を実値で示し、 同じデータでも値がどう変わるかを確認する。

📥 入力データ (SSDSE-B-2026 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
pop = df.groupby('Prefecture')['A1101'].first() / 1e4

n = len(pop)
mean = pop.mean()
ss = ((pop - mean) ** 2).sum()      # 偏差平方和

print(f'n           = {n}')
print(f'mean        = {mean:.3f}')
print(f'Σ(x-x̄)²    = {ss:.1f}')
print()
print(f'np.var (ddof=0, n  で割る)  = {np.var(pop, ddof=0):.2f}  → σ̂² (バイアス有)')
print(f'np.var (ddof=1, n-1 で割る) = {np.var(pop, ddof=1):.2f}  → s² (不偏)')
print(f'pandas .var()  (既定 ddof=1) = {pop.var():.2f}')
print(f'pandas .var(ddof=0)         = {pop.var(ddof=0):.2f}')
print(f'比 ddof1/ddof0 = {np.var(pop,ddof=1)/np.var(pop,ddof=0):.6f}  (= n/(n-1) = {n/(n-1):.6f})')

📤 実行例:

💬 結果の読み方: 同じデータでも ddof=0 と ddof=1 で 1665 (約 2.2%) の差が出る。 比は n/(n-1) = 47/46 ≒ 1.0217 という単純な比例関係。 N が大きくなるとこの差はゼロに収束するため、 ビッグデータでは無視できる。 ただし「47 都道府県は標本ではなく母集団そのもの」という見方を取るなら ddof=0 が正しく、 「47 県は何らかの母集団からの標本」と見るなら ddof=1。 設定で意味が変わる典型例。

🧮 分散分解 — 全分散 = 群内分散 + 群間分散 (ANOVA の出発点)

分散には「分解できる」という強力な性質がある。 任意のグループ分けに対し、 全分散 = 群内分散の加重平均 + 群間分散 という関係 (分散分解定理) が成立する。 これは ANOVA (分散分析) や混合効果モデルの基礎であり、 R² (決定係数) の意味も「全分散のうちモデルが説明する分散の割合」として理解できる。

🔬 数式を言葉で読み解く — Var(X) = E[Var(X|G)] + Var(E[X|G])

数式を言葉で読み解くと、 「全分散は『各グループ内のばらつきの平均』と『各グループの平均同士のばらつき』の和」。 前者を「群内分散 (within-group variance)」、 後者を「群間分散 (between-group variance)」と呼ぶ。 この分解は、 グループ分けが「データの違いをどれだけ説明するか」を 1 つの指標で測れることを意味する。 群間 / 全 = R² (1 元配置 ANOVA の場合) となる。

このコードでやること: SSDSE-B-2026 の都道府県人口を 8 地方ブロックに分け、 全分散・群内分散・群間分散の 3 つを分解計算し、 「地方の違いが人口のばらつきをどれだけ説明するか」を R² 風指標で出す。

📥 入力データ（SSDSE-B-2026 抜粋）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
pop = (df.groupby('Prefecture')['A1101'].first() / 1e4).reset_index()

region_map = {'北海道':'北海道',
    '青森県':'東北','岩手県':'東北','宮城県':'東北','秋田県':'東北','山形県':'東北','福島県':'東北',
    '茨城県':'関東','栃木県':'関東','群馬県':'関東','埼玉県':'関東','千葉県':'関東','東京都':'関東','神奈川県':'関東',
    '新潟県':'中部','富山県':'中部','石川県':'中部','福井県':'中部','山梨県':'中部','長野県':'中部','岐阜県':'中部','静岡県':'中部','愛知県':'中部',
    '三重県':'近畿','滋賀県':'近畿','京都府':'近畿','大阪府':'近畿','兵庫県':'近畿','奈良県':'近畿','和歌山県':'近畿',
    '鳥取県':'中国','島根県':'中国','岡山県':'中国','広島県':'中国','山口県':'中国',
    '徳島県':'四国','香川県':'四国','愛媛県':'四国','高知県':'四国',
    '福岡県':'九州沖縄','佐賀県':'九州沖縄','長崎県':'九州沖縄','熊本県':'九州沖縄','大分県':'九州沖縄','宮崎県':'九州沖縄','鹿児島県':'九州沖縄','沖縄県':'九州沖縄',
}
pop['region'] = pop['Prefecture'].map(region_map)

total_mean = pop['A1101'].mean()
ss_total = ((pop['A1101'] - total_mean) ** 2).sum()

# 群内 (within) と 群間 (between) の平方和
ss_within = 0.0
ss_between = 0.0
for r, sub in pop.groupby('region'):
    ss_within += ((sub['A1101'] - sub['A1101'].mean()) ** 2).sum()
    ss_between += len(sub) * (sub['A1101'].mean() - total_mean) ** 2

print(f'SS_total   = {ss_total:>12.1f}')
print(f'SS_within  = {ss_within:>12.1f}')
print(f'SS_between = {ss_between:>12.1f}')
print(f'within + between = {ss_within + ss_between:>12.1f}')
print(f'R² (between/total) = {ss_between/ss_total:.4f}')

📤 実行例:

💬 結果の読み方: 全分散 3,600,095 を 2,261,919 (群内) + 1,338,177 (群間) に綺麗に分解できた (完全に一致)。 R² ≒ 0.37 は、 「47 県人口のばらつきのうち約 37% が地方ブロックの違いで説明できる」と解釈する。 残り 63% は「同じ地方の中での県間のばらつき」(例: 東京と神奈川の差) によるもの。 グルーピングが「強い説明力を持つか」を 1 つの数字で示せる強力な道具。

📊 等分散性検定 — Levene 検定と Bartlett 検定

t 検定や ANOVA の前提のひとつが「群間で分散が等しい (等分散性)」。 これを確かめる検定が Levene 検定 (頑健、 非正規でも使える) と Bartlett 検定 (正規前提、 検出力が高い)。 帰無仮説はどちらも「全群の分散が等しい」。

このコードでやること: SSDSE 47 県人口を 8 地方ブロックに分け、 各ブロック内分散が等しいかを Levene 検定と Bartlett 検定で検証する。

📥 入力データ（SSDSE-B-2026 抜粋）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import pandas as pd
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
pop = (df.groupby('Prefecture')['A1101'].first() / 1e4).reset_index()

region_map = {'北海道':'北海道',
    '青森県':'東北','岩手県':'東北','宮城県':'東北','秋田県':'東北','山形県':'東北','福島県':'東北',
    '茨城県':'関東','栃木県':'関東','群馬県':'関東','埼玉県':'関東','千葉県':'関東','東京都':'関東','神奈川県':'関東',
    '新潟県':'中部','富山県':'中部','石川県':'中部','福井県':'中部','山梨県':'中部','長野県':'中部','岐阜県':'中部','静岡県':'中部','愛知県':'中部',
    '三重県':'近畿','滋賀県':'近畿','京都府':'近畿','大阪府':'近畿','兵庫県':'近畿','奈良県':'近畿','和歌山県':'近畿',
    '鳥取県':'中国','島根県':'中国','岡山県':'中国','広島県':'中国','山口県':'中国',
    '徳島県':'四国','香川県':'四国','愛媛県':'四国','高知県':'四国',
    '福岡県':'九州沖縄','佐賀県':'九州沖縄','長崎県':'九州沖縄','熊本県':'九州沖縄','大分県':'九州沖縄','宮崎県':'九州沖縄','鹿児島県':'九州沖縄','沖縄県':'九州沖縄',
}
pop['region'] = pop['Prefecture'].map(region_map)

# サンプルサイズ 2 以上の群だけ抽出 (北海道は 1 県のみで除外)
groups = [g['A1101'].values for r, g in pop.groupby('region') if len(g) >= 2]
group_names = [r for r, g in pop.groupby('region') if len(g) >= 2]

# 群ごとの分散表
for name, g in zip(group_names, groups):
    print(f'{name:>6} n={len(g):>2}  var(ddof=1)={g.var(ddof=1):>10.1f}')

print()
W, p_l = stats.levene(*groups, center='median')
print(f'Levene W = {W:.3f},  p = {p_l:.4f}  (center=median, Brown-Forsythe)')
T, p_b = stats.bartlett(*groups)
print(f'Bartlett T = {T:.3f}, p = {p_b:.4f}')

📤 実行例:

💬 結果の読み方: 群ごとの分散が 834 (四国) から 201,705 (関東) まで 240 倍以上の差。 Levene 検定 p=0.024、 Bartlett 検定 p<0.001 でいずれも「等分散ではない」が示される。 → この後 ANOVA するなら Welch ANOVA (stats.f_oneway ではなく pingouin.welch_anova) を使うのが妥当。 t 検定なら Welch t を選ぶ。 「分散が違うときに通常の t/F を使うと第一種の過誤率が膨らむ」のがポイント。

このコードでやること: SSDSE-B-2026 の東北6県（青森・岩手・宮城・秋田・山形・福島）の食料費（千円）を使い、 数式 → 実数値代入 → Step ごとの展開 → Python 再現 → 一致確認を完全に示す。

数式（不偏分散）:

$$ s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2 $$

📥 入力データ（SSDSE-B-2026 東北6県 食料費 単位:千円）:

東北6県食料費（千円）を Python リスト形式で表すと: [77.899, 81.997, 83.835, 78.124, 84.105, 78.984]（青森・岩手・宮城・秋田・山形・福島の順）。

Step 1: 平均 x̄ を計算する

Step 2: 各偏差 (xᵢ − x̄) と偏差の二乗 (xᵢ − x̄)² を計算する

Step 3: 偏差の二乗和 Σ(xᵢ − x̄)² を求める

Step 4: 不偏分散（÷ n−1 = ÷5）と標本分散（÷ n = ÷6）を算出する

このコードでやること: 上記の手計算 Step 1〜4 を numpy で再現し、結果が完全一致することを確認する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import numpy as np

# SSDSE-B-2026 東北6県 食料費（千円）
x = np.array([77.899, 81.997, 83.835, 78.124, 84.105, 78.984])

# Step 1: 平均
print(f'Step1  x̄  = {x.mean():.3f}')   # 80.824

# Step 2: 偏差の二乗和
ss = np.sum((x - x.mean()) ** 2)
print(f'Step2  Σ(x-x̄)² = {ss:.4f}')   # 40.4382

# Step 3: 不偏分散・標本分散・標準偏差
print(f'Step3  不偏分散 s²  = {x.var(ddof=1):.4f}')   # 8.0876
print(f'Step3  標本分散 σ̂² = {x.var(ddof=0):.4f}')   # 6.7397
print(f'Step3  標準偏差 s   = {x.std(ddof=1):.3f}')    # 2.843

📤 実行例:

💬 手計算 Step 1〜4 と Python 出力が完全一致。 「食料費のばらつき」は標準偏差 ≈ 2.84 千円 — 東北各県の食料費は平均 80.8 千円から ±2.84 千円の範囲でばらついていることが分かる。

🐍 Python での計算

このコードでやること: numpy と pandas の分散計算（ddof=0/1 の違い）、行列の列ごと分散、共分散行列の対角成分取得を実演する。

📥 入力データ（東北6県 食料費 SSDSE-B-2026 抜粋）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import numpy as np
import pandas as pd
np.random.seed(0)   # 実行のたびに同じ結果が出るようにする

# numpy のデフォルトは ÷n（標本分散）
arr = np.array([77.90, 82.00, 83.83, 78.12, 84.11, 78.98])
print(np.var(arr))         # 標本分散（÷n）
print(np.var(arr, ddof=1)) # 不偏分散（÷(n-1)）

# pandas のデフォルトは ÷(n-1)（不偏分散）
s = pd.Series(arr)
print(s.var())             # 不偏分散
print(s.var(ddof=0))       # 標本分散

# 行列の分散（軸指定）
mat = np.random.randn(100, 5)
print(np.var(mat, axis=0))   # 各列の分散

# 共分散行列（分散は対角成分）
cov_mat = np.cov(mat, rowvar=False)
diag = np.diag(cov_mat)      # 各列の分散

💬 numpy のデフォルト（ddof=0）と pandas のデフォルト（ddof=1）が異なる点が最重要。 東北6県データでは標本分散 6.74、不偏分散 8.09 と約 20% の差が出る（n=6 と小さいため）。

ストリーミング計算（Welford's algorithm）

データを1個ずつ受け取る場合の安定アルゴリズム：

このコードでやること: データをオンラインで 1 個ずつ受け取りながら分散を数値安定に計算する Welford アルゴリズムの実装と動作確認。

📥 入力データ:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

class StreamingVariance:
    def __init__(self):
        self.n = 0
        self.mean = 0.0
        self.M2 = 0.0

    def update(self, x):
        self.n += 1
        delta = x - self.mean
        self.mean += delta / self.n
        delta2 = x - self.mean
        self.M2 += delta * delta2

    def variance(self, unbiased=True):
        if self.n < 2: return float('nan')
        return self.M2 / (self.n - 1 if unbiased else self.n)

# 使用例
sv = StreamingVariance()
for x in [1, 2, 3, 4, 5]:
    sv.update(x)
print(sv.variance())  # 2.5（÷(n-1)）

💬 Welford アルゴリズムで [1,2,3,4,5] の不偏分散 2.5 が得られた（np.var([1,2,3,4,5], ddof=1) と完全一致）。 一括計算不要でメモリ効率が高く、数値的にも安定している。

🚧 分散の落とし穴

1️⃣ ÷n か ÷(n-1) か — 文脈で判断

numpy のデフォルトと pandas のデフォルトが違う点に注意。 ddof（delta degrees of freedom）パラメータで明示的に指定するのが安全。

2️⃣ 単位の混乱

分散は元の単位の二乗。 「分散 = 500千円²」は直感的でない。 解釈するときは標準偏差（√500 ≈ 22千円）に変換すべき。

3️⃣ 外れ値の影響

2乗するため、 外れ値1個が分散を大きく押し上げます。 外れ値ありデータでは MAD（中央絶対偏差）や IQR を併用するとよい。

4️⃣ 異なる単位の変数を比較できない

身長（cm）と体重（kg）の分散を直接比較するのは無意味。 変動係数 (CV = σ/μ) で無次元化するのが標準。

5️⃣ サンプルサイズが小さいと不安定

n=5 程度では分散の推定値は大きくブレます。 信頼区間（χ²分布ベース）を計算するか、 ブートストラップで分布を見るのが安全。

📜 分散の歴史

• Gauss（1809）：最小二乗法と正規分布で分散の概念を確立
• Bessel（1838）：天文観測誤差の研究で「n-1で割る」補正を提案
• Karl Pearson（1894）：「standard deviation」という用語を導入
• Fisher（1918）：「variance」という用語を導入。 分散分析（ANOVA）を発明
• Markowitz（1952）：分散を「リスク」として使ったポートフォリオ理論で経済学に応用

分散は単なる記述統計を超え、 推論・予測・最適化など現代統計学の中核に。

🐍 Python 実装バリエーション — numpy / pandas / scipy / statsmodels

1. numpy / pandas — 既定値の違いに注意

このコードでやること: numpy と pandas の var() 関数のデフォルト ddof の違いを最小例で確認する。

📥 入力データ: x = [1, 2, 3, 4, 5]（不偏分散の真値 = 2.5、母分散 = 2.0）

1
2
3
4
5
6
7

import numpy as np
import pandas as pd
x = np.array([1, 2, 3, 4, 5])
print('numpy.var ddof=0:', np.var(x))           # 2.0  （母分散）
print('numpy.var ddof=1:', np.var(x, ddof=1))   # 2.5  （不偏分散）
print('pandas .var()   :', pd.Series(x).var())  # 2.5  （既定 ddof=1）
print('pandas .var(ddof=0):', pd.Series(x).var(ddof=0))  # 2.0

💬 numpy のデフォルトは ddof=0（母分散 2.0）、pandas のデフォルトは ddof=1（不偏分散 2.5）で異なる。 ライブラリを混在させるときは必ず ddof を明示すること。

2. scipy.stats.tvar — トリム分散

このコードでやること: SSDSE-B-2026 の総人口データで、両端 10% をトリムした頑健な分散と MAD を計算する。

📥 入力データ: df['A1101'].values/1e4（47 都道府県、万人単位）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import numpy as np
import pandas as pd
from scipy import stats

# このブロックだけで完結させる（上のブロックの df に依存しない）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]        # 2023 年の 47 都道府県
x = df['A1101'].astype(float).values / 1e4   # 万人単位
# 両端 10% をトリムした分散
print('トリム分散 :', stats.tvar(x, limits=(np.percentile(x, 10),
                                            np.percentile(x, 90))))
print('MAD       :', stats.median_abs_deviation(x))
print('MAD→SD換算:', stats.median_abs_deviation(x) * 1.4826)

💬 通常の SD≈280 万人に対し MAD を SD 換算すると 92 万人。 東京都の外れ値が通常の分散/SD を 3 倍近くに膨らませていることが確認できる。

3. statsmodels.stats.weightstats — 重み付き分散

このコードでやること: 各都道府県の消費支出を総人口で重み付けして、全国の重み付き分散を計算する。人口の大きい県に多くの重みを置いた全国加重平均に相当する。

📥 入力データ: df['L3221'].values（消費支出）と df['A1101'].values（総人口＝重み）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
from statsmodels.stats.weightstats import DescrStatsW

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]
cons = df['L3221'].astype(float).values / 1e3   # 消費支出(千円)
pop  = df['A1101'].astype(float).values / 1e4   # 総人口(万人、重み)

ds = DescrStatsW(cons, weights=pop, ddof=1)
print('重み付き平均:', round(ds.mean, 2))
print('重み付き分散:', round(ds.var, 2))
print('重み付き SD :', round(ds.std, 2))
print('単純平均    :', round(cons.mean(), 2), ' 単純分散:', round(cons.var(ddof=1), 2))

💬 人口加重平均 304.16 千円は単純平均 295.86 千円より高い。消費支出が多い都市部の県は人口も多いため、加重すると全国平均が上がる。重み付き分散 603.80 で「人口按分した真の全国格差」が計算できる。

4. numpy.cov — 分散共分散行列

このコードでやること: SSDSE-B-2026 の「総人口・65歳以上人口・消費支出」3 変数の分散共分散行列と相関行列を計算し、分散が対角成分に現れることを確認する。

📥 入力データ: df[['A1101','A1303','L3221']]（47 県 × 3 変数、人口は万人・消費支出は千円に換算）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd, numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]
X = np.column_stack([
    df['A1101'].astype(float).values / 1e4,   # 総人口(万人)
    df['A1303'].astype(float).values / 1e4,   # 65歳以上人口(万人)
    df['L3221'].astype(float).values / 1e3])  # 消費支出(千円)

S = np.cov(X.T, ddof=1)
print('分散共分散行列:'); print(np.round(S, 1))
print('相関行列    :'); print(np.round(np.corrcoef(X.T), 3))

💬 分散共分散行列の対角成分（[0,0]=78262.9 が総人口 s²、[2,2]=582.9 が消費支出 s²）が各変数の不偏分散と一致している。相関行列は分散で標準化したもので、総人口と65歳以上人口は r=0.991 と強く相関する一方、消費支出との相関は r≈0.33 と弱い。

5. ブートストラップで分散の 95%CI

このコードでやること: scipy.stats.bootstrap で消費支出の分散の 95% 信頼区間を経験的に推定する。n=47 と小さいため、χ² 分布の仮定が怪しい場面でのロバストな代替手段。

📥 入力データ: df['L3221'].values（47 件、不偏分散 ≈ 582.94 千円²）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import numpy as np, pandas as pd
from scipy.stats import bootstrap

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]
x = df['L3221'].astype(float).values / 1e3   # 消費支出(千円)

def var_unbiased(a, axis=0):
    return np.var(a, axis=axis, ddof=1)

res = bootstrap((x,), var_unbiased, n_resamples=5000, confidence_level=0.95)
print(f'点推定  不偏分散 = {var_unbiased(x):.2f}')
print(f'分散の 95%CI = {res.confidence_interval}')

💬 ブートストラップ 5000 回で得た分散の 95% 信頼区間は [393, 965]（千円²）。点推定 582.94 を中心に非対称に広がる。n=47 と小さいため χ² 分布前提の区間推定より頑健で、非正規データや小標本では scipy.stats.bootstrap が安全な代替手段。

6. オンライン分散（Welford 法、 大規模対応）

このコードでやること: WelfordVariance クラスを定義し、SSDSE-B-2026（2023 年）の消費支出データを 1 件ずつ update() で逐次処理することで、一括計算と同じ不偏分散が得られることを確認する。メモリに全データを載せられないストリーミング処理に対応した数値安定アルゴリズムの実装例。

📥 入力データ: df['L3221'].values（SSDSE-B-2026、47 件、不偏分散 ≈ 582.94 千円²）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]

class WelfordVariance:
    def __init__(self):
        self.n = 0
        self.mean = 0.0
        self.M2 = 0.0
    def update(self, x):
        self.n += 1
        delta = x - self.mean
        self.mean += delta / self.n
        self.M2 += delta * (x - self.mean)
    @property
    def variance(self):
        return self.M2 / (self.n - 1) if self.n > 1 else float('nan')

w = WelfordVariance()
for v in df['L3221'].astype(float).values / 1e3:   # 消費支出(千円)
    w.update(v)
print(round(w.variance, 2))

💬 WelfordVariance クラスで消費支出 47 件を逐次処理した結果 582.94 は、np.var(df['L3221']/1e3, ddof=1) = 582.94 と完全一致。ストリーミング処理でもバッチ計算と同じ精度が得られることを確認できる。

🐍 stratified variance (層別分散) — サンプリング設計を反映した分散

調査票や行政統計では「単純無作為標本」ではなく「層化抽出 (例: 都道府県別、 年齢層別)」を行うことが多い。 このとき「層内分散の加重平均」が真の母分散の良い推定値となる。 通常の np.var はサンプリング設計を考慮しないため、 過大評価することがある。

このコードでやること: SSDSE 47 県人口を 8 地方ブロックに層化したとみなし、 単純分散と層別分散 (= 群内分散の加重平均) を比較する。 「群間のばらつきを除いた純粋な層内ばらつき」が層別分散だ。

📥 入力データ（SSDSE-B-2026 A1101 総人口、47 件）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
pop = (df.groupby('Prefecture')['A1101'].first() / 1e4).reset_index()

region_map = {'北海道':'北海道',
    '青森県':'東北','岩手県':'東北','宮城県':'東北','秋田県':'東北','山形県':'東北','福島県':'東北',
    '茨城県':'関東','栃木県':'関東','群馬県':'関東','埼玉県':'関東','千葉県':'関東','東京都':'関東','神奈川県':'関東',
    '新潟県':'中部','富山県':'中部','石川県':'中部','福井県':'中部','山梨県':'中部','長野県':'中部','岐阜県':'中部','静岡県':'中部','愛知県':'中部',
    '三重県':'近畿','滋賀県':'近畿','京都府':'近畿','大阪府':'近畿','兵庫県':'近畿','奈良県':'近畿','和歌山県':'近畿',
    '鳥取県':'中国','島根県':'中国','岡山県':'中国','広島県':'中国','山口県':'中国',
    '徳島県':'四国','香川県':'四国','愛媛県':'四国','高知県':'四国',
    '福岡県':'九州沖縄','佐賀県':'九州沖縄','長崎県':'九州沖縄','熊本県':'九州沖縄','大分県':'九州沖縄','宮崎県':'九州沖縄','鹿児島県':'九州沖縄','沖縄県':'九州沖縄',
}
pop['region'] = pop['Prefecture'].map(region_map)

simple = pop['A1101'].var(ddof=0)

# 層別分散 = Σ (n_h / N) * s_h²
N = len(pop)
strat = 0.0
for r, sub in pop.groupby('region'):
    if len(sub) >= 2:
        strat += (len(sub)/N) * sub['A1101'].var(ddof=0)

print(f'単純分散 (全 47 県を 1 群と見たとき)        = {simple:.1f}')
print(f'層別分散 (8 地方ブロックを層化抽出と見たとき) = {strat:.1f}')
print(f'比 strat / simple                           = {strat/simple:.3f}')
print(f'差 simple - strat (= 群間分散 / N)          = {simple - strat:.1f}')

📤 実行例:

💬 結果の読み方: 層別分散は単純分散の約 63 %。 つまり「地方ブロックで層化すると、 群間分散 (28472) を除いた純粋な層内ばらつきだけが残る」。 サンプリング設計上、 層化抽出を行うと推定値の分散が小さくなり、 同じ精度を少ないサンプル数で達成できる (層化抽出の効率性)。 これは社会調査・市場調査でしばしば「層別抽出の標本サイズ計算」として用いられる重要な計算だ。

🎯 理解度チェック — 分散

「分散」と一口に言っても、 母分散 / 標本分散 / 不偏分散 / 群内・群間分散 と多義語的に使われる。 ここでは 分散の本質と現場での使い分け を 5 問で確認する。

1. Q1. 標本分散の式 $s^2 = \frac{1}{n}\sum (x_i - \bar{x})^2$ と不偏分散 $u^2 = \frac{1}{n-1}\sum (x_i - \bar{x})^2$ の違いは何か？ なぜ $n-1$ で割るのか？
2. Q2. 分散 $\sigma^2$ と標準偏差 $\sigma$ の単位はどう違うか？ SSDSE-B-2026 の県別人口の分散を答案で書くとき、 単位は「人」「人²」のどちらか？
3. Q3. $\mathrm{Var}(aX+b)$ を $a, b, \mathrm{Var}(X)$ で表すと？ 定数 $b$ は分散に影響しないことを直感的に説明できるか？
4. Q4. 二つの独立変数 $X, Y$ について $\mathrm{Var}(X+Y)$ はどうなる？ $X, Y$ が独立でない場合の補正項は？
5. Q5. SSDSE-B-2026 を 8 地方ブロックで層化したとき、 全体分散 = 層内分散 + 層間分散 と分解できる。 もし層内分散がほぼゼロで層間分散だけが大きいデータだったら、 何を意味するか？

⚠️ 分散の落とし穴 — 6 つの典型ミス

🌐 関連手法・派生

分散 を含むデータ分析は、 分野によって使われ方が違います。 下の表は分野ごとの代表的な用途で、 分散 だけの用途一覧ではありません。 自分の分野の行を見て、 どんな問いにデータを使うのかを掴んでください。

🔗 関連用語（拡張ネットワーク）

📚 前提となる用語

• 平均値
• 代表値（偏差・偏差平方和の前提）
• 確率（期待値の前提）
• 確率変数
• 確率分布

🔀 並列に学ぶ用語

• 標準偏差
• 共分散
• 相関係数
• 四分位範囲 IQR
• 中央絶対偏差 MAD

🚀 発展先の用語

• 分散分析 ANOVA
• 主成分分析（分散最大化）
• 変量効果モデル
• バイアス・バリアンス分解
• ブートストラップ

🧰 ツール・周辺概念

• 標準化（分散1に揃える）
• R²（分散の分解）
• 尺度・形状指標
• ヒストグラム

📚 関連グループ教材

分散を起点に「ばらつき・検定・次元削減」の統計ファミリーを横断的に学べる教材群。

📊 散布度・記述統計グループ

• 標準偏差 — 分散の平方根。単位が元データと同じで実務報告の標準形式。
• 四分位範囲 IQR — 外れ値に頑健な散布度。歪んだ分布では分散より信頼できる。
• 中央絶対偏差 MAD — 最も頑健な散布度。ロバスト統計の基礎。
• 代表値（平均・中央値） — 分散計算の前提。平均 x̄ なしに偏差は定義できない。
• 箱ひげ図 — 分散・IQR・外れ値を一目で可視化する標準グラフ。

🔬 検定・推測統計グループ

• 分散分析 ANOVA — 全分散を群間・群内に分解して F 検定する手法の根幹。
• 仮説検定 — 分散の検定（F 検定・Levene・Bartlett）はここの応用。
• F 検定 — 2 群の分散が等しいかを検定。等分散性確認の標準手法。
• ブートストラップ — 分散の信頼区間を正規前提なしで推定するリサンプリング法。

🤖 機械学習・多変量解析グループ

• 主成分分析 PCA — 分散が最大となる方向（主成分軸）を見つける次元削減手法。
• バイアス・バリアンス分解 — 予測誤差 = Bias² + Variance。モデル複雑度設計の理論的根拠。
• 共分散 — 2 変数の分散の掛け算。相関係数・PCA・ポートフォリオ最適化の基礎。
• 相関係数 — 共分散を標準偏差で割った無次元指標。分散の正規化形。
• R²（決定係数） — R² = 1 − 残差分散/全分散。回帰モデルの説明力の分散比率。
• 標準化（z スコア） — (x − μ)/σ で分散 = 1 に揃える前処理。機械学習の必須ステップ。

📖 推薦参考書・オンライン資料

• 「統計学入門」(東京大学出版会) — 第4章「散布度」で分散・標準偏差の定義と性質を丁寧に扱う。
• 「データ解析のための統計モデリング入門」(岩波書店) — 分散の不偏推定、最尤法との対比が詳しい。
• 「Python による統計分析入門」(O'Reilly) — numpy/pandas/scipy での分散計算の実装と ddof の扱いを網羅。
• SSDSE（教育用標準データセット）公式ページ: https://www.nstac.go.jp/use/literacy/ssdse/ — 本教材のデータソース。無料でダウンロード可能。

🗺️ 概念マップ — 3つの視点で体系を理解する

分散 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 記述統計 › ばらつき › 分散

📌 分散の手法系譜（静的マップ）

「分散」を中心に、前提・派生・応用の手法系譜を静的 SVG で示す。

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に 分散 を置き、 そこから 平均・標準偏差・共分散・R²・PCA・相関係数 など 計 14 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「分散」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「分散」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは 分散 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → ばらつき → 分散 という入れ子の位置を示します。 「ばらつきには他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

「分散」は単独で完結する指標ではなく、 隣接する手法・概念と連携することで真価を発揮する。

💡 分散を起点にすると「相関 → 回帰 → PCA → ANOVA → 機械学習」という統計学の大きな流れが1本の糸で繋がる。 分散こそが現代統計の基礎概念と言える。

🌳 手法選択フロー — 分散・散布度の使い分け

「データのばらつきを測りたい」という状況で何を選ぶかを、 条件ごとに整理する。

💡 実務の鉄則: 報告書・論文では「分散」ではなく「平均 ± SD（標準偏差）」の形で示す。 外れ値があるなら「中央値 (IQR)」に切り替える。 単位が異なる変数を比べるなら CV。 この3つを使い分けるだけで散布度の表現力が格段に上がる。

🧭 解説の深化 — 分散を「計算する」視点から捉え直す

ここまでのセクションは分散の定義と解釈（偏差二乗の平均・n−1・外れ値感度）を扱った。 この追補では角度を変えて、 恒等式「二乗の平均 − 平均の二乗」を軸に、 分散をコンピュータで実際に計算するときに何が起きるかを SSDSE-B-2026 の実測値で確かめる。 群間・群内の分解やσ収束は 散布度、 68-95-99.7 則やチェビシェフの不等式は 標準偏差 のページで扱っているため、 ここでは重複させない。

🎨 直感 — 分散は「二乗の平均」から「平均の寄与」を除いた残り

計算用の別形式 $$ s^2_n = \overline{x^2} - \bar{x}^2 $$ を、 「式変形の結果」ではなく意味として読んでみる。 二乗の平均 $\overline{x^2}$ には「データの大きさ（水準）」と「ばらつき」の両方が混ざっている。 そこから水準だけの成分 $\bar{x}^2$ を差し引くと、 純粋な「ばらつき」が残る——これが分散。

実測（SSDSE-B-2026、 2023 年・47 都道府県、 消費支出 L3221〔二人以上の世帯・円〕）：

注目すべきは比率：ばらつき成分は $\overline{x^2}$ のわずか 0.65% しかない。 つまり「二乗の平均」の 99.3% 以上は平均（水準）の寄与で、 分散は巨大な 2 つの数のごく僅かな差として得られている。 この構造が、 次の「落とし穴」の伏線になる。

⚠️ 落とし穴（重要） — ショートカット公式は「桁落ち」で壊れる

「二乗の平均 − 平均の二乗」は 1 パスで計算できて便利だが、 上で見たとおりほぼ等しい巨大な数同士の引き算である。 浮動小数点では、 近い数を引くと上位の桁が打ち消し合い有効桁が失われる（桁落ち・catastrophic cancellation）。

• 実測（実データ）: 上の消費支出 47 件を float32（単精度）でショートカット公式により計算すると 582,922,752 円²。 真値 582,935,490 円² に対し 誤差 0.0022%。 同じ float32 でも定義通りの 2 パス計算（先に平均、 次に偏差二乗）なら誤差はほぼゼロ。 n = 47 でこの差なら、 データが増え平均が大きいほど悪化する。
• 合成デモ（架空の数値例）: x = [1,000,001, 1,000,002, 1,000,003] の不偏分散は真値 1.0。 これを float32 でショートカット公式により計算すると 0.0 になり、 ばらつきが完全に消える（2 パス計算なら正しく 1.0）。 丸めの向きによっては負の分散が出ることさえある。
• どこで現実になるか: GPU の半精度（float16）学習で各層の分散を計算する場面（Batch Normalization）、 センサーの生カウント値など「平均が大きく CV が小さい」データの集計、 桁の大きい金額データの SQL 集計など。 NumPy の var() が 2 パス相当で実装されているのは、 まさにこの罠を避けるため。

💡 教訓：数式として等価でも計算手順として等価とは限らない。 ショートカット公式は「手計算・厳密計算」用、 コンピュータでは定義式（2 パス）か次の Welford 法を使う。

🚀 発展 — Welford の逐次更新：1 パスでも数値安定に

「2 パスは安定だがデータを 2 回読む必要がある。 ストリーミングでは 1 回しか読めない」——この両立を解くのが Welford のアルゴリズム（1962）。 平均 m と偏差平方和 M2 を 1 件ずつ更新する：

実測: 消費支出 L3221 の 47 件を Welford 法で 1 パス処理すると不偏分散 582,935,490.2 円²—— numpy.var(ddof=1) と完全に一致する。 巨大な数同士の引き算が現れないため桁落ちが起きない。

• 使い所: メモリに載らない大規模データ、 IoT・ログのオンライン集計、 逐次的な異常検知（「現在までの平均±k·SD」を流しながら更新）。
• 並列化: 分割したチャンクごとの (n, m, M2) は Chan らの結合式で統合でき、 MapReduce・分散処理での分散計算の標準になっている。
• 理論との接点: M2 は偏差平方和そのものなので、 自由度 で割る位置（k か k−1 か）という本文の議論がそのまま生きる。

🔗 関連ページ

• 標準偏差 — 分散の平方根。 単位を元に戻す実用形（68-95-99.7 則・チェビシェフはこちら）
• 散布度 — ばらつき指標の全体像。 群間・群内の分解とσ収束はこちら
• 共分散 — 「x の偏差 × y の偏差」への拡張。 Var(X) = Cov(X, X)
• 標準誤差 — 標本平均のばらつき σ/√n。 「分散が大きい」と「推定が不確か」の区別
• 自由度 — n−1 で割る理由の一般論
• ロバスト統計 — 外れ値に強い IQR・MAD という代替
• 分散分析 — 分散の分解を検定に使う
• 主成分分析 — 「分散最大の方向」を探す次元削減