🔖 キーワード索引（補強・追加分）

カイ二乗検定 関連の補強キーワード。 クリックで該当箇所へ：

🔖 キーワード索引

このページを高速ナビゲートするための索引チップです。クリックで該当セクションへ。

🎨 直感で掴む

観測度数と期待度数のズレがどれくらい大きいかを評価する検定。「クロス表に独立性があるか」「ある分布に従うか (適合度)」を p 値で判定。 質的データ (カテゴリ) の検定に最も基本的なツール。

直感: サイコロの公平性を考える。 6 面ダイスを 60 回振って (1,2,3,4,5,6) の出目が (8,12,9,11,14,6) だったとする。 もし公平 (一様分布) なら期待度数は全て 10。 観測との差は (-2,+2,-1,+1,+4,-4)。 これを 2 乗して期待度数で割った和 $\chi^2 = \sum (O_i - E_i)^2/E_i = (4+4+1+1+16+16)/10 = 4.2$ が「ズレの総量」。 自由度 5 の χ² 分布で p 値を見ると 0.52 で、 公平とは矛盾しない。

SSDSE-B-2026 での例: A1101 (総人口) を 4 分位で「人口少/中下/中上/多」に区切り、 A1303 (65 歳以上人口) も 4 分位で「高齢人口少/中下/中上/多」に区切ると 4×4 のクロス表ができる。 期待度数は「行周辺度数 × 列周辺度数 / 総度数」で計算され、 χ² 統計量がそのまま「人口規模と高齢人口は独立か」を測る尺度になる。 実際には大きい県ほど高齢者数も多いため χ² は大きく、 p < 0.001 で独立性は棄却される。

📐 χ²統計量

📐 χ²統計量

$$ \chi^2 = \sum_{i, j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}} $$

• O_ij：観測度数
• E_ij：帰無仮説の元での期待度数
• 差が大きいほど χ² が大きい → H₀ 棄却

独立性検定の期待度数

$$ E_{ij} = \frac{\text{行}_i\text{の合計} \times \text{列}_j\text{の合計}}{\text{総合計}} $$

📊 適合度検定の例

「サイコロは公平か？」を 60 回投げて検定：

• 観測：1=8, 2=12, 3=11, 4=9, 5=13, 6=7
• 期待（公平なら）：各10
• χ² = Σ(O-E)²/E = (4+4+1+1+9+9)/10 = 2.8
• df = 5、 p > 0.05 → サイコロは公平と矛盾しない

📋 χ²検定の仮定

• 観測値が独立
• 各セルの期待度数が5以上が望ましい（少ない場合は Fisher の正確検定）
• 大標本（n > 30）

カイ二乗検定 の中心となる数式・定義は次の通りです。

$$ \chi^2 = \sum_{i=1}^k \frac{(O_i - E_i)^2}{E_i} $$

🎮 触って理解する — 分割表で χ² を体感する

分割表（クロス集計表）の各セルの観測度数を、 スライダーまたは数値入力で自由に変えてみましょう。 期待度数・χ² 統計量・自由度・p 値・効果量 Cramér's V がその場で再計算され、 χ² 分布上の観測値と棄却域も同時に動きます。 「観測と期待の乖離が大きいほど χ² が大きくなる」ことを、 セルごとの寄与 (O−E)²/E の色分けで確かめてください。

📖 このインタラクションで押さえる要点

上の操作盤を動かしながら、 カイ二乗検定の核心概念を整理します。 いずれも 仮説検定・p 値 の枠組みの上に成り立っています。

独立性の検定 と 適合度検定 の違い

• 独立性の検定：1つの標本を2つのカテゴリ変数で分類したクロス表で「2変数は無関係か」を問う。 期待度数はデータの周辺度数から作る（下記）。 自由度 = (行−1)(列−1)。 上の操作盤はこのタイプ。
• 適合度検定：1つのカテゴリ変数の観測度数が、 外部から与えた理論分布（例：一様、 メンデル比 3:1）に従うかを問う。 自由度 = カテゴリ数 − 1 −（推定したパラメータ数）。
• 統計量の式 Σ(O−E)²/E は両者で共通。 違うのは「E の作り方」と「自由度」だけ、 という点が要。

期待度数（E）の考え方

独立性検定の期待度数は E_ij = (行 i 合計 × 列 j 合計) / 総数 N。 これは「行と列が完全に独立なら、 各セルにはこれだけ入るはず」という理論値です。 操作盤で行合計・列合計を保ったままセルを動かすと E は変わらず、 O だけがずれて χ² が増えることを確認できます。 χ² は「独立を仮定した理論値からの総ズレ量」そのものです。

自由度（df）

周辺度数（行合計・列合計）を固定すると、 自由に決められるセルは (行−1)(列−1) 個だけで、 残りは引き算で決まります。 これが独立性検定の自由度。 2×2 なら df=1、 3×2 なら df=2。 df が大きいほど χ² 分布は右へ広がり、 同じ p 値を得るのに必要な χ² 値（臨界値）も大きくなります（操作盤で 2×2↔3×2 を切り替えて灰破線の位置変化を確認）。

前提：期待度数 5 以上

χ² 統計量が理論上の χ² 分布に近似するのは大標本のとき。 目安として全セルの期待度数が 5 以上（少なくとも 80% 以上のセルで E≥5）が必要です。 操作盤で小さな値を入れて総数を減らすと、 期待度数 < 5 の警告が出ます。 違反時は Fisher の正確検定へ切り替えます。

効果量 Cramér's V

V = √(χ² / (N·min(r−1, c−1))) は 0〜1 に収まる効果量で、 関連の強さを表します（Cohen の目安：0.1 小・0.3 中・0.5 大）。 p 値は「有意か（＝偶然か）」しか語らず、 N が大きいと些細なズレでも有意になります。 「有意」と「実質的に強い関連」を切り分けるため、 χ² 検定では V を必ず併記します。

Fisher の正確検定との使い分け

• χ² 検定：期待度数が十分（≥5）・標本が大きいとき。 r×c の一般の表に使える。
• Fisher の正確検定：期待度数 < 5 のセルがある小標本や 2×2 表で、 超幾何分布から p 値を厳密に計算。 χ² 近似が崩れる場面の標準的な代替。 SSDSE（n=47）のような小標本では特に有用。
• 2×2 で n が小さいとき、 かつては Yates の連続性補正が使われましたが、 過保守との批判があり、 現在は Fisher 正確検定が推奨される場面が多い。

p 値・仮説検定との関係

χ² 検定の p 値 は「帰無仮説（2変数は独立）が正しいと仮定したとき、 観測された χ² 以上のズレが偶然生じる確率」で、 χ² 分布の右側裾の面積として求まります（操作盤の③の赤網部分）。 p < 有意水準 α（通常 0.05）なら帰無仮説を棄却。 これは 仮説検定 の一般手続きそのもので、 複数のクロス表を同時に検定するときは 多重比較補正 が必要になります。 独立性が棄却されても因果ではなく関連にとどまる点、 多変量へ拡張するなら ロジスティック回帰 へ進む点も押さえておきましょう。

🔬 「カイ二乗検定」を深く理解する

🔬 「カイ二乗検定」を深く理解する

χ²分布の性質

• 独立な標準正規分布の二乗和 → df = 個数
• 常に非負（χ² ≥ 0）
• 右に裾を引いた非対称分布
• df → ∞ で正規分布に近づく

効果量 Cramér's V

$$ V = \sqrt{\frac{\chi^2}{n \cdot \min(r-1, c-1)}} $$

0〜1の値、 大きいほど強い関連。 Cohen の基準：0.1 小、 0.3 中、 0.5 大。

応用

• マーケット調査（性別 × 購入意向）
• 遺伝学（メンデルの法則の検定）
• ABテスト（コンバージョン比較）
• 適合度検定（実データと理論分布の一致）

📝 練習問題 — 理解度チェック

1. この用語の基本定義を、 自分の言葉で説明できますか？
2. この手法が使われる典型的なシナリオを3つ挙げられますか？
3. この手法の前提条件・仮定を確認できますか？
4. 結果を解釈する際の注意点は何ですか？
5. 類似手法との違いを説明できますか？
6. Python（または他言語）で実装できますか？
7. SSDSE データで応用例を作成できますか？

• O_i：観測度数
• E_i：期待度数
• 自由度：適合度検定は k−1−（推定パラメータ数）、独立性検定は (r−1)(c−1)

🧮 SSDSE-B 実値計算例（47都道府県データ）

47 都道府県を「高齢率 高/低」×「若年率 高/低」でクロス集計し、 独立性のカイ二乗検定を行う完全再現例（SSDSE-B-2026 の実在列 A1303・A1301・A1101 を使用）。

① 計算コード

① 目的：47都道府県で「高齢化率が高い県は若年率が低いのか」、 すなわち2つの人口構成区分が独立でないかを独立性のカイ二乗検定で確かめる。
② 橋渡し：連続量である高齢化率・若年率をそれぞれ中央値で2区分し、 2×2のクロス集計表（分割表）に変換してから χ² を計算する。 これで「量的データ→カテゴリの独立性検定」に持ち込める。
③ コード：SSDSE-B-2026.csv を実測値のまま読み込み、 観測度数・期待度数・χ²・自由度・p 値・効果量 Cramér's V まで一気に求める。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np
from scipy import stats

# SSDSE-B-2026.csv は cp932・2行目（日本語名）を除いて読み込む
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]        # 先頭列=年度。2023年の47都道府県を抽出

# 実在列から人口構成比を作る（A1303=65歳以上人口, A1301=15歳未満人口, A1101=総人口）
aging = df['A1303'] / df['A1101']          # 高齢化率
youth = df['A1301'] / df['A1101']          # 若年率
df['高齢区分'] = np.where(aging >= aging.median(), '高齢率高', '高齢率低')
df['若年区分'] = np.where(youth >= youth.median(), '若年率高', '若年率低')

# クロス集計表（観測度数 O_ij）
ct = pd.crosstab(df['高齢区分'], df['若年区分'])
print(ct)

# 独立性のカイ二乗検定（correction=False で Yates 補正なし）
chi2, p, dof, expected = stats.chi2_contingency(ct, correction=False)
print(f'chi2 = {chi2:.4f}, df = {dof}, p = {p:.4f}')
print('期待度数 E_ij:')
print(pd.DataFrame(expected, index=ct.index, columns=ct.columns).round(2))

# Cramér's V（効果量）
n = ct.values.sum()
v = np.sqrt(chi2 / (n * (min(ct.shape) - 1)))
print(f"Cramér's V = {v:.3f}  (0.1=小, 0.3=中, 0.5=大)")

④ 実行結果の読み取り

出力は下の ② の表のとおり。 観測度数は「独立」を仮定した期待度数（各セル約11〜12）からズレ、 対角（高齢率高×若年率低、 高齢率低×若年率高）に県が偏る。 ただし n=47 と小さく χ²=3.61 / p=0.057 は 0.05 をわずかに上回るボーダーラインで、 「独立とは言い切れないが有意とも断定できない」。 このとき効果量 Cramér's V=0.28（中程度）を併記して、 p 値だけで判断しないのが定石。

② 期待出力

上記コードを SSDSE-B-2026（2023年・47都道府県）で実行すると、 観測度数のクロス集計表と検定結果が実測値で得られる。

👉 すべて SSDSE-B-2026 の実測値（合成なし）。 同じ手順で他年次・他変数にも適用できる。

🧮 実値で計算してみる（SSDSE-B-2026）

政府統計の総合窓口 e-Stat が公開する SSDSE-B-2026.csv（47都道府県×112項目・2012〜2023年のパネル）を encoding='cp932'・skiprows=[1] で読み込み、 df[df['SSDSE-B-2026']==2023] で2023年の47行に絞ったうえで、 別の実在列の組合せでもう一例を確認する。

ここでは A1101（総人口）を中央値で「人口多/少」に、 高齢化率 A1303/A1101 を中央値で「高齢率高/低」に2分類してクロス表を作り、独立性のカイ二乗検定を実施。 人口の多い県ほど高齢化率が低い（都市部への若年流入）傾向がはっきり出て、 χ² ≒ 13.33、df=1、p ≒ 0.00026 で「人口規模と高齢化率は独立ではない」と結論できる。

🧮 数式に値を入れて手で計算する

2×2 のクロス表 観測度数 O = [[20, 30], [25, 25]] を用いて、 期待度数 E と χ² = Σ(O−E)²/E を Step 1〜4 で展開する。 Python (scipy.stats.chi2_contingency) で再現し、 結果が一致することを確認する。

📐 用語の主要数式 (再掲)

$$ \chi^2 = \sum_{i,j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}}, \qquad E_{ij} = \frac{(\text{行 } i \text{ 合計}) \times (\text{列 } j \text{ 合計})}{\text{総数 } N} $$

Step 1: 観測度数 O の準備 (2×2 クロス表)

Step 2: 期待度数 E を計算 (行合計 × 列合計 / N)

Step 3: 各セルの (O−E)²/E を計算して合計

Step 4: 自由度と p 値

🐍 同じ計算を Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import numpy as np
from scipy.stats import chi2_contingency

O = np.array([[20, 30],
              [25, 25]])

# correction=False で Yates 補正なし (手計算と同じ式)
chi2, p, dof, E = chi2_contingency(O, correction=False)

print(f"観測度数 O =\n{O}")
print(f"期待度数 E =\n{E}")
print(f"chi^2 = {chi2:.5f}")
print(f"df    = {dof}")
print(f"p     = {p:.4f}")

📤 実行結果

💬 手計算 (Step 3 χ²=1.01010, Step 4 df=1, p≈0.3148) と Python 出力が完全一致。 p=0.31 > 0.05 なので「行と列は独立である」という帰無仮説は棄却できない (このサイズ・差では有意な関連は検出されない)。

🧮 数式に値を入れて手で計算する: カイ二乗適合度

合成データでサイコロ 60 回の出目から一様分布への適合度をカイ二乗検定で評価する。

Step 1: 観測度数と期待度数

Step 2: χ² 統計量

🐍 Python で再現

1
2
3
4
5
6

from scipy import stats
O = [8, 12, 9, 11, 10, 10]
E = [10]*6
chi2, p = stats.chisquare(O, E)
print(f"χ² = {chi2}")
print(f"p = {p:.4f}")

📤 実行結果

💬 手計算 (Step 2) χ²=1.00 と Python 出力が完全一致。 サイコロは一様と矛盾しない。

🐍 Python での χ²検定

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

# ── この抜粋で使うデータを用意します ──
# SSDSE-B-2026 に「性別」「購入」の列は無い。独立性検定の手順を示すための
# <架空の>アンケート集計を、ここで作る（ページの df は書き換えない）。
from scipy import stats
import numpy as np
import pandas as pd

_rng = np.random.default_rng(0)
survey = pd.DataFrame({
    '性別': _rng.choice(['男', '女'], size=200),
    '購入': _rng.choice(['あり', 'なし'], size=200, p=[0.4, 0.6]),
})

# 適合度検定
observed = [8, 12, 11, 9, 13, 7]
expected = [10] * 6
chi2, p = stats.chisquare(observed, expected)

# 独立性検定（クロス集計）
contingency = pd.crosstab(survey['性別'], survey['購入'])
chi2, p, dof, expected = stats.chi2_contingency(contingency)
print(f'χ² = {chi2:.3f}, df = {dof}, p = {p:.4f}')

# Fisher の正確検定（小サンプル）
oddsratio, p = stats.fisher_exact(contingency)

# Cramér's V（効果量）
n = contingency.sum().sum()
v = np.sqrt(chi2 / (n * (min(contingency.shape) - 1)))
print(f"Cramér's V = {v:.3f}")

🚧 落とし穴と注意点

• サンプルサイズを確認（小標本では結果が不安定）
• 仮定の検証（正規性、 独立性、 等分散性）
• 外れ値の影響を散布図で確認
• 多重比較問題（複数検定時は補正を）
• p値だけで判断しない、 効果量と信頼区間を併記
• 因果関係を主張するには別の根拠が必要

🐍 Python 実装バリエーション（scikit-learn / scipy / Optuna）

A. scikit-learn による実装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.feature_selection import chi2, SelectKBest
# 機械学習で「カテゴリ目的変数 vs カテゴリ説明変数」のスクリーニング
# 例：高齢区分を目的変数として、各特徴の χ² を取得（df は上の①で作成済み）
df['人口区分'] = np.where(df['A1101'] >= df['A1101'].median(), '人口多', '人口少')
X_cat = pd.get_dummies(df[['若年区分', '人口区分']], drop_first=True).astype(int)
y_cat = df['高齢区分']

chi2_scores, p_vals = chi2(X_cat, y_cat)
for col, chi2_v, p_v in zip(X_cat.columns, chi2_scores, p_vals):
    print(f'{col:20} χ²={chi2_v:6.2f}, p={p_v:.4f}')

B. scipy / statsmodels による実装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

from scipy import stats
# Fisher の正確検定（小サンプル）
ct = pd.crosstab(df['高齢区分'], df['若年区分'])
odds, p_fisher = stats.fisher_exact(ct)
print(f'odds ratio = {odds:.3f}, p = {p_fisher:.4f}')

# 対数尤度比検定（G 検定）
g_stat, p_g, dof, exp = stats.chi2_contingency(ct, lambda_='log-likelihood')
print(f'G統計量 = {g_stat:.3f}, p = {p_g:.4f}')

# χ² 適合度検定（高齢区分の度数が一様かを検定）
freq = df.groupby('高齢区分').size().values
chi2_g, p_gof = stats.chisquare(freq, f_exp=[len(df)/2]*2)
print(f'適合度 χ² = {chi2_g:.3f}, p = {p_gof:.4f}')

C. Optuna でハイパラ・選択最適化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

# χ² 検定で離散化の最適な閾値を探索（注意：p-hacking 回避のため探索的のみ）
import optuna

aging = df['A1303'] / df['A1101']   # 高齢化率
youth = df['A1301'] / df['A1101']   # 若年率

def objective(trial):
    q = trial.suggest_int('quantiles', 2, 5)
    a = pd.qcut(aging, q=q, labels=False, duplicates='drop')
    y = pd.qcut(youth, q=q, labels=False, duplicates='drop')
    ct = pd.crosstab(a, y)
    if (ct.values < 5).mean() > 0.2:
        return 0  # 期待度数が小さすぎるビン分割は無効
    chi2, p, dof, _ = stats.chi2_contingency(ct)
    v = np.sqrt(chi2 / (ct.values.sum() * (min(ct.shape) - 1)))
    return v  # Cramér's V を最大化

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=20)
print('Best quantiles:', study.best_params, 'V:', study.best_value)
# 注意：これは探索のみ。 仮説検定として報告するなら事前登録が必要

D. ライブラリ早見表

🐍 Python 実装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import pandas as pd
import numpy as np
from scipy.stats import chi2_contingency

# cp932・2行目（日本語名）を除いて読み込み、先頭列=年度で2023年に絞る
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]           # 47都道府県

aging = df['A1303'] / df['A1101']             # 高齢化率（65歳以上人口/総人口）
pop_high   = (df['A1101'] >= df['A1101'].median()).astype(int)  # 人口 多=1/少=0
aging_high = (aging >= aging.median()).astype(int)              # 高齢率 高=1/低=0

table = pd.crosstab(pop_high, aging_high)
chi2, p, dof, _ = chi2_contingency(table, correction=False)
print(f'χ²={chi2:.2f}, df={dof}, p={p:.4g}')   # χ²=13.33, df=1, p=0.00026

上記コードは pandas / numpy / scipy の標準的なライブラリを用い、SSDSE-B-2026.csv を実在列（A1101・A1303）のまま直接読み込んで計算します（合成データ不使用）。

⚠️ 落とし穴（拡張版・各 100 文字以上）

⚠️ 落とし穴

• 期待度数 < 5 のセル：セルの期待度数が5未満が20%超ある場合、近似が悪化。Fisherの正確確率検定に切り替える。
• 2×2表でのYates補正：2×2 表は連続性補正（Yates）を使うことが推奨されるが、現代は補正なしも一般的。
• 関連の強さは別指標：p値は「有意か」だけを表す。クラメールの V や φ係数で関連の強さを別途報告。
• 適合度 vs 独立性の混同：適合度（1標本）と独立性（2変数）は計算式は同じだが自由度が違う。

➕ 解説深化（追記） — 直感・落とし穴・発展手法

既存の各セクションを補強する追記です。 まず一段深い直感、 次に見落としやすい落とし穴、 最後に χ² の周辺にある発展手法（効果量・残差分析・Fisher／G 検定・尤度比）を整理し、 SSDSE-B-2026 の別の実測クロス集計（地方 × 高齢区分）で確かめます。

👁️ 直感の追記 — 「ズレ²を期待度数で正規化して合算する」

χ² は本質的に「観測度数 O と期待度数 E のズレを二乗し、 E で割って合計する」だけの量です。 二乗するのはプラスとマイナスのズレが打ち消し合わないようにするため、 E で割るのは「度数が大きいセルの絶対ズレは大きくて当然」なので相対化するためです。 たとえば E=100 のセルで O が 110（差 10）なのと、 E=10 のセルで O が 20（差 10）なのでは、 後者の方が「予想外」です。 (O−E)²/E はこの直感どおり、 前者に 1.0、 後者に 10.0 を与えます。 χ² 検定は「クロス集計表に並べた 2 つのカテゴリ変数の関連（＝独立からのズレ）を、 このズレ量の総和で 1 つの数字に要約し、 それが偶然の範囲かを問う」検定だと捉えると、 適合度・独立性・等質性の 3 用途が同じ骨格の変奏だと見えてきます。

⚠️ 落とし穴の深掘り（追記）

🚀 発展手法（追記） — 効果量・残差分析・Fisher／G 検定

• 3 用途の整理：適合度検定（1 変数が理論分布に従うか, df = k−1−推定パラメータ数）、 独立性検定（1 標本を 2 変数で分類し無関連か, df = (r−1)(c−1)）、 等質性（同質性）検定（複数母集団の分布が同じか）。 式 Σ(O−E)²/E は共通で、 違うのは「E の作り方」と「df」だけ。
• 効果量 Cramér's V：V = √(χ²/(N·min(r−1,c−1)))。 2×2 では φ 係数と一致。 効果量として関連の強さを N 非依存で表す（Cohen 目安 0.1／0.3／0.5）。
• 残差分析（調整済み残差）：全体で有意になった後、 どのセルがズレの主因かを特定する。 調整済み標準化残差 $$ d_{ij} = \frac{O_{ij}-E_{ij}}{\sqrt{E_{ij}\,(1-\tfrac{\text{行}_i}{N})(1-\tfrac{\text{列}_j}{N})}} $$ は近似的に標準正規に従い、 |d| > 1.96 のセルが有意な過剰／過少（α=0.05）。 χ² の「全体の有意」を「セル単位の解釈」へ落とし込む鍵。
• Fisher の正確検定：期待度数 < 5 のセルがある小標本で、 超幾何分布から p 値を厳密計算。 χ² 近似が崩れる場面の標準的代替（Python は scipy.stats.fisher_exact）。
• G 検定（対数尤度比検定）：G = 2 Σ O·ln(O/E)。 大標本で χ² と漸近一致し、 表の分割・合併に対する加法性が良い。 尤度比の一般理論に直接つながる（scipy.stats.chi2_contingency(..., lambda_='log-likelihood')）。

🧮 SSDSE-B-2026 追加実測例 — 地方（東/中/西日本） × 高齢区分

47 都道府県を3 地方（都道府県コードで 東日本=北海道〜新潟／中日本=富山〜愛知／西日本=三重〜沖縄）に、 高齢化率 A1303/A1101 を中央値で「高齢率 高／低」に区分して 3×2 のクロス集計を作り、 独立性の χ² 検定・G 検定・調整済み残差を実測値で求めた例（合成なし）。 期待度数に 5 未満が現れるため、 前掲の落とし穴①がそのまま顔を出す実データ例でもある。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()

# 都道府県コード(R01..R47)の数値で3地方に区分
code = d['Code'].str[1:3].astype(int)
region = np.where(code <= 15, '東日本', np.where(code <= 23, '中日本', '西日本'))
aging = d['A1303'] / d['A1101']
d['地方'] = region
d['高齢区分'] = np.where(aging >= aging.median(), '高齢率高', '高齢率低')

ct = pd.crosstab(d['地方'], d['高齢区分']).reindex(['東日本', '中日本', '西日本'])
chi2, p, dof, E = stats.chi2_contingency(ct, correction=False)
G, pG, _, _ = stats.chi2_contingency(ct, lambda_='log-likelihood')
N = ct.values.sum()
V = np.sqrt(chi2 / (N * (min(ct.shape) - 1)))
# 調整済み標準化残差
O = ct.values.astype(float)
rs, cs = O.sum(1), O.sum(0)
adj = (O - E) / np.sqrt(E * np.outer(1 - rs / N, 1 - cs / N))
print(ct)
print(f'chi2={chi2:.3f} df={dof} p={p:.4f} V={V:.3f} minE={E.min():.2f}')
print(f'G={G:.3f} pG={pG:.4f}')
print('調整済み残差:', np.round(adj, 2))

📤 実行結果（SSDSE-B-2026・2023 年・47 都道府県の実測値）

👉 すべて SSDSE-B-2026 の実測値。 「地方ブロックと高齢化の高低は、 n=47 の解像度では独立と区別できない」という結論。 期待度数 5 未満が 33% を占めるため、 この 3×2 表は本来 Fisher の正確検定やカテゴリ併合（例：東日本＋中日本 vs 西日本）で追認するのが安全。

🔗 この追記に関連する用語ページ

• 仮説検定・p 値 — χ² の判定枠組みと右側裾確率。
• 効果量 — Cramér's V／φ 係数で関連の強さを N 非依存に測る。
• 自由度 — 適合度と独立性で df の作り方が違う理由。
• カテゴリ変数・クロス集計表 — χ² 検定の入力データ型と前処理。
• 多重比較補正 — 複数の χ² 検定を並べるときの α 調整。
• 相関・ロジスティック回帰 — 連続量や多変量へ拡張する場合の受け皿。
• 因果・交絡 — 「独立でない ≠ 因果」を確認する先。
• 確率分布・分散分析 — χ² 分布の母体と、 量的従属変数版の対比。
• Fisher の正確検定／G 検定（対数尤度比）／McNemar 検定 — 本サイトに専用ページは未整備のためテキストで示す（それぞれ小標本・尤度比・対応あり 2×2 用の代替）。

🌐 データサイエンス全体像での位置づけ

🌐 データサイエンス全体像での位置づけ

データサイエンスのワークフロー

1. ビジネス理解：何を解決したいか
2. データ理解：どんなデータがあるか
3. データ準備：前処理、 特徴量エンジニアリング
4. モデリング：手法選択、 学習
5. 評価：性能、 解釈性、 ビジネス価値
6. 展開：実装、 運用、 監視

(CRISP-DM プロセスより)

💡 この 6 工程はデータ分析全般の流れで、 この用語だけの話ではない。 カイ二乗検定は「評価」の工程。 カテゴリどうしの関連を判断する。

主要分野のマッピング

キャリアパス

• データアナリスト：記述統計、 可視化、 BI
• データサイエンティスト：機械学習、 統計モデリング
• 機械学習エンジニア：モデル実装、 デプロイ、 MLOps
• 統計学者・計量経済学者：因果推論、 統計的検定
• 研究者：新しい手法開発

💎 良いデータ分析のための10のコツ

1. 必ず可視化から始める：散布図、 ヒストグラム、 箱ひげ図
2. 外れ値を意識する：除く前にドメイン的に理解
3. 仮定を確認する：正規性、 独立性、 等分散性
4. サンプルサイズに見合う複雑性：n=10 で深層学習はしない
5. 効果量も併記する：p値だけでは不十分
6. 信頼区間で不確実性を示す：点推定だけでは誤解の元
7. 多重比較を補正する：探索的解析でも誠実に
8. ホールドアウト or CV で評価する：訓練データの精度は意味がない
9. 解釈可能性も重視する：ブラックボックスより white-box
10. 再現可能なコードを書く：random_seed、 バージョン管理

🔗 用語間の関係 — 統計概念のネットワーク

記述統計の基本セット

これらは互いに深く関連します：

• 平均：データの重心 → 偏差の合計はゼロ
• 分散：偏差の二乗の平均 → 平均からの広がり
• 標準偏差：分散の平方根 → 元の単位
• 共分散：2変数の偏差の積の平均 → 一緒に動くか
• 相関係数：共分散を標準偏差で割ったもの → 単位なし

推測統計の基本セット

• 標準誤差：推定値のばらつき = σ/√n
• 信頼区間：x̄ ± z × SE
• p値：H₀ のもとでの確率
• 有意水準 α：許容する第一種誤り率
• 検出力 1-β：差を見つける確率
• 効果量：差の大きさ（標準化済み）

回帰モデルファミリー

• 単回帰：1変数 → 1変数の予測
• 重回帰：多変数 → 1変数
• Ridge：L2正則化付き重回帰
• LASSO：L1正則化（変数選択付き）
• Elastic Net：L1+L2の組合せ
• ロジスティック回帰：分類用
• ポアソン回帰：カウントデータ用

クラスタリング・次元削減ファミリー

• k-means：分割クラスタリング
• 階層クラスタリング：ツリー構造
• Ward法：分散最小化の階層クラスタリング
• DBSCAN：密度ベース
• PCA：線形次元削減
• 因子分析：潜在因子モデル
• t-SNE, UMAP：非線形次元削減

検定ファミリー

• t検定：1〜2 群の平均比較
• F検定（ANOVA）：3群以上の平均比較
• χ²検定：カテゴリ変数の独立性
• Mann-Whitney U：t検定のノンパラ版
• Kruskal-Wallis：ANOVAのノンパラ版
• Wilcoxon：対応のあるt検定のノンパラ版

📖 包括的解説 — この概念を完全マスター

📍 学習の3ステップ

1. 定義を理解する：この概念は何か？ 数式や条件を確認
2. 具体例を見る：実データ（SSDSE 等）で計算してみる
3. 応用する：自分のデータに適用、 結果を解釈

🔧 Python実装パターン

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 基本パターン
import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

# 基本統計量
df.describe()

# 可視化
sns.pairplot(df[['食料費（二人以上の世帯）', '教育費（二人以上の世帯）', '住居費（二人以上の世帯）']])
plt.show()

📚 統計概念マップでの位置

このページの上にある3つの概念マップ（関係マップ、 包含マップ、 ツリーマップ）でこの概念の位置づけが視覚的に分かります。 関連手法を辿って学習を進めましょう。

🎯 SSDSE-B-2026 で挑戦

統計データ活用コンペティションのSSDSE-B-2026データは、 47都道府県の社会経済データ。 この概念を使って以下のような分析ができます：

• 地域別の特徴抽出
• 家計支出パターンの解析
• 人口動態と社会経済指標の関連
• 気候要因の影響評価

💡 よく使うコマンド集

🚧 一般的な落とし穴と対策

• 外れ値の影響：散布図・ 箱ひげ図で確認、 ロバスト手法も検討
• サンプルサイズ不足：power analysis で事前に確認
• 仮定の違反：正規性、 独立性、 等分散性をチェック
• 多重比較問題：補正（Bonferroni、 FDR）を適用
• p-hacking：事前登録（pre-registration）で防ぐ
• 因果と相関の混同：観察データから因果結論を出さない

📊 結果報告の標準フォーマット

• 点推定：得られた値
• 不確実性：信頼区間または標準誤差
• サンプルサイズ：n を明記
• 効果量：実質的な意義
• p値：統計的有意性
• 仮定の確認：診断プロット

🌐 関連分野での応用

• マーケティング：A/Bテスト、 顧客分析
• 医療：臨床試験、 疫学研究
• 金融：リスク管理、 ポートフォリオ
• 製造：品質管理、 工程最適化
• 公共政策：効果評価、 計画立案
• 研究：仮説検証、 探索的解析

🎓 さらに学ぶための文献

• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression"
• VanderPlas "Python Data Science Handbook"

🔗 統計用語ネットワーク

この概念は、 他の多くの統計概念と密接に関連しています。 ジャストインタイム型学習では、 必要に応じて関連用語へジャンプしながら全体像を構築します。

主要な関連概念のグループ

学習順序の推奨

1. 記述統計（平均、 分散、 標準偏差）
2. 可視化（ヒストグラム、 散布図）
3. 確率分布（正規分布）
4. 推測統計（標準誤差、 信頼区間、 p値）
5. 仮説検定（t検定、 χ²検定）
6. 相関と回帰（単回帰、 重回帰）
7. 多変量解析（PCA、 クラスタリング）
8. 機械学習（決定木、 RF、 NN）
9. 時系列・因果推論（応用）

📝 実践練習 — SSDSE-B-2026 で挑戦

初級課題

1. 東北6県の家計食料費の基本統計量を計算
2. 食料費のヒストグラムを描く
3. 食料費と教育費の散布図を描く
4. 都道府県を「東日本/西日本」に分け、 平均を比較

中級課題

1. 家計支出 5項目で相関行列を作成、 ヒートマップ可視化
2. 食料費 → 教育費の単回帰を実行、 残差分析
3. 家計5項目で PCA を実施、 バイプロット表示
4. k-means (k=3) で都道府県をクラスタリング、 解釈

上級課題

1. 地域別の家計パターンに有意差があるか ANOVA で検定
2. 重回帰で教育費を予測、 多重共線性を VIF で確認
3. Ridge/LASSO で正則化、 CV で α を最適化
4. 階層クラスタリングと Ward 法で都道府県を分類、 デンドログラム作成

• フィッシャー正確検定
• マクネマー検定
• 尤度比検定
• クラメールのV

🔗 さらに学ぶための関連用語

カイ二乗検定の理解を深めるには、 確率分布・仮説検定の基礎、 並列で使うノンパラ検定、 そして上位概念であるカテゴリ変数モデリングへの発展、 という 3 階層の概念群を順序立てて押さえると効果的。 SSDSE-B-2026 を使った独立性検定で「観測度数 vs 期待度数」のギャップを定量化する練習を、 隣接概念のページと往復しながら積むと、 自由度・p 値・χ² 分布の数式が腹落ちする。

🔗 関連用語（前提・並列・発展）

📚 参考文献・さらなる学習

📚 参考文献・さらなる学習

古典的教科書

• Casella & Berger "Statistical Inference"
• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression and Multilevel/Hierarchical Models"

実践書

• VanderPlas "Python Data Science Handbook"
• McKinney "Python for Data Analysis"
• James, Witten, Hastie & Tibshirani "An Introduction to Statistical Learning"

オンラインリソース

• scikit-learn 公式ドキュメント
• statsmodels 公式ドキュメント
• scipy.stats リファレンス
• SSDSE データ（統計データ活用コンペティション）

💼 実務応用ガイド

データサイエンスプロジェクトでの位置づけ

1. 探索的分析（EDA）：基本統計量・可視化でデータを理解
2. 前処理：標準化・正規化・欠損値処理
3. モデリング：回帰・分類・クラスタリング
4. 評価：CV、 指標計算、 統計的検定
5. 解釈・報告：効果量・信頼区間・可視化

業界別ユースケース

• マーケティング：顧客セグメンテーション、 ROI 分析、 A/Bテスト
• 金融：ポートフォリオ最適化、 リスク評価、 信用スコアリング
• 医療：臨床試験、 疫学研究、 診断モデル
• 製造：品質管理、 予測保全、 工程最適化
• 公共政策：社会統計、 政策効果分析、 計画立案

📖 完全ガイド — 統計学習の参照表

分析の流れ — 8ステップ

1. 問題定義：何を知りたいのか、 目的を明確に
2. データ収集：信頼できるソースから（SSDSEなど公的データ）
3. データクリーニング：欠損値、 外れ値、 入力ミスの確認
4. 探索的分析（EDA）：要約統計量、 ヒストグラム、 散布図
5. 変数変換：標準化、 対数変換、 カテゴリのエンコード
6. モデリング：適切な手法を選び、 学習
7. 評価：CV、 指標、 統計的検定
8. 解釈・報告：効果量、 信頼区間、 可視化

統計手法の選び方マトリクス

サンプル数別の手法ガイド

Python 主要ライブラリ早見表

よくある質問（FAQ）

• Q: 正規分布じゃないデータをどう扱う？
  A: 対数変換、 Box-Cox 変換、 ノンパラ検定、 ブートストラップ
• Q: 外れ値を除くべき？
  A: ドメイン知識で判断。 機械的に除くより、 ロバスト手法を検討
• Q: サンプルサイズはいくつあれば十分？
  A: 効果量と検出力から事前計算（power analysis）
• Q: p < 0.05 で「効果あり」と結論していい？
  A: 効果量と信頼区間も併記。 多重比較補正も
• Q: 相関があれば因果がある？
  A: ない。 RCT、 IV、 DiD などの因果推論手法が必要

📓 用語のまとめ — 30秒で理解

このページで扱った概念を、 学習効率のためにまとめます。 これを毎日見ることで、 統計の基礎が体に染み込みます。

必ず押さえるべき記号

💡 統計学・データサイエンスは「記号の意味を理解する」ことが最初の壁。 各記号が何を表すか、 公式の中での役割を覚えてしまえば、 後はパターンの組合せで様々な手法が理解できます。

• 用語ページ一覧（トップ）
• 統計データ分析コンペティション 教育用再現集
• correlation.html — 基準ページ（12 セクション完備）
• 仮説検定 — 統計推論の基礎
• 回帰分析 — モデリングの基盤

🖼 概念図で押さえる カイ二乗検定

カイ二乗検定 (χ² test) はカテゴリ変数の独立性・適合度を判定する代表的な検定手法。 ここでは 3 つの概念図で、 検定統計量の分布・p 値の意味・有意水準とパワーのトレードオフを視覚的に整理する。

📌 図から読み取るポイント (3 行要約)

• 図 1: 観測 − 期待のずれが統計量の本質。 期待度数は「独立性」を仮定して計算する。
• 図 2: p 値は χ² 分布の右側裾の面積。 自由度に応じた臨界値で棄却判定する。
• 図 3: n が小さいと検出力不足。 効果量 (Cramér's V) で実質的な関連の強さを必ず併記する。

📋 カイ二乗検定が使える前提条件と限界（誤解回避）

カイ二乗検定は強力だが、 適用条件を誤ると p 値が著しく歪む。 SSDSE-B-2026 を使う場面で典型的に外しやすい仮定を整理する。

前提 1: 期待度数 ≥ 5（経験則）

2×2 表ならすべてのセルで期待度数 ≥ 5、 一般の r×c 表でも 80% 以上のセルで期待度数 ≥ 5 が目安。 SSDSE-B (n=47) では「地方ブロック (8 区分) × 高齢化区分 (3 区分)」のような細分化で期待度数が 2 を下回るセルが出やすく、 χ² 近似が破綻する。 違反したら Fisher の正確検定か カテゴリの併合に切り替える。

前提 2: 観測値の独立性（ペアデータ禁止）

同一個体を 2 時点で観測した「前後比較」「マッチドペア」は、 観測が独立ではないため通常のカイ二乗検定は不適切。 ペアデータには マクネマー検定を使う。 SSDSE-B では「都道府県」が一意のため通常はこの違反は起きないが、 パネルデータ (2017-2023 を pool) で誤って n=47×7 として扱うと独立性が破綻する。

前提 3: カテゴリは事前定義（データ依存ビン禁止）

「平均で 2 群に分ける」「中央値で 2 群に分ける」のように、 同じデータから決めたカットオフでカテゴリを作るのは 事後検定的バイアスを生む。 高齢化率の閾値 (30%) は厚労省の事前定義基準に従う、 など 外部基準を用いる。

限界 1: p 値は「効果量」を示さない

n が大きいと小さなずれでも p < 0.001 になり、 「統計的に有意」だが「実質的にはほぼ関連なし」のケースが頻発。 Cramér's V (0.0–0.1 弱、 0.1–0.3 中、 0.3 以上強) を必ず併記し、 「有意 vs 重要」を分離する。

限界 2: 因果関係を語れない

独立性が棄却されても「A が B を引き起こす」ことは言えない。 例: 「高齢化率 × 一人当たり医療費」で χ² が有意でも、 共通の交絡変数 (人口密度、 産業構造) が両者を同時に説明している可能性がある。 因果は DID/IV/RCT 等別の枠組みで扱う。

🔁 典型ワークフロー (SSDSE-B-2026 で実施する 7 ステップ)

1. 仮説の事前登録: 「地方ブロック (北日本/関東/中部/関西/中四国/九州) と高齢化高低 (30% 閾値) は独立か」のように、 検定対象を データを見る前に決める。
2. クロス表作成: pd.crosstab(df['region'], df['aging_high']) で集計。 SSDSE-B-2026 の都道府県コードから region を生成。
3. 期待度数チェック: scipy.stats.chi2_contingency の返り値 expected を確認し、 期待度数 < 5 のセル割合を計算。 20% 超なら Fisher 検定に切り替え。
4. 検定統計量と p 値の計算: chi2, p, df, expected = chi2_contingency(table)。 自由度 df = (行-1)(列-1)。
5. 効果量の計算: Cramér's V = √(χ² / (n × (min(r,c) − 1)))。 SSDSE-B では n=47 と小さいため、 V ≥ 0.3 でなければ「強い関連」とは言わない。
6. 多重比較補正: 複数のクロス表に対して同時に検定するなら Bonferroni 補正 (α/k) または BH 補正で偽発見率を制御。
7. 結論の書き方: 「χ²(df=10)=18.2、 p=0.052、 Cramér's V=0.24」のように 統計量・自由度・p 値・効果量を 4 点セットで報告する。

🗺️ 概念マップ — 3つの視点で体系を理解する

カイ二乗検定 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 推測統計 › 検定 › カイ二乗検定（ノンパラメトリック検定の一つ）

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に カイ二乗検定 を置き、 そこから t検定・F検定・p値・ノンパラ検定・重回帰・有意水準 など 計 7 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「カイ二乗検定」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「カイ二乗検定」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは カイ二乗検定 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 検定 → カイ二乗検定 という入れ子の位置を示します。 「検定には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

「カイ二乗検定」はクロス集計の独立性を検証する手続きで、 期待度数の計算 (上流) と効果量による実質的解釈 (下流) を欠くと p 値の儀式に陥る。

• 上流: カイ二乗検定 の入力となるA1101 人口を地域別に分割した分割表 を整える前処理 (データクレンジング、 欠損値処理)
• 並列: 類似目的を持つ代替手法 (フィッシャーの正確検定、 G 検定) と比較・併用
• 下流: 出力結果の評価・解釈 (p 値、 効果量、 クラメールの V)

上流のクロス集計で期待度数を整え、 並列の Fisher 検定で小標本に対応し、 下流のクラメール V で関連の強さまで示せば、 SSDSE の地域 × カテゴリの独立性検証が完結する。

🌳 手法選択フロー

「chi square test」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: 標準化 / 欠損処理 / カテゴリ変数のエンコード が適切か
2. ハイパラ調整: 交差検証で安定する値を選ぶ
3. 性能評価: タスクに応じた指標 (RMSE / Accuracy / F1 / AUC / シルエット等) を複数併用
4. 頑健性チェック: 別手法 / 別シードで結果が大きく違わないか確認
5. 解釈: 結果を分野知識と照らし合わせ、 意味のある発見になっているか検討