🔖 キーワード索引（拡張）

ノンパラメトリック検定の周辺概念をクイックアクセス：

🔖 キーワード索引

このページを高速ナビゲートするための索引チップです。クリックで該当セクションへ。

🎨 直感で掴む

母集団の分布形状を仮定しない統計手法群。正規性に依存しないため外れ値や歪んだ分布に頑健。順位（ランク）に変換するか、リサンプリング（ブートストラップ等）で推論する。

🎨 概念図で押さえる

ノンパラメトリック検定は「正規性などの分布仮定を置かない」検定群。 ここでは「パラ vs ノンパラ」「順位ベースの考え方」「外れ値耐性」を概念図で押さえる。

パラメトリック (左) vs ノンパラ (右) の仮定正規分布を仮定μ, σ で完全記述分布形を仮定せず中央値・順位だけ'>

外れ値が入った時の影響中央値=本来位置平均=外れ値で右ずれ外れ値t 検定 (平均使用) → 外れ値で平均値が動く → 結論が変わるMann-Whitney (順位使用) → 1 個の外れ値も「1 つの順位」 → 結論安定'>

パラメトリック ⇔ ノンパラの対応パラメトリックノンパラ (順位)対応 2 群: 対応 t 検定Wilcoxon 符号順位検定独立 2 群: 独立 t 検定Mann-Whitney U 検定3 群以上: One-way ANOVAKruskal-Wallis 検定Pearson 相関Spearman 順位相関'>

📐 ノンパラ検定の仕組み

📐 ノンパラ検定の仕組み

多くのノンパラ検定は、 値そのものではなく順位（rank）に基づきます。 これにより：

• 分布の形に依存しない
• 外れ値の影響を受けにくい
• 順序尺度のデータでも使える
• ただしパラメトリック検定より検出力がやや低い

ノンパラメトリック手法 の中心となる数式・定義は次の通りです。

$$ \hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n \mathbf{1}(X_i \leq x) $$

🔬 「ノンパラ検定」を深く理解する

🔬 「ノンパラ検定」を深く理解する

パラメトリック vs ノンパラ — 検出力の差

パラメトリック検定は仮定が正しいときに最大の検出力を持つ。 仮定が崩れるとノンパラの方が頑健で高い検出力。 一般則：

• 正規分布が成立 → パラメトリックの検出力は約95% vs ノンパラ約86%（Pitman効率）
• 裾の重い分布 → ノンパラの方が高い検出力

順位検定の歴史

• Frank Wilcoxon（1945）：符号付き順位検定、 順位和検定を提案
• Henry Mann & Donald Whitney（1947）：U検定を独立に発見
• Kruskal & Wallis（1952）：多群版を提案
• Spearman（1904）、 Kendall（1938）：順位相関

📝 練習問題 — 理解度チェック

1. この用語の基本定義を、 自分の言葉で説明できますか？
2. この手法が使われる典型的なシナリオを3つ挙げられますか？
3. この手法の前提条件・仮定を確認できますか？
4. 結果を解釈する際の注意点は何ですか？
5. 類似手法との違いを説明できますか？
6. Python（または他言語）で実装できますか？
7. SSDSE データで応用例を作成できますか？

• F̂_n：経験分布関数（分布の代わりにこれを使う）
• 1(·)：指示関数
• 順位統計量・経験分布・カーネル密度推定が3本柱

🧮 SSDSE-B 実値計算 — 8 地方ブロックの「年平均気温」を比較

2023 年度・47 都道府県の「年平均気温（列 B4101）」を 8 地方ブロックに分け、 Kruskal-Wallis 検定で分布差を調べます。 併せて一元配置 ANOVA を走らせ、 順位ベース検定とパラメトリック検定の結論を見比べます（気温は北ほど低く南ほど高いので、 地方差がはっきり出る題材）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
from scipy import stats

# 2 行目（日本語見出し行）を飛ばし、英字コードを列名として読む
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年度の 47 都道府県だけ抽出

def region(code):                            # 地域コード R0X000 -> 8 地方ブロック
    n = int(str(code)[1:3])
    if n == 1:                return '北海道'
    if 2  <= n <= 7:          return '東北'
    if 8  <= n <= 14:         return '関東'
    if 15 <= n <= 23:         return '中部'
    if 24 <= n <= 30:         return '近畿'
    if 31 <= n <= 35:         return '中国'
    if 36 <= n <= 39:         return '四国'
    return '九州沖縄'
df['region'] = df['Code'].apply(region)

# B4101 = 年平均気温（℃）を 8 地方ブロックで比較
groups = [df.loc[df['region'] == r, 'B4101'].values
          for r in df['region'].unique()]

H, p_kw  = stats.kruskal(*groups)
F, p_aov = stats.f_oneway(*groups)
print(f'Kruskal-Wallis : H = {H:.2f}, p = {p_kw:.4f}')
print(f'One-way ANOVA  : F = {F:.2f}, p = {p_aov:.4f}')

実行結果（2023 年度の実データ）： H ≈ 31.65, p_kw < 0.001、 F ≈ 13.38, p_aov < 0.001。 どちらも 1% 水準で有意で、 「地方ブロックによって年平均気温の分布が異なる」と結論できる（北の北海道・東北が低く、 南の九州沖縄が高い）。 8 群のうち北海道は 1 県だけなど群サイズが小さく正規性も怪しいので、 主結果には順位ベースの Kruskal-Wallis を採るのが無難。

ポストホック：Mann-Whitney U で 2 群ずつ比較（Bonferroni 補正）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from itertools import combinations
regions = df['region'].unique()
k = len(regions)
m = k*(k-1)//2          # 比較数
print(f'比較数 = {m}, Bonferroni 補正後の α = {0.05/m:.4f}')
for r1, r2 in combinations(regions, 2):
    a = df.loc[df.region==r1, 'B4101']
    b = df.loc[df.region==r2, 'B4101']
    U, p = stats.mannwhitneyu(a, b, alternative='two-sided')
    mark = '*' if p < 0.05/m else ' '
    print(f'{mark} {r1:<5s} vs {r2:<5s}  U={U:6.1f}  p={p:.4f}')

scikit_posthocs で Dunn 検定（Holm 補正）

1
2
3
4

import scikit_posthocs as sp
pvals = sp.posthoc_dunn(df, val_col='B4101',
                        group_col='region', p_adjust='holm')
print(pvals.round(3))

🧮 実値で計算してみる（SSDSE-B-2026）

政府統計の総合窓口 e-Stat が公開する SSDSE-B-2026.csv（47都道府県×項目）を用いた具体的計算例を示します。

例として 2023 年度の「年平均気温（B4101）」と「消費支出（L3221、 二人以上の世帯）」の Spearman 順位相関を取ると ρ ≈ −0.305（p ≈ 0.037、 Pearson の r ≈ −0.23 よりやや強めに検出）。 気温の低い（寒い）地方ほど消費支出がやや大きい、 という弱い単調傾向が読める。

🧮 数式に値を入れて手で計算する: Mann-Whitney U 検定

合成 2 群でランクに基づく U 統計量を計算する。

Step 1: 2 群とランク

Step 2: U 計算

🐍 Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

# ── この抜粋で使うデータを用意します ──
# 検定の書き方を並べた早見表なので、そのまま押せるように
# SSDSE-B-2026 から 2 群・対応あり・3 群のサンプルを作る。
import numpy as np
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
temp = df['B4101'].astype(float).values          # 年平均気温
group1 = g1 = temp[:24]                          # 北海道〜静岡
group2 = g2 = temp[24:]                          # 愛知〜沖縄
group3 = g3 = df['A4103'].astype(float).values   # 合計特殊出生率
data = temp                                      # 1 標本検定用
mu0 = float(temp.mean())
# 対応のあるデータ（同じ 47 県の 2012 年と 2023 年）
_all = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
before = _all[_all['SSDSE-B-2026'] == 2012]['A1101'].astype(float).values
after = _all[_all['SSDSE-B-2026'] == 2023]['A1101'].astype(float).values
cond1, cond2, cond3 = before, after, (before + after) / 2
x = df['A1101'].astype(float).values
y = df['A4101'].astype(float).values
observed = np.array([[20, 15], [12, 18]])        # クロス集計の例

from scipy import stats
A = [3, 5, 7]
B = [2, 4, 8]
U, p = stats.mannwhitneyu(A, B)
print(f"U = {U}")
print(f"p = {p:.3f}")

📤 実行結果

💬 手計算 (Step 2) U=5 と Python 出力が完全一致。

🐍 Python でのノンパラ検定

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

# ── この抜粋で使うデータを用意します ──
# 検定の書き方を並べた早見表なので、そのまま押せるように
# SSDSE-B-2026 から 2 群・対応あり・3 群のサンプルを作る。
import numpy as np
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
temp = df['B4101'].astype(float).values          # 年平均気温
group1 = g1 = temp[:24]                          # 北海道〜静岡
group2 = g2 = temp[24:]                          # 愛知〜沖縄
group3 = g3 = df['A4103'].astype(float).values   # 合計特殊出生率
data = temp                                      # 1 標本検定用
mu0 = float(temp.mean())
# 対応のあるデータ（同じ 47 県の 2012 年と 2023 年）
_all = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
before = _all[_all['SSDSE-B-2026'] == 2012]['A1101'].astype(float).values
after = _all[_all['SSDSE-B-2026'] == 2023]['A1101'].astype(float).values
cond1, cond2, cond3 = before, after, (before + after) / 2
x = df['A1101'].astype(float).values
y = df['A4101'].astype(float).values
observed = np.array([[20, 15], [12, 18]])        # クロス集計の例

from scipy import stats

a, b = group1, group2
g4 = df['L3221'].astype(float).values
data_per_condition = [cond1, cond2, cond3]
diff = after - before

# Mann-Whitney U（独立2標本）
u, p = stats.mannwhitneyu(group1, group2, alternative='two-sided')

# Wilcoxon 符号付き順位（対応のあるデータ）
w, p = stats.wilcoxon(before, after)

# Kruskal-Wallis（3群以上）
h, p = stats.kruskal(group1, group2, group3)

# Friedman 検定（反復測定）
f, p = stats.friedmanchisquare(cond1, cond2, cond3)

# Spearman 相関
rho, p = stats.spearmanr(x, y)

# Kendall's tau
tau, p = stats.kendalltau(x, y)

🚧 落とし穴と注意点

• サンプルサイズを確認（小標本では結果が不安定）
• 仮定の検証（正規性、 独立性、 等分散性）
• 外れ値の影響を散布図で確認
• 多重比較問題（複数検定時は補正を）
• p値だけで判断しない、 効果量と信頼区間を併記
• 因果関係を主張するには別の根拠が必要

🐍 Python 実装バリエーション — scipy / pingouin / scikit_posthocs

1. scipy.stats — 主要 5 検定の最短コード

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from scipy import stats
# 2 群独立：Mann-Whitney U
U, p = stats.mannwhitneyu(a, b, alternative='two-sided', method='auto')
# 2 群対応：Wilcoxon 符号順位
W, p = stats.wilcoxon(x, y, zero_method='wilcox', correction=True)
# k 群独立：Kruskal-Wallis
H, p = stats.kruskal(g1, g2, g3, g4)
# k 群対応：Friedman
chi2, p = stats.friedmanchisquare(*data_per_condition)
# 符号検定（scipy 1.10+）
res = stats.binomtest(np.sum(diff > 0), n=np.sum(diff != 0), p=0.5)

2. pingouin — 高機能で効果量も自動

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# ── この抜粋で使うデータを用意します ──
import numpy as np
import pandas as pd
import pingouin as pg

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
df = df.copy()
_no = df['Code'].str[1:3].astype(int)
df['region'] = np.select(
    [_no <= 7, _no <= 14, _no <= 23, _no <= 30, _no <= 35, _no <= 39],
    ['北海道東北', '関東', '中部', '近畿', '中国', '四国'], default='九州沖縄')
_t = df['B4101'].astype(float).values
a, b = _t[:24], _t[24:]
x = df['A1101'].astype(float).values
y = df['A4101'].astype(float).values

# Mann-Whitney + 効果量 r + CI
print(pg.mwu(a, b))
# Kruskal-Wallis + η²
print(pg.kruskal(data=df, dv='B4101', between='region'))
# Wilcoxon + 効果量
print(pg.wilcoxon(x, y))

3. scikit_posthocs — Kruskal 後のペアワイズ Dunn / Conover

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
import numpy as np
import scikit_posthocs as sp

# この抜粋だけで動くように、群 g と値 y を持つ長形式データを作る
_np = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
_latest = _np[_np['SSDSE-B-2026'] == 2023].copy()
_latest['g'] = pd.cut(_latest['Code'].str[1:3].astype(int),
                      bins=[0, 13, 23, 35, 47],
                      labels=['東日本', '中部', '西日本', '九州沖縄'])
_latest['y'] = _latest['A1303'] / _latest['A1101'] * 100      # 高齢化率(%)
df = _latest[['g', 'y']].dropna()

# 対応のない k 群の多重比較
print('--- Dunn (holm) ---')
print(sp.posthoc_dunn(df, val_col='y', group_col='g', p_adjust='holm').round(3))
print('--- Conover (fdr_bh) ---')
print(sp.posthoc_conover(df, val_col='y', group_col='g', p_adjust='fdr_bh').round(3))

# Nemenyi (Friedman 後) は「行=同じ対象 × 列=条件」の行列を渡す。
# ここでは 47 都道府県 × 4 時点（繰り返し測定）で作る
_np['y'] = _np['A1303'] / _np['A1101'] * 100
data_matrix = (_np.pivot_table(index='Prefecture', columns='SSDSE-B-2026', values='y')
                  [[2012, 2016, 2020, 2023]].dropna())
print('--- Nemenyi (Friedman 後, 47 県 × 4 時点) ---')
print(f'行列の形: {data_matrix.shape}')
print(sp.posthoc_nemenyi_friedman(data_matrix.to_numpy()).round(4))

4. statsmodels で並べ替え検定（permutation test）

1
2
3
4
5
6
7

from scipy.stats import permutation_test
def diff_median(x, y, axis=0):
    return np.median(x, axis=axis) - np.median(y, axis=axis)

res = permutation_test((a, b), diff_median, n_resamples=20000,
                       alternative='two-sided', random_state=0)
print(f'observed diff = {res.statistic:.3f}, p = {res.pvalue:.4f}')

5. 効果量と信頼区間をブートストラップで

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from scipy.stats import bootstrap
import numpy as np

def cliffs_delta(x, y):
    n = len(x) * len(y)
    return (np.sum(x[:,None] > y[None,:]) - np.sum(x[:,None] < y[None,:])) / n

res = bootstrap((a, b), cliffs_delta, paired=False,
                n_resamples=5000, confidence_level=0.95)
print('Cliffs δ 95% CI =', res.confidence_interval)

🐍 Python 実装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
from scipy.stats import spearmanr, mannwhitneyu

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]           # 2023 年度の 47 都道府県
temp = df['B4101']            # 年平均気温
cons = df['L3221']            # 消費支出（二人以上の世帯）

rho, p_s = spearmanr(temp, cons)              # 順位相関 ρ ≈ -0.305
u, p_u = mannwhitneyu(temp[:24], temp[24:])   # 前半/後半の県で気温を比較
print(f'Spearman rho={rho:.3f}, p={p_s:.4g}')
print(f'Mann-Whitney U={u:.1f}, p={p_u:.4g}')

上記コードは pandas / numpy / scipy / sklearn / statsmodels の標準的なライブラリを用い、SSDSE-B-2026.csv を直接読み込んで計算します（合成データ不使用）。

🎮 触って理解する — 外れ値を 1 点ドラッグして「順位の頑健性」を体感

下の図は説明用の架空データ（A店・B店の 1 日あたり売上〔万円〕、各 n = 8）です。上の帯が実際の値、下の帯が順位（1〜16 位）で、灰色の対応線が「どの値がどの順位に落ちるか」を示します。B店の赤い点を左右にドラッグして極端な外れ値にしてみてください。平均ベースの t 検定（Welch）の p 値は大きく揺れるのに、順位ベースの Mann-Whitney U の p 値はほとんど動かないことがリアルタイムで確認できます。スライダーまたは再生ボタンで「値 → 順位」への変換過程もアニメーション表示できます。

※ データは説明用の架空値（SSDSE 実測値ではありません）。p 値はページ内 JavaScript で厳密に計算しています：t 検定は Welch 法（自由度は Welch–Satterthwaite 近似、p 値は t 分布の正則化不完全ベータ関数）、Mann-Whitney U はタイ補正＋連続性補正つき正規近似。いずれも scipy.stats.ttest_ind(equal_var=False) / mannwhitneyu(method='asymptotic') の出力と一致することを検証済みです。

🧪 実験ガイド — 3 つの操作で 3 つの発見

1. 右へ引っ張る（24 → 60）：B店の平均は 19.5 → 24.0 万円へ跳ね上がるのに、t 検定の p 値は 0.056 → 0.197 へ悪化する。外れ値は平均を押し上げると同時に分散を爆発させるので、シグナル（平均差）よりノイズ（標準誤差）の方が速く増えるからだ。一方、赤い点はもともと最大値（順位 16 位）で、どこまで右に引っ張っても「16 位のまま」。だから Mann-Whitney の p 値は 0.0731 から 1 桁も動かない。
2. 左へ引っ張る（24 → 5）：今度は赤い点が全 16 個の最小値（順位 1 位）まで転落する。順位が変わったので Mann-Whitney の p 値も 0.0731 → 0.343 へ変化する。つまり順位検定は「値の大小関係（順序）が変わったときだけ」反応する。頑健＝鈍感ではなく、順序情報には正しく敏感である。
3. スライダーで「値 → 順位」を再生：値軸では点の間隔がバラバラ（外れ値は遠くポツン）だが、順位軸では全点が等間隔に整列する。これが「順位変換＝間隔情報を捨てて順序だけ残す」操作の正体。外れ値の「極端さ」が変換の瞬間に消えるのが見える。

💭 直感の核心 — 順位は「スケール」を捨てて「順序」だけ残す

順位変換のもうひとつの重要な帰結が単調変換不変性だ。データ全体に log や平方根などの単調増加変換をかけても、大小関係は保存されるので順位は 1 ミリも変わらない。したがって Mann-Whitney U や Spearman ρ の値・p 値は対数変換の前後で完全に同一になる。t 検定や Pearson 相関は変換のたびに結果が変わるから、「対数を取るべきか否か」で悩む場面では、順位ベース手法が「変換の選択に依存しない結論」を与えてくれる。上のウィジェットで赤い点をどれだけ右に引っ張っても p 値が変わらないのは、この不変性の特殊ケース（最大値をさらに大きくする変換）を体感していることに他ならない。

⚠️ 体感とセットで覚える 3 つの注意

• 「分布仮定不要」は言い過ぎ：Mann-Whitney U を「中央値の差の検定」として解釈するには「2 群の分布形が同じでシフトだけ違う」という仮定が要る（詳細は下の落とし穴①）。仮定ゼロの魔法ではなく、「仮定を弱めた」検定である。
• 頑健性はタダではない：上の実験でも、外れ値がない状態（初期値）では t の p = 0.056 < MW の p = 0.073 と、t 検定の方が小さい。正規に近いデータでは順位化は情報の切り捨てであり、検出力を約 5%（ARE = 3/π ≈ 0.955）失う。
• タイ（同順位）は要注意：赤い点を他の点とちょうど同じ値（例：21.0）に重ねると、平均順位が割り当てられ、本ウィジェットもタイ補正済み分散で p 値を計算し直す。タイが大量にあるデータ（5 段階評価など）では正規近似が粗くなるので、厳密法か並べ替え検定を検討する。

🚀 発展 — 「順位」の先にあるノンパラ道具箱

ノンパラメトリック＝順位検定、ではない。分布形を仮定しない道具は大きく 3 系統ある。①順位系（本ページ：Mann-Whitney・Kruskal-Wallis・Spearman 順位相関）、②リサンプリング系：ブートストラップは再標本化で任意の統計量の信頼区間を、並べ替え検定はラベルのシャッフルで厳密な p 値を、分布仮定なしに構成する。③ノンパラ推定系：カーネル密度推定は「分布そのものの形」をデータから直接推定する（ヒストグラムの滑らか版）。外れ値への対処という文脈では外れ値・ロバスト統計のページ、パラメトリック側との使い分けはt 検定のページの使い分けナビが隣接する。

⚠️ ノンパラメトリック検定の落とし穴 — 6 つの典型ミス

⚠️ 落とし穴

• 検出力の低下：正規性が満たされている場合、ノンパラ手法は対応するパラメトリック手法より検出力が低い (≒95%効率)。
• 「分布フリー」≠「仮定なし」：対称性・連続性・独立性等の前提は残る。Mann-Whitney は「分布形が同じ」が前提。
• 信頼区間の構成：効果量の信頼区間が直感的に得にくい。ブートストラップで補う。
• 大標本での効率低下：順位情報のみ使うので、大標本では精密データを捨てる「もったいない」場面も。

🌐 ノンパラメトリック手法の位置づけ

パラメトリック手法とノンパラメトリック手法の対応

💎 ノンパラメトリック手法を選ぶときの 5 つのコツ

1. サンプルサイズで第一判断：n < 30 はノンパラ寄り、 n > 100 はパラメトリックでも CLT で正規近似が効く
2. Shapiro-Wilk と Q-Q プロットを併用：検定だけでは大標本で過剰棄却、 形状確認とセットで
3. 順位変換は情報損失：精密な計量データを順位化すると検出力が約 95% に低下、 必要性を吟味
4. ブートストラップ信頼区間で補強：ノンパラ検定は p 値中心、 効果量と信頼区間は別途リサンプリングで構成
5. 多重比較補正：Kruskal-Wallis 後の事後検定は Dunn or Conover を選び Bonferroni / BH-FDR で調整

🔗 用語間の関係 — 統計概念のネットワーク

記述統計の基本セット

これらは互いに深く関連します：

• 平均：データの重心 → 偏差の合計はゼロ
• 分散：偏差の二乗の平均 → 平均からの広がり
• 標準偏差：分散の平方根 → 元の単位
• 共分散：2変数の偏差の積の平均 → 一緒に動くか
• 相関係数：共分散を標準偏差で割ったもの → 単位なし

推測統計の基本セット

• 標準誤差：推定値のばらつき = σ/√n
• 信頼区間：x̄ ± z × SE
• p値：H₀ のもとでの確率
• 有意水準 α：許容する第一種誤り率
• 検出力 1-β：差を見つける確率
• 効果量：差の大きさ（標準化済み）

回帰モデルファミリー

• 単回帰：1変数 → 1変数の予測
• 重回帰：多変数 → 1変数
• Ridge：L2正則化付き重回帰
• LASSO：L1正則化（変数選択付き）
• Elastic Net：L1+L2の組合せ
• ロジスティック回帰：分類用
• ポアソン回帰：カウントデータ用

クラスタリング・次元削減ファミリー

• k-means：分割クラスタリング
• 階層クラスタリング：ツリー構造
• Ward法：分散最小化の階層クラスタリング
• DBSCAN：密度ベース
• PCA：線形次元削減
• 因子分析：潜在因子モデル
• t-SNE, UMAP：非線形次元削減

検定ファミリー

• t検定：1〜2 群の平均比較
• F検定（ANOVA）：3群以上の平均比較
• χ²検定：カテゴリ変数の独立性
• Mann-Whitney U：t検定のノンパラ版
• Kruskal-Wallis：ANOVAのノンパラ版
• Wilcoxon：対応のあるt検定のノンパラ版

• Wilcoxon検定
• Mann-Whitney検定
• Kruskal-Wallis検定
• スピアマン相関

🔗 さらに学ぶための関連用語

このトピックの理解を深めるには、 以下の関連概念も合わせて学習することをお勧めします。 概念マップから直接ジャンプできます：

• 基礎：平均、 分散、 標準偏差、 相関係数
• 推測：信頼区間、 p値、 標準誤差、 有意水準
• 関連手法：他の検定・回帰モデル
• 応用：機械学習での実装

🔗 関連用語（拡張ネットワーク）

📚 前提となる用語

• 仮説検定の基礎
• 順位（ランク）統計量
• 中央値
• 確率分布
• 効果量

🔀 並列に学ぶ用語

• t 検定 — パラメトリック版
• ANOVA — 多群パラメトリック
• カイ二乗検定 — カテゴリカル版
• Spearman 順位相関
• Kendall の τ

🚀 発展先の用語

• ブートストラップ法
• 並べ替え検定
• ベイジアン仮説検定
• ロバスト統計
• 順位回帰（Theil-Sen 等）

🧰 ツール・周辺概念

• 多重比較補正（Bonferroni / Holm / FDR）
• 検出力分析
• Cliff の δ
• Hodges-Lehmann 推定量

🔗 関連用語（前提・並列・発展）

前提となる概念

• 仮説検定
• 順位統計量
• 経験分布

並列・類似の概念

• Wilcoxon検定
• Mann-Whitney
• Kruskal-Wallis
• Friedman検定
• Kendall τ

発展・上位の概念

• ブートストラップ
• 置換検定
• カーネル密度推定
• 分位点回帰

📚 参考文献・さらなる学習

📚 参考文献・さらなる学習

古典的教科書

• Casella & Berger "Statistical Inference"
• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression and Multilevel/Hierarchical Models"

実践書

• VanderPlas "Python Data Science Handbook"
• McKinney "Python for Data Analysis"
• James, Witten, Hastie & Tibshirani "An Introduction to Statistical Learning"

オンラインリソース

• scikit-learn 公式ドキュメント
• statsmodels 公式ドキュメント
• scipy.stats リファレンス
• SSDSE データ（統計データ活用コンペティション）

💼 実務応用ガイド

データサイエンスプロジェクトでの位置づけ

1. 探索的分析（EDA）：基本統計量・可視化でデータを理解
2. 前処理：標準化・正規化・欠損値処理
3. モデリング：回帰・分類・クラスタリング
4. 評価：CV、 指標計算、 統計的検定
5. 解釈・報告：効果量・信頼区間・可視化

業界別ユースケース

• マーケティング：顧客セグメンテーション、 ROI 分析、 A/Bテスト
• 金融：ポートフォリオ最適化、 リスク評価、 信用スコアリング
• 医療：臨床試験、 疫学研究、 診断モデル
• 製造：品質管理、 予測保全、 工程最適化
• 公共政策：社会統計、 政策効果分析、 計画立案

📖 完全ガイド — 統計学習の参照表

分析の流れ — 8ステップ

1. 問題定義：何を知りたいのか、 目的を明確に
2. データ収集：信頼できるソースから（SSDSEなど公的データ）
3. データクリーニング：欠損値、 外れ値、 入力ミスの確認
4. 探索的分析（EDA）：要約統計量、 ヒストグラム、 散布図
5. 変数変換：標準化、 対数変換、 カテゴリのエンコード
6. モデリング：適切な手法を選び、 学習
7. 評価：CV、 指標、 統計的検定
8. 解釈・報告：効果量、 信頼区間、 可視化

統計手法の選び方マトリクス

サンプル数別の手法ガイド

Python 主要ライブラリ早見表

よくある質問（FAQ）

• Q: 正規分布じゃないデータをどう扱う？
  A: 対数変換、 Box-Cox 変換、 ノンパラ検定、 ブートストラップ
• Q: 外れ値を除くべき？
  A: ドメイン知識で判断。 機械的に除くより、 ロバスト手法を検討
• Q: サンプルサイズはいくつあれば十分？
  A: 効果量と検出力から事前計算（power analysis）
• Q: p < 0.05 で「効果あり」と結論していい？
  A: 効果量と信頼区間も併記。 多重比較補正も
• Q: 相関があれば因果がある？
  A: ない。 RCT、 IV、 DiD などの因果推論手法が必要

📓 用語のまとめ — 30秒で理解

このページで扱った概念を、 学習効率のためにまとめます。 これを毎日見ることで、 統計の基礎が体に染み込みます。

必ず押さえるべき記号

💡 統計学・データサイエンスは「記号の意味を理解する」ことが最初の壁。 各記号が何を表すか、 公式の中での役割を覚えてしまえば、 後はパターンの組合せで様々な手法が理解できます。

• 用語ページ一覧（トップ）
• 統計データ分析コンペティション 教育用再現集
• correlation.html — 基準ページ（12 セクション完備）
• 仮説検定 — 統計推論の基礎
• 回帰分析 — モデリングの基盤

🗺️ 概念マップ — 3つの視点で体系を理解する

ノンパラメトリック検定 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 推測統計 › 検定 › ノンパラメトリック検定

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に ノンパラメトリック検定 を置き、 そこから t検定・Kruskal-Wallis・中央値・p値・F検定・χ²検定 など 計 11 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「ノンパラメトリック検定」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「ノンパラメトリック検定」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは ノンパラメトリック検定 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 検定 → ノンパラメトリック検定 という入れ子の位置を示します。 「検定には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🔗 隣接手法への橋渡し

「ノンパラメトリック検定」は単独で完結せず、 前後の手法と組み合わさって価値が発揮される。 入力データの準備 (上流)・同目的の代替手法との比較 (並列)・結果の活用 (下流) という 3 軸で隣接領域を整理する。

• 上流 (入力の準備): 尺度の確認・順位変換 (順序尺度、 尺度水準) と 正規性 仮定の検証 (Shapiro-Wilk・QQ プロット)
• 並列 (同目的の代替): 同目的のパラメトリック検定 t 検定・ANOVA と Wilcoxon 順位和・Kruskal-Wallis・符号検定 が交換可能
• 下流 (結果の活用): p 値 の解釈、 効果量 (r、 Cliff の δ) の算出、 ブートストラップ 信頼区間で結論を頑健化

この上流・並列・下流の対応を地図化することで、 「ノンパラメトリック検定」を中核に据えた分析パイプライン (データ準備 → 手法選択 → 結果の検証と展開) の全体像が見えてくる。

🌳 手法選択フロー

「nonparametric」を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 以下に典型シナリオと対応する手法の組合せを示す。

典型シナリオ別の手法選択

選んだ後の検証ステップ

1. 前処理確認: 標準化 / 欠損処理 / カテゴリ変数のエンコード が適切か
2. ハイパラ調整: 交差検証で安定する値を選ぶ
3. 性能評価: タスクに応じた指標 (RMSE / Accuracy / F1 / AUC / シルエット等) を複数併用
4. 頑健性チェック: 別手法 / 別シードで結果が大きく違わないか確認
5. 解釈: 結果を分野知識と照らし合わせ、 意味のある発見になっているか検討

👁️ 直感をさらに深める — 「順位」という共通通貨

パラメトリック検定は「母集団は正規分布 N(μ, σ²)」のように分布の形をパラメータ（μ, σ）で完全に指定し、そのパラメータについて推論する。ノンパラメトリック検定はこの一歩を踏まない。「分布の形は分からない・仮定したくない」という前提から出発し、形に依存しない情報＝順位（rank）や符号（sign）だけを取り出して推論する。値そのものを捨てて順位に置き換えることは、いわば各国通貨を「順位」という共通通貨に両替する操作にあたる。両替すれば、元が円でもドルでも（正規でも対数正規でも）同じ土俵で比較でき、しかも 1 兆円のような極端値も「最上位という 1 つの順位」に丸め込まれる。

なぜ「分布の仮定」を外せるのか — 帰無分布が組合せで決まる

順位検定の核心は、帰無仮説が正しいとき、順位の並びは母集団分布の形と無関係に決まる点にある。たとえば Mann-Whitney U 検定では「2 群は同じ分布から来た」という帰無仮説のもとで、全データを混ぜて順位を振ると、どの順位がどちらの群に来るかは純粋な組合せ（何通りの割り当てがあるか）だけで決まる。母集団が正規でも歪んでいても、この組合せ構造は変わらない。だから帰無分布（p 値を測る物差し）を分布の形を知らなくても計算できる。これが「分布フリー（distribution-free）」の正体であり、正規性という仮定を丸ごと不要にする仕組みである。パラメトリック側の対応表・使い分けは t 検定・ANOVA のページと往復すると理解が深まる。

パラメトリックとの対比 — 3 つの軸で整理

要は「仮定を強くして情報を全部使う」か「仮定を弱くして順序だけ使う」かのトレードオフである。どちらが上位というものではなく、データの素性で選ぶ。中央値の直感は 中央値、順位の下地は 四分位・箱ひげ図 のページが補完する。

⚠️ 落とし穴をさらに深める — SSDSE 実データで「ノンパラは万能ではない」を体感

上の「6 つの典型ミス」に加え、実データで最も誤解されやすい 2 点を SSDSE-B-2026（2023 年度・47 都道府県）の実測で確認する。いずれも合成データではなく、下のコードをそのまま実行すれば再現できる。

落とし穴 A：「順位化すれば必ず良い」わけではない — 検出力を失う実例

2023 年の 高齢化率（65 歳以上人口 A1303 ÷ 総人口 A1101 × 100）と 年平均気温（B4101）の関連を、Pearson・Spearman・Kendall で測ると次のようになる（実測値）。

「寒い地方ほど高齢化が進む」という負の関連はどの指標も向きは同じだが、Pearson は 1% 水準で有意なのに、順位ベースの Spearman・Kendall は 5% でも有意にならない。順位化で間隔情報（沖縄が飛び抜けて暖かい、など）を捨てた結果、検出力が落ちて有意性を取りこぼしている。これは落とし穴②「正規性が成り立つのにノンパラを使い検出力を失う」の実例であり、「ノンパラの方が安全＝常に良い」ではないことを示す。順位化はタダではなく、情報損失＝検出力の代償を伴う。

落とし穴 B：外れ値・てこ点があるときは逆に順位が「効く」— 表裏一体

ただし A の話には裏がある。上の Pearson の強さは、沖縄（高齢化率 23.8%・年平均気温 23.8℃）という「若くて非常に暖かい」てこ点（leverage point）に支えられている面がある。沖縄 1 県を除くと Pearson r は −0.445 → −0.333（p=0.024）へ大きく縮む一方、Spearman ρ は −0.264 → −0.217（p=0.148）とほとんど動かない。つまり Pearson は 1 点の極端値に敏感、順位ベースは頑健、というお馴染みのトレードオフがここでも成り立つ。「Pearson が強い＝本当に強い関連」とは限らず、てこ点が押し上げているだけかもしれない。順位相関との食い違いは、外れ値・非線形を疑うシグナルとして使う（外れ値・ロバスト統計 のページ参照）。

落とし穴 C：群を分けても差が出ないこともある — 「有意でない」を正しく読む

高齢化率を 東日本（都道府県コード 1〜23）と 西日本（24〜47）で Mann-Whitney U 検定にかけると、中央値は東 31.23%・西 32.57% だが U = 231.0, p = 0.344 で有意差なし（Welch の t 検定でも p = 0.426 で一致）。ノンパラ検定で有意にならないのは「差がない証拠」ではなく「差を検出できるだけの情報がなかった」だけ、という点に注意（p 値・検出力分析）。加えて、ノンパラでも独立性の仮定は外せない：47 都道府県を独立標本として扱えるかは別問題で、地理的な空間相関があれば前提が崩れる。「分布フリー＝仮定ゼロ」ではないことを、この点は改めて思い出させてくれる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()          # 2023 年度・47 都道府県
df['aging'] = df['A1303'] / df['A1101'] * 100         # 高齢化率（65歳以上人口比率）

# A: 高齢化率 vs 年平均気温 — Pearson は有意・順位相関は非有意
print('Pearson :', stats.pearsonr(df['aging'], df['B4101']))   # r=-0.445, p=0.0017
print('Spearman:', stats.spearmanr(df['aging'], df['B4101']))  # rho=-0.264, p=0.073
print('Kendall :', stats.kendalltau(df['aging'], df['B4101'])) # tau=-0.185, p=0.069

# B: 沖縄（てこ点）を除くと Pearson は縮み Spearman は不動
d2 = df[~df['Prefecture'].str.contains('沖縄')]
print('w/o沖縄 Pearson :', stats.pearsonr(d2['aging'], d2['B4101']))   # r=-0.333, p=0.024
print('w/o沖縄 Spearman:', stats.spearmanr(d2['aging'], d2['B4101']))  # rho=-0.217, p=0.148

# C: 東日本 vs 西日本の高齢化率 — Mann-Whitney U
df['pref_no'] = df['Code'].apply(lambda c: int(str(c)[1:3]))
east = df.loc[df['pref_no'] <= 23, 'aging']
west = df.loc[df['pref_no'] >= 24, 'aging']
print('東 median=%.2f, 西 median=%.2f' % (east.median(), west.median()))  # 31.23 / 32.57
print(stats.mannwhitneyu(east, west, alternative='two-sided'))            # U=231.0, p=0.344

※ 数値はいずれも SSDSE-B-2026.csv（2023 年度・47 都道府県）の実測。合成データは使用していません。丸めは小数第 3〜4 位。

まとめ — 「ノンパラ＝万能・安全」という思い込みを捨てる

• 検出力の代償：仮定が成り立つ場面では順位化で情報を捨て、有意性を取りこぼす（落とし穴 A）。
• 仮定はゼロではない：独立性・連続性・（U 検定なら分布形の一致）は残る（落とし穴 C）。
• 順位相関との食い違いは診断に使う：Pearson≫Spearman なら外れ値・てこ点、Spearman≫Pearson なら単調非線形を疑う（落とし穴 B）。
• 大標本での過度な使用に注意：n が大きければ中心極限定理でパラメトリック検定が正規近似で正当化されることが多く、あえて順位化する必要は薄れる。
• 同順位（タイ）と多重比較：タイが多いとき正規近似 p 値は粗く（要タイ補正・厳密法・並べ替え検定）、事後検定では 多重比較補正 が必須。

🚀 発展をさらに深める — 順位検定の原理と 3 系統の道具箱

① 主要な順位検定は「順位和」という一本の背骨で繋がる

Mann-Whitney U・Wilcoxon 符号順位・Kruskal-Wallis は別々の検定に見えるが、いずれも「順位に置き換えてから、群ごとの順位和（または順位平均）が偏っていないか」を見る点で一貫している。

帰無仮説のもとでは順位和の期待値・分散が組合せだけで閉じた式になる（例：Mann-Whitney U の平均 n₁n₂/2、分散 n₁n₂(N+1)/12）。小標本では全組合せから厳密分布を、大標本では正規（または χ²）近似を使う。同順位があると分散を縮めるタイ補正が入る。

② リサンプリング系 — 順位に頼らず「シャッフルで物差しを作る」

順位検定は「順序」に情報を落とすが、並べ替え検定（permutation test）は値をそのまま使いながら分布仮定を外す。群ラベルを何度もシャッフルして「もし群に差がなければ得られたはずの統計量の分布」を実際に作り、観測値がその裾にあるかで p 値を測る。中央値差でも平均差でも任意の統計量で検定を組めるのが強みで、並べ替え検定 のページが詳しい。もう一方の ブートストラップは、標本から復元抽出を繰り返して効果量（Cliff の δ、Hodges-Lehmann 推定量など）の信頼区間を分布仮定なしに構成する。p 値中心になりがちなノンパラ検定に、効果量と区間推定を補うのが現代的な作法である。

③ ノンパラ推定系 — 「分布そのもの」をデータから描く

検定だけがノンパラではない。経験分布関数 F̂ₙ（このページ冒頭の数式）は母集団分布を階段関数で近似し、カーネル密度推定（KDE）はそれを滑らかにして「分布の形」を直接描く（ヒストグラムの連続版）。2 標本が同じ分布かを形ごと比べる Kolmogorov-Smirnov 検定は F̂ₙ の最大差を統計量にする。回帰では、外れ値・非線形に強い 分位点回帰や LOWESS がノンパラ推定の代表格である。

④ セミパラメトリック — パラとノンパラの「良いとこ取り」

分布全体は仮定しないが、関心のあるパラメータ（回帰係数など）だけはパラメトリックに扱うセミパラメトリックな手法群もある。代表は生存時間解析の Cox 比例ハザードモデル：ベースラインハザードの形は自由（ノンパラ）にしつつ、共変量の効果は係数（パラメトリック）で推定する。「分布形の仮定は避けたいが、係数の解釈は欲しい」という実務ニーズに応える中間路線であり、ノンパラ（仮定最小・解釈は弱め）とパラメトリック（仮定強め・解釈は明快）のスペクトル上に位置づけると全体像が掴める。

🔗 このテーマを深掘りする関連ページ

ノンパラメトリック検定の理解を、上流（前提）・並列（同目的の代替）・下流（結果の活用）・発展の 4 方向で広げるためのリンク集。既存ページのみをリンクし、未作成のトピックはテキストで示す。

📚 前提・下地（上流）

• 仮説検定 — 帰無仮説・p 値・有意水準というノンパラ検定の土台
• 正規性 — 「パラかノンパラか」の分岐点。Q-Q プロット・Shapiro-Wilk で確認
• 中央値・四分位・箱ひげ図 — 順位ベースの要約と可視化
• 外れ値・ロバスト統計 — 順位が頑健である理由の背景

🔀 並列・同目的の代替（パラメトリック側）

• t 検定 — Mann-Whitney U / Wilcoxon 符号順位のパラメトリック対応
• ANOVA — Kruskal-Wallis のパラメトリック対応
• 相関（Pearson） — Spearman ρ / Kendall τ のパラメトリック対応
• カイ二乗検定 — カテゴリカルデータ版の分布フリー検定

🌿 個別のノンパラ手法

• Kruskal-Wallis 検定 — 3 群以上の順位ベース比較
• Spearman 順位相関 — 単調関係を捉える順位相関
• Mann-Whitney U 検定・Wilcoxon 符号順位検定・Friedman 検定・Kendall の τ — 本ページ内「実値計算」「Python 実装」節で扱う（専用ページは未作成）

🚀 発展・結果の活用（下流）

• 並べ替え検定 — ラベルのシャッフルで作る厳密な分布フリー検定
• ブートストラップ — 効果量の信頼区間を分布仮定なしで構成
• カーネル密度推定 — 「分布そのもの」をデータから描くノンパラ推定
• 分位点回帰 — 外れ値・非線形に強いノンパラ的回帰
• 効果量・p 値・多重比較補正・検出力分析 — 結果を正しく報告するための道具
• セミパラメトリック（Cox 比例ハザード等）— パラとノンパラの中間（専用ページは未作成）