🔖 キーワード索引（拡張）

Spearman 順位相関とその近縁用語：

🔖 キーワード索引 — 完全強化版

「スピアマンの順位相関」を理解するうえで必要なキーワードを 10 件以上提示します。 各チップから対応セクションへ移動できます。

30 秒結論 文脈 直感 数式 記号読み解き 実値計算 Python 実装 落とし穴 関連手法 関連用語 グループ教材 概念マップ

🎨 直感で掴む — 完全強化版

スピアマンの順位相関 を一言でいえば「47都道府県の人口 (A1101) と出生数 (A4101) の順位相関」。 47 都道府県という小さな母集団でも、 SSDSE-B-2026 の A1101 列に注目すると、 大都市圏と地方の差・人口規模に伴う相対比較など、 様々なパターンが見えてきます。

比喩でいうと、 スピアマンの順位相関 はデータ分析の「眼鏡」のようなもの。 同じデータでも眼鏡を変えれば、 平均（中心）・分散（ばらつき）・相関（連動）・因果（影響）と、 異なる情報が浮かび上がります。 SSDSE-B-2026 を題材に、 この眼鏡をかけてみるのが本ページの狙いです。

• 具体例 1：47 都道府県の A1101 の中央値 ± 四分位を見ると、 規模感が掴める。
• 具体例 2：A4101 と組み合わせて散布図にすると、 群構造が見える。
• 具体例 3：政令指定都市の有無で群分けすると、 介入研究の素材になる。

📐 数式または定義 — 完全強化版

スピアマンの順位相関 の代表的な定義式は次のとおりです。

ここで使われる記号や演算の意味は次節で言葉に翻訳します。

spearman の定義や代表的な数式を以下に示す。 数式の各記号の意味は次節で言葉に翻訳する。

spearman は文脈に応じて複数の定式化があるが、 教育目的では最も基本的な形を抑えることが重要。 具体的な値での計算例は後続セクションを参照。

$$\text{spearman}: f(\mathbf{X}, \boldsymbol{\theta}) \to y$$

記号の対応はこうです。 $d_i$ は個体 $i$ の 2 つの順位の差で、 「$x$ で何位か」から「$y$ で何位か」を引いた値です（例: 東京都が人口 1 位・消費支出 30 位なら $d = 1 - 30 = -29$）。 $n$ は個体数で、 本ページなら 47 都道府県。 分母の $n(n^2-1)$ は $n=47$ なら $47 \times 2208 = 103{,}776$ という定数で、 順位が完全に逆順のときに $\sum d_i^2$ が最大になるように正規化するための値です。 係数 6 も同じ正規化のために出てくる定数で、 これがあるおかげで $r_s$ が $-1$ から $+1$ に収まります。 $\operatorname{rank}$ は順位付けで、 同順位があるときは平均順位を割り当てます（この場合この簡易式は近似になります）。

🔬 数式を言葉で読み解く — 完全強化版

数式の各記号を、日本語の意味に変換します。

• X, Y — 観測されたデータ系列（SSDSE-B-2026 の A1101, A4101 列など）
• n — 標本サイズ（47 都道府県データなら 47、 多年度パネルなら 47×年数）
• β, θ, α — 推定すべき未知パラメータ
• ε, u — 観測されない誤差項・撹乱項
• E[·] — 期待値（母集団平均）
• Cov, Var — 共分散・分散
• arg min — 「最小化するパラメータ」の意味
• L (ラグ演算子) — 時系列で 1 期前の値を返す操作

🧮 SSDSE-B 実値計算 — Spearman で都道府県データを総当たり相関

47都道府県の主要 8 変数で Spearman 順位相関行列を作り、 Pearson との比較で「非線形だが単調」な関係を炙り出す。

📥 入力例: data/raw/SSDSE-B-2026.csv
  X: A1101（総人口）47 都道府県
  Y: A4101（出生数）

📤 実行例: ピアソン r  = 0.995
  スピアマン ρ = 0.978
  → ほぼ同値（単調関係が強い）

💬 読み方: 単調関係が強いと ρ と r は近い値になる。 ρ が r より高い場合は非線形だが単調な関係。 ρ < r ならピアソンに過剰反応する外れ値の影響。 ρ は外れ値に頑健で、 ピアソン補完として有用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()

cols = ['A1101', 'A1303', 'A4101',
        'A4200', 'A9101', 'I5102',
        'L322101', 'A4103']
X = df[cols].apply(pd.to_numeric, errors='coerce')

rho_s  = X.corr(method='spearman').round(3)
rho_p  = X.corr(method='pearson').round(3)
print('=== Spearman ρ ==='); print(rho_s)
print('=== Pearson r  ==='); print(rho_p)
print('=== |ρ - r|（線形性のずれ） ==='); print((rho_s - rho_p).abs().round(3))

典型的な観察例： 総人口 (A1101) と出生数 (A4101) は Pearson r=0.995 / Spearman ρ=0.978 とほぼ一致するが、 総人口 (A1101) と食料費 (L322101、1 世帯あたり) は Pearson r=0.67 / Spearman ρ=0.55 と差が出る。 後者は「線形ではないが単調」な関係や分布の裾の影響を示唆。 ρ と r の差分が大きいペアを優先的に散布図で確認する。

片方の検定だけでなく、 ペアごとに p 値と 95%CI を一覧化

📥 入力例: data/raw/SSDSE-B-2026.csv
  X = df['A1101'].rank()
  Y = df['A4101'].rank()

📤 実行例: scipy.stats.spearmanr → 0.978
  pandas df.corr(method='spearman') → 0.978
  手計算 ρ = 0.978

💬 読み方: 3 通りの実装が一致 → 計算の正しさを確認。 タイがあるときは「平均順位」を取るのが標準（scipy/pandas のデフォルト）。 タイが多いとケンドール τ の方が適切な場合もある。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from itertools import combinations
rows = []
n = len(X)
for a, b in combinations(cols, 2):
    rho, p = stats.spearmanr(X[a], X[b], nan_policy='omit')
    # Fisher z 変換で 95% CI
    z = np.arctanh(rho)
    se = 1/np.sqrt(n-3)
    lo, hi = np.tanh(z - 1.96*se), np.tanh(z + 1.96*se)
    rows.append([a, b, rho, p, lo, hi])
res = pd.DataFrame(rows, columns=['a','b','rho','p','CI_lo','CI_hi'])
print(res.sort_values('rho').round(3).to_string(index=False))

Spearman ヒートマップ可視化

📥 入力例: data/raw/SSDSE-B-2026.csv
  X: A1101（総人口）
  Y: 想定: log(A1101) + ノイズ

📤 実行例（実測）
このブロックは標準出力を出さない（図を描く・変数を定義するだけ）。

💬 読み方: r と ρ の差が大きい時は非線形を疑う。 ρ は単調変換（log, sqrt 等）に不変なので、 「単調関係があるかどうか」を測る純粋な指標。 r が低くても ρ が高ければ、 変数変換でモデル化可能。

1
2
3
4
5
6
7
8

fig, axes = plt.subplots(1, 2, figsize=(13, 5.5))
sns.heatmap(rho_s, annot=True, fmt='.2f', cmap='RdBu_r',
            vmin=-1, vmax=1, ax=axes[0])
axes[0].set_title('Spearman ρ')
sns.heatmap(rho_p, annot=True, fmt='.2f', cmap='RdBu_r',
            vmin=-1, vmax=1, ax=axes[1])
axes[1].set_title('Pearson r')
plt.tight_layout(); plt.savefig('corr_compare.png', dpi=140)

🧮 実値で計算してみる — SSDSE-B-2026 で スピアマンの順位相関（完全強化版）

SSDSE-B-2026（公的統計の社会・教育系データセット、 47 都道府県 × 10 年分超 × 100 以上の列）を用いて、 「スピアマンの順位相関」を体感します。 ファイル名は SSDSE-B-2026.csv、 読み込みは下記の Python コードで行います。

1
2
3
4
5
6
7
8

import pandas as pd

# SSDSE-B-2026 を読み込む（cp932 / Shift_JIS）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
print(df.shape)          # (564, 112)
print(df['SSDSE-B-2026'].unique())  # 含まれる年度
latest = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()].copy()
print(latest[['Prefecture', 'A1101', 'A4101']].head())

ここで使った中心列 A1101 は SSDSE-B-2026 における 47都道府県の人口 (A1101) と出生数 (A4101) の順位相関 に関連する指標です。 算出例：

• 47 都道府県・最新年度の A1101 平均と標準偏差を求める
• A1101 と A4101 の相関（線形・順位）を比較する
• 群分け（例：人口上位 10 県 vs それ以外）で平均差を見る

🧮 数式に値を入れて手で計算する: スピアマンのランク相関

合成データでランクから ρ を計算する。

Step 1: データとランク

Step 2: 公式

🐍 Python で再現

1
2
3
4
5
6

from scipy import stats
import numpy as np
x = [2, 4, 7, 5, 3]
y = [3, 7, 12, 9, 4]
rho, p = stats.spearmanr(x, y)
print(f"ρ: {rho}")

📤 実行結果

💬 手計算 (Step 2) ρ=1.0 と Python 出力が完全一致。

🎮 触って理解する — 散布図をドラッグして r と ρ を体感

点をドラッグして動かす／空白をクリック（タップ）で追加／点を右クリック（またはダブルタップ）で削除。動かすたびに Pearson 相関 r と Spearman 順位相関 ρ が同時に再計算されます。プリセットで「単調・非線形」「外れ値」を切り替え、両者の挙動の違いを体感してください。

観察のポイント： 「🚀 単調・非線形」では点は厳密に増加なので順位のズレが 0 → ρ = 1.000 ちょうど、一方カーブしているため r < 1。これが「ρ は単調性を、r は直線性を測る」という核心です。 「💥 外れ値」では 1 点の極端値が Pearson r を大きく押し上げますが、順位に変換する Spearman ρ はその影響を受けにくく、r ≫ ρ となります（外れ値への頑健性）。

📘 概念を深める — 定義・Pearson との違い・タイ・Kendall τ

1. Spearman 順位相関（ρ）の定義

Spearman の ρ は、2 変数 x, y をそれぞれ順位に変換し、その順位ペアに対して通常の Pearson 相関を計算したものです。タイ（同順位）が無い場合は次の簡便式と一致します。

順位という順序尺度だけを使うため、値の絶対的な大きさや測定単位に依存しないノンパラメトリック指標です。x・y に任意の単調増加変換（対数・平方根・指数など）を施しても順位は変わらないため、ρ は不変です（単調変換不変性）。

2. Pearson との違い — 「線形性」 vs 「単調性」

実務上は両方を並べて見るのが定石です。r ≈ ρ なら関係は概ね直線的、ρ ≫ r なら単調だが曲がった関係、r ≫ ρ なら少数の外れ値が Pearson を押し上げている疑い、と読み分けられます。

3. 外れ値への頑健性（SSDSE-B-2026 実測）

2023 年・47 都道府県のデータで実際に確認できます（cp932 / skiprows=[1]）。

• 総人口 (A1101) × 出生数 (A4101)：Pearson r = 0.995、Spearman ρ = 0.978 → ほぼ一致し、強い単調（かつ概ね直線）関係。
• 各種学校生徒数 (E7202) × 充足数〔一般〕(F3104)：Pearson r = 0.814、Spearman ρ = 0.295 → 外れ値（大規模都市の突出）が Pearson を押し上げるが、ρ は頑健に低い値を保つ典型例。

※ 上記 4 値は同梱 data/raw/SSDSE-B-2026.csv で実測・検証済み（捏造なし）。

4. タイ（同順位）の扱い

同じ値が複数あるとき、それらには平均順位を割り当てます。例：値 [10, 20, 20, 30] → 順位 [1, 2.5, 2.5, 4]。タイがある場合、上の簡便式 1 − 6Σd²/… は近似にすぎず、正確な ρ は「平均順位に対する Pearson 相関」で求めます（タイ補正）。scipy.stats.spearmanr はこのタイ補正済みの値を返します。上のインタラクティブ図の ρ も、平均順位に対する Pearson として計算しているためタイに正しく対応します。

5. Kendall の τ との比較

もう一つの順位相関に Kendall の τ（タウ）があります。τ は全ペアのうち「順序が一致する組（concordant）」と「逆転する組（discordant）」の差の割合で定義されます。

• いずれも −1〜+1、単調変換に不変、外れ値に頑健。
• τ は「無作為に選んだ 2 点の順序が一致する確率」という直接的な確率解釈を持つ。
• 一般に |τ| ≤ |ρ| となる傾向（同じデータでも τ の方が小さめの値）。
• 小標本やタイが多い場合は τ（特に τ-b）が好まれることが多い。ρ は計算が速く直感的。

6. 非線形関係の検出と限界

ρ は単調な非線形関係（増加し続ける／減少し続ける曲線）を捉えられますが、非単調な関係（例：U 字・放物線 y=x²）は検出できません。この場合 ρ も r も 0 付近になり得ます。非単調・複雑な依存には距離相関や MIC など別指標や、相関を過信しない散布図の目視が不可欠です（見せかけの相関にも注意）。

🐍 Python 実装バリエーション — scipy / pandas / pingouin / seaborn

1. scipy.stats.spearmanr — 基本

📥 入力例: data/raw/SSDSE-B-2026.csv
  X: A1101（総人口）47 都道府県
  Y: A4101（出生数）

📤 実行例: ピアソン r  = 0.995
  スピアマン ρ = 0.978
  → ほぼ同値（単調関係が強い）

💬 読み方: 単調関係が強いと ρ と r は近い値になる。 ρ が r より高い場合は非線形だが単調な関係。 ρ < r ならピアソンに過剰反応する外れ値の影響。 ρ は外れ値に頑健で、 ピアソン補完として有用。

1
2
3
4
5
6
7

from scipy import stats
rho, p = stats.spearmanr(x, y)
# 多変量行列
rho_mat, p_mat = stats.spearmanr(X, axis=0)
# タイがある場合の選択
rho, p = stats.spearmanr(x, y, nan_policy='omit',
                          alternative='two-sided')

2. pandas DataFrame.corr で総当たり

📥 入力例: data/raw/SSDSE-B-2026.csv
  X = df['A1101'].rank()
  Y = df['A4101'].rank()

📤 実行例: scipy.stats.spearmanr → 0.978
  pandas df.corr(method='spearman') → 0.978
  手計算 ρ = 0.978

1
2
3
4
5
6
7
8
9

# df には地域コードや都道府県名など文字列の列が混ざっているので、
# 相関は数値列だけを対象にする（numeric_only=True）
spearman = df.corr(method='spearman', numeric_only=True)
pearson  = df.corr(method='pearson', numeric_only=True)
kendall  = df.corr(method='kendall', numeric_only=True)
# 全部まとめて
for m in ['pearson', 'spearman', 'kendall']:
    print(m)
    print(df.corr(method=m, numeric_only=True).round(2).iloc[:5, :5])

3. pingouin — 効果量・CI・bootstrap が一発

📥 入力例: data/raw/SSDSE-B-2026.csv
  X: A1101（総人口）
  Y: 想定: log(A1101) + ノイズ

📤 実行例: ピアソン r  = 0.78（線形を仮定）
  スピアマン ρ = 0.94（単調なら捕捉）
  → ρ > r でズレ = 非線形

1
2
3
4
5
6
7
8
9

import pingouin as pg
# Spearman + CI + power
res = pg.corr(x, y, method='spearman')
# pingouin の版によって列名が違う（CI95% が CI95 になるなど）ので、
# 実際にある列だけを選んで表示する
_want = [c for c in ['r', 'CI95%', 'CI95', 'p-val', 'power'] if c in res.columns]
print(res[_want])
# ペアワイズ・全変数で
print(pg.pairwise_corr(df, method='spearman'))

4. seaborn でカテゴリと連続変数の関係を可視化

📥 入力例: data/raw/SSDSE-B-2026.csv
  X: A1101（総人口）47 都道府県
  Y: A4101（出生数）

📤 実行例: ピアソン r  = 0.995
  スピアマン ρ = 0.978
  → ほぼ同値（単調関係が強い）

💬 読み方: 単調関係が強いと ρ と r は近い値になる。 ρ が r より高い場合は非線形だが単調な関係。 ρ < r ならピアソンに過剰反応する外れ値の影響。 ρ は外れ値に頑健で、 ピアソン補完として有用。

1
2
3
4
5
6
7
8
9

import seaborn as sns
g = sns.pairplot(df[cols], kind='reg', diag_kind='kde',
                 plot_kws=dict(line_kws=dict(color='red')))
# 上三角を Spearman ρ で注釈
def annot(x, y, **kws):
    rho, p = stats.spearmanr(x, y)
    ax = plt.gca()
    ax.annotate(f'ρ={rho:.2f}', xy=(0.05,0.9), xycoords='axes fraction')
g.map_upper(annot)

5. 並べ替え検定で厳密 p 値

📥 入力例: data/raw/SSDSE-B-2026.csv
  X = df['A1101'].rank()
  Y = df['A4101'].rank()

📤 実行例: scipy.stats.spearmanr → 0.978
  pandas df.corr(method='spearman') → 0.978
  手計算 ρ = 0.978

1
2
3
4
5
6
7

from scipy.stats import permutation_test
def stat(x, y):
    return stats.spearmanr(x, y).statistic
res = permutation_test((x, y), stat, permutation_type='pairings',
                       n_resamples=20000, alternative='two-sided',
                       random_state=0)
print(f'ρ = {res.statistic:.3f}, p_perm = {res.pvalue:.4f}')

🐍 Python 実装 — 完全強化版

scipy / pandas / scikit-learn / statsmodels を中心とした標準的な実装例です。 まず CSV を読み込み、 次に スピアマンの順位相関 の解析を行います。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()].copy()

x = df['A1101'].astype(float).values
y = df['A4101'].astype(float).values

# 基本統計量
print('n            =', len(x))
print('mean(x)      =', np.mean(x))
print('std(x)       =', np.std(x, ddof=1))

# スピアマンの順位相関 の代表的計算（用途に応じて scipy/statsmodels を切替える）
r, p = stats.pearsonr(x, y)
print(f'Pearson r = {r:.4f}, p = {p:.4g}')
rs, ps = stats.spearmanr(x, y)
print(f'Spearman rho = {rs:.4f}, p = {ps:.4g}')

用途別の追加実装：

1
2
3
4
5
6
7
8
9

# 標準化と簡易クラスタリングの例
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans

X = df[['A1101', 'A4101']].astype(float).values
Xs = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=4, n_init=10, random_state=0).fit(Xs)
df['cluster'] = km.labels_
print(df[['Prefecture', 'A1101', 'A4101', 'cluster']].head(10))

1
2
3
4
5
6
7

# 時系列（北海道の A1101）— 例として ARIMA 系の前処理
import statsmodels.api as sm

ts = df.sort_values('SSDSE-B-2026').groupby('SSDSE-B-2026')['A1101'].mean()
print(ts.tail())
res = sm.tsa.stattools.adfuller(ts)
print('ADF stat:', res[0], 'p:', res[1])

⚠️ Spearman 順位相関の落とし穴 — 6 つの典型ミス

⚠️ 落とし穴 — 完全強化版

スピアマンの順位相関を SSDSE-B-2026 (人口 A1101・出生数 A4101 等 47 都道府県) に当てはめるとき、 タイ補正・外れ値・有意性検定で誤りやすい 5 項目を整理する。

• 同順位（タイ）: タイが多いと近似式が誤差を持つ。タイ補正版を使う。
• 外れ値ではなく順位の歪み: Spearman は外れ値に強いが、順位の歪みには敏感。
• 「順位差」だけで因果を読まない: 順位相関も因果は別問題。
• サンプルサイズ依存の有意性: n が大きいと小さな r_s も有意。効果量も併記。
• 非線形関係でも順位は単調限定: 単調でない関係は順位相関では検出できない。

🌐 関連手法・派生 — 完全強化版

• ピアソン相関 — 直線関係を測る。外れ値に弱い
• 尺度水準 — 順位尺度ならスピアマン、間隔・比例尺度ならピアソン
• 外れ値 — 順位に直すことで影響が抑えられる、というのがスピアマンの利点
• 擬似相関 — 順位相関でも共通原因による見かけの関係は消えない

🔗 関連用語（拡張ネットワーク）

📚 前提となる用語

• 相関係数（Pearson）
• 順位（ランク）統計量
• 共分散
• 単調関数（順位の保存）
• 散布図

🔀 並列に学ぶ用語

• Kendall の τ（相関ページ内）
• Pearson 相関
• 点双列相関（相関ページ内）
• φ 係数（χ² 検定と関連）
• 多分相関 polychoric（順位ベース）

🚀 発展先の用語

• 偏相関・部分相関
• 距離相関
• MIC（最大情報係数）
• コピュラ（依存構造）
• 順位回帰

🧰 ツール・周辺概念

• Fisher z 変換（信頼区間で利用）
• 並べ替え検定
• ブートストラップ
• 効果量

🔗 関連用語（前提・並列・発展） — 完全強化版

本ページ「スピアマンの順位相関」に関連する用語を 前提（基礎となる概念）／並列（同カテゴリ）／発展（応用先） の 3 区分で整理します。

📥 前提となる用語

• 平均 — 中心傾向の最も基本的な要約値
• 分散 — ばらつきの定量化
• 標準偏差 — 分散の平方根、原データと同じ単位
• 確率 — 不確実性の数学的基礎
• 正規分布 — 連続確率分布の基盤

↔️ 並列・関連の用語

• 相関 — 2 変数の線形関係
• 共分散 — 相関の規格化前の量
• 線形回帰 — 関係性のモデル化
• 仮説検定 — 統計的判断の枠組み
• 信頼区間 — 推定の不確実性
• p 値 — 帰無仮説下での観測の極端さ
• 効果量 — 実質的な大きさ
• 標準誤差 — 推定量のばらつき

🚀 発展・応用の用語

• t 検定 — 平均差の検定
• ANOVA — 多群比較
• カイ二乗検定 — カテゴリ変数の独立性
• ロジスティック回帰 — 二値結果のモデリング
• クラスタリング — 教師なし分類
• 時系列解析 — 時間構造の解析
• パネルデータ — 時間と個体の二次元構造

📚 統計学習の総合ガイド

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 必須ライブラリのインストール
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE は cp932 エンコーディング）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\nColumn types:\n{df.dtypes}")
    print(f"\nMissing values:\n{df.isnull().sum()}")
    print(f"\nBasic stats:\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

• クラスタリング教材
• 時系列解析教材
• 処置群・対照群教材
• 対照群教材
• 自然言語処理教材

🎯 まとめ — 完全強化版

本ページでは「スピアマンの順位相関」を 12 セクション（🔖 キーワード索引／💡 30 秒結論／📍 文脈／🎨 直感／📐 数式／🔬 数式を言葉で読み解く／🧮 実値計算／🐍 Python 実装／⚠️ 落とし穴／🌐 関連手法／🔗 関連用語／📚 グループ教材）で完結に整理しました。 SSDSE-B-2026 を素材に、 概念の輪郭・式の意味・実装手順・典型的な失敗パターンの 4 点を最低限押さえれば、 統計データ分析コンペの現場で迷わず使えるはずです。

🖼 図で振り返るスピアマン順位相関

順位ベースの相関は「単調性」を測る。 ここでは Pearson との対比、 散布と順位の置き換え、 4 象限図でスピアマン相関の挙動を視覚化する。

読み方: スピアマン相関は順位ベースなので、 外れ値や非線形な単調変換に頑健である。 上記 3 図を見ると、 散布形状が線形でなくても順位が揃えば +1 に達する点が直感できる。

🧠 理解度チェック

1分で答えられる確認問題。 SSDSE-B-2026 でスピアマン相関を実務に使う前に、 自分で答えを書き出してから解答を開いてみてください。

🗺️ 統計手法選択フローチャート

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 効果量の参照表

p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：

🗺️ 概念マップ — 3つの視点で体系を理解する

Spearman順位相関係数 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 関連・回帰 › 相関 › Spearman相関

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心に Spearman順位相関係数 を置き、 そこから 相関係数・中央値・共分散・単回帰・平均・四分位 など 計 7 個の用語へ、 前提・兄弟・発展形といった関係を矢印で結んでいます。 線がどちら向きかを見れば、 先に読むべき用語とあとから読む用語が分かります。 ノードはドラッグで動かせ、 ホイールでズーム、 クリックでその用語のページへ遷移します。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「Spearman順位相関係数」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「Spearman順位相関係数」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 3 つの図は同じ位置関係を別の角度から描いています。 関係マップは Spearman相関 の隣に何が並ぶかを、 包含マップとツリーマップは 統計・データサイエンス → 相関 → Spearman相関 という入れ子の位置を示します。 「相関には他に何があったか」を思い出したいときは包含マップを、 「次に何を読むか」を決めたいときは関係マップを開いてください。

🗺 概念マップ — 完全強化版

• 基礎：平均／分散／標準偏差／確率
• 分布：正規分布／標本／中心極限定理
• 関係性：相関／共分散／線形回帰
• 推測：仮説検定／信頼区間／p 値／効果量
• 因果：内生性／IV／DID／平行トレンド／RDD
• 分類：クラスタリング／階層クラスタリング／Ward 法
• 時系列：ARIMA／VAR／グレンジャー因果／自己相関

🔗 隣接手法への橋渡し

「Spearman 順位相関係数」は 順位データに基づく単調関係の尺度 として、 上流の散布図観察 (非線形だが単調) と下流の Kendall τ・回帰分析を繋ぐ。 Pearson より外れ値に頑健で、 非線形単調関係も検出できるため、 順序尺度や歪んだ分布で標準選択となる。

⬆️ 上流: 順位への変換

• 順位 (rank) — 元データを順位に変換
• Pearson 相関 — 線形相関の対
• ノンパラメトリック — 分布を仮定しない

⬌ 並列: 他の順位ベース指標

• Kendall τ — ペアの順位一致率
• 部分相関 — 第三変数調整
• 相関比 η — カテゴリ × 連続

⬇️ 下流: 検定・回帰

• 順位和検定 — Mann-Whitney など
• 頑健回帰 — 外れ値耐性
• 仮説検定 — 相関 0 の検定

Spearman は外れ値・非線形に強い順位相関で、 Pearson と対比しながら、 Kendall τ・順位和検定・頑健回帰と一緒に「ノンパラ統計の世界」を形成する。

🌳 手法選択フロー

Spearman 順位相関を選ぶかの判断は「データが直線的か」「外れ値があるか」「順位データか」の 3 つで決まる。 散布図が曲線でも単調に増加 (減少) しているなら Spearman、 直線なら Pearson、 全く関係性が見えないなら距離相関や相互情報量を検討する。

具体的には、 47 都道府県の人口と出生数のように外れ値 (東京) がある場合 Pearson は東京に引きずられるが Spearman は順位ベースなので頑健。 一方、 「満足度 1〜5 段階 vs 購入回数」のような順序尺度では Pearson は前提を満たさず Spearman が適切となる。

spearman を含む手法選択は、 データの性質・分析目的・運用制約の 3 軸で決まる。 シナリオ別 (大規模 / 外れ値多 / 解釈性重視 / 精度最優先 / 小データ / リアルタイム) に対応する手法の組合せを判断する。 選んだ後は「前処理確認 / ハイパラ調整 / 性能評価 / 頑健性チェック / 解釈」の 5 ステップで検証することが、 結果の信頼性確保に不可欠。

🎨 直感をさらに深める — 「順位に変換する」と何が起きるか

スピアマン ρ の本質は 「値そのものを捨てて、順番だけを残す」 ことです。n 個のデータは値の大小に関わらず、必ず等間隔の順位 1, 2, …, n に置き換わります。この「等間隔化」こそが、外れ値への頑健性・単調性の検出・単位非依存 という 3 つの性質を同時に生む源です。手順としては 順位（ランク）に変換 → その順位ペアに Pearson 相関を当てる、というだけです。

なぜ外れ値に強いのか — 「距離」ではなく「順番」だけを見る

ある 1 点が桁違いに大きくても、順位に直せば「最大＝n」という 1 つ分の情報に圧縮されます。値が 100 でも 10 万でも、最大なら順位は等しく n。だから Pearson を大きく揺らす外れ値も、ρ ではたかだか順位 1 つ分しか効きません。これは中央値や中央絶対偏差 (MAD)・ロバスト統計が平均より外れ値に強いのと同じ理屈です。ρ は 共分散を順位の上で測っている、と捉えると Pearson との連続性も見えます。

架空の数値で体感 — 外れ値 1 点が相関を「作り出す」

下は仕組みを示すための架空データです（SSDSE ではありません）。7 個のうち 6 個は弱い負の関係ですが、最後の 1 点だけ極端な (100, 100) を置くと Pearson が激変します。

Pearson は外れ値 1 点で「+0.997（強い正）」まで跳ね上がりますが、順位で見る ρ は −0.091 のまま、実態（弱い負）に近い判断を保ちます。r と ρ が大きく食い違ったら、まず散布図で外れ値を疑う のが鉄則です（見せかけの相関にも直結）。

ケンドール τ との直感的な違い

ρ と ケンドール τ（タウ）はどちらも順位ベースですが、「何を数えるか」が違います。

• ρ（スピアマン）：順位に変換した後の 順位そのものの相関。順位差 d² の合計で測る。値は Pearson とスケール感が近く直感的。
• τ（ケンドール）：全ペアを見て 「順序が一致するペア」と「逆転するペア」の差の割合。「無作為に 2 点選んだとき順序が一致する確率」という確率としての意味を持つ。

実務のイメージ：ρ は「順位表がどれだけ揃っているか」、τ は「入れ替えの手間（並べ替えに何回のスワップが要るか）」。タイが多い／小標本のときは τ（特に τ-b）が安定しやすく、計算が速く直感的なのは ρ、という住み分けです。

⚠️ 落とし穴の深掘り — 乖離パターン早見表・タイ・小標本

1. r と ρ の乖離が「語ること」— SSDSE-B-2026 実測早見表

2023 年・47 都道府県（cp932 / skiprows=[1]）での実測値です。ρ と r の関係だけで、関係の「形」の当たりを付けられます。

※ 上記 6 値はすべて同梱 data/raw/SSDSE-B-2026.csv（2023 年・47 都道府県）で実測・検証済み（捏造なし）。ただし「差分の大小＝線形性の検定」ではない点に注意（差分の正式な検定は存在せず、目安）。

2. タイ（同順位）の扱い — 平均順位と近似式の限界

同じ値が複数あるとき、それらには平均順位を割り当てます。例：値 [10, 20, 20, 30] → 順位 [1, 2.5, 2.5, 4]。タイがあると簡便式 ρ = 1 − 6Σd²/(n(n²−1)) は近似にすぎず、正確な ρ は「平均順位に対する Pearson 相関」で求めます（タイ補正）。scipy.stats.spearmanr や pandas .corr(method='spearman') はこの補正済み値を返します。リッカート尺度（5 段階評価）などタイが大量に出るデータでは、正規近似 p 値が信頼できなくなるため、並べ替え検定か、タイ補正版の ケンドール τ-bを併用するのが安全です。

3. 小標本での有意性 — n=47 でも過信しない

ρ の点推定だけを見て「強い相関」と即断しないこと。信頼区間（Fisher z 変換）と 効果量を必ず併記します。目安として ρ の標準誤差は概ね 1/√(n−3)。SSDSE-B-2026 は n=47 と中規模ですが、ブートストラップや並べ替え検定で CI を確認すると、点推定の「揺れ」を過小評価せずに済みます。逆に n が大きいと、実質的に無意味なほど小さい ρ でも p 値だけは有意になり得るため、p 値と効果量は必ずセットで報告します。

4. 順位化による情報損失

順位変換は外れ値に強い反面、「どれだけ離れているか」という間隔情報を捨てます。1 位と 2 位の実距離が僅差でも大差でも、順位差は同じ 1。だから「値の大きさそのもの」が意味を持つ場面（金額・距離の絶対量を扱う回帰など）では、ρ ではなく Pearson や回帰の方が適切なことがあります。ρ が答えるのは「順番が連動するか」であって、「どれだけ増えるか」ではありません。

🚀 発展 — ケンドール τ・順位相関の検定・単調変換不変性・順位ベース手法

1. ケンドール τ の中身 — 一致ペアと逆転ペアを数える

τ は全 n(n−1)/2 組のペアについて、順序が一致（concordant）する組と逆転（discordant）する組を数え、その差の割合で定義します。

架空の小例：x = [1, 2, 3, 4]、y = [1, 3, 2, 4]。全 6 ペアのうち一致 5・逆転 1（(2位,3位) の組だけ逆転）なので τ = (5−1)/6 = 0.667。同じデータの ρ は 0.800。一般に |τ| ≤ |ρ| となり、τ の方が小さめの値が出ます。

2. r / ρ / τ を並べて読む（SSDSE-B-2026 実測）

※ 上記 9 値は data/raw/SSDSE-B-2026.csv（2023 年・47 都道府県）で実測・検証済み。ρ と τ は常に同符号で、|τ| ≤ |ρ| の傾向が確認できる。

3. 順位相関の検定 — 並べ替え検定が最も安全

「ρ が 0 と有意に違うか」の検定は、標本が小さい・タイが多いと正規近似が崩れます。最も頑健なのは並べ替え検定（permutation test）で、片方の系列をシャッフルして ρ の帰無分布を直接作ります。scipy.stats.permutation_test で permutation_type='pairings' を使えば、分布仮定なしに厳密 p 値が得られます（本ページ「🐍 Python 実装バリエーション」の 5 番に実コードあり）。ノンパラメトリック検定の一種として位置づけられます。

4. 単調変換不変性 — ρ が「純粋に単調性を測る」理由

x・y に任意の単調増加変換（対数・平方根・指数など）を施しても、順位は一切変わりません。したがって ρ も τ も不変です。架空例：x=[1,…,8]、y=eˣ（指数）とすると、Pearson r=0.776（曲線なので 1 未満）に対し、ρ=τ=1.000（完全な単調性を検出）。「r は低いが ρ は高い」ときは、対数などの単調変換でモデル化できる余地があるという実務的サインになります。ただし非単調（U 字・放物線 y=x²）は ρ も r も 0 付近になり検出できず、この場合は距離相関・MIC や散布図の目視が必要です。

5. 順位ベース手法のファミリー

ρ は「順位で統計をやり直す」という発想の入り口で、同じ思想の手法群があります。

• ノンパラメトリック検定 — 分布を仮定せず順位で判断する枠組み全般。
• Kruskal-Wallis 検定 — 3 群以上の順位ベース比較（ノンパラ版 ANOVA）。
• 分位点回帰 — 平均でなく分位点をモデル化し、外れ値・非対称に頑健。
• ロバスト統計 — 外れ値の影響を抑える推定の総称。ρ の頑健性と同じ動機。
• 相関 / 散布図 — 常に併用し、数値と形の両面から確認する。

※ Pearson・Kendall 各指標の詳細は 相関ページ内で扱っています（本教材に pearson.html / kendall.html の独立ページは無いため相関ページへ集約）。