🔖 キーワード索引

「multiple comparisons」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「multiple comparisons」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「multiple comparisons の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

イメージ 1: コイン投げ。 イカサマでないコインを 20 回投げて表が連続する回数を数える。 各回 5% の確率で「偶然の連続」が起きるとすると、 20 回繰り返せばどこかで起きる確率は $1-(1-0.05)^{20}=0.64$。 「20 個のうち少なくとも 1 個有意」は普通に起こる。

イメージ 2: 47 都道府県の比較。 同じ平均所得の架空データで全ペア検定すると、 約 54 ペアが「有意差あり」と出る。 偽陽性の山。 これを防ぐのが多重比較補正。

イメージ 3: 検定の網。 検定を「魚を獲る網」と考えると、 網目（$\alpha$）が広いと小魚（偽陽性）も大量に獲れる。 補正は網目を細かくすること。

📐 数式による定義

$m$ 個の検定 $H_{01}, \ldots, H_{0m}$ について、 観測される p 値を $p_1, \ldots, p_m$ とする。 家族全体の誤り率（FWER）：

偽発見率（FDR）：

主要な補正法：

• Bonferroni：$p_i \le \alpha/m$ なら棄却。 FWER ≤ $\alpha$ を保証。 厳しすぎる。
• Holm：p 値を昇順に並べ、 順に $\alpha/(m-i+1)$ と比較。 Bonferroni より検出力高い。
• Benjamini-Hochberg（BH）：$p_{(i)} \le i\alpha/m$ で FDR を $\alpha$ 以下に制御。
• Tukey HSD：分散分析後の全ペア比較に特化。
• Dunnett：1 つの対照群と複数群の比較に特化。

📐 検定数と偽陽性確率の関係

独立な検定を $m$ 回行い、 各検定で $\alpha=0.05$ なら、 1 つでも誤って棄却する確率は $1-(0.95)^m$。 具体的に：

SSDSE で 47 都道府県をペア比較するなら、 補正なしでは偽陽性をほぼ確実に拾います。 ANOVA か Tukey HSD で群として比較してから個別差を見るのが定石。

❓ よくある質問

Q1. Bonferroni と Holm のどちらを使うべき?

Holm が常に Bonferroni 以上の検出力を持つので、 FWER 制御では Holm が推奨。 Bonferroni は説明のしやすさで使われる。

Q2. FDR は p 値の何 % なら採用?

FDR=0.05 は「陽性の 5% は偽陽性かもしれない」という意味。 ゲノミクスでは 0.1 が一般的。 確証的なら 0.05、 探索的なら 0.1-0.2 が許容。

Q3. 検定が相関している場合は?

Bonferroni は保守的（過剰補正）になる。 並べ替え検定（ベースが同じ群を共有する場合）や Westfall-Young 法が推奨。

Q4. ベイズ的アプローチは多重比較問題を回避できる?

階層モデルで「縮約」が自動的に起きるため、 多重比較の問題が緩和される。 ただし事前分布の選び方で結果が変わる点に注意。

Q5. 「事前計画」と「探索的」の境界は?

プレレジ（pre-registration）で「これとこれを検定する」と宣言したものは事前計画。 後から「気になった」検定はすべて探索的とカウントすべき。

🧷 学習チェックリスト

• □ 第 1 種過誤の累積を $1-(1-\alpha)^m$ で計算できる
• □ FWER と FDR の違いを説明できる
• □ Bonferroni $\alpha/m$ の意味と限界を言える
• □ Holm の step-down 手順を実行できる
• □ BH の step-up 手順と $i\alpha/m$ を理解
• □ Tukey HSD と Dunnett の使い分けが分かる
• □ SSDSE-B で都道府県ブロック比較を実装できる
• □ 事前計画と探索的解析の区別ができる
• □ 効果量と統計的有意性を区別できる
• □ statsmodels の multipletests を活用できる

🛠 多重比較でハマるポイント

• 検定数のカウントミス：探索的に試した検定を全部数える。 報告したものだけではない。
• 独立性の仮定：Bonferroni は独立検定で最適。 相関があると過保守。
• p 値の桁落ち：補正後の p 値が 0 や 1 に丸まることがある。 raw 値も残す。
• サンプル数の少なさ：群あたり 5 未満では多重比較以前に検定の検出力不足。
• 分散の等質性：t 検定では分散等しさを仮定する場合と Welch の場合で結果が変わる。
• 正規性の仮定：違反するなら並べ替え検定や Kruskal-Wallis に切り替える。

📐 多重比較の数理：ブール束と確率不等式

Bonferroni 不等式

$$\Pr\left(\bigcup_{i=1}^m A_i\right)\le \sum_{i=1}^m \Pr(A_i)$$

$A_i$ を「$i$ 番目の検定が偽陽性」とすると、 すべての検定の少なくとも 1 つが偽陽性となる確率は、 各検定の偽陽性確率の和で上から押さえられる。 これが Bonferroni 補正の根拠。 各 $\Pr(A_i)\le \alpha/m$ なら、 全体の FWER は $\le \alpha$。

Šidák 不等式

$$\Pr\left(\bigcup_{i=1}^m A_i\right) = 1-\prod_{i=1}^m (1-\Pr(A_i))\quad\text{（独立時）}$$

検定が独立なら厳密等式が成立。 これを使って $\alpha_i=1-(1-\alpha)^{1/m}$ と補正すれば FWER 制御できる。 Bonferroni より緩い（高検出力）。

BH 法の FDR 制御証明

Benjamini & Hochberg (1995) は、 $p$ 値が一様分布（帰無下）に従い、 互いに独立または PRDS（positive regression dependent on subset）であれば、 BH 法が FDR を $\le m_0\alpha/m \le \alpha$ に制御することを証明（$m_0$ は真の帰無仮説の数）。

🎓 Tukey HSD（Honestly Significant Difference）

ANOVA で「群間に差がある」と判定された後、 どの群とどの群に差があるか を特定する事後検定の標準。 平均値差を スチューデント化範囲分布 で評価する。

$$q = \frac{|\bar{X}_i - \bar{X}_j|}{\sqrt{MS_W/n}}$$

$MS_W$ は群内平均平方、 $n$ は群サイズ。 すべてのペアで $q$ を計算し、 スチューデント化範囲分布の臨界値と比較。 SSDSE-B-2026 で 8 地方ブロックの所得を ANOVA 後 Tukey HSD で事後比較するのが定番。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from statsmodels.stats.multicomp import pairwise_tukeyhsd
import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
# 年度の列名は 'SSDSE-B-2026'（skiprows=[1] で読んだ場合）
latest = df.sort_values('SSDSE-B-2026').groupby('Prefecture').tail(1)

# income_pc / region という列は SSDSE-B-2026 に無いので、実在列から作る
def _region(code):
    n = int(str(code).lstrip('R')) // 1000
    if n == 1: return '北海道'
    if n <= 7: return '東北'
    if n <= 14: return '関東'
    if n <= 23: return '中部'
    if n <= 30: return '近畿'
    if n <= 35: return '中国'
    if n <= 39: return '四国'
    return '九州沖縄'
latest = latest.assign(region=latest['Code'].apply(_region),
                       income_pc=latest['L3221'].astype(float))

result = pairwise_tukeyhsd(latest['income_pc'], latest['region'], alpha=0.05)
print(result.summary())

🔬 数式を言葉で読み解く

🔬 数式を言葉で読み解く（500 字超）

多重比較の中心公式を、 記号と意味を一つひとつ言葉で訳します。

Bonferroni：$p^*_i = \min(m\cdot p_i, 1)$。 $p^*_i$ は補正後の $p$ 値、 $m$ は全検定数、 $p_i$ は補正前の $p$ 値。 「全部の検定数で $p$ 値を 掛け算 する」。 ただし 1.0 を超えないようにクリップ。 これは「複数検定の重ね合わせで広がる偽陽性を、 単純に $m$ 倍だけ厳しくする」発想。

Holm：$p$ 値を昇順 $p_{(1)}\le p_{(2)}\le\ldots\le p_{(m)}$ に並べ、 $i$ 番目には $(m-i+1)$ 倍。 つまり最小の $p$ 値は $m$ 倍、 次は $(m-1)$ 倍、 …。 段階的に緩める。 これにより小さい $p$ 値を「強い証拠」として優先しつつ、 全体の FWER を $\alpha$ に抑えます。

Benjamini-Hochberg：$p$ 値昇順 $p_{(1)}\le\ldots\le p_{(m)}$ で、 $p_{(i)}\le \frac{i\alpha}{m}$ を満たす 最大の $i$ までを有意とする。 これは「期待される偽発見率を $\alpha$ 以下に制御する」アルゴリズム。 ゲノム解析で 1 万件の検定を同時に行うとき、 Bonferroni では何も検出できないが、 BH なら数百件の有意発見が可能。

これらの方法の核心は、 「複数検定で増える偽陽性」を確率論的に押さえ込む こと。 Bonferroni は単純粗削り、 Holm は smarter、 BH は探索向き、 と性格が異なります。 「どの状況でどの方法が最適か」を判断するのが分析者の腕の見せ所。

FWER（family-wise error rate）の定義は $\text{FWER}=\Pr(\text{少なくとも 1 つの真の}H_0\text{を棄却})$。 FDR（false discovery rate）の定義は $\text{FDR}=E[\text{偽陽性数}/\max(\text{有意とした数},1)]$。 SSDSE-B-2026 で 8 地方ブロックを Bonferroni（FWER 制御）で比較する具体例を「⑦ SSDSE-B-2026 で実値計算」セクションに示してあります。

🧮 SSDSE-B-2026 で実値計算

「8 地方ブロック（北海道・東北・関東・中部・近畿・中国・四国・九州沖縄）の平均所得に差があるか?」をペアで検定すると、 $\binom{8}{2}=28$ 通り。 仮に各検定で p 値が以下のように出たとします。

Bonferroni は厳しく 2 ペアのみ通過。 BH は 3 ペア。 「関東 vs 東北・中国・四国」だけが堅実な差として残ります。

🧮 BH (FDR) 法を手計算で追う

同じ 5 つの p 値で BH 法（$\alpha=0.05$、 $m=5$）。 BH は step-up：大きい p から順に閾値 $i\alpha/m$ と比較し、 一度通れば以下すべて棄却。

$i=4$ で初めて閾値以下になったので、 上位 4 個（$p \le 0.039$）すべて棄却。 Holm では 2 個、 BH では 4 個 — FDR は明らかに緩い。

🧮 Holm 法を手計算で追う

5 つの p 値を $\{0.001, 0.012, 0.025, 0.039, 0.052\}$、 $\alpha=0.05$、 $m=5$ で考えます。 Holm は step-down：小さい p から順に、 「残りの数」で割って比較。

Bonferroni なら閾値は一律 0.01 だったので、 1 個目だけ棄却。 Holm は 2 個まで通せる分、 検出力が高い。

🧮 SSDSE-B-2026：4 シナリオでの多重比較

SSDSE-B-2026 を題材に、 異なる検定数・補正法での結果を比較します。

シナリオ A：8 地方ブロックの所得差

「北海道・東北・関東・中部・近畿・中国・四国・九州沖縄」の人口当たり課税対象所得。 ANOVA で全体差を検定、 有意なら Tukey HSD で事後比較。 ペア数 $\binom{8}{2}=28$。 Bonferroni 補正後 $\alpha=0.05/28\approx 0.0018$。

シナリオ B：47 都道府県の総当たり

47 都道府県をすべて 2 つずつ比較。 ペア数 $\binom{47}{2}=1081$。 Bonferroni 補正後 $\alpha=0.05/1081\approx 4.6\times 10^{-5}$。 ほとんどの差が見えなくなる。 探索的なら BH 法が現実的。

シナリオ C：複数指標の一括検定

「人口総数」「課税対象所得」「保育所定員数」「合計特殊出生率」「平均寿命」「老年人口割合」の 6 指標について、 「東京とその他 46 県」の差を一括検定。 検定数 6。 Bonferroni $\alpha=0.05/6\approx 0.0083$。

シナリオ D：年次データの大量検定

2018-2023 の各年について「都市圏 vs 地方圏」の所得差を検定。 検定数 6。 各年で有意か、 累積で「いずれかの年で有意」か。 累積検定なら Bonferroni $\alpha=0.05/6$、 BH なら個別に補正後 $p$ 値が小さいものから順に判定。

🧮 数式に値を入れて手で計算する: ペアワイズ比較数

合成データで k 群のペア比較数を計算する。

Step 1: 群数別の比較数

Step 2: 公式と Bonferroni

🐍 Python で再現

1
2
3
4

from math import comb
ks = [3, 5, 10, 20]
for k in ks:
    print(f"k={k}: ペア数 = {comb(k, 2)}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🎮 触って理解する ― 群数 k とペア比較の格子

スライダーで群数 $k$ を 2〜10 に動かすと、 全ペア比較の本数 $m = k(k-1)/2$ が「格子図（完全グラフ）」でどう爆発するかを体感できます。 使用データはデモ用の架空データです（10 群 × 各 8 観測。 真の平均を G3=52、 G5=55、 G8=53、 G10=58 とし、 残り 6 群は真の平均 50 の同一母集団から生成。 標準偏差はすべて 3）。 SSDSE の実測値ではありません。 各ペアで Welch の t 検定を行い、 選択した判定法（無補正 / Bonferroni / Holm、 いずれも $\alpha=0.05$）で「有意」となった辺が赤く塗られます。 辺をタップまたはマウスオーバーすると、 そのペアの p 値と 3 法の判定が見られます。

💡 直感 ― ペア数は k の「2 乗」で爆発する

格子図の辺の本数 $m=k(k-1)/2$ は $k$ にほぼ 2 乗で比例します。 $k=4$ なら 6 本、 $k=8$ なら 28 本、 $k=10$ なら 45 本 —— 群数を 2 倍強にしただけで比較の本数は約 7.5 倍。 47 都道府県の総当たりなら $\binom{47}{2}=1081$ 本です。 Bonferroni の閾値 $\alpha/m$ はこの $m$ に反比例して縮むので、 $k=8$ で $0.05/28 \approx 0.00179$、 $k=10$ で $0.05/45 \approx 0.00111$。 スライダーを右に動かすほど「1 ペアあたりに要求される証拠の強さ」が急激に上がっていくのが、 統計量の表ではなく絵として見えるはずです。 逆に補正しなければ、 全帰無仮説が真でも独立仮定の理論値で $1-0.95^{28}=76.2\%$（$k=8$）、 $1-0.95^{45}=90.1\%$（$k=10$）の確率でどこかの辺が偽って赤くなります（膨張曲線そのものの数値実験は姉妹ページ多重検定のシミュレーションで確認できます）。

⚠️ 落とし穴 ― Bonferroni の保守性と Holm の優位

上のデモで $k=8$ にすると、 未補正では 13 ペアが有意なのに、 Bonferroni では 6 ペア、 Holm では 8 ペアに減ります（$k=10$ では 25 → 10 → 11）。 同じ FWER 保証を持つのに Holm の方が常に多く検出できるのが見どころで、 Bonferroni を積極的に選ぶ理由が「説明のしやすさ」以外にないことが体感できます。 Bonferroni が保守的になる理由は 2 つ。 第一に、 Boole の不等式による「最悪ケースの上界」で閾値を決めるため、 実際の FWER は $\alpha$ よりかなり小さくなりがち。 第二に、 ペア比較では「G1-G2」と「G1-G3」のように同じ群を共有する検定同士が相関するため、 独立を仮定した補正は過剰に厳しくなります。 なお、 この架空データでは未補正で有意になった辺はすべて「真の差を仕込んだペア」でしたが、 現実の分析ではどれが偽陽性か事前に分からないのが本質的な困難です。 補正は「検出力（検出力）を保険料として支払い、 偽陽性の暴走を防ぐ」トレードオフだと理解してください。 差の実質的な大きさは効果量で必ず併記を。

🚀 発展 ― Tukey HSD・Holm・FDR への広がり

このデモの「全ペア t 検定 + p 値補正」は最も素朴な構成です。 実務ではさらに 3 方向の発展があります。 ① Tukey HSD：分散分析（ANOVA）の後の全ペア比較に特化し、 スチューデント化範囲分布で「ペア検定同士の相関構造」を織り込むため、 Bonferroni 型より検出力が高い。 群サイズが等しい設計での事後検定の第一選択です。 ② Holm：分布の仮定を一切追加せずに Bonferroni を一様に改良する step-down 法。 迷ったら FWER 制御のデフォルトにしてよい。 ③ FDR 制御（Benjamini-Hochberg）：ペア数が数百〜数千に膨れる探索的分析では、 FWER ではなく「有意とした中の偽陽性割合」を抑える発想に切り替えます。 BH 法の step-up 手順と q 値の読み方はFDR（偽発見率）のページで、 検定数と偽陽性の膨張そのものは多重検定のページで扱っています。 本ページの格子図（=ペア数の幾何的爆発）と合わせて 3 ページで一組の教材です。

🐍 Python 実装

例 1: 都道府県を地方ブロックに分けて全ペア比較。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import pandas as pd
import numpy as np
from itertools import combinations
from scipy.stats import ttest_ind

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)   # 日本語の列名で読む（2 行目を見出しにする）
df = df[df['年度'] == 2023].reset_index(drop=True)   # 同じ県が 12 回入らないよう 1 年に絞る

region_map = {
    '北海道':'北海道', '青森県':'東北','岩手県':'東北','宮城県':'東北','秋田県':'東北','山形県':'東北','福島県':'東北',
    '茨城県':'関東','栃木県':'関東','群馬県':'関東','埼玉県':'関東','千葉県':'関東','東京都':'関東','神奈川県':'関東',
    '新潟県':'中部','富山県':'中部','石川県':'中部','福井県':'中部','山梨県':'中部','長野県':'中部','岐阜県':'中部','静岡県':'中部','愛知県':'中部',
    '三重県':'近畿','滋賀県':'近畿','京都府':'近畿','大阪府':'近畿','兵庫県':'近畿','奈良県':'近畿','和歌山県':'近畿',
    '鳥取県':'中国','島根県':'中国','岡山県':'中国','広島県':'中国','山口県':'中国',
    '徳島県':'四国','香川県':'四国','愛媛県':'四国','高知県':'四国',
    '福岡県':'九州','佐賀県':'九州','長崎県':'九州','熊本県':'九州','大分県':'九州','宮崎県':'九州','鹿児島県':'九州','沖縄県':'九州'
}
df['地方'] = df['都道府県'].map(region_map)
# 可処分所得の列は SSDSE-B-2026 に無いので、消費支出で代える
col = '消費支出（二人以上の世帯）'

groups = df.groupby('地方')[col].apply(list)
regions = list(groups.index)
results = []
for a, b in combinations(regions, 2):
    t, p = ttest_ind(groups[a], groups[b], equal_var=False)
    results.append((a, b, p))

res = pd.DataFrame(results, columns=['地方A','地方B','p'])
print(res.sort_values('p').head())

例 2: Bonferroni 補正と Holm 補正。

1
2
3
4
5
6
7
8
9

from statsmodels.stats.multitest import multipletests

reject, p_adj, _, _ = multipletests(res['p'].values, alpha=0.05, method='bonferroni')
res['p_bonf'] = p_adj
res['有意_bonf'] = reject

reject, p_adj, _, _ = multipletests(res['p'].values, alpha=0.05, method='holm')
res['p_holm'] = p_adj
res['有意_holm'] = reject

例 3: Benjamini-Hochberg（FDR）補正。

1
2
3
4
5
6
7
8

reject, p_adj, _, _ = multipletests(res['p'].values, alpha=0.05, method='fdr_bh')
res['p_bh'] = p_adj
res['有意_bh'] = reject

print('生 0.05 で有意:', (res['p'] < 0.05).sum())
print('Bonferroni:', res['有意_bonf'].sum())
print('Holm     :', res['有意_holm'].sum())
print('BH (FDR) :', res['有意_bh'].sum())

例 4: 分散分析 → Tukey HSD。

1
2
3
4

from statsmodels.stats.multicomp import pairwise_tukeyhsd

tukey = pairwise_tukeyhsd(df[col].values, df['地方'].values, alpha=0.05)
print(tukey.summary())

🐍 Python：SSDSE-B-2026 で Bonferroni vs Holm vs BH

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

import pandas as pd
import numpy as np
from scipy import stats
from statsmodels.stats.multitest import multipletests

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
# 年度の列名は 'SSDSE-B-2026'（skiprows=[1] で読んだ場合）
latest = df.sort_values('SSDSE-B-2026').groupby('Prefecture').tail(1)

# 地方ブロックを定義
regions = {
    '北海道': ['北海道'],
    '東北': ['青森県','岩手県','宮城県','秋田県','山形県','福島県'],
    '関東': ['茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県'],
    '中部': ['新潟県','富山県','石川県','福井県','山梨県','長野県','岐阜県','静岡県','愛知県'],
    '近畿': ['三重県','滋賀県','京都府','大阪府','兵庫県','奈良県','和歌山県'],
    '中国': ['鳥取県','島根県','岡山県','広島県','山口県'],
    '四国': ['徳島県','香川県','愛媛県','高知県'],
    '九州沖縄': ['福岡県','佐賀県','長崎県','熊本県','大分県','宮崎県','鹿児島県','沖縄県']
}

# 各県を地方に紐づけ
def region_of(p):
    for r, ps in regions.items():
        if p in ps: return r
    return None

latest['region'] = latest['Prefecture'].apply(region_of)
# 課税対象所得・人口総数という列は SSDSE-B-2026 に無いので、
# 1 世帯あたり消費支出（L3221）をそのまま使う
latest['income_pc'] = latest['L3221'].astype(float)

# 全 28 ペアの t 検定
region_list = list(regions.keys())
pvalues = []
labels = []
for i in range(len(region_list)):
    for j in range(i+1, len(region_list)):
        a = latest[latest['region'] == region_list[i]]['income_pc']
        b = latest[latest['region'] == region_list[j]]['income_pc']
        if len(a) > 1 and len(b) > 1:
            t, p = stats.ttest_ind(a, b)
            pvalues.append(p)
            labels.append(f'{region_list[i]}-{region_list[j]}')

# 3 つの補正法
for method in ['bonferroni', 'holm', 'fdr_bh']:
    rej, p_corr, _, _ = multipletests(pvalues, alpha=0.05, method=method)
    n_signif = sum(rej)
    print(f'{method}: 有意ペア数 = {n_signif}/{len(pvalues)}')

# 出力例
# bonferroni: 有意ペア数 = 5/28
# holm: 有意ペア数 = 7/28
# fdr_bh: 有意ペア数 = 12/28

同じデータで Bonferroni と BH の間に 7 ペアの差。 「FWER と FDR、 どちらを制御するか」は単なる技術選択でなく 研究目的の選択。

📊 7 つの補正法を一覧で

🐍 Python：FDR と q 値

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import numpy as np
from statsmodels.stats.multitest import multipletests
from scipy import stats

# シミュレーション：100 個の検定、 うち 20 個が真に有意
n_tests = 100
true_effects = np.zeros(n_tests)
true_effects[:20] = 0.5

p_values = []
for effect in true_effects:
    data = np.random.normal(loc=effect, scale=1.0, size=30)
    t, p = stats.ttest_1samp(data, 0)
    p_values.append(p)

# 補正前
print(f'補正前: 有意数 = {sum(p < 0.05 for p in p_values)}')

# Bonferroni
rej, p_bonf, _, _ = multipletests(p_values, alpha=0.05, method='bonferroni')
print(f'Bonferroni: 有意数 = {sum(rej)}')

# Holm
rej, p_holm, _, _ = multipletests(p_values, alpha=0.05, method='holm')
print(f'Holm: 有意数 = {sum(rej)}')

# BH (FDR)
rej, p_bh, _, _ = multipletests(p_values, alpha=0.05, method='fdr_bh')
print(f'BH (FDR): 有意数 = {sum(rej)}')
# 真の効果数 20 のうち、 BH が検出できる数を確認

📜 多重比較の歴史 — 主要マイルストーン

1. 1936：R.A. フィッシャー『The Design of Experiments』── 多重検定の問題意識を提起
2. 1949：Bonferroni 不等式（イタリアの数学者カルロ・エミリオ・ボンフェローニ、 1936 出版）が統計に応用される
3. 1953：Tukey が HSD を提案
4. 1955：Dunnett が「対照群との比較」専用検定を提案
5. 1979：Holm が段階的補正を提案 — Bonferroni の改良版
6. 1988：Hochberg が逆方向 step-up 法を提案
7. 1995：Benjamini-Hochberg が FDR を提案 — 大規模検定時代の幕開け
8. 2002：Storey が $q$ 値を提案 — BH の連続的精緻化
9. 2010s：再現性危機を受け、 心理学・医学で補正の徹底が再評価される
10. 2020s：機械学習・ゲノム・脳科学で BH が標準化

✅ 学習チェックリスト

• □ 多重比較問題が起こる理由を説明できる（$0.95^m$ の話）
• □ FWER と FDR の違いを言える
• □ Bonferroni・Holm・BH の式を書ける
• □ Tukey HSD が ANOVA 後に使われる理由を理解している
• □ Python で statsmodels.multitest を使って補正できる
• □ SSDSE-B-2026 で 8 地方ブロックの多重比較を実行できる
• □ 補正法の選択を結果見てから変えない（事前登録）
• □ 効果量・信頼区間を $p$ 値と併記する
• □ 探索的か確認的かを明示できる
• □ 大規模検定（ゲノム等）では BH 法が標準と知っている

📝 レポート用テンプレート

本研究では SSDSE-B-2026 を用い、 47 都道府県を 8 地方ブロックにまとめ、
人口当たり課税対象所得の地方間差を分析した。 まず一元配置 ANOVA で全体差を
検定 (F=[値], df=[値], p<[値])、 有意であったため事後の対比較を実施した。
ペア数 28、 補正法は研究目的（確認的）に鑑み Holm 法を採用した。 補正後の
有意水準を満たしたペアは [N] 件であり、 効果量 Cohen's d は [値] 〜 [値] の
範囲であった。 比較ペアと補正前後の $p$ 値、 95% 信頼区間を補表 1 に示す。
事前登録の関係上、 BH 法 (FDR) は感度分析として併用し、 結論の頑健性を
確認した。 探索的所見は補表 2 で報告した。

🔗 同カテゴリ（仮説検定）の用語

• 仮説検定 — 全体俯瞰
• p 値 — 補正対象
• 帰無仮説
• 対立仮説
• 信頼区間
• 効果量
• 分散分析（ANOVA）
• χ² 検定
• Kruskal-Wallis 検定

📖 さらに学ぶための文献

• Y. Benjamini & Y. Hochberg『Controlling the false discovery rate』JRSS-B (1995) — 原著
• S. Holm『A simple sequentially rejective multiple test procedure』Scand J Stat (1979) — Holm 法
• R.G. Miller『Simultaneous Statistical Inference』2nd ed., Springer — 古典的教科書
• Y. Hochberg & A.C. Tamhane『Multiple Comparison Procedures』Wiley
• 『統計的多重比較法の基礎』永田靖, 吉田道弘, サイエンス社 — 日本語名著
• 『現代数理統計学』竹村彰通, 学術図書 — 多重比較章
• NIH の Statistical Considerations — 医学研究での多重比較ガイドライン

🐍 Python 実装 ―― SSDSE-B-2026 で多重比較補正を実機実行

📐 数式と 🔬 数式を言葉で読み解く ―― FWER と FDR

$m$ 個の仮説を同時に検定するとき、 「少なくとも 1 つの偽陽性が出る確率」 が family-wise error rate (FWER)、 「棄却された仮説中の偽陽性割合の期待値」が false discovery rate (FDR)：

ここで $V$ は偽陽性数、 $R$ は棄却した総仮説数。 検定数 $m$、 各検定の有意水準 $\alpha$ のとき、 ナイーブには FWER $\le 1 - (1-\alpha)^m \approx m\alpha$（独立仮定）と急増します。

🔬 数式を言葉で読み解く：左辺の FWER は「全 $m$ 検定のうち 1 つでも偽陽性を出す確率」で、 確認的研究（薬の効果の最終判定など）で守るべき指標。 右辺の FDR は「棄却した中の偽陽性割合」で、 探索的研究（数千遺伝子のスクリーニングなど）で守るべき指標。 47 県の総当たり比較 $\binom{47}{2} = 1081$ ペア検定では $m=1081$ なので、 $\alpha=0.05$ なら平均 54 個の偽陽性が出る。 これでは「有意な差がある」と言える検定が無価値になってしまう。 補正が必要な理由が直感できる数字です。

🧮 実値で計算してみる ―― SSDSE-B-2026 8 地方ブロックの総人口平均比較

このコードでやること：47 都道府県を 8 地方ブロック（北海道・東北・関東・中部・近畿・中国・四国・九州沖縄）に分類し、 ブロック間の総人口の差を全 $\binom{8}{2} = 28$ ペアで t 検定。 Bonferroni / Holm / Benjamini-Hochberg（BH）の 3 補正を比較します。

📥 入力データ（地方ブロック割り当ての先頭 3 行）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

import numpy as np
import pandas as pd
from scipy.stats import ttest_ind
from statsmodels.stats.multitest import multipletests
from itertools import combinations

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

# 8 地方ブロック割り当て
block_map = {
    '北海道': '北海道',
    '青森県': '東北', '岩手県': '東北', '宮城県': '東北',
    '秋田県': '東北', '山形県': '東北', '福島県': '東北',
    '茨城県': '関東', '栃木県': '関東', '群馬県': '関東',
    '埼玉県': '関東', '千葉県': '関東', '東京都': '関東', '神奈川県': '関東',
    '新潟県': '中部', '富山県': '中部', '石川県': '中部', '福井県': '中部',
    '山梨県': '中部', '長野県': '中部', '岐阜県': '中部',
    '静岡県': '中部', '愛知県': '中部',
    '三重県': '近畿', '滋賀県': '近畿', '京都府': '近畿',
    '大阪府': '近畿', '兵庫県': '近畿', '奈良県': '近畿', '和歌山県': '近畿',
    '鳥取県': '中国', '島根県': '中国', '岡山県': '中国',
    '広島県': '中国', '山口県': '中国',
    '徳島県': '四国', '香川県': '四国', '愛媛県': '四国', '高知県': '四国',
    '福岡県': '九州沖縄', '佐賀県': '九州沖縄', '長崎県': '九州沖縄',
    '熊本県': '九州沖縄', '大分県': '九州沖縄', '宮崎県': '九州沖縄',
    '鹿児島県': '九州沖縄', '沖縄県': '九州沖縄',
}
df['地方ブロック'] = df['Prefecture'].map(block_map)

blocks = ['北海道', '東北', '関東', '中部', '近畿', '中国', '四国', '九州沖縄']

# 全 28 ペアで t 検定
pvals, pairs = [], []
for a, b in combinations(blocks, 2):
    x = df.loc[df['地方ブロック'] == a, 'A1101']
    y = df.loc[df['地方ブロック'] == b, 'A1101']
    if len(x) >= 2 and len(y) >= 2:
        _, p = ttest_ind(x, y, equal_var=False)
        pvals.append(p)
        pairs.append(f'{a} vs {b}')

m = len(pvals)
print(f'検定数 m = {m}')
print(f'未補正で有意 (p < 0.05)        = {sum(p < 0.05 for p in pvals)} 個')

for method in ['bonferroni', 'holm', 'fdr_bh']:
    reject, p_adj, _, _ = multipletests(pvals, alpha=0.05, method=method)
    print(f'{method:>12} で有意           = {reject.sum()} 個')

📤 実行例（実値）：

💬 結果の読み方：未補正なら 28 ペア中 8 ペアが有意ですが、 「$\alpha = 0.05$ × 28 = 1.4 個」の偽陽性が混じっている可能性。 厳格な FWER 制御（Bonferroni / Holm）では 2 ペアまで縮減、 緩めの FDR 制御（BH）では 5 ペア残ります。 「関東 vs 四国」「関東 vs 北海道」のような巨大都市圏 vs 小規模ブロックの差は補正後も生き残り、 「東北 vs 中部」のような中規模どうしの差は補正で消えます。 確認的な政策提言なら Bonferroni/Holm、 探索的な仮説生成なら BH を使い分けます。

🐍 Python 実装 ―― FWER を補正法ごとにシミュレーションで検証

このコードでやること：「真の差が存在しない」帰無分布のもとで、 未補正 / Bonferroni / Holm / BH の各補正法が実際に FWER を $0.05$ 以下に抑えられているかを 5000 回のモンテカルロで確認。 SSDSE のような有限標本での挙動を実証します。

📥 入力データ：標準正規分布から 8 群 × 5 サンプルを生成し（真の差なし）、 28 ペアの t 検定を行う。 5000 反復で「少なくとも 1 つの偽陽性」率を測定。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import numpy as np
from scipy.stats import ttest_ind
from statsmodels.stats.multitest import multipletests
from itertools import combinations

rng = np.random.default_rng(2026)
n_groups, n_sample, n_sim = 8, 5, 5000
fwer_counts = {'naive': 0, 'bonferroni': 0, 'holm': 0, 'fdr_bh': 0}

for _ in range(n_sim):
    data = [rng.standard_normal(n_sample) for _ in range(n_groups)]
    pvals = [ttest_ind(data[i], data[j]).pvalue
             for i, j in combinations(range(n_groups), 2)]
    if any(p < 0.05 for p in pvals):
        fwer_counts['naive'] += 1
    for method in ['bonferroni', 'holm', 'fdr_bh']:
        reject, _, _, _ = multipletests(pvals, alpha=0.05, method=method)
        if reject.any():
            fwer_counts[method] += 1

print(f'n_sim = {n_sim}、 検定数 = {n_groups * (n_groups-1) // 2}
FWER（少なくとも 1 個 偽陽性）の実測値：')
for method, cnt in fwer_counts.items():
    print(f'  {method:>10}: {cnt/n_sim:.3f}')

📤 実行例（実値）：

💬 結果の読み方：未補正だと「真の差ゼロ」のデータでも 68.2% の確率で 1 個以上の偽陽性が出ます。 これが多重比較問題の核心。 すべての帰無仮説が真（完全帰無）のこのシミュレーションでは、 Bonferroni・Holm だけでなく BH も FWER を約 5% に抑えます（実測 4.7% / 4.9% / 5.0%）。 これは理論通りで、 完全帰無下では偽発見率 FDR と FWER が一致する（棄却はすべて偽陽性なので $\mathrm{FDR}=\Pr(R>0)=\mathrm{FWER}$）ため、 FDR を $\le\alpha$ に制御する BH は自動的に FWER も $\le\alpha$ に抑えます。 BH が Bonferroni より「多くの偽陽性を許す」のは、 真に差のある仮説が混じっているときに検出力を上げる場面であって、 完全帰無下で FWER が膨らむわけではありません。

🐍 Python 実装 ―― Tukey HSD（事後検定の定石）

このコードでやること：ANOVA で「群間に差がある」と判定されたあと、 どのペアに差があるかを調べる事後検定の定石が Tukey HSD (Honestly Significant Difference)。 t 検定の繰り返しではなく、 ステューデント化範囲分布を用いた一発検定で、 FWER を厳密に制御。 SSDSE 8 地方ブロックに適用。

📥 入力データ：8 地方ブロック × 47 県の総人口データ（上記と同じ）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from statsmodels.stats.multicomp import pairwise_tukeyhsd
from scipy.stats import f_oneway

# まず ANOVA で「全体に差があるか」確認
groups = [df.loc[df['地方ブロック'] == b, 'A1101'].values for b in blocks]
F, p_anova = f_oneway(*groups)
print(f'ANOVA F = {F:.3f}, p = {p_anova:.4f}')

# Tukey HSD（FWER 制御済の事後検定）
tukey = pairwise_tukeyhsd(df['A1101'].values,
                          df['地方ブロック'].values, alpha=0.05)
print(tukey)
print(f'有意ペア数 = {tukey.reject.sum()}')

📤 実行例（実値・抜粋）：

💬 結果の読み方：ANOVA で「全体に差がある」（F=46.961, p<0.0001）と判定後、 Tukey HSD でどの組に差があるかを確認する。 出力の reject 列が True の組だけが有意で、 たとえば 中国 vs 北海道 は meandiff 3,830,500・p-adj 0.0 で有意、 中国 vs 中部 は p-adj 0.1736 で有意ではない。 Tukey HSD の p-adj は既に FWER 補正済の調整 p 値で、 そのまま 0.05 と比べてよい。 信頼区間 [lower, upper] も Tukey 法によって補正されており、 一般の t 検定の CI より広いことに注目（情報の節約と引き換えに保守的）。

🐍 Python 実装 ―― BH 法と Storey の q 値（FDR の二大手法）

このコードでやること：高次元データ（多変量検定）でよく使う FDR 制御の代表 Benjamini-Hochberg (BH) と Storey の q 値を比較。 BH は単純で頑健、 Storey は真の帰無仮説割合 $\pi_0$ を推定して検出力を上げる発展形。

📥 入力データ：SSDSE-B-2026 の 47 県を「東日本」「西日本」に二分し、 数値カラム 20 個でそれぞれ t 検定した p 値リスト（$m=20$）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

from statsmodels.stats.multitest import multipletests
import numpy as np

# 東日本（北海道〜中部）と西日本（近畿〜九州沖縄）に分割
east_blocks = ['北海道', '東北', '関東', '中部']
df_e = df[df['地方ブロック'].isin(east_blocks)]
df_w = df[~df['地方ブロック'].isin(east_blocks)]

# 数値カラム 20 個を抽出して全て t 検定
from scipy.stats import ttest_ind
num_cols = df.select_dtypes(include=np.number).columns[:20]
pvals = [ttest_ind(df_e[c], df_w[c], equal_var=False).pvalue for c in num_cols]

# BH 法（標準）
reject_bh, qvals_bh, _, _ = multipletests(pvals, alpha=0.05, method='fdr_bh')

# Storey 流（推定 pi_0 を使う、 fdr_tsbh）
reject_st, qvals_st, _, _ = multipletests(pvals, alpha=0.05, method='fdr_tsbh')

print(f'検定数 m         = {len(pvals)}')
print(f'BH 有意数        = {reject_bh.sum()}')
print(f'two-stage BH 有意数 = {reject_st.sum()}')
print(f'BH q 値（上位 5）  : {sorted(qvals_bh)[:5]}')

📤 実行例（実値）：

💬 結果の読み方：20 変数中 19 個（BH）あるいは 20 個すべて（two-stage BH）が東日本/西日本で有意な差。 Storey の two-stage 法は「真に差のない仮説の割合 $\pi_0$」を推定して使うため、 BH より少しだけ多くを有意にする。 q 値はそれぞれの仮説に対する「これを棄却するときの FDR の上限」と読めるので、 $q = 0.05$ なら「この仮説まで棄却すれば全体の偽発見率は 5% 以下」を意味します。

🔬 数式を言葉で読み解く ―― Holm の階段降下法

Holm 法（1979）は Bonferroni より検出力が高い「ステップダウン」型 FWER 制御：

1. p 値を昇順に並べる：$p_{(1)} \le p_{(2)} \le \dots \le p_{(m)}$。
2. $p_{(1)}$ を $\alpha / m$ と比較。 $p_{(1)} \ge \alpha/m$ なら全帰無仮説を採択し終了。
3. $p_{(1)} < \alpha/m$ なら $H_{(1)}$ を棄却し、 $p_{(2)}$ を $\alpha/(m-1)$ と比較。
4. … 棄却が続く限り、 $p_{(k)}$ を $\alpha/(m-k+1)$ と比較し続ける。

🔬 数式を言葉で読み解く：Bonferroni は「全ての p 値を一律に $\alpha/m$ と比較」で平等だが保守的すぎる。 Holm は「最小の p 値から順に、 残りの仮説数だけで割った閾値と比較」する階段的アプローチ。 一度棄却に失敗するとそこで止まるので、 強い signal の検定が真っ先に通り、 弱い signal の検定もそこから残った検定数で割った閾値（より緩い）と比較できる。 結果として Bonferroni と同じ FWER 制御性能を持ちつつ、 常に同数以上の棄却を達成（一様に優越）。 「Bonferroni を使うべき場面は基本的にない、 Holm を使え」と統計学者が言う理由です。

📊 多重比較補正法の比較表

⚠️ 多重比較問題 5 つの落とし穴

• 「補正したから安心」の油断：補正は検定数 $m$ を正しく数えた前提。 「事前に決めた検定」だけが $m$ に入る。 「データを見てから検定を追加」したら $m$ は実質無限大（garden of forking paths）で、 補正は無効。
• 検出力の急落：FWER 制御は厳格な分、 真に存在する差を見逃す確率（第二種過誤）が上がる。 とくに小標本 + 大 $m$ の場合、 「補正で全て棄却できない」事態が起きる。 SSDSE で 1081 ペア検定をかけても、 真に差がある県でも検出できないことが多い。
• 事前登録・仮説の絞り込みの怠り：「重要な仮説を 5 個に絞ってから検定」する方が「100 個全部検定して補正」より検出力が高い。 仮説の優先順位を事前に決めるのが正攻法。
• FWER と FDR の取り違え：薬の承認なら FWER、 遺伝子のスクリーニングなら FDR、 のように研究の性質で決める。 「単に Bonferroni が広く知られている」で選んではいけない。
• p 値依存からの脱却：「補正後 p < 0.05」だけを報告するのは古い。 効果量 + 信頼区間 + 事前登録 + 補正法明記、 の 4 点セットが現代の標準。 SSDSE のような観察データでは特に「差の大きさ」が重要。

📍 統計データ解析コンペでの多重比較対応

統計データ解析コンペティション（総務省統計局・統計数理研究所主催）では、 大量の検定を伴う分析（地域別・時系列別・属性別）が頻出します。 以下の対応が審査員から高評価：

• ① 検定数 $m$ を明記：「47 都道府県 × 20 変数 = 940 検定を行った」のように具体的に書く。 これだけで研究の規模が伝わる。
• ② 補正法を明記：「BH 法で q < 0.05 を有意とした」。 補正なしの大量比較は減点対象。
• ③ 効果量を併記：「東京 vs 沖縄の高齢化率の差 = 12.4%、 95% CI [9.8, 15.1]、 補正後 p = 0.001」。 これが現代統計の理想形。
• ④ 事前登録的姿勢：「仮説 H1〜H5 を事前に立て、 残りは探索的解析として明示」と分けると説得力が増す。
• ⑤ 補正前後の透明性：補正前の生 p 値と補正後 q 値を両方表で示す。 査読者が独自に判断できる。

📚 参考文献・原典

• Bonferroni, C. E. (1936). Teoria statistica delle classi e calcolo delle probabilità. ―― Bonferroni 補正の原典（イタリア語）。
• Holm, S. (1979). A Simple Sequentially Rejective Multiple Test Procedure. Scandinavian Journal of Statistics, 6(2), 65-70. ―― Holm 法の原典。
• Benjamini, Y. & Hochberg, Y. (1995). Controlling the False Discovery Rate. JRSS B, 57(1), 289-300. ―― BH 法・FDR 概念の原典。
• Storey, J. D. (2002). A Direct Approach to False Discovery Rates. JRSS B, 64(3), 479-498. ―― q 値の原典。
• statsmodels 公式: statsmodels.stats.multitest.multipletests ―― 7 種類の補正法を統一インタフェースで提供。

📋 実践チェックリスト ―― 多重比較を扱う前に確認すべき 8 項目

1. 検定数 $m$ を事前に決めたか？ 後から増やすと garden of forking paths。
2. 研究の性質は確認的か探索的か？ 確認的なら FWER、 探索的なら FDR。
3. 事前登録（pre-registration）したか？ OSF などに事前に分析計画を公開。
4. 補正法を明示したか？ 「Holm」「BH」など具体名を必ず書く。
5. 効果量と信頼区間を併記したか？ p 値だけでは不十分。
6. 検出力の議論をしたか？ 「補正後に有意でないからといって効果なしと言えない」。
7. 依存性を考慮したか？ 強い依存があれば BY 法、 弱依存なら BH で OK。
8. 補正前後の透明性を保ったか？ 生 p 値と q 値の両方を表で公開。

🖼 多重比較を視覚的に理解する 3 つの図

多重比較は数式や p 値の表を見ているだけだと「補正したら p が大きくなるだけ」という形式的な処理に見えがちです。 ここでは SSDSE-B-2026 の都道府県データから生成した 3 つのグラフを使い、 (1) 補正前後で何が変わるか、 (2) 検定数が増えると偽陽性がどれくらい増えるか、 (3) 地方ブロックの比較で実際に「どこに差があるか」を視覚化します。

3 つの図を通読すると、 多重比較問題の核心が「数式の儀式」 ではなく 「データを真摯に見るための慎重さ」 だと分かります。 補正をかけることは検出力を犠牲にする代わりに、 偽陽性を抑え、 「本当に差があるのか」 という問いに誠実に向き合う行為です。

📝 理解度チェック ―― 自分で考えてみよう

以下の 8 問は、 多重比較を実務で扱うときに必ず遭遇する判断ポイントを問うものです。 答えだけでなく 「なぜそうなるか」 を口に出して説明できるか確認してください。 答えはすぐ下に折りたたみで掲載しています。

💡 自己採点ガイド：8 問中 6 問以上を 「即答 + 理由説明」 できれば、 多重比較を実務で扱う最低ラインに到達しています。 4 問以下なら、 まずは Q1〜Q4 だけ確実に押さえ、 残りは具体的なデータ解析を 1 回経験した後に再挑戦すると定着します。

🎯 シナリオ別ケーススタディ ―― 場面ごとの最適補正

多重比較補正は 「どれが正解」 ではなく 「研究設計と分析目的に合わせて選ぶ」 ものです。 ここでは統計データ解析コンペやデータサイエンス実務で頻出する 6 つのシナリオで、 どの補正をなぜ選ぶかを具体的に示します。

シナリオ A：新薬の主要評価項目（複数エンドポイント）

糖尿病薬の第 III 相試験で 「HbA1c 低下」「体重減少」「血圧低下」 の 3 エンドポイントを同時評価する場面。 規制当局（FDA / PMDA）への承認申請では、 「1 つでも偽陽性で承認すると重大な問題」 になるため FWER 制御が必須。 検定数が 3 と少なく、 比較対象も独立に近いので Bonferroni（α=0.05/3≒0.017）が標準。 段階的に検定力を上げたければ Hochberg 法（step-up）を採用する。

シナリオ B：マイクロアレイ・RNA-Seq で差次的発現遺伝子探索

2 万遺伝子の発現量を 2 群間で比較し、 後続実験の候補遺伝子を 100 個程度に絞りたい場面。 「発見した 100 個のうち何個が偽陽性か」 が直接的な関心なので FDR 制御の BH 法が業界標準（Benjamini & Hochberg 1995）。 さらに 「個別遺伝子の信頼度」 を見たければ Storey の q 値を併用する。 Bonferroni を使うと検出力が壊滅的に低下し、 真の差次的遺伝子もほぼ全部見落とす。

シナリオ C：ANOVA 有意後の群間比較（SSDSE 地方ブロック）

SSDSE-B-2026 の 8 地方ブロックで一元配置 ANOVA を実施し、 「地方間に差がある」 と判定された後、 「どの地方とどの地方に差があるか」 を特定したい場面。 全 $\binom{8}{2}=28$ ペアの平均比較なので Tukey HSD が第一選択。 Bonferroni より検出力が高く、 群サンプルサイズが等しいときに最適。 不等分散が疑われるなら Games-Howell 法に切り替える。

シナリオ D：A/B テストの多変量同時評価

EC サイトの A/B テストで 「CV 率」「平均購入額」「滞在時間」「離脱率」 の 4 指標を同時評価する場面。 ビジネス判断で 「主要 KPI（CV 率）」 を確認、 副次 KPI 3 つを探索的に見るパターン。 主要 KPI は無補正、 副次 KPI 群は Holm 補正で FWER 制御、 という階層的アプローチが実務的。 主要 KPI が事前に決まっていない場合は Bonferroni で全 4 指標を補正。

シナリオ E：機械学習モデル比較（複数モデル × 複数データセット）

XGBoost、 LightGBM、 RandomForest、 NN の 4 モデルを 10 個のベンチマークデータセットで比較し、 「最良モデル」 を主張したい場面。 ペア検定数は $\binom{4}{2} \times 10 = 60$。 同じデータセット内の相関が強いので、 Friedman 検定 + Nemenyi 事後検定で全体傾向を見るのが定石（Demšar 2006）。 単純 t 検定 + Bonferroni では検出力が落ちるが、 安全側に倒すなら可。

シナリオ F：脳機能イメージング（fMRI ボクセル単位）

数万ボクセルで脳活動を比較する場面。 単純な Bonferroni は厳しすぎるため、 空間相関を利用した cluster-based 補正（FWE / TFCE）や、 random field theory（RFT）に基づく補正が標準。 「ボクセル単位の検定」 ではなく 「クラスタ単位の検定」 に発想を切り替えるのが鍵。 教科書例：SPM、 FSL、 AFNI など主要 fMRI ソフトに実装済。

❓ よくある誤解と FAQ ―― 多重比較で初心者が必ず引っかかる 12 の質問

Q-A. 「サンプルサイズが大きければ補正は不要」？

不要ではない。 サンプルサイズが大きいと個別検定の検出力は上がるが、 「全帰無仮説が真でも検定数分だけ偽陽性が紛れ込む」 という多重比較の構造的問題は変わらない。 むしろ大標本では些細な差も p < 0.05 になりやすく、 補正の重要性が増す。

Q-B. 「探索的研究なら補正しなくて良い」？

完全な無補正は推奨されない。 探索的研究でも 「発見した有意な結果のうち何割が偽陽性か」 という FDR 観点で BH 法を適用するのが現代の標準。 ただし 「あくまで仮説生成段階」 と明示し、 後続の確認的研究で再現すべき仮説リストとして扱う。

Q-C. 「Bonferroni は古いから使わない方が良い」？

古いが間違っているわけではない。 Bonferroni は最も保守的（過剰補正気味）だが、 「最悪ケースでも FWER を守る」 という強い保証がある。 検定数が小さい（m≦10）場合は Bonferroni と Holm の検出力差はわずかで、 「実装の単純さ」 「計算の透明性」 のメリットが上回ることも多い。

Q-D. 「補正後の有意な結果だけ報告すれば良い」？

完全に NG。 補正前 p、 補正後 p、 効果量、 信頼区間を全て開示するのが透明性の標準。 「補正後に有意でなくなった結果」 にも情報価値（効果量の方向、 メタ解析でのプール対象）があるため、 表で必ず併記する。

Q-E. 「比較するペアを後から減らせば検定数 m が減って有利」？

これは典型的な p-hacking。 事前に決めた m で補正することが原則。 データを見てから 「有意になりそうなペアだけ残す」 のは garden of forking paths で、 実質的な FWER が膨らむ。 事前登録が解決策。

Q-F. 「p = 0.04 だったから補正前は有意、 補正後の p = 0.12 で有意でなくなった。 効果はあった？」

「補正後に有意ではない＝効果がない」 ではない。 補正は検出力を犠牲にして偽陽性を抑える行為で、 真の効果があっても見落とす（type II error 増加）リスクを許容している。 効果量と信頼区間を併記し、 「多重比較を考慮すると確証はもう一段の検証が必要」 と慎重に書く。

Q-G. 「BH 法と Bonferroni を両方走らせて結果が違ったら？」

研究目的に対応する 1 つを事前に決め、 それを主結果として報告する。 補助情報として 「もう一方の補正法の結果」 を表に併記するのは透明性向上に役立つ。 「両方走らせて好きな方を採用」 は完全に p-hacking で禁忌。

Q-H. 「サブグループ解析と多重比較の関係は？」

サブグループ解析（年齢層、 性別、 重症度などで分けた解析）は隠れた多重比較。 サブグループ数が 5 なら検定数も 5 倍。 事前指定のサブグループに限定し、 補正を明示するか、 「探索的解析」 として明記する。

Q-I. 「中間解析（interim analysis）も多重比較？」

YES。 試験途中で複数回中間解析を行うのは時系列方向の多重比較。 O'Brien-Fleming 法、 Pocock 法など、 group sequential design 専用の補正がある。 統計家との事前協議が必須。

Q-J. 「p 値の代わりにベイズ流の事後確率を使えば多重比較は気にしなくて良い」？

部分的に YES、 部分的に NO。 ベイズ階層モデルは事前分布で 「複数効果が同時に大きい確率は低い」 と暗黙の収縮（shrinkage）を入れることで多重比較に頑健になる。 ただし事前分布の設計次第で結果が変わるため、 「多重比較を考えなくて良い」 とは言えない。

Q-K. 「観察研究で大量の変数を一度に検定するのはダメ？」

補正を適切に行えば許容される。 ただし観察研究は 「仮説生成段階」 と位置づけ、 BH 法で FDR 制御した上で、 「発見した有意な関連を別データで確認的研究にかける」 段階を経るのが標準的な疫学研究のワークフロー。

Q-L. 「メタ解析と多重比較の関係は？」

複数のサブグループ解析や感度解析を行うメタ解析では、 内部で多重比較問題が発生する。 PRISMA 声明や Cochrane Handbook では 「事前登録した主要解析」 と 「探索的解析」 を明確に区別することを推奨。 サブグループ間の交互作用検定にも補正を適用する。

⚠️ よくある落とし穴

⚠️ 追加で抑える 6 つの落とし穴

🌐 関連手法・派生

多重比較の補正は「FWER (family-wise error rate) を制御するか」「FDR (false discovery rate) を制御するか」で大きく 2 系統に分かれます。 厳しさは Bonferroni > Holm > Benjamini-Hochberg の順で、 検出力 (power) は逆順。 m=20 の SSDSE-B-2026 都道府県別検定では Holm が現実的、 m=10000 の遺伝子発現解析では BH (FDR) が標準です。

• Bonferroni 補正 — α_each = α/m と一律に厳しくする最もシンプルな FWER 制御。 m が大きいと検出力が極端に落ちる。 m=20、 α=0.05 → 各検定 α=0.0025。
• Holm-Bonferroni 法 — p 値を昇順に並べ、 i 番目を α/(m-i+1) と比較。 Bonferroni より検出力が高く、 FWER は同等に保証。 デフォルトで採用すべき。
• Šidák 補正 — 1-(1-α)^(1/m) で各検定の閾値を決定。 検定が独立なら Bonferroni より僅かに鋭い。
• Benjamini-Hochberg (BH) — FDR (偽発見の期待割合) を制御。 FWER よりはるかに緩く、 大規模スクリーニング (ゲノミクス、 A/B テスト 1000 件) で標準。
• Benjamini-Yekutieli (BY) — BH を依存構造下でも保証。 ペアワイズ検定で検定間相関がある場合に使う。
• Tukey HSD — ANOVA 後の全ペア比較に特化。 student 化範囲分布を使い、 FWER を正確に α に保つ。 群サイズが等しい設計に最適。
• Dunnett 検定 — 対照群 (control) との比較に特化。 比較数を m=k-1 (k 群) に減らせるので Tukey より検出力が高い。 ワクチン用量設計などで使用。
• Scheffé 検定 — 任意の線形対比 (linear contrast) を保証。 全対比に対して FWER を α に保つので最も保守的。
• 置換 (permutation) 検定 + maxT 補正 — 検定統計量の同時分布を再標本化で推定し、 検定間相関を自然に取り込む。 計算コストは高いが、 検出力と保守性のバランスが良い。
• q 値 (Storey 2002) — 各検定に対し「これを有意としたときの推定 FDR」を返す。 BH の連続版で、 大規模スクリーニングのレポートに便利。
• 分散分析 / 仮説検定 / p 値 — 多重比較の前提となる基礎概念。

🔗 関連用語（前提・並列・発展）

前提:

並列:

発展:

🔗 関連用語拡張（20+ 項目）

🔗 関連用語クイックリンク（前提・並列・発展）

多重比較は検定論・推測統計の中核トピックなので、 前提（基礎統計）・並列（仮説検定の同類項）・発展（ベイズ・機械学習との接続）の 3 階層で関連用語を確認しておくと、 学習が体系化されます。

前提となる用語

• p 値 ―― 多重比較で補正されるのはこの p 値そのもの。
• 帰無仮説 ―― 多重比較は 「複数の帰無仮説を同時に検定する」 問題。
• 対立仮説 ―― 補正後に対立仮説を採択する基準が厳しくなる。
• 有意水準 ―― α=0.05 を補正で α/m に厳しくする。
• 信頼区間 ―― 補正後 p 値と併記すべき指標。

並列の用語（仮説検定の同類項）

• t 検定 ―― 多重 t 検定の補正対象。
• 分散分析（ANOVA） ―― ANOVA 後の事後検定が代表的な多重比較場面。
• FDR（偽発見率） ―― 多重比較で制御する 2 つの指標のうち 1 つ。
• 検出力 ―― 補正は検出力を犠牲にして偽陽性を抑える。
• 効果量 ―― p 値だけでなく効果量を併記するのが現代の標準。

発展の用語（応用・別パラダイム）

• A/B テスト ―― 複数指標の同時評価で多重比較が頻発。
• 実験データ ―― 実験計画段階で多重比較の補正を組み込む。
• ベイズ定理 ―― ベイズ階層モデルは多重比較に頑健。
• 相関係数 ―― 大量変数の相関分析でも多重比較問題が発生。
• 仮説検定 ―― 多重比較の上位概念。 該当ページが無ければ p 値ページ参照。

🧠 補正法の数理的詳細と実装ノート

補正法の数式を 「ただ覚える」 のではなく、 「なぜその形になるのか」 という導出から理解しておくと、 新しい状況（依存性、 不等分散、 階層構造）への一般化が自分でできるようになります。 ここでは Bonferroni、 Holm、 BH の 3 つを数学的に再構成します。

Bonferroni の導出 ―― Boole の不等式から

$m$ 個の事象 $A_1, \dots, A_m$ について、 確率の Boole 不等式（和集合上界） は次のように書けます：

$A_i$ を 「$i$ 番目の仮説で偽陽性」 という事象とすれば、 左辺が FWER。 各検定の有意水準を $\alpha/m$ に設定すれば右辺は $m \times (\alpha/m) = \alpha$。 すなわち FWER $\le \alpha$ が任意の依存構造で保証される のが Bonferroni の本質。 「最悪ケース保証」 だから保守的すぎる、 という批判は導出から自然に分かります。

Holm の改善 ―― 段階的棄却の論理

Holm は p 値を昇順に並べ $p_{(1)} \le p_{(2)} \le \dots \le p_{(m)}$ とした上で、 次のルールで棄却します：

直感的には 「最小の p 値は最も厳しい基準 $\alpha/m$ で評価し、 棄却したら次の p 値は基準を $\alpha/(m-1)$ に緩める」。 すでに棄却した仮説は 「真ではない」 と確定したので、 残り $m-1$ 個に対する Bonferroni 補正を適用するイメージ。 これにより Holm は Bonferroni と同じ FWER を保証しつつ、 検出力が必ず上回ります（uniformly more powerful）。

Benjamini-Hochberg ―― FDR 制御の発想転換

BH は FWER ではなく FDR を制御します。 p 値を昇順に並べた後、 次の条件を満たす最大の $i$ を求めます：

この $i$ 以下のすべての仮説を棄却すると、 帰無仮説のうち独立または正の相関を持つ場合に FDR $\le q$ が保証されます（Benjamini & Hochberg 1995）。 強い負の相関がある場合は Benjamini-Yekutieli (BY) 補正で $q' = q / \sum_{k=1}^m 1/k$ と調整します。

数式上は Bonferroni / Holm より遥かに緩い基準（$i/m \cdot q$ は $i$ が大きいほど緩む）になるため、 大量検定（m が数千〜数万）でも有意な仮説をある程度残せます。 これがゲノム解析・脳画像解析で BH が業界標準となった理由です。

実装ノート ―― statsmodels の multipletests

Python では statsmodels.stats.multitest.multipletests が 7 種類の補正を統一インタフェースで提供します：

• method='bonferroni' ―― Bonferroni（FWER 制御、 最も保守的）
• method='sidak' ―― Šidák（独立仮定で Bonferroni より緩い）
• method='holm-sidak' ―― Holm-Šidák（段階的、 独立仮定）
• method='holm' ―― Holm（FWER 制御、 Bonferroni より検出力高）
• method='hommel' ―― Hommel（Holm より少し検出力高、 計算複雑）
• method='fdr_bh' ―― Benjamini-Hochberg（FDR 制御、 独立・正相関）
• method='fdr_by' ―― Benjamini-Yekutieli（FDR 制御、 任意の依存性）

戻り値は (reject, pvals_corrected, alphacSidak, alphacBonf) のタプルで、 pvals_corrected が補正後 p 値。 デフォルト α=0.05 だが alpha 引数で変更可。 R の p.adjust() 関数とほぼ同じ機能ですが、 BY の調整定数が R と異なる版があるので、 厳密な再現性が必要なら両方のドキュメントを確認してください。

サンプルコード ―― 補正前後の比較

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from statsmodels.stats.multitest import multipletests

# 28 個の生 p 値（地方ブロック総当たり比較から得たもの）
pvals = [0.001, 0.008, 0.012, 0.021, 0.030, 0.042, 0.055, 0.063,
          0.078, 0.091, 0.115, 0.134, 0.156, 0.182, 0.211, 0.245,
          0.281, 0.320, 0.362, 0.405, 0.450, 0.498, 0.545, 0.592,
          0.640, 0.690, 0.742, 0.798]

for method in ['bonferroni', 'holm', 'fdr_bh']:
    reject, corrected, _, _ = multipletests(pvals, alpha=0.05, method=method)
    print(f'{method:12s}: 棄却数 {sum(reject)}/{len(pvals)}, 最小補正後 p = {corrected[0]:.4f}')

📤 実行結果：

💬 結果の読み方：この生 p 値群では、 Bonferroni・Holm・BH のいずれも 1 個（最小 p=0.001 だけ）が有意になります。 BH は「$p_{(i)} \le i\alpha/m$ を満たす最大の $i$」まで棄却しますが、 $i=2$ の閾値 $2\times0.05/28 \approx 0.0036$ に対して第 2 位の p 値は 0.008 と大きく、 ここで条件が切れるため棄却は 1 個で止まります。 BH が FWER 法より多く棄却できるのは、 小さな p 値が複数まとまっている（＝真の効果が複数存在する）ときで、 このように p 値がなだらかに分布している場合は BH でも上乗せは生じません。

🧙 ベイズ流アプローチとの比較 ―― 多重比較問題はベイズで消えるのか？

頻度主義（古典統計）の枠組みでは多重比較は深刻な問題ですが、 ベイズ統計の枠組みでは様相が異なります。 「ベイズなら多重比較は気にしなくて良い」 という主張は半分正しく、 半分誤りです。

ベイズ階層モデルの自然な収縮（shrinkage）

ベイズ階層モデルでは、 複数の効果（例えば 47 都道府県の介入効果）を 「共通の事前分布」 から生成された確率変数として扱います。 これにより、 「複数効果が同時に大きい」 のは事前分布的にあり得ないため、 個別効果の事後分布が中心方向に収縮されます。 結果として、 大量比較を行っても 「偽陽性が膨らみにくい」 振る舞いになります。

頻度主義との対応関係

Gelman らの研究によれば、 適切な階層モデルでベイズ流に分析すると、 BH 法とほぼ同じ収縮効果が得られることが示されています。 違いは 「事前分布をどう設計するか」 が明示的にコントロール可能な点。 頻度主義の補正は 「α/m」 という形で機械的ですが、 ベイズは 「効果のばらつきの事前知識」 を反映できます。

ベイズでも残る課題

• 事前分布の設計依存：不適切な事前分布だと収縮が効かず、 結局頻度主義の多重比較問題と同じ状況になる。
• 事前登録の必要性：データを見てから事前分布を決めれば、 これも garden of forking paths。
• 解釈の透明性：規制当局・査読者が頻度主義に慣れているため、 ベイズ結果も補助的に頻度主義指標を併記するのが実務的。

結論：「ベイズなら多重比較を完全に無視できる」 ということはない。 ベイズ階層モデルは多重比較に頑健な傾向があるが、 事前分布の設計と事前登録は依然として重要。 統計データ解析コンペでは頻度主義の補正を主とし、 ベイズ的解釈を補助情報として併記するのが現代の標準。

📖 学習リソース集 ―― 多重比較を深く学ぶための 8 つの推奨資料

1. Benjamini, Y. & Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. JRSS B, 57(1), 289-300. ―― FDR と BH 法の原典論文。 約 10 万引用の超有名論文で、 統計学者なら必ず読む。
2. Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65-70. ―― Holm 法の原典。 6 ページの短い論文だが多重比較の理論を変えた。
3. Hochberg, Y. & Tamhane, A. C. (1987). Multiple comparison procedures. Wiley. ―― 多重比較の古典的教科書。 補正法の数理的背景と応用例が詳細。
4. Efron, B. (2010). Large-scale inference: empirical Bayes methods for estimation, testing, and prediction. Cambridge University Press. ―― 大規模多重検定の現代的アプローチ。 ベイズ的観点も含む。
5. Gelman, A. & Loken, E. (2013). The garden of forking paths: why multiple comparisons can be a problem, even when there is no fishing expedition. ―― 暗黙の多重比較問題の有名解説。 無料 PDF で読める。
6. Westfall, P. H. & Young, S. S. (1993). Resampling-based multiple testing: examples and methods for p-value adjustment. Wiley. ―― 並べ替え検定ベースの多重比較。 ブートストラップ法との接続。
7. statsmodels 公式ドキュメント：statsmodels.stats.multitest.multipletests ―― 7 種類の補正法を統一インタフェースで提供。 入門者はまずここから。
8. R の p.adjust() 関数：base R 標準実装。 multcomp パッケージで Tukey HSD なども網羅。 R ユーザーは ?p.adjust でヘルプを参照。

🏆 統計データ解析コンペ向け実践 Tips ―― 採点者の目線で見た多重比較

統計データ解析コンペの審査基準で 「多重比較が適切に処理されているか」 は重要な評価ポイントです。 採点者が見るのは結果の大きさではなく、 「研究設計の誠実さ」 と 「結果の透明性」 です。

✅ 高評価につながる 5 つの実践

1. 事前に検定対象を絞る：47 都道府県全ペアではなく、 「先行研究で関係が示唆されている 3 つの仮説」 に絞る、 と書く。 検定数 m が小さければ補正の影響も小さく、 検出力も保てる。
2. 補正法を必ず明記：「Bonferroni 補正後」「BH 補正後 q=0.05」 など、 具体的な手法名と水準を書く。 「多重比較に注意した」 とだけ書くのは NG。
3. 補正前後の p 値を表で併記：raw p, adjusted p, effect size, 95% CI の 4 列表を必ず作る。 透明性の最高基準。
4. 探索的解析と確認的解析を明確に区別：「探索的に発見した有意な関連は、 別データでの確認的研究が必要」 と書く。 これだけで採点が大きく変わる。
5. 検出力の議論を入れる：「補正後に有意でなくなった結果は、 検出力不足の可能性がある」 と書く。 これにより 「効果がなかった」 と早合点していないことを示せる。

❌ 減点になる 5 つの典型 NG

1. 無補正で大量の検定結果を有意と報告：「47 都道府県の比較で 12 ペアが有意差あり」 と無補正で書くと一発 NG。
2. 結果を見てから検定対象を絞る：「有意になりそうなペアだけ報告」 は明確な p-hacking。
3. 補正法を選んだ理由を書かない：Bonferroni と BH のどちらを選んだか、 なぜ選んだかの説明がない。
4. 効果量を書かない：p 値だけで 「有意」 と結論するのは現代統計の基準では不十分。
5. 「補正後 p > 0.05 なので効果なし」 と断定：補正は検出力を犠牲にしているので、 「効果なし」 と断定できない。

💡 採点者ヒント：「Bonferroni 補正は最も保守的、 Holm 補正は段階的に検出力を改善、 BH 補正は探索的研究で推奨」 という対比を 1 段落で書けると、 採点者は 「この学生は多重比較の本質を理解している」 と即判断します。

📜 歴史的・哲学的背景 ―― 「多重比較」 という問題意識の起源

多重比較の問題意識は、 統計学が応用分野（特に農学、 医学、 心理学）で実用化される過程で 「同じデータで多くの仮説を試すと、 偶然による発見が混入する」 という観察から生まれました。 ここでは主要な歴史的マイルストーンを時系列で追います。

1925-1935：Fisher と Neyman-Pearson の対立

Ronald A. Fisher は 「Statistical Methods for Research Workers」 (1925) で p 値と有意性検定の枠組みを確立。 一方 Jerzy Neyman と Egon Pearson は 「タイプ I エラーとタイプ II エラー」 の枠組みを提唱（1933）。 この時期は単一仮説の検定が主流で、 「複数仮説を同時に検定する」 という発想自体がまだ確立していませんでした。

1936：Bonferroni 補正の登場

イタリアの数学者 Carlo Bonferroni が 「Teoria statistica delle classi e calcolo delle probabilità」 で確率の和集合上界（Boole 不等式）を統計検定に応用。 ただし当時は 「同時信頼区間」 の文脈で議論されており、 「多重仮説検定の補正」 という用語自体は後の発明。 現代的な意味での Bonferroni 補正の名称は 1960 年代以降に普及。

1949-1953：Tukey HSD と Scheffé 法

John W. Tukey が ANOVA 後の全対比較のための HSD (Honestly Significant Difference) 法を提案 (1949)。 同時期に Henry Scheffé が 「全ての線形対比」 に対応する Scheffé 法を提案 (1953)。 農学・心理学実験で 「複数群の平均比較」 が標準的になり、 補正法の体系化が進む。

1979：Holm 法 ―― 段階的補正の革命

スウェーデンの統計学者 Sture Holm が、 Bonferroni を支配する段階的補正法を提案。 「最小 p 値から順に厳しい基準で評価し、 棄却したら基準を緩める」 という発想は、 後の Hommel 法、 Hochberg 法など多くの段階的補正法の原型となる。

1995：Benjamini-Hochberg ―― FDR パラダイムの誕生

イスラエルの統計学者 Yoav Benjamini と Yosef Hochberg が、 FWER の代わりに FDR を制御する BH 法を提案。 この論文（JRSS B, 1995）は 2026 年時点で約 10 万引用と、 統計学史上有数の被引用数を誇る。 マイクロアレイ・ゲノム解析・脳画像解析など 「数万単位の検定」 が必要な分野で爆発的に普及。

2002-2010：FDR の拡張と q 値

John Storey が q 値（個別仮説の FDR 寄与度）を提案 (2002)。 Brad Efron が大規模多重検定の経験ベイズアプローチを体系化 (2010, 「Large-scale Inference」)。 ゲノム時代の到来で FDR・q 値が業界標準となる。

2013-現在：再現性危機と pre-registration

心理学・医学を中心に再現性危機（reproducibility crisis）が顕在化。 Gelman & Loken の 「garden of forking paths」 (2013) や Ioannidis の 「Why most published research findings are false」 (2005) が、 暗黙の多重比較問題を一般化。 Open Science Framework (OSF) などで事前登録が普及し、 「データを見てから検定対象を決める」 慣行への反省が広がる。

💡 哲学的含意：多重比較問題は単なる技術的補正ではなく、 「科学的発見とは何か」 「偶然と実体をどう区別するか」 という認識論的問題。 統計学者の Andrew Gelman は 「多重比較問題の本質は、 研究者の自由度（researcher degrees of freedom）」 と表現しています。 事前登録・透明性・補正の 3 つは、 この問題への現代的な処方箋です。

📔 多重比較ミニ用語辞典（拡張版）

多重比較関連でよく出てくる専門用語を、 短く明確に定義したミニ辞典です。 論文を読むとき・コンペレポートを書くときに参照してください。

FWER (Family-Wise Error Rate)

複数仮説のうち少なくとも 1 つを誤って棄却する確率。 「家族単位の誤り率」。 確認的研究で制御する指標。

FDR (False Discovery Rate)

棄却した仮説のうち真の帰無仮説の割合の期待値。 「棄却した発見のうち偽が何割か」。 探索的研究で制御する指標。

q 値 (q-value)

FDR の個別仮説への寄与度。 「この仮説を棄却した時の FDR への寄与の最小値」 と定義される。 p 値の FDR 版。

補正後 p 値 (adjusted p-value)

補正を適用した後の p 値。 Bonferroni なら $p_{adj} = \min(1, m \cdot p)$、 Holm や BH では段階的に計算される。

家族 (family) ―― 多重比較の文脈

同時に検定する仮説の集合。 「家族をどう定義するか」 は研究者の判断で、 これによって m が変わる。

事後検定 (post-hoc test)

ANOVA や Kruskal-Wallis などで群間差が検出された後の 「どの群とどの群に差があるか」 を特定する追加検定。

事前計画比較 (planned comparisons)

実験前に決めた特定の対比のみを検定する場合。 事後検定より検出力が高く、 補正も少なくて済む。

対比 (contrast)

複数群の平均の線形結合。 例：「群 A の平均 - 群 B の平均」 や 「(A + B)/2 - C」。 検定対象の組み立て。

同時信頼区間 (simultaneous confidence interval)

複数のパラメータに対して、 信頼度が同時に α 以上で保証される信頼区間。 多重比較補正の信頼区間版。

研究者の自由度 (researcher degrees of freedom)

分析過程で研究者が選択できる選択肢の数（変数選択、 検定法選択、 サブグループ定義など）。 多い程暗黙の多重比較が膨らむ。

p-hacking

p < 0.05 を達成するために分析を意図的に操作する行為。 garden of forking paths の悪意ある版。 学術不正の典型。

事前登録 (pre-registration)

データ収集前に分析計画を OSF などに公開する慣行。 多重比較問題と p-hacking の予防策。

🎓 最終まとめ ―― 多重比較を一行で説明できるか

このページを読了したあなたは、 「多重比較とは何か」 を以下のように一行で説明できるはずです：

「複数の仮説を同時に検定すると、 偶然による偽陽性が累積する。 その累積を抑えるための統計的調整法群の総称が多重比較補正で、 FWER 制御（Bonferroni / Holm / Tukey HSD）と FDR 制御（BH / Storey q）に大別される」

そして、 統計データ解析コンペや実務でこれを使うときの 5 つの実践原則：

1. 事前に検定数 m を決め、 補正法を選び、 事前登録する。 データを見てから決めるのは禁忌。
2. 確認的研究なら FWER、 探索的研究なら FDR。 用途で使い分け、 選択理由を明記。
3. 補正前後の p 値、 効果量、 信頼区間を表で併記。 透明性こそ最大の防御。
4. 「補正後に有意でなくなった結果」 を 「効果なし」 と断定しない。 検出力との trade-off を意識する。
5. サブグループ解析・中間解析・複数指標評価でも多重比較は発生。 「隠れた多重比較」 にも常に注意。

多重比較を 「単なる p 値の機械的補正」 ではなく、 「データ分析の誠実さを守るための科学的態度」 として捉えられたとき、 あなたは現代統計学の本質に一歩近づいたことになります。 SSDSE-B-2026 で 47 都道府県を比較する際にも、 「何個のペアを検定するか、 なぜ補正するか」 を毎回意識する習慣をつけてください。 それが統計データ解析コンペで高評価を得る最短ルートであり、 また将来のデータサイエンティスト・研究者として最も信頼される姿勢です。

🎲 日常生活で多重比較を見抜く練習

多重比較問題は学術論文だけでなく、 ニュース・SNS・広告など日常情報にも頻繁に潜んでいます。 「多重比較レンズ」 を身につけて情報を読むと、 怪しい主張を自動的に検出できるようになります。

事例 1：「血液型と性格の関係」

血液型 4 種類 × 性格特性 16 種類 = 64 検定。 全て無関係でも α=0.05 なら平均 3.2 個が有意になる。 「血液型と慎重さに有意な関連」 と報じられても、 補正なしの 64 検定中の 1 つなら、 単なる偶然である可能性が極めて高い。

事例 2：「○○食品でガンリスクが下がる」

大規模疫学研究で 「100 種類の食品 × 20 種類のガン」 = 2000 検定すれば、 無補正で平均 100 個が有意になる。 「ブロッコリーで大腸ガンリスクが有意に減少」 が真の効果か偶然かを判断するには、 補正後 p 値か、 別研究での再現が必要。

事例 3：「占いの的中率」

占い師が 「100 の予言のうち 5 つが的中したから的中率 5%」 と言うが、 50/50 のコインフリップで予言しても平均 5 個は当たる。 「具体的にどの予言が事前に明示されていたか」 を確認しないと、 多重比較バイアスで的中が膨らんで見える。

💡 練習：日常で 「○○の効果が統計的に有意」 という主張を見たら、 (1) 検定数 m はどれくらいか？ (2) 補正法は明示されているか？ (3) 事前登録された仮説か？ の 3 点を自問する癖をつけましょう。 これだけでニュースや広告の信憑性判断が劇的に向上します。

事例 4：「健康診断の異常値多発」

健康診断で 30 項目の検査値を測定すると、 全部正常な人でも各項目の 95% 基準範囲（正常範囲）からはみ出る確率は約 $1 - 0.95^{30} \approx 0.785$ で 78.5%。 つまり健康な人の 8 割以上が 「どれか異常値」 を持つ。 これは典型的な多重比較問題で、 「異常値が 1 つあったから即病気」 と判断しない医師の慎重さは、 実は多重比較の知識に裏打ちされた賢明な態度です。

事例 5：「金融データのバックテスト」

投資戦略を 100 通り試して 1 つが過去データで好成績を出しても、 偶然の可能性が高い。 ファイナンス分野では 「データスヌーピング」 という名前で同じ問題が知られており、 White の reality check や Romano-Wolf 法など金融特化の多重比較補正が開発されています。 「過去にうまくいった戦略 = 将来もうまくいく」 と早合点しないのが鉄則。

これら 5 つの事例を通して、 多重比較は学術論文の専門技術ではなく、 「情報リテラシーの基礎」 として一般教養に組み込まれるべき概念だと分かります。 健康診断の異常値、 投資戦略のバックテスト、 占いの的中率、 医療研究の食品効果、 心理学の血液型診断 ―― これら全てに共通するのは 「複数の検定を行えば偶然による偽陽性が累積する」 という同じ統計的構造です。 この構造を理解した瞬間、 世の中の 「統計的に有意」 という主張のかなりの割合が再評価対象になることに気付くでしょう。 これこそが統計教育の核心であり、 多重比較を学ぶ最大の意義です。 一度この視点を獲得すれば、 ニュース・論文・広告・SNS のあらゆる場面で 「本当に意味のある情報」 と 「偶然のノイズ」 を区別できるようになります。 SSDSE-B-2026 を使ったコンペレポートでも、 「47 都道府県を比較する」 という当然の作業の中に多重比較問題が潜んでいることに気付き、 適切に対処することが評価の分岐点となります。 補正の選択 1 つで結論が真逆になりうるという緊張感を持ちながら、 「補正前 / 補正後 / 効果量 / 信頼区間」 を表で開示する誠実さこそが、 統計データ解析の真のプロフェッショナリズムです。 SSDSE-B-2026 は 47 県 × 多数の経済社会指標を含むため、 多重比較を意識せずに分析すると簡単に偽陽性の山ができてしまいます。 一方で、 事前に仮説を絞り込み、 補正法を明示する姿勢を貫けば、 同じデータから 「本当に意味のある発見」 を抽出できます。 本ページで紹介した Bonferroni / Holm / Tukey HSD / BH / Storey q の 5 手法を使い分けられるようになれば、 多重比較のほぼ全ての実務場面に対応できます。 何度も読み返して、 「補正は単なる p 値の調整ではなく、 研究の誠実さを守る科学的態度」 という本質を体に染み込ませてください。

📚 関連グループ教材

• 📚 仮説検定 — 基礎理論。
• 📚 分散分析と多重比較 — 多群比較の体系。
• 📚 実験計画 — 検定回数の事前設計。

📊 補正法の比較

📚 ケーススタディ：SSDSE で「どの地方の所得が違うか」

問 1. 47 都道府県の世帯所得は、 地方ブロックで違う?

まず全 8 地方で ANOVA を実行。 F 検定が有意なら「少なくとも 1 ペアに差がある」。 ここで止まらず、 ペア比較で どの 地方かを特定する流れ。

問 2. 何回の検定を行ったか?

$\binom{8}{2}=28$ ペア。 補正なしなら 5% × 28 ≒ 1.4 ペアが偶然有意になる期待。 これでは「関東 vs 東北の差は真か?」と聞かれて答えられない。

問 3. どの補正法を選ぶ?

確証目的（白書で「関東は東北より所得が高い」と報告する）なら Tukey HSD か Bonferroni。 探索目的（差がありそうなペアを次の研究に回す）なら BH。

問 4. 報告書にどう書く?

「8 地方ブロック間の比較を Tukey HSD（FWER=0.05）で実施。 関東は他の 6 ブロックすべてに対し有意に高所得（補正後 p < 0.01）。 他の地方間に有意差なし」 — このように、 手法・α・結果を明示する。

🎯 多重比較が活きる場面

① 臨床試験

薬剤の複数用量を比較。 Dunnett 検定で対照群と各用量を比較し、 FWER を 5% に保つ。

② ゲノミクス

数万遺伝子で差次発現。 BH 補正で FDR 5-10% を狙うのが標準。

③ A/B テスト

複数バリアントの効果比較。 Bonferroni か逐次検定で多重性を制御。

④ 政策評価

47 都道府県の政策効果比較。 SSDSE 系で「対照県 vs 介入県」を Dunnett 風に。

⑤ 機械学習モデル比較

CV スコアを複数モデルで比較。 Wilcoxon + BH 補正で「真に良いモデル」を選ぶ。

🪙 多重比較ミニ用語集

🧪 SSDSE 実行例：47 都道府県を 8 地方ブロックで多重比較

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

import pandas as pd

# '地方' はこのブロックで作る（直前の df には無い）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
def _blk(code):
    n = int(str(code).lstrip('R')) // 1000
    if n == 1: return '北海道'
    if n <= 7: return '東北'
    if n <= 14: return '関東'
    if n <= 23: return '中部'
    if n <= 30: return '近畿'
    if n <= 35: return '中国'
    if n <= 39: return '四国'
    return '九州'
df['地方'] = df['地域コード'].apply(_blk)
col = '消費支出（二人以上の世帯）'

import pandas as pd
import numpy as np
from itertools import combinations
from scipy.stats import ttest_ind
from statsmodels.stats.multitest import multipletests

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
df['地方'] = df['地域コード'].apply(_blk)   # 上で定義した関数を使う
col = '消費支出（二人以上の世帯）'

col = '消費支出（二人以上の世帯）'   # 世帯主収入の列は SSDSE-B-2026 に無い
groups = df.groupby('地方')[col].apply(list)
pairs  = list(combinations(groups.index, 2))
ps     = [ttest_ind(groups[a], groups[b], equal_var=False).pvalue for a,b in pairs]

bonf = multipletests(ps, alpha=0.05, method='bonferroni')
holm = multipletests(ps, alpha=0.05, method='holm')
bh   = multipletests(ps, alpha=0.05, method='fdr_bh')

out = pd.DataFrame({
    'pair': [f'{a}-{b}' for a,b in pairs],
    'p'   : ps,
    'bonf': bonf[0].astype(int),
    'holm': holm[0].astype(int),
    'bh'  : bh[0].astype(int),
}).sort_values('p')
print(out.head(15))

結果から、 検定数 28 でも Bonferroni と BH で残るペア数が異なることが分かります。 関東 vs 他のほとんどのブロックは堅実に有意、 隣接ブロック間は補正後に消えがちです。

⚡ 補正は検出力（パワー）を犠牲にする

補正は偽陽性を抑える代わりに、 真の差を見逃す確率（第 2 種過誤）を増やします。 検出力 = $1-\beta$ と多重補正のトレードオフを意識しましょう。

「真の差がある」シミュレーションで、 Bonferroni では 30% しか検出できなくても、 BH では 70% 検出できる、 というケースは珍しくない。 目的に応じた選択を。

📝 報告のテンプレート

論文・レポートで多重比較を報告する標準的な書き方の例（SSDSE-B 風）：

47 都道府県を 8 地方ブロックに分類し、 各ブロック間の世帯所得平均差を Welch の t 検定（両側）で 28 ペアについて比較した。 多重性の調整には Benjamini-Hochberg 法（FDR=0.05）を用いた。 補正前に p<0.05 となったペアは 6 組、 BH 補正後は 4 組（関東-東北、 関東-中国、 関東-四国、 関東-九州沖縄）であった。

この書き方で「検定回数」「補正法」「目標 α」「補正前後の結果」がすべて明記され、 査読・追試に耐える形になります。

📜 多重比較の歴史と背景

• 1930s：R. A. Fisher が ANOVA を確立。 多群比較の問題が顕在化。
• 1949：Tukey の HSD 検定が登場。 全ペア比較に特化。
• 1955：Dunnett 検定（対照群との比較）。
• 1979：Holm の step-down 法。 Bonferroni より高い検出力。
• 1995：Benjamini & Hochberg が FDR 概念と BH 法を提案。 ゲノミクス革命の前夜。
• 2000s：マイクロアレイ・GWAS で BH 法が爆発的普及。
• 2010s：再現性危機。 p-hacking 問題と多重比較が同時にクローズアップ。
• 現在：プレレジ・FDR 制御・効果量重視の流れ。

🧠 各補正法を数式で見る

Bonferroni：すべての $i$ について $p_i \le \alpha/m$ で棄却。 補正済み p 値は $\tilde p_i = \min(m\, p_i, 1)$。

Holm：昇順に並べた $p_{(1)} \le p_{(2)} \le \cdots$ に対し、 順に $p_{(i)} \le \alpha/(m-i+1)$ をチェック。 最初に通らなくなった瞬間以降を非棄却。

Benjamini-Hochberg：$p_{(i)} \le \frac{i}{m}\alpha$ となる最大 $i^*$ を見つけ、 $i \le i^*$ をすべて棄却。 補正済み p 値は $\tilde p_{(i)} = \min_{k\ge i} \frac{m}{k} p_{(k)}$。

Tukey HSD：スチューデント化範囲分布 $q$ に基づき、 群平均差を $\frac{|\bar X_a - \bar X_b|}{\sqrt{MSE/n}}$ で評価。 ANOVA の MSE を直接使う。

Dunnett：対照群との比較に最適化。 多変量正規分布のテーブルを使うため、 単純な Bonferroni より検出力が高い。

🚦 ANOVA → 多重比較の流れ

複数群（例：47 都道府県を 8 地方）の平均比較は、 まず ANOVA で「全体に差があるか?」を 1 つの検定で確認。 全体 F 検定が有意なら、 ペアワイズ多重比較で「どの ペアか?」に進むのが標準的な手順です。

1. ANOVA で全体差を検定（$\alpha=0.05$）
2. 有意なら post-hoc（Tukey HSD など）でペア比較
3. 非有意なら個別比較を行わない（保護法）
4. 群分散が等しくなければ Welch ANOVA + Games-Howell
5. 正規性が崩れていれば Kruskal-Wallis + Dunn's test (BH 補正)

この「2 段階手順」は FWER 制御を比較的緩く保ちつつ実用的。 SSDSE での地方比較ではこの流れが最も自然です。

📌 多重比較の実務ワークフロー

1. 研究計画段階で「事前に検定する仮説リスト」を作る
2. サンプル設計（事前パワー解析）— 各検定で十分なサンプルか
3. 探索 vs 確証を区別。 確証なら FWER、 探索なら FDR
4. $m$ を確定（実際に行った検定数すべて）
5. 適切な補正法を選択：Bonferroni / Holm / BH / Tukey / Dunnett
6. raw p 値と補正済み p 値を両方報告
7. 効果量（差・相関）も併記。 「有意」だけで判断しない
8. 結果の解釈：「FWER 5% で X が有意」と方法名も書く

📚 SSDSE-B-2026 で何が見えるか

SSDSE-B-2026 の人口当たり課税対象所得を 8 地方ブロックで比較した実際の結果（仮想例、 出典の正確な数値は実 CSV を参照）：

• 関東 vs 東北：補正前 $p<0.001$、 Bonferroni 後も有意。 効果量 Cohen d=1.8 と大きい。 明確な格差。
• 関東 vs 近畿：補正前 $p=0.02$、 Bonferroni 後 $p^*=0.56$ で非有意。 効果量 d=0.4 と中程度。 有意性ボーダー。
• 東北 vs 九州沖縄：補正前 $p=0.34$、 補正後も非有意。 効果量 d=0.1 と小さい。 差は実質的にない。
• 関東 vs 北海道：補正前 $p=0.04$、 Bonferroni 後 $p^*=1.0$、 BH 後 $p^*=0.10$。 探索的には有意候補。

このように補正法によって結論が変わる場合があり、 「どう報告するか」の判断が分析者の腕。 透明性のために 補正前・補正後の両方を表示 するのが良い実践。

🧬 大規模実験設計：ゲノム解析を例に

ゲノム解析では 1 万 〜 100 万の遺伝子を同時検定。 これは多重比較の 究極事例。 Bonferroni では何も見つからないので、 FDR ベースの BH 法 / Storey の $q$ 値が標準。

$q$ 値は「ある $p$ 値で有意とした場合、 真陰性に対する偽陽性の割合」の推定値。 BH 法と理論的に近い。 ゲノム文献で「FDR < 0.05 で有意」と書かれていれば、 $q$ 値が 0.05 以下の遺伝子を有意と判定したという意味。

統計データ解析コンペで 大量の特徴量を試す 場合も同じ発想。 SSDSE-B-2026 の各列について多数の予測モデルを試すなら、 BH 法で多重補正することで「再現可能な発見」を残せます。

📚 多重比較関連の英訳辞書（コンペ・論文執筆用）

英語論文を読むとき、 統計データ解析コンペの英文レポートを書くときに必要な対訳をまとめました。

🗺 概念マップ

[仮説検定] → [多重検定] → [補正法]
                                  ├─ FWER 制御
                                  │     ├─ Bonferroni
                                  │     ├─ Holm
                                  │     └─ Tukey HSD
                                  └─ FDR 制御
                                        ├─ Benjamini-Hochberg
                                        └─ Benjamini-Yekutieli

学習順序：仮説検定 → t/ANOVA → 多重比較 → 効果量 → ベイズ的代替手段。

🔎 deep-dive：多重比較を 4 つの視点で深掘る

ここから先は、 「多重比較問題」を 4 要素 narration（背景・仕組み・落とし穴・実務） で立体的に深掘りします。 SSDSE-B-2026 を題材に、 47 都道府県を 8 地方ブロックで比較するときに直面する 偽陽性インフレ を具体的に分析します。

① 背景 narration：「複数検定でなぜ問題が起こるか」

統計学の検定は「帰無仮説 $H_0$ のもとで稀な結果が観測されたら $H_0$ を棄却する」枠組み。 有意水準 $\alpha=0.05$ で 1 回検定すると、 真に $H_0$ が正しいときでも 5% の確率で「有意」になります。 これは 偽陽性率。 1 回ならまあ仕方ない、 と思えるかもしれません。 しかし「同じデータに対して 20 回検定」したらどうなるか？

独立した 20 回の検定で、 すべてが正しく「非有意」になる確率は $0.95^{20}\approx 0.358$。 1 つ以上で偽陽性が出る確率は $1-0.358=0.642$、 つまり 64%。 これが 多重比較問題。 SSDSE-B-2026 の 47 都道府県を 2 つずつ総当たり比較すると $\binom{47}{2}=1081$ 通り。 補正なしなら、 すべてが「実は同じ」でも 54 回ほど偽陽性が出る 計算になります。

この問題は古くから知られ、 1950 年代に Bonferroni、 1970 年代に Holm、 1995 年に Benjamini-Hochberg の FDR が提案されました。 統計データ解析コンペでも、 「都道府県別」「年齢階層別」「業種別」などで サブグループ比較 を行う場面は頻繁にあり、 多重比較補正は必須スキルです。

② 仕組み narration：FWER と FDR の違い

多重比較補正の指標は 2 つに大別されます。 FWER（family-wise error rate, 同時誤り率）：「複数の検定の中で 1 つでも偽陽性が出る確率」。 FDR（false discovery rate, 偽発見率）：「有意とした検定のうち偽陽性の割合の期待値」。 FWER は厳しく、 FDR は緩い。

Bonferroni 法：$m$ 個の検定で各 $p$ 値を $m$ 倍する（または $\alpha$ を $\alpha/m$ にする）。 シンプルで保守的。 FWER を $\alpha$ 以下に抑える。 検定数が多いと検出力が下がるのが欠点。

Holm 法：$p$ 値を昇順に並べ、 $i$ 番目を $(m-i+1)$ 倍。 Bonferroni より検出力が高く、 FWER も同等に制御。 ほとんど常に Bonferroni より優位。

Benjamini-Hochberg 法（BH 法、 FDR 制御）：$p$ 値昇順 $p_{(1)},\ldots,p_{(m)}$ に対し、 $p_{(i)}\le i\alpha/m$ を満たす最大の $i$ までを棄却。 FDR を $\alpha$ 以下に制御。 検定数が多くても検出力を保つ。 探索的研究（ゲノム解析・大規模 A/B テスト）で標準。

③ 落とし穴 narration：「補正しすぎ」と「補正不足」のジレンマ

多重比較補正には 「やりすぎ問題」 もあります。 検定数を多く数えると有意になる結果が消え、 「本当は効果があるのに見えなくなる」（第 II 種の誤り増加）。 探索段階で何百回も試した結果、 本来検出できたはずの効果まで 埋もれてしまう。

逆に 「数えない問題」：「最終的に報告した検定だけ補正」は誤り。 試したけど報告しなかった検定もカウントしないと、 暗黙の多重検定で偽陽性が膨らみます。 これが 「結果見て検定変更」（HARKing: Hypothesizing After Results are Known）の問題。

SSDSE-B-2026 で「47 都道府県すべてを総当たり比較」するなら $\binom{47}{2}=1081$ で補正。 「東京とそれ以外の全県」なら 46 回。 「8 地方ブロック総当たり」なら $\binom{8}{2}=28$。 事前に検定計画を決める ことで、 数えるべき検定数が確定します。 これが pre-registration（事前登録）の重要性。

④ 実務 narration：データ解析コンペでの活用

統計データ解析コンペで、 SSDSE-B-2026 を使って「地方ブロック間の平均所得に差があるか」を検定する場合：① ANOVA で全体差を検定、 ② 有意なら事後検定（Tukey HSD など）で どのペアに差があるか を特定、 ③ 多重比較補正を必ず明記、 ④ 効果量（Cohen の d など）も併記。 これが標準フロー。

研究分野によって慣習が違います：① 医学・薬学 は Bonferroni / Holm が主流、 偽陽性に厳しい（薬の効果を過大評価しないため）。 ② ゲノム科学 は BH 法、 数万遺伝子を同時検定するので FWER では何も検出できない。 ③ マーケティング は補正なしのことも、 ビジネス判断は仮説検定と別軸。 ④ 心理学 は近年 Bonferroni / Holm に厳格化。 「再現性危機」への反省から。

統計データ解析コンペでは、 探索的か確認的か を明示し、 探索的なら FDR、 確認的なら FWER という使い分けが審査員に好印象。 「すべての比較を補正なしで報告」は減点対象。 また「補正しない理由」を明記する場合も、 信頼区間や効果量で 不確実性の透明化 を必ず行います。

🗺 学習ロードマップ

1. Week 1：「直感で掴む」「数式を言葉で読み解く」を完読
2. Week 2：Python で 3 つの補正法を実装、 SSDSE-B-2026 で 8 ブロック比較
3. Week 3：ANOVA + Tukey HSD で別の指標も比較
4. Week 4：FDR（BH）でゲノム解析のシミュレーション
5. Week 5：事前登録の必要性を学び、 自分の研究計画書を書く

📔 多重比較マイクロ用語集

🎯 ページ全体の最終要点

1. 多重比較問題は 「複数回検定すると偽陽性が増える」 統計的事実。
2. SSDSE-B-2026 で 8 地方ブロック比較なら 28 ペア、 47 県総当たりなら 1081 ペアと検定数が急増。
3. FWER 制御は Bonferroni / Holm / Tukey HSD、 FDR 制御は BH 法。
4. 確認的研究なら FWER、 探索的研究なら FDR。 用途で使い分ける。
5. 事前登録・効果量併記・補正前後の透明性が現代の標準実践。
6. 統計データ解析コンペでは 必ず補正を明記。 補正なしの大量比較は減点対象。

🔗 隣接手法への橋渡し

「多重比較」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。

• 上流: 仮説検定・分散分析
• 並列: Bonferroni 補正・Holm 法・Benjamini-Hochberg
• 下流: FDR 制御・メタ分析

47 都道府県を 2 つずつ比較すると C(47,2)=1081 回検定になり、 α=0.05 で 54 件の偽陽性が期待される。 ANOVA で全体差を検出 → Tukey HSD で事後比較、 という段階的アプローチが SSDSE-B-2026 に適している。

🌳 手法選択フロー

多重比較の補正方法は「検定数」と「偽陽性をどこまで許すか」で選ぶ。

1. 検定数 ≤ 20 Bonferroni で十分。 保守的だが手軽で誰でも検証できる
2. 検定数 > 100 SSDSE-B-2026 の全変数ペア相関 (C(16,2)=120) などは Benjamini-Hochberg で FDR 制御
3. ANOVA の事後比較 Tukey HSD が標準。 群サイズ不均衡なら Games-Howell

探索的解析では補正せず「探索結果」と明示し、 確認研究で再現性を取る二段構えにする。

🧭 深掘り追記 ― 直感・落とし穴・発展を一気通貫で

このセクションは既存の解説を壊さずに、 「なぜ補正が要るのか（直感）」「どこで事故るか（落とし穴）」「次に何を学ぶか（発展）」 を一本の流れで再整理する追記です。 例示には SSDSE-B-2026 の 2023 年・47 都道府県を使い、 これまでの「群平均の総当たり比較」とは別角度の 相関行列の多重検定で実測値を示します。

🎨 直感 ― 「20 回引けば 1 回は当たる」くじ

検定 1 回の偽陽性確率が 有意水準 $\alpha=0.05$ とは、 帰無仮説が真（本当は差がない）でも 20 回に 1 回は「当たり（有意）」が出るくじだ、 ということです。 だから検定を繰り返すほど、 中身が全部ハズレでも「どれか 1 本は当たる」確率が上がっていく。 独立なら「1 本も当たらない」確率は $0.95^m$ なので、 少なくとも 1 本当たる確率（＝第 1 種過誤の家族単位版、 FWER）は $1-0.95^m$。 $m=20$ で $0.64$、 $m=28$ で $0.76$、 $m=100$ で $0.99$。 「偽陽性が 1 本でも紛れる確率」を抑えるのが FWER 制御（Bonferroni / Holm / Tukey HSD）、 「当たりと呼んだ束の中の偽陽性割合」を抑えるのが FDR 制御（BH 法）です。 前者は「1 個の間違いも許さない」確認的な場面、 後者は「発見の一定割合が偽でも次で確かめる」探索的な場面の発想。

🧮 実測 ― SSDSE-B-2026 の相関行列で 28 検定を補正する

2023 年・47 都道府県について、 都道府県横断で意味の異なる 8 指標（合計特殊出生率、 老年人口割合＝65 歳以上人口/総人口、 年平均気温、 年間降水量、 住宅地価格〔標準価格〕、 消費支出〔二人以上の世帯〕、 食料費〔同〕、 教育費〔同〕）の全ペアで ピアソン相関を検定しました。 検定数は $\binom{8}{2}=28$、 Bonferroni 閾値は $\alpha/28\approx0.00179$ です。 これは合成ではなく CSV からの実測値です。

💬 読み方：未補正では 19 組が有意ですが、 期待される偽陽性は $28\times0.05=1.4$ 組。 FWER 制御（Bonferroni・Holm）で 15 組まで絞られ、 生では有意なのに補正で消える境界の 4 組が炙り出されます —— 「老年人口割合×消費支出（$r=-0.31$, $p=0.036$）」「年平均気温×年間降水量（$r=+0.37$, $p=0.0095$）」「年間降水量×消費支出（$r=-0.30$, $p=0.042$）」「住宅地価格×消費支出（$r=+0.31$, $p=0.034$）」。 一方 BH は 16 組で、 ここでも Bonferroni より 1 組多いだけ。 小さな $p$ 値が密集していれば BH が大きく上乗せしますが、 このように $p$ がなだらかに分布すると差は僅かです（この一般則は本ページ上部の 📝 補足で詳述済み）。 相関行列の検定では「同じ変数を共有するペア同士が相関する」ため独立仮定が崩れ、 Bonferroni は理論上やや過保守になる点にも留意してください。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import pandas as pd, numpy as np
from scipy.stats import pearsonr
from statsmodels.stats.multitest import multipletests
from itertools import combinations

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df.iloc[:, 0] == 2023].copy()          # 2023年・47都道府県
df['老年割合'] = df['A1303'] / df['A1101']       # 65歳以上人口 / 総人口
codes = {'TFR':'A4103','老年割合':'老年割合','気温':'B4101','降水量':'B4109',
         '住宅地価格':'C5401','消費支出':'L3221','食料費':'L322101','教育費':'L322108'}
S = {k: pd.to_numeric(df[c], errors='coerce') for k, c in codes.items()}

pvals = []
for a, b in combinations(S, 2):
    m = S[a].notna() & S[b].notna()
    pvals.append(pearsonr(S[a][m], S[b][m])[1])

print('m =', len(pvals), '  raw sig =', sum(p < 0.05 for p in pvals))
for method in ['bonferroni', 'holm', 'fdr_bh']:
    rej, _, _, _ = multipletests(pvals, alpha=0.05, method=method)
    print(f'{method:>10}: {rej.sum()} 組')
# m = 28   raw sig = 19
# bonferroni: 15 組 / holm: 15 組 / fdr_bh: 16 組

⚠️ 落とし穴（重要）― ここで事故が起きる

• 補正しないと偽陽性が氾濫：上の実測どおり 28 検定で生 19 組は多すぎ。 「有意な相関が 19 個も！」と書いた瞬間に、 その大半が偶然かどうか読み手には判別できません。
• Bonferroni は保守的（検出力が落ちる）：最悪ケース（Boole 不等式）で閾値を決めるため、 真の効果を見逃す第 2 種過誤が増える。 まず Holm を既定にすれば同じ FWER 保証でより多く拾えます。
• 独立性の仮定：Bonferroni は検定間の相関を無視。 相関行列や「同じ群を共有するペア比較」では過保守になりやすく、 順列（並べ替え）検定＋maxT のように同時分布を直接使う方が鋭い。
• 検定数 $m$ は事前に決める：「試したが報告しなかった検定」も $m$ に数える。 データを見てから対象を絞る（garden of forking paths / 再現性危機の温床）と実質 FWER が膨張します。
• 部分空間探索＝p-hacking：有意になるサブグループ・変数・補正法を後から選ぶのは禁忌。 対策は事前登録と「探索的／確認的の区別」。
• 補正後も効果量を見る：$p$ 値だけでなく相関係数 $r$ や 効果量・信頼区間を併記。 「補正後に有意」でも $r=0.3$ 前後なら実質的な強さは中程度です。
• FWER と FDR の使い分け：制御対象の選択は技術ではなく研究目的の選択。 政策提言・確認は FWER、 スクリーニング・仮説生成は FDR。

🚀 発展 ― 次に学ぶべき道具立て

同じ「多重比較」でも、 制御対象と設計で最適手法が変わります。 学ぶ順序の目安：

• FWER 系：Bonferroni（最も単純・保守的）→ Holm（段階降下で一様に優越、 迷ったらこれ）。 ANOVA後の全ペア比較は Tukey HSD（スチューデント化範囲分布でペア間相関を織り込む）。
• FDR 系：Benjamini-Hochberg（探索・大規模検定の標準）と、 真の帰無割合 $\pi_0$ を推定して検出力を上げる Storey の $q$ 値。
• 再標本化：順列検定＋maxT / Westfall-Young。 検定間の依存構造を仮定せず同時分布から補正でき、 相関の強い設計で鋭い。
• 設計・運用：事前登録で検定計画を固定し、 探索的 vs 確証的を明示。 補正は検出力を保険料として払うトレードオフだと理解する（膨張の数値実験は多重検定ページ）。

関連ページ：仮説検定 / p 値 / t 検定 / 分散分析 / FDR / 検出力 / 効果量 / 順列検定 / 事前登録 / 第 1 種過誤 / 偽陽性 / 相関 / 多重検定