🔖 キーワード索引

「ab test」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「ab test」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「ab test の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

Web サイトのボタンの色を「青」と「赤」のどちらにすべきか悩んだとします。 「青の方が冷静で信頼感がある」「赤の方が目立つ」── 議論しても結論は出ません。 だったらユーザーに決めてもらいましょう。 訪問者の半分にはランダムに青を、 残り半分には赤を見せて、 クリック率を測定します。 ランダム割当ですから 2 群の年齢・性別・興味は確率的に等しくなり、 「青と赤」以外の差は平均してゼロ。 残ったクリック率の差は「色のせい」と 因果推論 できます ── これが A/B テスト。

医学の ランダム化対照試験 (RCT) と本質は同じです。 患者を新薬・偽薬にランダム割当し、 治癒率を比較する。 「観察データ (誰がどの薬を選んだか) では選択バイアスが入る」── この欠点をランダム化で解消したのが RCT/A/B テストです。

ポイントは 「ランダム化」「事前に終了条件を決める」「効果量と CI を必ず併記」 の 3 点。 これを守らないと、 単なる p ハッキング (有意な結果を引き出す悪手) に堕します。

🎮 触って理解する

スライダーを動かして、 A 群 (対照) と B 群 (処置) のコンバージョン率、 および各群のサンプルサイズ n を変えてみましょう。 2 標本比率の差の検定 (プールした Z 統計量、 χ² は Z² に一致) の統計量・両側 p 値・効果量の 95% 信頼区間がリアルタイムで再計算され、 下の図に反映されます。 サンプルサイズを増やすと、 ほんの小さな差でも「有意」になっていく様子を体感してください。 図の上を左右にドラッグ／スワイプしても n を変えられます。

この図から読み取れること (直感)

• n を増やすと、 上図の信頼区間のヒゲが縮み、 やがて 2 群のヒゲが重ならなくなる。 これは標準誤差 $\propto 1/\sqrt{n}$ が小さくなるため。 下図では $|Z|$ が大きくなり、 赤い p 値の面積が $\pm 1.96$ の外へ抜けて有意になる。
• 「差なし」プリセットでは、 n をいくら増やしても $Z\approx 0$・$p\approx 1$ のまま。 真の差が 0 なら、 標本を無限に集めても有意にはならない (これが正しい挙動)。
• 必要 n は「その差を検出力 80% で捉えるのに各群何人要るか」の目安。 差 $\delta$ が小さいほど $1/\delta^2$ で激増する ── これが「小さな改善の検証には巨大サンプルが要る」理由。 詳しくは検出力分析・サンプルサイズを参照。

⚠️ この体験に潜む落とし穴

🚀 発展：この先の世界

• ベイズ A/B：p 値ではなく事後分布から「B が A より良い確率」や「期待損失」を直接返す。 途中で見ても解釈が壊れにくく、 ビジネス意思決定と相性が良い。 基礎はベイズの定理。
• 逐次検定 (Sequential Testing)：always-valid な p 値・信頼区間を使い、 覗き見しても偽陽性を制御できる (mSPRT など)。 上の「覗き見」問題への現代的な解。
• χ² との関係：2×2 分割表 (群 × CV有無) の独立性検定であるカイ二乗検定の統計量は、 本ページの Z を 2 乗した値 (df=1) に一致する。 上のカードで両者が常に $\chi^2 = Z^2$ となっているのを確かめてほしい。

📐 定義・数式

B 群の標本比率から A 群の標本比率を引いた値 $\hat{\Delta}$ が推定効果。 これを「両群を合わせた標本比率 $\hat{p}$ を用いた共通分散」の標準誤差で割った Z 統計量を標準正規分布で評価します。 $|Z| > 1.96$ なら $p < 0.05$ で有意。

検出したい効果量 $\delta$ (2 群の比率差)、 有意水準 $\alpha$、 検出力 $1-\beta$ から必要 $n$ (各群のサンプルサイズ) を逆算します。 $\bar{p}$ は両群共通に想定するベースライン比率、 $z_{1-\alpha/2}, z_{1-\beta}$ は標準正規分布の分位点 (例：$\alpha=0.05$ で $z_{0.975}=1.96$、 検出力 80% で $z_{0.8}=0.84$)。 効果が小さいと、 必要 $n$ は急増します ($\delta$ の 2 乗の逆数)。

95% CI が 0 をまたぐかどうかが、 5% 有意水準と等価。 p 値だけでなく CI を必ず報告するのが現代的作法です。

🔬 数式を言葉で読み解く

数式に出てくる記号の意味を 1 つずつ確認しましょう。 数式は記号の羅列に見えますが、 各記号は「ある量」「ある操作」「ある関係」を表す名札にすぎません。

A 群 (対照, Control)

現行版。 ベースライン。 比較の基準。 「もし何も変えなかったら」を体現する群。

B 群 (処置, Treatment)

新バージョン。 介入を加えた群。 「もし介入したら」を体現する群。

$x_A, x_B$

各群の成功件数 (例：クリック数、 購入件数)。

$n_A, n_B$

各群のサンプルサイズ。 通常 50:50 だが、 段階展開時は 10:90 などにすることも。

$\hat{p}_A, \hat{p}_B$

各群の標本比率 (例：クリック率)。 母比率 $p_A, p_B$ の推定量。

$\hat{\Delta}$

推定された処置効果 (リフト, lift)。 絶対値で報告するか、 相対値 $\hat{\Delta}/\hat{p}_A$ で報告するかは目的次第。

$Z$

標準化された検定統計量。 帰無仮説の下で標準正規分布に従う。

p 値

「効果が無い (帰無仮説) と仮定したとき、 今回以上に極端な差が偶然出る確率」。 通常 $< 0.05$ で有意。

$\alpha, \beta$

$\alpha$ は有意水準 (第一種の過誤の確率)、 $\beta$ は第二種過誤確率。 $1-\beta$ が検出力 (Power)。

数式全体を日本語で言い換える

🧮 SSDSE-B-2026 で計算してみる

SSDSE-B-2026 (2023 年, 47 都道府県) を「仮想 A/B テスト」に見立てます。 47 都道府県を「総人口 (A1101) 100 万人以上の県 (A 群)」と「100 万人未満の県 (B 群)」に分け、 「着工新設住宅戸数 H1800 を人口で割った『1000 人あたり新設住宅戸数』が全国平均 (5.56 戸) を超えるかどうか」を成功 / 失敗の二値結果として、 群間で比率差が有意かを A/B テスト風に検定します。 観察データなのでランダム化されていない点に注意。

SSDSE-B-2026 を「A/B テスト風に解析」した実例: A1101 (総人口) で群分け → H1800 (新設住宅戸数) を 1000 人あたりに正規化 → 全国平均超えを成功と定義 → 比率差検定 → $|z|=2.35$, $p=0.019$ で有意差あり。 重要なのは、 「観察データの群間差を A/B テスト風に検定しても、 因果は主張できない」という点。 因果を言うには、 ランダム化された介入実験 (例: 県知事を抽選し新規建築許可枠を割り当てる) が必要。

🧮 数式に値を入れて手で計算する

上の「群分け→成功率→z→p 値」の数値を、 SSDSE-B-2026 (2023 年・47 都道府県) の A 群 $n_A=37$ / $x_A=19$、 B 群 $n_B=10$ / $x_B=1$ をそのまま比率の差検定の数式に代入し、 Step 1〜5 で手計算を展開する。 合成データは使わず、 上のセクションと同一の実値で連動させる。 同じ計算を Python で再現し、 結果が完全一致することを確認する。

📐 比率の差検定 (再掲)

$$ z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}}, \quad \hat{p} = \frac{x_1 + x_2}{n_1 + n_2} $$

Step 1: データ準備 (SSDSE-B-2026, 2023 年 47 県を A1101 で群分け)

Step 2: プール比率 $\hat{p}$

Step 3: 標準誤差 SE

Step 4: 検定統計量 $z$

Step 5: 両側 p 値と結論

🐍 同じ計算を Python で再現

🎯 このコードでやること: SSDSE-B-2026 を読み込んで A1101 (総人口) で 100 万人閾値に群分けし、 H1800/A1101×1000 が全国平均 5.56 を超える県の比率を A / B 群で集計、 比率の差検定で z と両側 p 値を出す (上の Step 1〜5 と完全に同じ値)。

📥 入力データ (SSDSE-B-2026, 2023 年, 47 県): 列 A1101 (総人口) と H1800 (新設住宅戸数) を使う。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

import math
import pandas as pd
from scipy import stats

# Step 1: SSDSE-B-2026 を読み込み、2023 年 47 県を A1101 で群分け
df = pd.read_csv("data/raw/SSDSE-B-2026.csv", encoding="cp932", skiprows=[1])
df = df[df["SSDSE-B-2026"] == 2023].copy()  # 先頭列(年度)の実列名は "SSDSE-B-2026"
df["rate"] = df["H1800"] / df["A1101"] * 1000  # 1000 人あたり新設住宅戸数
nationwide_mean = 5.56  # 全国平均 (記事本文と一致)
df["success"] = (df["rate"] > nationwide_mean).astype(int)
A = df[df["A1101"] >= 1_000_000]
B = df[df["A1101"] <  1_000_000]
n1, n2 = len(A), len(B)            # 37, 10
x1, x2 = int(A["success"].sum()), int(B["success"].sum())  # 19, 1
p1, p2 = x1 / n1, x2 / n2

# Step 2: プール比率
p_pool = (x1 + x2) / (n1 + n2)

# Step 3: 標準誤差
se = math.sqrt(p_pool * (1 - p_pool) * (1/n1 + 1/n2))

# Step 4: z 値 (A − B、 数式の符号規約)
z = (p1 - p2) / se

# Step 5: 両側 p 値
pval = 2 * (1 - stats.norm.cdf(abs(z)))

print(f"n_A={n1}, x_A={x1}, p_A={p1:.6f}")
print(f"n_B={n2}, x_B={x2}, p_B={p2:.6f}")
print(f"p_pool={p_pool:.6f}, SE={se:.6f}, z={z:.6f}, two-sided p={pval:.6f}")

📤 実行結果

💬 手計算 (Step 2〜5) と Python 出力が完全一致 (p_pool=0.425532, SE=0.176217, $|z|$=2.346619, p=0.018945)。 上の章 7 前半 ($|z|\approx 2.35$, $p\approx 0.019$) とも値が一致。 $p < 0.05$ より「人口 100 万以上の県と未満の県の『1000 人あたり新設住宅戸数が全国平均超え』比率には有意差あり」と判定。 ただし観察データなので因果は主張できない (人口規模に相関する経済要因が真因の可能性)。

🐍 Python 実装

SSDSE-B-2026 のような実データに対して、 まずはコピペで動かしてみるのが理解の早道です。 各コードブロックには 🎯 目的 / 📥 入力 / 📤 出力 / 💬 ヒント の 4 要素ナレーションを付け、 「何のために書いた行か」を見失わないようにしています。

① 最小の A/B テスト：proportions_ztest

statsmodels の関数で 2 標本比率検定を行います。 SSDSE データに依存しない最小例。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

from statsmodels.stats.proportion import proportions_ztest
import numpy as np

# A 群: 10000 人中 200 クリック / B 群: 10000 人中 250 クリック
successes = np.array([200, 250])
trials    = np.array([10000, 10000])

z, p = proportions_ztest(successes, trials)
print(f'Z統計量 = {z:.3f}')
print(f'p値    = {p:.4f}')

# 効果量と95%信頼区間
p_A, p_B = successes / trials
delta = p_B - p_A
se = (p_A*(1-p_A)/trials[0] + p_B*(1-p_B)/trials[1])**0.5
ci_lo, ci_hi = delta - 1.96*se, delta + 1.96*se
print(f'効果量 Δ = {delta:.4f}  95%CI=[{ci_lo:.4f}, {ci_hi:.4f}]')

出力例：Z統計量 ≈ -2.38, p値 ≈ 0.0171。 B 群のクリック率が A より統計的有意に高い (p < 0.05) ことが分かります。 符号は引数の順序に依存する点に注意 (ここでは第 1 引数が A 群なので、 Z が負 = B 群優位)。

② SSDSE-B-2026 を読み込み、 群分け A/B 風検定

実際の都道府県データを 2 群に分け、 ある指標の群間差を検定します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

import pandas as pd
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()  # 先頭列(年度)で2023年 47県に絞る

# A1101 = 総人口、 B4101 = 平均気温(いずれも SSDSE-B-2026 実在列)
median_pop = df['A1101'].median()
A = df[df['A1101'] >= median_pop]  # 人口大の県
B = df[df['A1101'] <  median_pop]  # 人口小の県

target = 'B4101'  # SSDSE実在の指標列名に置換可
tstat, pval = stats.ttest_ind(A[target], B[target], equal_var=False)
print(f'A群 平均 = {A[target].mean():.2f}, nA = {len(A)}')
print(f'B群 平均 = {B[target].mean():.2f}, nB = {len(B)}')
print(f't = {tstat:.3f}, p = {pval:.4f}')

Welch の t 検定 (equal_var=False) を採用。 等分散仮定が成立しない実データでロバストに動きます。 観察データなので、 有意差が出ても「人口規模と相関する別要因」が原因の可能性が高い点に留意。

③ サンプルサイズ設計 (Power Analysis)

A/B テストを始める前に、 「効果量 1%、 検出力 80%、 有意水準 5%」で必要な n を逆算します。

1
2
3
4
5
6
7
8
9
10
11

from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize

p1 = 0.02   # 現行クリック率 2%
p2 = 0.025  # 期待クリック率 2.5% (絶対0.5pt改善)
h = proportion_effectsize(p2, p1)  # Cohen's h

analysis = NormalIndPower()
n = analysis.solve_power(effect_size=h, alpha=0.05, power=0.8, alternative='two-sided')
print(f'各群必要 n = {int(n):,}人')
print(f'両群合計  = {int(n)*2:,}人')

実行例：各群 約13,800人、 合計 約27,500人。 小さい効果を確実に検出するには、 膨大なトラフィックが必要だと分かります。 これが「A/B テストは大企業の独擅場」と言われる所以。

④ 多腕バンディット (Multi-Armed Bandit) で適応的に切替

固定 A/B ではなく、 効果が高い腕に動的にトラフィックを振る Thompson Sampling の例。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

import numpy as np

true_ctr = [0.020, 0.025]  # 2腕の真のクリック率
alpha = np.ones(2); beta = np.ones(2)
n_iter = 20000

for t in range(n_iter):
    # Thompson Sampling: 事後ベータ分布からサンプル
    theta = [np.random.beta(alpha[k], beta[k]) for k in range(2)]
    arm = int(np.argmax(theta))
    reward = np.random.binomial(1, true_ctr[arm])
    alpha[arm] += reward
    beta[arm]  += (1 - reward)

for k in range(2):
    mean = alpha[k] / (alpha[k]+beta[k])
    print(f'腕{k}: 推定CTR={mean:.4f}, 試行={int(alpha[k]+beta[k]-2):,}')

結果：勝者の腕により多く流入が寄せられるため、 機会損失 (regret) が固定 A/B より小さくなります。 ただし因果効果の点推定としては A/B 固定の方が分散が小さい。 目的次第で使い分け。

⑤ CUPED：事前データで分散削減

事前期間 (Pre-period) の同指標を共変量として使い、 結果指標の分散を減らす Microsoft 発の手法。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

import numpy as np
from scipy import stats

# シミュレーション: 事前期間と本実験で相関のあるユーザーレベル指標
rng = np.random.default_rng(42)
n = 5000
X = rng.normal(100, 20, n)              # 事前期間の指標
treat = rng.binomial(1, 0.5, n)
Y = X*0.8 + treat*2 + rng.normal(0, 10, n)  # 本実験指標

# CUPED 変換: Y* = Y - theta*(X - mean(X))
theta = np.cov(Y, X, bias=True)[0,1] / np.var(X)
Y_adj = Y - theta * (X - X.mean())

# Raw vs CUPED の t 検定
t_raw, p_raw = stats.ttest_ind(Y[treat==1], Y[treat==0])
t_cup, p_cup = stats.ttest_ind(Y_adj[treat==1], Y_adj[treat==0])
print(f'Raw   t={t_raw:.2f}, p={p_raw:.5f}')
print(f'CUPED t={t_cup:.2f}, p={p_cup:.5f}')

CUPED 後の t 値は Raw より大きくなり、 p 値が小さくなることが多い (同じ真の効果で検出力↑)。 X と Y が無相関なら効果なし。 Microsoft Bing で標準採用、 Booking.com 等も導入。

⚠️ よくある落とし穴

A/B テストで陥りがちな失敗パターン。 「Peeking（途中で何度も検定して有意になった瞬間に止める）」「サンプルサイズ計算をせず勘で止める」「SUTVA 違反（ユーザー間で介入が干渉する）」「複数指標を同時検定して補正を忘れる」「Novelty Effect の無視」など、 Web 計測・グロース現場ではほぼ全員が一度はハマる落とし穴です。

📝 補足：本文が触れていない3つの落とし穴 — シンプソンのパラドックス・外部妥当性・生存者バイアス

上の「⚠️ よくある落とし穴」(覗き見・SRM・SUTVA・多重検定・ノベルティ …) は検定を回す段階の罠だった。 ここでは角度を変え、 群を合算・分割する段階と結果を別の場面へ外挿する段階で起きる、 見落としやすい罠を3つ補う。

📝 補足：連続指標の平均差検定と分散削減 — 必要 n・層別・CUPED・異質処置効果

本文の「🧮 SSDSE-B-2026 で計算してみる」は、 指標を「全国平均を超えたか」の二値に潰して比率差検定した。 だが二値化は情報を捨て、 検出力を下げる。 ここでは同じ SSDSE-B-2026（2023 年・47 都道府県、 encoding='cp932' ／ skiprows=[1]）の 1000 人あたり新設住宅戸数（H1800 / A1101 × 1000）を連続量のまま、 2 群の平均差検定にかける（すべて実測値）。 群分けは本文と同じ A1101（総人口 100 万人）閾値。

連続指標の 2 標本平均差検定（Welch）

平均差 $\bar{x}_A - \bar{x}_B = +0.979$ 戸。 Welch の t 検定で $t = 2.84,\ p = 0.011$、 分散を等しいと仮定したプール t でも $t = 2.45,\ p = 0.018$（本文の比率差検定 $|z|=2.35,\ p=0.019$ と符号・結論が一致）。 二値化せず連続量を使うと p 値が 0.019 → 0.011 に下がり検出力が上がるのが読み取れる（情報を捨てないため）。 効果量 Cohen's $d = (\bar{x}_A-\bar{x}_B)/s_{\text{pooled}} = 0.979/1.122 = 0.87$（大きな効果）。

必要サンプルサイズ（この効果量を検出力 80% で捉えるには）

連続量の平均差検定の必要 $n$（1 群あたり、 両側 $\alpha=0.05$・検出力 $1-\beta=0.80$）は $ n \approx 2\,(z_{1-\alpha/2}+z_{1-\beta})^2 / d^2 = 2\,(1.96+0.84)^2 / 0.87^2 \approx \mathbf{21}$ 人／群。 効果量が $d=0.87$ と大きいので、 わずか 21 県ぶんで足りる計算（実測は 37 対 10 なので十分検出できていた）。 🎮 ウィジェットの「必要 n = 8,600／群」は比率差 1pt という微小効果を狙う設定だったのに対し、 ここは大きな効果なので必要 n が桁違いに小さい ── 必要 n は効果量の 2 乗に反比例することの実測的な裏付けになる。 詳細は検出力分析・サンプルサイズ・効果量を参照。

層別による交絡の可視化（シンプソンの実測チェック）

補足1のシンプソンのパラドックスを実測で確かめる。 高齢化率（A1303 / A1101、 中央値 0.318）で 2 層に分け、 各層で大県 vs 小県を比較した（実測値）：

今回は符号は逆転しなかった（両層とも大県が上）が、 小県 10 県のうち 8 県が高齢層に偏っていることが分かる。 つまり「小県ほど高齢」で、 高齢の県は新設住宅戸数が少ない ── 交絡が明瞭に効いており、 全体差 +0.98 のうち一部は「小県が高齢な県に偏る」せいだ。 層別（stratification）で交絡を調整すると効果はより正確に読める。 割当がランダムなら層別は不要だが、 観察データ（今回）や割当が偏った実験では必須の作法。

🌐 関連手法・派生

この用語を理解したら、 自然と気になる発展トピック・派生手法を紹介します。

🔗 関連用語 (前提・並列・発展)

この用語と直接結びつく前提・並列・発展用語を、 前提 (まず押さえるべき基礎)・並列 (同カテゴリの兄弟概念)・発展 (上位概念・派生手法) の 3 区分で整理する。 学習順序の参考にどうぞ。

📥 前提となる基礎用語 (これを知らないと A/B テストは理解できない)

🌿 並列の概念 (同じカテゴリ・兄弟手法)

🚀 発展的な上位概念・派生手法 (A/B テストの先にある世界)

🏭 産業事例 6 連発

教科書的な定義だけでは、 実務でどう使うか想像しにくいものです。 ここでは異なる業界・現場で A/Bテスト が活躍する 6 ケースを取り上げます。

🔍 近接概念との比較表

同じ 仮説検定 カテゴリにある近接概念と、 A/Bテスト はどう違うのか？ 混同しがちなポイントを整理します。

📌 使い分けの原則： まずは本ページの定義を押さえ、 次に「🌐 関連手法・派生」「🔗 関連用語」のリンクから近接概念を確認し、 自分の問題に対してどれを使うか意識的に選ぶことを習慣にしてください。

📝 演習問題 5 問

「読んで分かった」と「自分で説明できる」は別物です。 以下の 5 問を、 まず自分の頭で考えてから解答例を開いてください。

💥 実際にあった失敗例

「成功事例」より「失敗事例」の方が、 実は学びが深いことが多いです。 ここでは公開されている事例や、 著者が見聞きしたよくあるパターンを、 教訓とともに 3 つ紹介します。

📕 用語辞典 (本ページ頻出 10 語)

本ページで頻出する周辺用語を、 1 行解説でまとめました。 用語の詳細は 用語集トップ から個別ページへ。

帰無仮説 (Null Hypothesis)

「効果なし」を表す仮説。 A/B テストではこれを棄却することで「効果あり」と結論。 棄却できない場合は「分からない」であり、 「効果なし」とは言えない。

対立仮説 (Alternative)

帰無仮説の否定。 通常「効果あり」または「B が A を上回る」。

有意水準 (α)

偽陽性を許す確率。 通常 0.05。 厳しくしたいなら 0.01。

検出力 (Power, 1-β)

真に効果があるとき、 それを正しく有意と判定する確率。 通常 0.8 が目標。

効果量 (Effect Size)

差の絶対値 (Cohen's d, h, リスク差など)。 p 値とは独立に解釈すべき。

信頼区間 (CI)

パラメータの推定不確実性を示す区間。 95% CI が 0 をまたぐ ⇔ p ≥ 0.05。

MDE (最小実務効果量)

「これ以下なら展開しない」と事前に決める閾値。 サンプルサイズ算出の入力に。

SUTVA

Stable Unit Treatment Value Assumption。 各ユニットの結果が他ユニットの介入に依存しない、 という仮定。

SRM

Sample Ratio Mismatch。 想定割当比率と実測比率のズレ。 χ² 検定で監視。

多腕バンディット

効果の高い腕にトラフィックを動的に寄せる適応的 A/B。 機会損失を最小化。

📜 歴史的背景と学習の位置づけ

A/Bテスト は 仮説検定 と 実験計画法 の交差点で発展してきた概念です。 起源は 1920 年代の Ronald Fisher による農業実験 (Rothamsted) と、 同時期に Neyman-Pearson 学派が築いた仮説検定の枠組み。 医学では 1948 年の MRC ストレプトマイシン試験が世界初の本格 RCT として知られます。

なぜこの概念が生まれたか

「観察データから因果を推論する」のは原理的に困難 (交絡変数の隠れた影響を排除できない)。 そこで、 介入そのものを実験者が制御する ことで、 介入と結果の因果関係を立証する手法が必要になりました。 これがランダム化対照試験 (RCT) の理論的動機です。

2000 年代以降、 Web 業界がこの理論を「Web の世界では実験を低コストで大量に回せる」と気づき、 Google, Amazon, Microsoft が組織的に A/B テスト基盤を構築 (年間数万件以上)。 Kohavi, Tang, Xu (2020) Trustworthy Online Controlled Experiments が現代の決定版テキストです。

学習の位置づけ

• 初学者：「ランダム割当 → 比較 → 検定 → 効果量 + CI」の流れを暗唱できる状態を目指す。
• 中級者：サンプルサイズ設計 (Power Analysis)、 SRM チェック、 多重検定補正を自分で実装できる。
• 上級者：CUPED, 多腕バンディット, スイッチバック, ベイジアン A/B を場面に応じて使い分け、 SUTVA 違反や spillover を検知できる。

❓ よくある質問 (FAQ)

本サイトの教材を読み進めるなかで、 受講者からよく質問される項目をまとめました。

✅ 実務チェックリスト

分析作業のなかで A/Bテスト を使うときは、 以下のチェックリストを上から順に確認してください。 抜けがあると後工程で痛い目に遭います。

① 設計フェーズ

• □ 目的を 1 文で書ける (KPI と最小実務効果量 MDE を明示)
• □ ランダム化単位 (ユーザー/セッション/クラスタ) を決定
• □ サンプルサイズと期間を Power Analysis で算出
• □ 主指標 1 つ、 副指標 2-3 つに絞る (多重検定回避)
• □ 終了条件 (n 到達 or 期間到来) を事前固定

② 実装フェーズ

• □ 割当が独立・ランダムであることを乱数シードで担保
• □ A/A テストで偽陽性率と SRM を健康診断
• □ ログ収集が両群で漏れなく対称か確認
• □ ガードレール指標 (収益・エラー率) で予期せぬ悪化を監視

③ 分析フェーズ

• □ まず SRM (Sample Ratio Mismatch) を χ² 検定で確認
• □ 主指標で効果量 + 95% CI + p 値を計算
• □ 副指標は多重検定補正 (Bonferroni or BH)
• □ セグメント分析 (年齢/デバイス) を Heterogeneous Effect として
• □ 異常値・外れ値の影響を winsorize で検証

④ 報告フェーズ

• □ 効果量と CI を絶対値・相対値ともに併記
• □ 副指標の動きと業務的解釈を 1 段落
• □ SUTVA / ノベルティ / 期間外妥当性の限界を明示
• □ 意思決定 (展開/中止/再実験) を 1 行で結論

📝 レポート・論文での書き方

論文・社内レポート・ステークホルダー報告書で A/Bテスト を扱うとき、 含めるべき項目とテンプレートをまとめました。

必須記載項目

🎓 深掘り：シナリオで身につける

ここまで定義・計算・落とし穴を見てきました。 ここでは A/Bテスト をより深く理解するための思考フレームと実務シナリオを、 ストーリー形式で整理します。

シナリオ A：EC サイトの「カート画面の確認ボタン色」テスト

PM から「現行の青ボタンを、 オレンジに変えたい。 やっていい？」と聞かれた。 直感では分からない ── 大手 EC では年間 1000 件以上の A/B テストが回っており、 半分以上は「効果なし」または「逆効果」で終わります。 まず Power Analysis で「現状のトラフィック (日 5 万人) で、 何 % のリフトを検出できるか」を算出。 MDE = 1pt と決め、 2 週間で n=70 万人を確保。 結果、 オレンジは絶対差 +0.3pt (相対 +6%) で p=0.04。 統計的有意だが MDE を下回るため 展開せず、 別案で再テスト ── これが現代の意思決定です。

シナリオ B：医薬品 RCT のオフライン版を Web で再現

健康アプリで「歩数 + 1000 歩」キャンペーンを通知するか否か、 A/B で検証。 主指標は週間歩数、 副指標は継続率と健康診断 KPI。 ノベルティ効果回避のため最低 4 週間継続。 結果、 歩数は +800 歩 (95% CI: +400 〜 +1200) で実務的に意味あり。 ただし副指標の継続率は -2pt で悪化 ── 「強要感」が出た可能性。 メッセージ表現を変えて再テスト、 が次の打ち手。

シナリオ C：論文で出てきた「A/B テスト」が意味不明だったとき

統計コンペで参加した論文に「我々の手法 vs ベースラインを 100 人 ×2 群で比較」と書かれていた。 「これ A/B 風だけど、 効果量はどれ？ サンプル設計は？」と思った瞬間、 本ページに飛んでくる ── ジャストインタイム型教材の使い方です。 30 秒結論を読み、 「ああ、 RCT の Web 版だ」と納得したら、 元の論文に戻り効果量と CI が報告されているか確認。 報告がなければ批判的に読み直す ── 査読の所作です。

よくある誤解 3 連続

意思決定フレーム：使う？使わない？

📖 参考文献・推奨教材

さらに学ぶための文献と教材。 入門 → 中級 → 専門書の順に並べています。

1. Kohavi, R., Tang, D., Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press. — 現代 A/B テストの決定版テキスト。 GAFA のベストプラクティスが詰まる
2. 安井翔太 (2020). 『効果検証入門』 ホクソエム. — 日本語の傾向スコア・差分の差分・RCT を実装つきで学べる
3. 中室牧子・津川友介 (2017). 『「原因と結果」の経済学』 ダイヤモンド社. — 因果推論の入門。 A/B / RCT の社会的意義を物語形式で
4. Pearl, J. (2009). Causality: Models, Reasoning and Inference. Cambridge University Press. — 因果推論の理論的バイブル
5. Imbens, G., Rubin, D. B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences. Cambridge. — Neyman-Rubin 模型の標準テキスト
6. 岩崎学 (2015). 『統計的因果推論の理論と実装』 共立出版. — 日本語で理論と Python 実装を兼ね備える
7. Deng, A., Xu, Y., Kohavi, R., Walker, T. (2013). "Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data" — CUPED の原論文
8. Howard, S. R., et al. (2021). "Time-uniform, nonparametric, nonasymptotic confidence sequences" — always-valid p 値 / 逐次検定の最新研究
9. 統計数理研究所「実験計画法入門」公開講座資料 — 無料、 日本語、 基礎から因子計画まで
10. Optimizely / GrowthBook / Eppo の技術ブログ — 実務最前線の知見が無料で読める

🪜 1 週間で身につく学習ロードマップ

「A/Bテスト」を 7 日間で自走できる状態にする現実的ロードマップです。 1 日あたり 30 分〜1 時間が想定。

完走すると、 「論文で A/Bテスト が出てきても怯まない」「業務でレビュー意見を言える」状態に到達します。

💬 先輩との対話で理解を深める

「A/Bテスト」を学び始めた後輩 (K) と、 実務 5 年目の先輩 (S) の対話形式で、 教科書では拾えない実務のニュアンスを伝えます。

📋 1 ページ チートシート (印刷推奨)

作業中の壁に貼るための、 もっとも使う API・公式・チェックポイントを 1 枚にまとめた早見表。

📚 ケーススタディ集 (公開事例で学ぶ)

公開された企業ブログ・論文・カンファレンス発表から、 A/Bテスト の実例を抜粋。 「自社ならどう実装するか」のヒントに。

🚫 アンチパターン集 (やってはいけない 10 連発)

「これをやると失敗する」を 10 個まとめました。 1 つでも該当したら、 結果を信じる前に立ち止まってください。

1. HARKing (Hypothesizing After Results are Known)：結果を見てから仮説を作る。 完全な後知恵バイアス。
2. p-hacking：群を切り口・期間・指標を変えて、 p < 0.05 になる組合せを探す。 探索的とは別物。
3. 覗き見早期停止：「有意になったら止める」を事前固定なしに実施。 偽陽性率激増。
4. SRM 無視：割当比率のズレを確認せず結果を信じる。 ハッシュ bug, ボット, ログ欠損を見逃す。
5. 主指標 = 副指標 = 同レベル：何を信じるか優先順位なし。 多重検定で偽陽性。
6. 効果量無視・p 値だけ報告：「有意でした」だけでは意思決定不能。 必ず効果量 + CI。
7. ノベルティ無視・短期で結論：1 日のリフトで判定。 1 週間後には消えるかも。
8. SUTVA 違反を見逃し：SNS / 配車 / 教育介入で単純 A/B。 spillover で結果が壊れる。
9. サンプルサイズ後付け：「足りなければ伸ばす」運用。 これは覗き見の変種。
10. 外的妥当性の過剰主張：1 国・1 期間で勝った版を世界展開して大失敗。 セグメント検証を。

🎭 比喩で覚える A/Bテスト

教科書的な定義より、 日常の比喩のほうが記憶に残ります。 A/Bテスト を 3 つの比喩で表現します。

🧪 クロスチェック：複数の角度から検証

単一の分析結果を鵜呑みにせず、 複数の方法でクロスチェックするのがプロの作法。 A/Bテスト を別観点から検証する 4 つの手段を紹介します。

「主要結果が 4 つすべてで一致 → 信頼度高」「1 つでもズレる → 原因究明」が黄金ルール。 報告書には主要 1 つを書き、 補遺にクロスチェック結果を残す運用が一般的。

🔧 上級者向け：詳細実装パターン

基礎を押さえたら、 業務で頻出する応用パターンを実装で覚えます。

1
2
3
4
5
6
7
8
9
10
11
12

# パターン①: 階層化(層別) A/B テスト
import pandas as pd
import statsmodels.formula.api as smf

# device, country を共変量に含めた回帰分析で因果効果推定
# Y = α + β·treat + γ·device + δ·country + ε
df = pd.read_csv('data/raw/ab_experiment.csv')
model = smf.ols('outcome ~ treat + C(device) + C(country)', data=df).fit(
    cov_type='HC3'  # ロバスト標準誤差
)
print(model.summary())
# β の係数と CI が、 共変量調整後の因果効果

回帰調整 (Regression Adjustment) で、 ランダム化後も残る不均衡を補正できます。 ただし高次元共変量を入れすぎると検出力低下。 事前指定したコア共変量のみ。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# パターン②: ブートストラップで CI 推定
import numpy as np

ya = np.array([0, 0, 1, 0, 1] * 200)  # A 群結果
yb = np.array([0, 1, 1, 0, 1] * 200)  # B 群結果

n_boot = 10000
diffs = []
for _ in range(n_boot):
    a_b = np.random.choice(ya, len(ya), replace=True)
    b_b = np.random.choice(yb, len(yb), replace=True)
    diffs.append(b_b.mean() - a_b.mean())

ci = np.percentile(diffs, [2.5, 97.5])
print(f'効果量 Δ = {yb.mean()-ya.mean():.4f}')
print(f'95%CI = [{ci[0]:.4f}, {ci[1]:.4f}]')

ブートストラップは「データそのものから不確実性を再サンプリングで推定」する非パラメトリック手法。 分布仮定が弱くて済む利点。 n が極端に小さいときは別の方法を。

1
2
3
4
5
6
7
8
9
10
11
12

# パターン③: SRM チェック (χ² 検定)
from scipy.stats import chisquare

observed = [10120, 9880]  # 実測割当数
expected = [10000, 10000]  # 想定 50:50

stat, p = chisquare(f_obs=observed, f_exp=expected)
print(f'χ² = {stat:.2f}, p = {p:.4f}')
if p < 0.001:
    print('警告: SRM 検出。 結果を信用しないこと。')
else:
    print('SRM パス。 結果集計に進行。')

SRM は実験基盤の健康診断。 p < 0.001 を厳格な閾値に。 検出時は割当ロジック・ログ収集・ボット混入を疑い、 結果は秘匿。

🧠 深掘り Q&A (中級者向け)

よくある質問の一段深い版。 「分かったつもり」を「説明できる」に引き上げる、 中級者が躓くポイントを解説。

🚀 次に学ぶべきこと (Learning Path)

A/Bテスト を理解したら、 次にどの用語・分野に進むべきか。 学習順を地図にまとめました。

1. すぐ次： 効果量、 信頼区間、 サンプルサイズ ── A/B テスト報告の三種の神器
2. 理論深掘り： 仮説検定、 p 値、 t 検定 ── 統計的推論の基礎
3. 因果推論： 因果関係、 交絡、 選択バイアス ── ランダム化が無い場面での因果推論
4. 応用： 予測・判断、 機械学習 ── A/B テスト結果を ML パイプラインに統合
5. 可視化： データ可視化、 棒グラフ、 折れ線 ── 結果報告で使う可視化
6. 論文ハンズオン： 論文一覧 から、 A/B テストを使った実例論文を再現

このサイト内

• 論文一覧に戻る — A/Bテスト を実際に使った再現論文をハンズオン形式で読む
• 関連用語ページ — このページの「🔗 関連用語」から派生
• 用語集トップ — 全用語を一覧で確認
• 概念マップ — 用語間の関係を視覚化

推奨書籍・教材

• 『統計学入門』（東京大学出版会）― 日本語統計入門の定番。
• 『Pythonによるデータ分析入門』（Wes McKinney、 O'Reilly）― pandas 作者による実装ガイド。
• 『機械学習のエッセンス』（加藤公一、 SBクリエイティブ）― ML 基礎を Python で実装しながら学ぶ。
• 『因果推論の科学』（Judea Pearl、 文藝春秋）― 相関と因果の違いを徹底解説。

オンライン教材

• scikit-learn 公式ドキュメント — 機械学習の標準実装。
• StatQuest (YouTube) — 統計概念を直感的に解説。
• Coursera / edX — 体系的なオンライン講座。
• SSDSE 公式 — 本サイトで使う公的データの提供元。

🧪 SSDSE-B-2026 を A/B 思考で読み解く深掘り解説

A/Bテストは本来「ランダム化を伴う前向き実験」だが、 既存の公的データ（観察データ）を A/B 思考で読み解く練習は、 検定量の感覚を養うために極めて有効である。 ここでは SSDSE-B-2026（47 都道府県・社会経済統計）を題材に、 「A 群＝関東甲信越、 B 群＝近畿」「A 群＝政令指定都市を持つ県、 B 群＝持たない県」など複数の二群比較を、 効果量 / CI / p 値 / サンプルサイズ感度 / 多重比較 / 事前事後の解釈の枠組みで丁寧に追いかける。 観察データに A/B の枠組みを当てるとき、 何が満たされ何が満たされないか（ランダム化、 SUTVA、 介入の操作可能性）を意識することで、 本物の A/B テストを設計する際の落とし穴も同時に体得できる。

1. ヒストグラムで「2 群の分布の重なり」を見る (図 1)

A/B テストで「平均差」を議論する前に、 まず分布そのものの形と重なりを観察するのが王道である。 平均差が小さくても分布が大きくずれていることがあり、 逆に平均差が大きくても重なりが多ければ実務的な意味は小さい。 図 1 は SSDSE-B-2026（2023 年・47 都道府県）のある指標のヒストグラムで、 山の右側に裾が伸び、 本体から離れた高い値が 1 件だけ存在する ── 平均がこの裾に引っ張られる構造が読み取れる。 A/B 比較でも各群でまずこの形を確認し、 「正規性・等分散性（Welch の t 検定の前提）」が崩れていそうなら、 ノンパラメトリック検定（Mann–Whitney U）や、 ログ変換後の比較、 ブートストラップ CI のような頑健な手段の併用を考えるべきである。

図 1: ヒストグラムの例（SSDSE-B-2026・47 都道府県・2023 年）— 検定の前に分布の形・裾・外れ値を視覚的に確認する

分布の重なりが大きい場合、 たとえ p 値が小さくても 効果量（Cohen の d など）は小さい。 すなわち「統計的に有意」と「実務的に意味のある差」は別物である。 A/B テストの実務報告では必ず効果量と CI を併記し、 「どれくらいユーザー体験が変わるのか」を意思決定者に伝える文化を作るべきである。 ヒストグラム＋効果量＋CI の三点セットが、 観察データから A/B テスト的洞察を引き出す最低限の道具立てになる。

2. 箱ひげ図で「中央値・四分位・外れ値」を見る (図 2)

A/B 群比較で平均を語るとき、 外れ値が分析を支配していないかは必ず確認する。 図 2 は SSDSE-B-2026（2023 年・47 都道府県）の複数グループを横に並べた箱ひげ図の例で、 グループごとに中央値（赤線）・四分位範囲（箱）・ひげの長さが大きく異なり、 右端のグループには箱から離れた外れ値（○印）が 1 件見える。 群ごとにばらつきの構造が違う ── まさに A/B テストで「群間の分散が等しい」と決め打ちしてはいけない状況であり、 「セグメント差」や「サブグループ効果」を観察データで予習する作業に相当する。

図 2: 多群箱ひげ図 — 中央値・四分位範囲・外れ値を一画面で比較する

箱ひげ図は「サブグループ間のばらつき」を一画面で比較できるため、 A/B テストにおける異質処置効果（HTE: Heterogeneous Treatment Effect）の有無を最初に疑う際の必須ツールである。 もし 1 グループだけ箱が極端に長い・外れ値が多い場合、 そのセグメントだけ別の仮説検定や、 階層モデルでの取り扱いが必要になる。 また、 中央値ベース検定（Mann–Whitney U や Brunner–Munzel）を併用することで、 平均ベースの t 検定が外れ値で歪む問題を軽減できる。 「平均だけで結論しない」という姿勢が A/B テスト分析の品質を底上げする。

3. 散布図で「処置前後の関係」を疑似的に見る (図 3)

A/B テストは時系列ではなく群間比較が中心だが、 「介入前の指標 (X) と介入後の指標 (Y)」の散布図は、 共変量調整 (CUPED や回帰調整) の素地を養うのに有効である。 図 3 は SSDSE-B-2026（2023 年・47 都道府県）の 2 指標の散布図の例で、 はっきりした正の相関 (相関係数 r = 0.728, n = 47) と回帰直線が示されている。 もし A/B テストで「Y の差」を見るとき、 Y と相関する X が群間で偏っていれば、 差は介入ではなく X の偏りに由来する。 これがランダム化の重要性であり、 観察データでは 傾向スコア（PS） や 逆確率重み付け（IPW） による補正、 あるいは差の差分（DiD）が必要になる。

図 3: 散布図 — 共変量 X と結果指標 Y の関係（A/B テストでの共変量調整の動機）

A/B テストでも、 介入前の Y_pre と介入後の Y_post を散布図にすると、 個人差・サイト差が線形に現れる。 CUPED (Controlled experiment Using Pre-Experiment Data) はこの構造を利用して分散を削減し、 必要サンプル数を 30〜50% 削減することができる。 巨大トラフィックを持つ Web サービスでも、 サンプルサイズ削減＝コスト削減＝より多くの実験スループットになり、 経営インパクトが大きい。 観察データで散布図と回帰直線を描く練習が、 そのまま A/B テスト基盤の効率化につながる。

4. SSDSE-B-2026 で A/B 思考の検定をやってみる（コード）

このコードでやること：SSDSE-B-2026 を読み込み、 政令指定都市を持つ都道府県 (A) と持たない都道府県 (B) で「1 世帯当たり消費支出 (L3221, 円/月)」を比較する。 t 検定（Welch）と Mann–Whitney U、 Cohen の d、 ブートストラップ 95% CI、 サンプルサイズ感度の 5 点セットを一気に算出する。

📥 入力データ：SSDSE-B-2026 (data/raw/SSDSE-B-2026.csv) を pandas で読み込み、 47 都道府県の社会経済指標を使用する。 列例: 「Prefecture」（都道府県名）、 A1101（総人口）、 L3221（1 世帯当たり消費支出）など（いずれも実在の符号列）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()  # 先頭列(年度)で2023年 47県
# A: 政令指定都市あり (例: 北海道,宮城,埼玉,千葉,東京,神奈川,新潟,静岡,愛知,京都,大阪,兵庫,岡山,広島,福岡,熊本)
A_prefs = ['北海道','宮城県','埼玉県','千葉県','東京都','神奈川県','新潟県','静岡県',
           '愛知県','京都府','大阪府','兵庫県','岡山県','広島県','福岡県','熊本県']
income_col = 'L3221'  # L3221 = 1世帯当たり消費支出(円/月), SSDSE実在列
A = df[df['Prefecture'].isin(A_prefs)][income_col].values
B = df[~df['Prefecture'].isin(A_prefs)][income_col].values

# 1. Welch t 検定
t, p_t = stats.ttest_ind(A, B, equal_var=False)
# 2. Mann-Whitney U（ノンパラ）
u, p_u = stats.mannwhitneyu(A, B, alternative='two-sided')
# 3. Cohen の d（効果量）
pooled = np.sqrt(((len(A)-1)*A.var(ddof=1) + (len(B)-1)*B.var(ddof=1)) / (len(A)+len(B)-2))
d = (A.mean() - B.mean()) / pooled
# 4. ブートストラップ 95% CI
rng = np.random.default_rng(42)
boot = [rng.choice(A, len(A), replace=True).mean() - rng.choice(B, len(B), replace=True).mean()
        for _ in range(5000)]
ci_lo, ci_hi = np.percentile(boot, [2.5, 97.5])

print(f'A 群 n={len(A)}, mean={A.mean():.0f}')
print(f'B 群 n={len(B)}, mean={B.mean():.0f}')
print(f'Welch t = {t:.3f},  p = {p_t:.4f}')
print(f'M-W U  = {u:.1f},  p = {p_u:.4f}')
print(f"Cohen's d = {d:.3f}")
print(f'差の 95% CI (bootstrap) = [{ci_lo:.0f}, {ci_hi:.0f}]')

📤 実行例：

💬 結果の読み方：政令指定都市を持つ A 群の方が 1 世帯当たり消費支出が平均 約13,800 円高い。 Welch t（p=0.040）は 5% 水準で有意だが、 Mann–Whitney U（p=0.130）は有意ではない ── 平均に基づくパラメトリック検定と順位に基づくノンパラ検定で結論が割れる典型例で、 「平均だけで結論しない」ことの重要性を実データが示している。 Cohen の d ≈ 0.59 は「中」程度の効果量。 ブートストラップ 95% CI が [1364, 26274] と 0 をまたがないため、 差の方向 (A > B) 自体は一定の信頼が置ける。 ただしこれは観察データであり、 政令指定都市の存在が消費支出を押し上げたという因果ではない。 産業構造・人口集積・物価水準などの交絡を考慮しなければ A/B 因果結論にはならない点に注意。

5. サンプルサイズ感度: A/B テスト計画の核心

A/B テストの最大の失敗は「サンプル不足で有意差が出ない」「サンプル過多でビジネス的に無視できる差を有意と誤読する」のいずれかである。 効果量 d を仮定し、 α=0.05・1-β=0.8 で必要サンプル数を逆算するのが標準手順。 d=0.2（小）なら片群 n≈393、 d=0.5（中）なら n≈64、 d=0.8（大）なら n≈26 と桁が一つ動く。 SSDSE-B-2026 のような n=47 の固定サンプルでは d=0.5 を超える効果しか拾えないため、 「有意でなかった＝差がない」とは言えない（型 II 過誤）。

この表が「事前にどれくらいの母集団を用意すべきか」の感覚を養う。 Web サービスの実 A/B では d=0.1〜0.2 が普通なので、 群あたり数百〜数千ユーザー、 場合によっては数十万単位が必要。 一方、 医薬・教育介入では d=0.5〜1.0 の効果が見込めることもあり、 数十人規模の試験で十分なこともある。 ドメインごとの標準的な効果量レンジを把握することが計画の第一歩。

6. 多重比較補正と早期停止のリスク

A/B テストでは「主指標 1 個 + 副指標 5 個 + セグメント 10 個」のように同時に多数の検定を行うことが多い。 α=0.05 で 20 回検定すれば偶然 1 回は誤って有意になる（family-wise error rate）。 Bonferroni 補正 (α/m)、 Holm 法、 Benjamini–Hochberg (FDR) を意識的に使い分けるべきである。 さらに「途中経過を毎日見て、 有意になったら止める」という運用は、 peeking によって偽陽性率を 5% から 20-30% に押し上げる。 Always Valid Inference（mSPRT, Bayesian sequential testing）の枠組みを採用するか、 事前に定めたサンプル数まで結果を見ないのが鉄則。

補正の選び方の指針は、 「仮説の構造」と「誤りの種類」に依存する。 主要指標 1 個＋副指標数個なら Holm、 探索的に大量のサブグループを試すなら BH (FDR)、 逐次モニタリングなら mSPRT。 「すべてに Bonferroni」では実務的な検出力が消えるため、 状況に応じた使い分けを身につけることが上級分析者の証である。

7. SUTVA・スピルオーバー・ネットワーク効果

A/B テストの背後にある仮定 SUTVA（Stable Unit Treatment Value Assumption）は、 「個人 i に対する介入は、 他者 j の結果に影響しない」を要求する。 SNS、 マッチングプラットフォーム、 配車サービスではこれが破れる（B 群の改善が A 群の体験も変える）。 「クラスタランダム化」「タイムスライス AB」「スイッチバック実験」「ジオ実験」など、 SUTVA 破れに対する代替設計が研究されている。 観察データの A/B 思考でも、 「同じ地域内の県は互いに影響し合う」（人口流動）という形で SUTVA が破れていることが多い。

「ユーザー単位ランダム化が万能ではない」ことを理解しておくと、 大規模 Web 企業の実験基盤（Microsoft, Netflix, Uber, Airbnb の論文群）で繰り返し議論されている SUTVA 対策が腑に落ちる。 観察データを A/B 思考で読み解く際にも、 47 都道府県を独立サンプルとみなすこと自体が SUTVA 仮定に依存していることに気づくべきである。 地域経済は隣接県と密接に絡むため、 完全独立な「47 個の試行」ではない。 これが「観察データに t 検定を当てたとき、 効果量と CI を保守的に解釈すべき」根拠の一つとなる。

8. SRM (Sample Ratio Mismatch) — 配信不具合の早期発見

A/B 50:50 で振ったはずなのに、 実データの集計が A:B = 51.3 : 48.7 のように 50:50 から有意にずれていたら危険信号。 これを SRM (Sample Ratio Mismatch) と呼び、 配信ロジックのバグ、 ボット混入、 セッション切れの偏り、 ログ欠損などを示唆する。 SRM が出た A/B 結果は信頼できないため、 まず SRM を χ² 検定で監視する仕組みを Day 0 に組み込むのが現代の基本作法。 期待値 50:50、 観測 50500:49500 なら χ²=10、 p≈0.0016 で警告。

経験則として p<0.001 で警告、 p<0.0001 で実験中止。 SRM 警告が出たら指標値より先に配信ロジックを疑い、 ハッシュ関数の偏り、 リダイレクトのキャッシュ汚染、 クッキー消失、 ボット流入、 SDK バージョン差を順に潰す。 SRM 監視を持たない A/B 基盤は、 「速度計のない車」と同じである。

9. CUPED — 共変量で分散を削る

A/B 介入前の指標 Y_pre が事前に取れている場合、 Y_post を直接比較する代わりに Y_post - θ·Y_pre を比較すると分散が大きく下がる。 これが CUPED (Microsoft, 2013) で、 θ=Cov(Y_post, Y_pre)/Var(Y_pre) を最小二乗で推定する。 分散が 30〜50% 減れば、 必要サンプル数も同率で減り、 実験日数・予算が大幅に節約できる。 観察データでも「前年同期」「過去 30 日平均」を共変量に使う回帰調整が同じ役割を果たす。

CUPED は線形回帰の応用に過ぎないが、 「分散削減＝サンプル削減＝コスト削減＝より多くの実験スループット」という経営インパクトが大きい。 大企業の A/B 基盤に CUPED が標準装備されているのはこのため。 機械学習で残差を予測し、 残差で比較する augmented CUPED や ML-CUPED も研究が進む。

10. 効果量の解釈と「実務的閾値」

p 値だけでは「差はある」が「どれだけある」かわからない。 効果量（Cohen の d, リフト率, 絶対差, NNT 等）と CI を併記し、 「その効果は意思決定を変えるか」を議論する。 多くの Web サービスでは「主要指標で +0.5% リフト以上、 副指標で悪化なし」のような事前定義された実務閾値を持っている。 統計的有意性と実務的有意性のずれを言語化する文化が、 データ駆動経営の質を決める。

「d=0.1 は実務的に無視できる」とよく言われるが、 トラフィックが数千万 UU/月のサービスでは d=0.05 でも年間収益で数億円規模になり得るため、 「実務閾値」はサービス規模と意思決定リスクに依存する。 効果量を絶対基準で語るのではなく、 「そのリフトが投資コストを正当化するか」というビジネス文脈で語る習慣を持つこと。

11. 観察データに A/B 思考を当てる際の限界

SSDSE-B-2026 のような観察データを「政令市の有無 (A/B)」で分割しても、 それは無作為割付ではなく、 歴史的・経済的・地理的に決まった群分けである。 群間で人口、 産業構造、 高齢化率、 大学進学率が大きく異なるため、 「A 群が B 群より所得が高い」は因果ではなく相関に過ぎない。 真に「政令市指定が所得を上げたか」を測りたければ、 自然実験（Regression Discontinuity, Difference-in-Differences, Synthetic Control）など別の枠組みが必要。

A/B テスト的な検定統計量は計算できるが、 結論は「観察された差は偶然では説明しにくい」までで、 「介入の因果効果」とは言えない。 この区別を曖昧にすると、 ビジネス報告でも論文でも信頼を失う。 観察データの分析者は、 検定の数字より「なぜその差が出るのか」を構造的に説明する仮説を語ることに紙幅を割くべきである。 SSDSE-B-2026 を使った練習は、 検定の使い方を学びながら、 同時に「観察データの限界」を体感する場として極めて有効である。

12. まとめ: A/B テストの 12 のチェックリスト

1. 目的指標（OEC: Overall Evaluation Criterion）を 1 つに絞る
2. 事前にサンプルサイズを計算（d, α, power, 二群分散）
3. ランダム化の単位（ユーザー / セッション / クラスタ）を明示
4. SUTVA の妥当性を業務文脈で確認（スピルオーバーの有無）
5. SRM 監視を Day 0 から有効化
6. peek 禁止 or 逐次検定（mSPRT, Bayes）を採用
7. 主指標＋ガードレール指標（悪化監視）を同時集計
8. セグメント分析は事前登録、 事後発見は探索扱い
9. 多重比較補正（Bonferroni / Holm / BH）を方針として記載
10. 効果量＋CI＋p 値を必ず併記（p 値単独報告は禁止）
11. 結果に対する意思決定基準（GO / NO-GO / HOLD）を事前定義
12. 結果の再現性確認（同条件で再実験、 holdout 持続評価）

この 12 項目を満たす A/B テストは、 統計的にも実務的にも「信頼できる意思決定の根拠」になる。 一方、 これらが満たされない A/B は、 偽陽性・SRM・SUTVA 違反・peeking・多重検定膨張・効果量過大評価のいずれかに引っかかる。 「やった」だけで満足せず、 「正しく」やる文化を組織に根付かせることが、 A/B テスト基盤の真の価値である。 SSDSE-B-2026 のような観察データで A/B 思考を練習し、 実 A/B 設計に踏み出すための土台を作ろう。

13. 比率指標 (CTR/CVR) の検定: z 検定とカイ二乗検定の使い分け

Web の A/B テストで最頻出の指標は「CTR (クリック率)」「CVR (コンバージョン率)」「BR (離脱率)」など、 0 か 1 の二項データから算出される比率である。 比率の差の検定には主に二つの選択肢がある。 ひとつは 二項比率の z 検定（A の比率 p_A と B の比率 p_B の差を、 共通比率 p_hat で標準化）、 もうひとつは カイ二乗独立性検定（2×2 分割表で群と結果の独立性を見る）。 どちらも漸近的に同等の p 値を出すが、 期待値が 5 未満のセルがある場合は Fisher の正確検定に切り替えるのが原則である。 大規模 Web 実験（n が数万以上）では z 検定で十分だが、 小規模試験（n が数百程度）では Fisher の方が安全。

CVR 5.20% → 5.80% の +11.5% リフトはビジネス的には魅力的だが、 n=10000 では 5% 水準で有意にならない。 もし n=20000 に増やせば同じ効果量で p≈0.01 に下がる。 「リフトが大きそうなのに有意にならない」のはサンプル不足のサインで、 「無効化＝差がない」とは限らない（型 II 過誤）。 統計的検出力 1-β=0.8 で必要なサンプル数を事前計算し、 「あと何日回せば判定できるか」を運用ダッシュボードに常時表示するのが現代の標準。

14. ベイズ A/B テスト: 「B が A より良い確率は X%」

頻度論の p 値は「帰無仮説の下でこのデータ以上に極端な結果が出る確率」という間接的な指標で、 経営層に説明するのが難しい。 一方ベイズ A/B では事前分布 Beta(α, β) と観測（成功数, 失敗数）から事後分布を計算し、 「B が A より良い確率 P(B>A) = 0.95」のように直接的に確率で語れる。 弱情報事前 Beta(1,1) (=一様) を使えば客観的な解析になり、 期待損失 (Expected Loss) を導入すれば「もし B を選んで間違っていたら、 1 ユーザーあたり何 % 損するか」を計算できる。 Expected Loss が 0.1% 未満なら GO、 0.5% 以上なら HOLD、 のような閾値運用が広まっている。

同じデータに対し、 頻度論 p=0.06 では「非有意」だが、 ベイズ P(B>A)=0.97 では「B が良い確率 97%」となり、 期待損失 0.013%pt は十分小さい。 ベイズ的には GO、 頻度論的には継続（HOLD）の判定が分かれる典型例。 どちらが正しいというより、 意思決定者が「確率」で語れるベイズの方が経営判断に向く場面が増えている。 大企業の A/B 基盤（Optimizely, VWO, in-house）でもベイズオプションが標準装備されつつある。

15. 多腕バンディット: 学習しながら配信比率を変える

伝統的な A/B では「実験期間中ずっと 50:50」だが、 多腕バンディット（Multi-Armed Bandit, MAB）では成績の良い腕に徐々にトラフィックを寄せる。 Thompson Sampling や UCB1 が代表的アルゴリズムで、 「悪い腕で損失を最小化しながら、 最良の腕を見つける」という Explore vs. Exploit のトレードオフを動的に最適化する。 短期キャンペーン（クリスマス特集、 期間限定セール）では機会損失が許せないため MAB が有効。 一方、 長期意思決定（恒久的な UI 変更）では純粋 A/B の方が因果効果の推定が綺麗に出るため、 用途で使い分ける。

「A/B か MAB か」は二者択一ではなく、 初期は MAB で素早く悪い腕を切り、 残った 2 腕を A/B で因果検定するといったハイブリッド運用が現代的。 Netflix のサムネイル選定、 Google 広告の自動最適化など、 大規模サービスの裏では MAB と A/B が層を成して動いている。 学術的にも contextual bandit + off-policy evaluation の研究が活発で、 「過去ログから新方策を評価する」という強化学習との接続が深まっている。

16. 長期効果 vs. 短期効果: 学習効果と新規性効果の落とし穴

A/B テストの結果は「実験期間中の効果」を測っているにすぎず、 長期的にユーザー行動が変わるかは別問題である。 新しい UI を見せた最初の数日は「新規性効果 (novelty effect)」でクリック率が上がり、 数週間で慣れて元に戻ることがある。 逆に、 「学習効果 (learning effect)」で最初は使いにくくクリック率が下がるが、 数ヶ月かけて慣れて指標が上がるパターンもある。 7 日間 A/B で「+5% リフト」と判定した施策が、 半年後に検証したら「-2%」になっていた、 という事例は珍しくない。 大企業では 長期 holdout 群（10% を施策に晒さず残す）を意図的に維持し、 半年後に長期効果を再検証する仕組みを持つ。

「短期で勝った機能をすぐ全展開」ではなく、 「短期 A/B → 中期検証 → 長期 holdout 監視」の三段階を組むことで、 短期最適化の罠を回避できる。 機械学習モデルでいう「オフライン評価がオンラインで劣化する」現象と本質的に同じ問題で、 「測定期間」と「効果の真の時間スケール」の不一致に常に注意する必要がある。 これは A/B テスト設計時に最も見落とされやすい点であり、 統計の教科書ではあまり扱われないが、 実務では決定的に重要である。

17. 倫理・ガバナンスとプラットフォーム責任

A/B テストは「ユーザーを 2 群に分けて違う体験をさせる」行為であり、 倫理的配慮が欠かせない。 Facebook の「感情操作実験」（2014）は、 ユーザーの同意なくフィードの感情極性を変えて反応を観察した事例で、 大きな批判を浴びた。 医療・金融・教育など、 ユーザーの福祉に直結する領域では IRB（倫理審査委員会） の承認、 インフォームドコンセント、 被験者保護プロトコル（弱者保護、 オプトアウト、 再現性確保）が必須である。 Web サービスでも、 「最低保証品質ライン」を超える劣化が出ないようガードレール指標を監視し、 即座にロールバックする運用を設計しておくべき。

EU AI Act、 GDPR、 改正個人情報保護法、 各国の消費者保護法など、 A/B テストに関わる法的枠組みも年々厳しくなっている。 個人を特定しうるユーザー識別子を使う場合、 利用規約への明記、 オプトアウト手段の提供、 集計レベルでの匿名化、 配信ログの保管期間など、 法務・プライバシー部門との連携が不可欠。 「技術的に可能」と「倫理的に許される」と「法的に合法」は別軸であり、 三者を同時に満たす設計判断ができることが、 データ分析責任者・PdM・経営層に求められる現代的なリテラシーである。

18. 観察データ・準実験との接続: A/B が組めないときの代替

A/B テストはランダム化が可能な領域でこそ威力を発揮するが、 「ランダム化が倫理的・物理的・法的に不可能」な場面も多い。 政策効果、 公衆衛生施策、 教育介入、 ユーザーセグメント横断の長期施策などは、 厳密な A/B が組めないか、 組めても被験者数が極端に少ない。 こうした領域では 準実験 (quasi-experiment) の方法論が補完する。 代表的手法は次の通り。 (1) 差の差分 (DiD: Difference-in-Differences) — 介入群と対照群の前後差を比較。 (2) 回帰不連続デザイン (RDD: Regression Discontinuity Design) — 閾値の前後で結果を比較。 (3) 合成統制法 (Synthetic Control Method) — 対照群を複数のドナー州の重み付き合成で作る。 (4) 操作変数法 (IV: Instrumental Variable) — 内生性を回避する外生的変動を利用。 (5) 傾向スコアマッチング (PSM) — 共変量で「似た者同士」を組み合わせる。

SSDSE-B-2026 のような公的観察データを使う場合、 上記の準実験デザインを意識すると、 単純な群間平均比較に留まらない深い洞察が得られる。 たとえば「2010 年の政令市指定が所得に与えた効果」を見るなら DiD、 「人口 50 万人前後の市区を比較する」なら RDD、 「東京都と類似県の合成比較」なら Synthetic Control が候補。 A/B テストの語彙（治療効果、 共変量バランス、 外的妥当性、 ITT vs. PP）はそのまま準実験にも通用するため、 A/B 思考を身につけることは、 観察データ分析者にとっても強力な基礎体力になる。 SSDSE 教材でこの両者を行き来する練習が、 統計的因果推論の本質理解への近道である。

19. このページを使った自分での学習導線

本ページの内容を自分の知識として血肉化するためには、 単に読むだけでは不十分である。 まず SSDSE-B-2026 を実際にダウンロードし、 上記のコード片を JupyterLab か Google Colab で動かしてみる。 次に、 自分が興味を持つドメイン（自分の地元の県、 業界の特性など）に対応させて、 群分けを変えながら検定を繰り返す。 同じ手順で「政令市の有無」「日本海側 / 太平洋側」「人口 100 万以上 / 未満」「高齢化率上位 / 下位」など多様な切り口で群比較を行えば、 「観察データの群分けに統計的検定を当てたときに、 どんな結果が出やすいか」の体感的な感覚が養われる。 その上で、 効果量と CI を含めた報告書を一つ書いてみると、 A/B 分析者として最低限の実務スキルが揃う。 さらに、 自分の組織の Web サービス・アプリにおける A/B 実験提案書を 1 ページで書いてみる練習をすると、 設計力と説得力が同時に身につく。 関連用語ページ（仮説検定、 p 値、 効果量、 信頼区間、 多重比較、 因果推論、 傾向スコア）を順にたどり、 12 ページほど横断するだけで、 A/B テストに関する基礎理論はほぼ網羅できる構成になっている。 最後に、 学んだ内容を自分の言葉でブログや社内 wiki にアウトプットすると、 知識の定着率が一段高まる。 「読む」「動かす」「書く」「他人に説明する」の四段階を回すのが、 A/B テスト分析者として一人前になる王道のプロセスである。 このページがその第一歩、 そして折に触れて戻ってくる参照点として機能することを願っている。 上のコードを実行する際は、 必ず実際の SSDSE-B-2026 列名 (例: A1101, H1800, L3221 など符号体系) と本文中の概念列名を読み替えること。 実データ列のシンボル名は独立行政法人統計センターの公式ドキュメントで全件確認できる。 また、 結果の数値はサンプル抽出の方法と前処理（欠損補完、 外れ値除去）に依存するため、 同じコードでも条件が変われば数値はずれることに留意してほしい。 数値の桁オーダーと符号の方向 (正 / 負 / ゼロをまたぐ / またがない) を確認するのが、 結果を読む際の最低限の作法である。

🎯 このページのまとめ

🗺 概念マップでの位置づけ

A/Bテスト は 仮説検定 カテゴリの中で、 上位概念・並列概念・下位概念のネットワークに位置します。 関係を簡略図で示します。

より詳細な関係は 🗺 概念マップ で全体像を確認できます。

🧭 サイト内ナビゲーション

本ページは、 統計・データ解析コンペティションの再現論文集に付随する用語解説の 1 ページです。 A/Bテスト 以外の用語も、 同じフォーマットで以下からたどれます。

• 📚 用語集トップ — 514 用語の一覧
• 🗺 概念マップ — 用語間の関係を視覚化
• 📖 論文一覧へ戻る — 約 160 本の再現論文ハンズオン

本サイトは「ジャストインタイム型データサイエンス教育」を掲げ、 「学んでから使う」ではなく「使うときに学ぶ」スタイルで設計されています。

🔗 隣接手法への橋渡し

章 10 (🌐 関連手法・派生) は隣接技術の「鳥瞰」だったが、 ここでは 実務で A/B テストと隣接手法をどう繋ぐか・どう統合するか・いつ切替えるかを 3 視点で整理する。 章 15 (🌳 手法選択フロー) が「最初に何を選ぶか」を答えるなら、 章 14 は「選んだ後に隣接手法とどう連携するか」を答える。

① 接続 (Connection) — 前後工程との繋ぎ方

• 仮説検定 — A/B 開始前に α=0.05, β=0.2, MDE=2% を確定し、 必要 N を逆算する。 結果出力後は p 値・信頼区間・効果量の 3 点セットで報告する。 検定設計 → A/B 実施 → 結果解釈の前後工程をひとつのパイプラインに繋ぐ。
• 因果推論 — A/B 完了後、 観察データで再現性を検証する局面で接続。 ランダム化外の集団 (オプトアウト / 後発ユーザー) に効果を一般化するときは操作変数 / 傾向スコアと組み合わせる。

② 統合 (Integration) — 同時利用・組合せ

• 多腕バンディット + A/B — 探索期間は A/B 比率 50:50、 検出後はバンディットで動的最適化。 Microsoft, Booking.com で標準パターン。 SSDSE-B 都道府県施策 47 件中 5 件を A/B、 残り 42 件で UCB 配信、 のような段階的統合が現実的。
• CUPED + A/B — 事前期間データで分散削減し、 必要 N を 40-60% 圧縮しつつ同じ有意性を確保。 Netflix 標準手法。 A/B の信頼性を落とさず時間とトラフィックを節約する統合パターン。
• ベイズ推論 + A/B — p 値の代わりに「B が A より良い確率」を事後分布で出力。 ビジネス意思決定 (損益と直結) で頻度論より説得力が出る統合形態。

③ 比較 (Comparison) — 切替判断の早見表

この 3 視点を押さえると、 章 15 のフローで「A/B」を選んだ後も、 隣接手法と組み合わせて段階的に高度化できる。 「A/B 一本足打法」から「A/B + 多腕バンディット + 因果推論」の統合運用に移行することで、 SSDSE-B 47 都道府県のように多様な対象群でも頑健な意思決定が可能になる。

🌳 手法選択フロー

「A/Bテスト」を実施するか、 観察データの因果推論や多腕バンディットに切り替えるかを、 ランダム化可否・SUTVA 成立・必要 N の 3 軸で判定する。 単純な検定一本ではなく、 設計段階で代替も検討すべきである。

1. 分岐 1 (前提条件: ランダム化): 「ランダム化割当が可能か？」 Yes → 次の分岐へ進む、 No → 観察データの因果推論体系 (傾向スコア や 操作変数) に切り替え。 上流の仮説検定枠組みは観察データでは「相関」しか保証しない。
2. 分岐 2 (戦略選択: 静的 vs 動的): 「学習しながら最適化したいか？」 No (固定比率で完了まで実験) → 通常の A/B テスト、 Yes (期間中も性能良い腕に流量を寄せたい) → 多腕バンディット (Thompson Sampling / UCB)。 ch14 で並列代替として挙げた手法はここで選ばれる。
3. 分岐 3 (手法特性: 相互作用): 「SUTVA (群間相互作用なし) が成立するか？」 Yes → ユーザー単位ランダム化で OK、 No (ネットワーク効果あり) → クラスタ単位 / Switchback Experiment へ移行。
4. 分岐 4 (運用要件: 必要 N): 「効果量と検出力から必要 N が現実的か？」 Yes → 走らせる、 No → 効果量を見直すか、 CUPED 等で分散削減して N を圧縮。 N 不足のまま p 値だけ見ると 第二種過誤を量産する。

この 4 分岐は ch14 で挙げた 3 つの隣接概念 (上流=仮説検定、 並列=多腕バンディット、 下流=因果推論) と 1 対 1 で対応する: 分岐 1=下流の因果、 分岐 2=並列の動的選択、 分岐 4=上流の検定設計。 フローは出発点であって絶対解ではない。 領域知識・データ特性・運用制約を加えて最終判断する。 迷ったときは「🔗 隣接手法への橋渡し」と「🌐 関連手法・派生」を見直し、 単一の手法に固執しないこと。