🔖 キーワード索引

本ページは 統計的差別（Statistical Discrimination）を多角的に解説します。 上のチップは、 検索・関連語の手がかりです。

「statistical discrimination」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「statistical discrimination」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「statistical discrimination の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む — 具体例で理解する

有名な統計的差別ケース：

共通構造：過去データの偏見 → モデルが学習 → 自動化された差別。 「アルゴリズムは公平」という幻想を打ち砕く事例群。

🎨 直感をもう一歩深く — 「taste-based」と「statistical」の区別

経済学者 Gary Becker（1957）は差別を taste-based discrimination（嗜好による差別）として定式化しました。 「経営者が個人的に黒人を雇いたくない」という心理が原因の差別。 これは 非合理的で、 競争市場では淘汰されるはずだ、 という議論。

これに対し Kenneth Arrow（1973）と Edmund Phelps（1972）が提唱したのが statistical discrimination（統計的差別）。 「個人の能力を正確に観察できないとき、 グループの平均で代用する」という 合理的な意思決定の結果としての差別。 この区別は「差別をどう減らすか」の処方箋を大きく変えます。

具体的なメカニズム

self-fulfilling prophecy（自己成就予言）: 統計的差別は、 「期待が結果を作る」フィードバックループを引き起こします。 「黒人は教育が低い」と思って投資しない → 教育機会が減る → 実際に教育が低くなる → 「やはり統計通り」と確信が強化される。 これが差別解消を難しくする最大の要因。

📐 定義・数式

公平性の定量指標例：

🔬 記号・要素の読み解き

🔬 数式を言葉で読み解く — 3 つの公平性指標と不可能性定理

公平性（fairness）には複数の数学的定義があります。 重要な 3 つを順に解説：

① Demographic Parity（人口統計学的均等）

意味: 「採用率（陽性予測率）」がグループ間で等しい。 例: 男性 30% 採用、 女性 30% 採用。 結果の均等を求める。

長所: 単純で説明しやすい。 集団としての平等を保証。
短所: 「能力差」を無視するため、 集団全体の効率を下げることがある。

② Equal Opportunity（機会均等）

意味: 「真に資格のある人」の検出率（真陽性率）がグループ間で等しい。 例: 男性で資格者の 80% を採用、 女性で資格者の 80% を採用。 能力ある人を公平に扱う。

③ Calibration（校正）

意味: 「スコア 0.7 と出された人」が実際に陽性になる確率がグループ間で等しい。 スコアの意味が公平。

不可能性定理（Chouldechova 2017, Kleinberg et al. 2016）

これは 選択を迫られることを意味します。 「何を諦めるか」を社会的・法的に決める必要があります。 純粋に技術的に解ける問題ではないのが fairness の本質。

🔬 最先端研究方向（2024-2026）

• Counterfactual Fairness：因果推論で「もし属性が違ったら」を評価
• Intersectional Fairness：複数属性の交差での評価
• Long-term Impact：fairness 介入の長期的社会影響シミュレーション
• LLM Fairness：生成 AI の偏見評価（StereoSet、 BBQ など）
• Federated Fairness：分散学習での公平性保証
• Procedural Fairness：手続的公平性とアルゴリズムの両立
• Causal Fairness：因果グラフを使った fairness
• Adversarial Robustness：fairness と頑健性の同時保証
• Multi-stakeholder Fairness：複数の利害関係者の調整
• Algorithmic Recourse：「どう変えれば結果が変わるか」の説明

🇯🇵 日本の文脈 — 統計的差別の固有問題

日本特有の保護属性

• 性別: 雇用機会均等法（1985）以来、 法的保護
• 年齢: 高年齢者雇用安定法、 採用時の年齢制限禁止
• 障害: 障害者差別解消法（2016）、 合理的配慮義務
• 国籍・人種: ヘイトスピーチ解消法（2016）
• 出身地: 部落差別解消推進法（2016）— 日本固有
• LGBTQ: 一部自治体でパートナーシップ制度（法的位置付け不明確）
• 地方/都市: SSDSE で見たような地域格差

主要な日本の事件

• 医学部入試差別（2018）: 東京医科大学等で女性受験者の点数を一律減点していたことが発覚
• リクナビ「内定辞退率」販売（2019）: 学生の同意なく予測情報を企業に販売
• 就活セクハラ問題: AI 面接の音声分析で性別バイアス
• SNS 監視 AI: 部落・在日コリアン関連の表現検出での文脈無視

日本の規制動向

• 個人情報保護法（2003、 2022 改正）: プロファイリング規制
• AI 事業者ガイドライン（2024）: fairness 原則明記
• デジタル臨時行政調査会: AI 利用ルール検討
• 経産省 AI 原則 (2019): 公平性を 5 原則の 1 つに

日本は EU や米国と比べ AI 差別への法的フレームワークが 緩いと評価されています。 2026 年現在、 EU AI Act 相当の包括的規制は未制定で、 主に業界自主規制と個別法令の組み合わせで対応中。

✅ 実装チェックリスト — モデルデプロイ前に

• ☐ 保護属性を明示的に定義したか（法的＋文脈的）
• ☐ 保護属性ごとのサンプル数を確認したか（少なすぎないか）
• ☐ ラベル自体に過去差別が反映されていないか検討したか
• ☐ プロキシ変数を検出したか（AUC で評価）
• ☐ ベースラインの DPD・EOD・Calibration を測定したか
• ☐ 緩和手法を 2 つ以上比較したか
• ☐ fairness-accuracy トレードオフ曲線を描いたか
• ☐ 交差属性での評価を行ったか
• ☐ 経営層・法務に結果を報告し、 合意を得たか
• ☐ ユーザへの説明文書を準備したか
• ☐ 異議申立てプロセスを整備したか
• ☐ 運用後のモニタリング体制を構築したか
• ☐ 再学習時の再監査ルールを定義したか
• ☐ EU AI Act / NY 法等の規制適合性を確認したか
• ☐ Counterfactual テスト（属性反転で結果が変わるか）を実施したか

🧮 数値例・実値計算

COMPAS の指標例：

精度（calibration）は公平だが、 誤分類のタイプがグループで違う。 これは 不可能性定理の現れ。

🧮 SSDSE-B-2026 で実値検証 — 「都道府県差別」シミュレーション

統計的差別は人種・性別だけでなく、 地域に対しても起こりえます。 SSDSE-B-2026 の都道府県データを使って、 「ある地域出身者を地方/都市部に分けたとき、 何らかの予測モデルでバイアスが生じるか」を検証してみましょう。

シナリオ設定

設定例：架空の「企業採用 AI」が、 出身県の人口統計だけから「採用すべきか」を判断するとします。 都市部県（東京・大阪・神奈川・愛知）と地方県（鳥取・島根・高知・徳島）で予測陽性率がどう違うかを SSDSE 実値で計算します。

（数値は SSDSE-B-2026 の 2023 年実測値の 4 県平均）　消費支出のような生活水準の指標は 5% 程度の差しかないのに、 求職件数・大学数のような規模変数は 10〜20 倍違います。 このような規模変数を特徴量にすると、 地方県出身者は構造的に不利になります。 これが「地域による統計的差別」の素朴な例。

手計算で陽性率差を見る（架空の数値例）

たとえば架空の数値例として、 都市部・地方それぞれ 20 人ずつの応募者を想定し、 ロジスティック回帰で出身県の「総人口・大学数」だけから採用確率を予測し、 閾値 0.5 で陽性判定するとします（以下は仮想値。 実データでの実測は後述の Python 実装 ①）：

「能力に差はないが、 構造変数が異なる」ケースで、 モデルが 構造を能力と誤認する典型例です。

🧮 数式に値を入れて手で計算する: 統計的差別の量化

合成データで属性別の判別正解率差を計算する。

Step 1: 群別精度

Step 2: 公平指標

🐍 Python で再現

1
2
3
4

acc_A = 0.90
acc_B = 0.70
print(f"差: {acc_A - acc_B}")
print(f"比: {acc_B/acc_A:.3f}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装例

最小コードで動かしてみる例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# ── model / X_test / y_test を用意する。
#    採用審査は SSDSE では表せないので、
#    「過去の合否に性別の下駄が乗っていた」という想定の合成データを使う ──
_rng = np.random.default_rng(0)
_n = 1200
_gender = _rng.choice(['male', 'female'], _n)
_years  = _rng.integers(0, 20, _n)
_score  = _rng.normal(60, 12, _n)
_logit  = 0.08 * _years + 0.05 * (_score - 60) + np.where(_gender == 'male', 0.8, -0.8)
_label  = (_rng.random(_n) < 1 / (1 + np.exp(-_logit))).astype(int)
_X = pd.DataFrame({'経験年数': _years, '適性検査': _score, '性別': _gender})
X_train, X_test, y_train, y_test = train_test_split(
    _X, _label, test_size=0.3, random_state=0, stratify=_label)
FEAT = ['経験年数', '適性検査']
model = LogisticRegression(max_iter=1000).fit(X_train[FEAT], y_train)

from fairlearn.metrics import (
    demographic_parity_difference,
    equalized_odds_difference,
)

# モデル予測の公平性チェック
y_pred = model.predict(X_test[FEAT])
sensitive = X_test['性別']  # 保護属性

dpd = demographic_parity_difference(
    y_true=y_test, y_pred=y_pred, sensitive_features=sensitive
)
eod = equalized_odds_difference(
    y_true=y_test, y_pred=y_pred, sensitive_features=sensitive
)
print(f'人口統計学的均等: {dpd:.3f}, 機会均等: {eod:.3f}')

🐍 Python 実装 ① — SSDSE-B-2026 で都市/地方バイアスを検証

🎯 このコードでやること：SSDSE-B-2026 (2023 年) の 47 都道府県を「都市部 (総人口 300 万人以上、 10 県)」と「地方 (それ以外、 37 県)」に二分。 「消費支出 (L3221) が全国中央値以上の高消費県か」を目的変数 (24 県 / 23 県) とし、 新規求職申込件数 (F3101)・大学数 (E6102)・転入者数 (A5101) という都市規模系の特徴量だけでロジスティック回帰予測。 都市/地方間で陽性予測率がどれだけ偏るか実測します。

📥 入力データ（SSDSE-B-2026.csv 抜粋、 実値）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == 2023].copy()

# 保護属性: 都市部=総人口 300 万人以上、 地方=それ以外
df['urban'] = (df['A1101'] >= 3_000_000).astype(int)
print('都市部県:', df.loc[df['urban'] == 1, 'Prefecture'].tolist())
print('地方県数:', (df['urban'] == 0).sum())

# 目的変数: 消費支出 L3221 が全国中央値以上か (高消費県 24 / 低消費県 23)
y = (df['L3221'] >= df['L3221'].median()).astype(int).values

# 特徴量: 新規求職申込件数・大学数・転入者数 (いずれも都市規模のプロキシ)
X = df[['F3101', 'E6102', 'A5101']].values
X_std = StandardScaler().fit_transform(X)
clf = LogisticRegression(random_state=0).fit(X_std, y)
df['pred'] = clf.predict(X_std)

# Demographic Parity を測定
p_urban = df[df['urban'] == 1]['pred'].mean()
p_rural = df[df['urban'] == 0]['pred'].mean()
print(f'\n都市部陽性予測率: {p_urban:.3f}')
print(f'地方陽性予測率: {p_rural:.3f}')
print(f'Demographic Parity 差: {abs(p_urban - p_rural):.3f}')

📤 実行例（出力）：

💬 結果の読み方: 実際の高消費県の割合は都市部 60.0%・地方 48.6% と 11 ポイント程度の差しかないのに、 モデルの陽性予測率は都市部 80.0% 対 地方 5.4% と 極端な格差になりました（DP 差 0.746）。 しかも全体精度は 0.574 と低い。 つまり「求職件数・大学数・転入者数」のような 規模変数は消費水準をほとんど説明しないのに、 予測を都市部へ集中させます。 構造変数を能力（ここでは消費力）と読み替えた典型的な統計的差別で、 fairness 制約を入れない単純な学習は危険です。

🐍 Python 実装 ② — fairlearn で 3 つの公平性指標を一括計算

🎯 このコードでやること：上のモデルに対して、 fairlearn ライブラリで Demographic Parity Difference、 Equalized Odds Difference、 Equal Opportunity Difference の 3 指標を計算します。

📥 入力データ: 上のセクションの df, X_std, y, clf。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

from fairlearn.metrics import (
    demographic_parity_difference,
    equalized_odds_difference,
    true_positive_rate,
    false_positive_rate,
    MetricFrame,
)

sensitive = df['urban'].values  # 0=地方, 1=都市
y_pred = clf.predict(X_std)

dpd = demographic_parity_difference(
    y_true=y, y_pred=y_pred, sensitive_features=sensitive)
eod = equalized_odds_difference(
    y_true=y, y_pred=y_pred, sensitive_features=sensitive)

print(f'Demographic Parity Difference = {dpd:.3f}')
print(f'Equalized Odds Difference     = {eod:.3f}')

# グループ別の TPR / FPR
mf = MetricFrame(
    metrics={'TPR': true_positive_rate, 'FPR': false_positive_rate},
    y_true=y, y_pred=y_pred, sensitive_features=sensitive)
print('\nグループ別指標:')
print(mf.by_group)

📤 実行例（出力）：

💬 結果の読み方: 都市部の TPR=0.833 は地方の 0.111 の 7.5 倍。 真に高消費の地方県 18 県のうち、 モデルが検出できたのは 2 県だけです。 一方 FPR は都市部 0.750 対 地方 0.000 → 「都市部は誤陽性だらけでも、 とにかく陽性判定される」傾向。 同じ「真に陽性」でも所属グループで扱いが激変する、 Equalized Odds 違反の実測例です。 fairness 不可能性定理通り、 DPD と EOD を両方 0 に近づけるのは構造的に困難です。

🐍 Python 実装 ③ — Reweighing で公平性を改善

🎯 このコードでやること：訓練データに サンプル重みを付けて、 都市/地方間の予測陽性率の差を縮めます。 fairlearn の ExponentiatedGradient または素朴な reweighing で実装。

📥 入力データ: 上の df, X_std, y。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

# Reweighing: 各 (A, Y) 組み合わせの逆数を重みに
a = df['urban'].values
yv = y
n = len(yv)

# 期待頻度 / 実頻度 比
weights = np.ones(n)
for a_v in [0, 1]:
    for y_v in [0, 1]:
        mask = (a == a_v) & (yv == y_v)
        expected = ((a == a_v).mean() * (yv == y_v).mean())
        observed = mask.mean()
        if observed > 0:
            weights[mask] = expected / observed

clf_fair = LogisticRegression().fit(X_std, yv, sample_weight=weights)
y_pred_fair = clf_fair.predict(X_std)

p_urban_f = y_pred_fair[a == 1].mean()
p_rural_f = y_pred_fair[a == 0].mean()
print(f'[修正前] 都市={p_urban:.3f}, 地方={p_rural:.3f}, 差={abs(p_urban-p_rural):.3f}')
print(f'[修正後] 都市={p_urban_f:.3f}, 地方={p_rural_f:.3f}, 差={abs(p_urban_f-p_rural_f):.3f}')

📤 実行例（出力）：

💬 結果の読み方: Reweighing で差は 0.746 → 0.638 に縮まりましたが、 1 割強の改善にとどまりました（全体精度は 0.574 のまま）。 今回のように特徴量 3 つがすべて強い都市規模プロキシの場合、 サンプル重み付けだけでは判別面をほとんど動かせないのです。 「Reweighing = 万能」ではないことの実測例。 特徴量構成を変えた場合にどこまで改善するかは、 後述の実装 ⑤ で確認します。

⚖️ 法的文脈 — 統計的差別と各国の法律

2024 年以降の動向: EU AI Act が世界標準になりつつあり、 「高リスク AI」（採用・与信・教育・医療等）には fairness 評価が法的義務になりました。 米国でも州レベル（NY、 イリノイ）で同様の規制が広がっています。

📰 実事例詳細 — 教科書級の差別事件

事例 1: COMPAS（米国犯罪予測 AI、 2016）

米国 Northpointe 社の再犯予測ソフト COMPAS が、 黒人を白人より約 2 倍の偽陽性率で高リスクと判定。 ProPublica（調査報道メディア）が 2016 年に告発。 影響:

• 米国 7 州以上の裁判所で量刑判断に使用
• 黒人の保釈拒否率が高くなる構造的差別
• Wisconsin v. Loomis（2016）裁判で「透明性なきアルゴリズム」の合法性が争点に
• 不可能性定理の実例として今も論文で引用

事例 2: Amazon 採用 AI（2014-2018）

Amazon は 10 年分の履歴書データで採用 AI を訓練。 結果として：

• 「women's chess club」「women's college」などの単語に マイナス重み
• 男性名・男性に多い経歴を高評価
• 過去の採用が男性中心 → モデルが「女性 = 不採用」を学習
• 2018 年に Reuters がスクープ、 プロジェクト中止

事例 3: Apple Card 与信 AI（2019）

Apple Card（Goldman Sachs 提供）で、 共同口座所有の夫婦のうち 妻の与信枠が夫の 1/20になる事例が SNS で拡散。 NY 金融当局が調査。 結果：

• 性別を直接入力していなくても、 配偶者の所得歴・名前から推定された可能性
• 「プロキシ変数」による隠れた差別の典型例
• Apple とゴールドマンは違反なしと結論されたが、 業界全体に警鐘

事例 4: 顔認識の人種偏り（2018-）

Joy Buolamwini（MIT）の研究で、 主要顔認識 API が 黒人女性で 34% の誤認率（白人男性は 0.8%）。 影響：

• 誤逮捕事例（Robert Williams 2020 等）
• IBM・Microsoft・Amazon が顔認識サービスを縮小・停止
• サンフランシスコ・ボストン等で公的機関の顔認識使用が禁止
• 学習データの偏り（白人男性中心）が直接の原因

事例 5: 医療診断 AI の人種差（2019）

米国の医療資源配分 AI が、 同じ病状の黒人患者により少ない医療を割り当てる。 原因は「過去の医療費支出」を健康指標としたこと。 黒人は経済的理由で医療費が少ない → AI が「健康」と誤判定。 Obermeyer et al. (Science 2019) が告発、 全米で対象 7000 万人。

🕵️ プロキシ変数 — 「隠れた差別」を見抜く

「保護属性を入力しなければ差別は防げる」という考えは 誤りです。 多くの中立的変数が保護属性の代理（プロキシ）になります：

対処: 単に保護属性を除くのではなく、 「属性を予測できる変数」（プロキシ）を体系的に発見・処理する必要があります。 これを indirect discrimination（間接的差別）と呼びます。 fairlearn・AIF360 等のツールが対応。

🐍 Python 実装 ④ — プロキシ変数の検出

🎯 このコードでやること：SSDSE-B-2026 の各列が「都市/地方の区別」（保護属性プロキシ）として機能するかを、 ロジスティック回帰の AUC で評価します。 AUC が 0.5 に近ければ無関係、 1.0 に近ければ強いプロキシ。

📥 入力データ: SSDSE-B-2026.csv の各列。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['urban'] = (df['A1101'] >= 3_000_000).astype(int)

candidate_cols = ['F3101', 'E6102', 'A5101', 'B4101', 'A4103',
                  'I510120', 'J2503', 'A9101', 'A1301']
results = []
for c in candidate_cols:
    X = df[[c]].values
    Xs = StandardScaler().fit_transform(X)
    clf = LogisticRegression().fit(Xs, df['urban'])
    auc = roc_auc_score(df['urban'], clf.predict_proba(Xs)[:, 1])
    results.append((c, auc))

results.sort(key=lambda x: -x[1])
print(f'{"列":>10} | AUC | プロキシ度')
print('-' * 40)
for c, auc in results:
    level = '強' if auc > 0.85 else ('中' if auc > 0.65 else '弱')
    print(f'{c:>10s} | {auc:.3f} | {level}')

📤 実行例（出力）：

💬 結果の読み方: 新規求職申込件数・婚姻件数・15 歳未満人口・転入者数などの 規模系変数は AUC が 0.98 以上（上位 3 変数は 1.000）に達する極めて強いプロキシです。 これらは総人口とほぼ比例するため、 1 変数だけで都道府県の都市/地方をほぼ完全に判別できてしまいます。 一見中立的な合計特殊出生率 (A4103、 AUC 0.832) や年平均気温 (B4101、 0.716) まで中程度のプロキシになっている点も注目に値します。 「都市/地方」を直接入力しなくても、 これらを使えば 事実上の地域差別が起こりうる。 プロキシの定量検出が、 fairness 監査の第一歩です。

🛡️ 緩和戦略 — 3 段階のアプローチ

① Pre-processing（前処理段階）

② In-processing（学習中）

③ Post-processing（学習後）

選び方の指針: データ収集段階で介入できるなら pre-processing が根本的。 既存モデルを変更しにくいなら post-processing。 新規開発で fairness を最重要視するなら in-processing。

🤝 倫理フレームワーク — 公平性の哲学的根拠

「公平」の単一定義は存在しません。 技術的指標を選ぶことは、 暗黙のうちに哲学的立場を選ぶことです。 経営判断・社会的合意・法律遵守が組み合わさって決まります。

🐍 Python 実装 ⑤ — 完全パイプライン（監査レポート）

🎯 このコードでやること：SSDSE-B-2026 を例に、 (1) 元モデル評価、 (2) プロキシ検出、 (3) Reweighing で修正、 (4) 最終公平性レポート生成、 という監査の全工程をパイプライン化します。

📥 入力データ: SSDSE-B-2026.csv の 2023 年 47 都道府県。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score
from fairlearn.metrics import (
    demographic_parity_difference,
    equalized_odds_difference,
    MetricFrame,
    selection_rate,
)

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['urban'] = (df['A1101'] >= 3_000_000).astype(int)
df['target'] = (df['L3221'] >= df['L3221'].median()).astype(int)

X = df[['F3101', 'E6102', 'A5101', 'I510120', 'J2503']].values
y = df['target'].values
a = df['urban'].values
X_std = StandardScaler().fit_transform(X)

# (1) ベースライン
clf_base = LogisticRegression().fit(X_std, y)
y_pred_base = clf_base.predict(X_std)

# (2) Reweighing
w = np.ones(len(y))
for av in [0, 1]:
    for yv in [0, 1]:
        m = (a == av) & (y == yv)
        if m.sum() > 0:
            exp = (a == av).mean() * (y == yv).mean()
            w[m] = exp / m.mean()
clf_fair = LogisticRegression().fit(X_std, y, sample_weight=w)
y_pred_fair = clf_fair.predict(X_std)

# (3) レポート
print('=' * 60)
print('     AI Audit Report — SSDSE-B-2026 Urban/Rural Bias')
print('=' * 60)
for name, yp in [('Baseline', y_pred_base), ('Reweighed', y_pred_fair)]:
    acc = accuracy_score(y, yp)
    dpd = demographic_parity_difference(y, yp, sensitive_features=a)
    eod = equalized_odds_difference(y, yp, sensitive_features=a)
    print(f'\n[{name}]  Accuracy={acc:.3f}  DPD={dpd:.3f}  EOD={eod:.3f}')
    mf = MetricFrame(metrics=selection_rate, y_true=y,
                     y_pred=yp, sensitive_features=a)
    for g, v in mf.by_group.items():
        gname = '地方' if g == 0 else '都市'
        print(f'  {gname} 陽性予測率: {v:.3f}')
print('=' * 60)

📤 実行例（出力）：

💬 結果の読み方: Reweighing で 公平性指標が大幅改善（DPD 0.403→0.059、 EOD 0.395→0.171）。 DPD はほぼ解消（0.06）し、 都市 0.700 対 地方 0.297 だった陽性率が 0.600 対 0.541 まで接近しました。 その代償として全体精度は 70.2%→66.0% に下がる典型的 fairness-accuracy tradeoff。 DPD をほぼ 0 にするために精度を約 4 ポイント犠牲にする判断は、 業務によっては合理的です。 監査レポートはこのように「数字でトレードオフを可視化」して経営判断を支援するのが基本形です。

📋 監査プロセス — 実務での fairness 評価フロー

ステップ 1: 利害関係者特定

• 誰がモデルに影響を受けるか（被予測者、 ユーザ）
• 誰が利得を得るか（事業者、 株主）
• 誰が監督するか（規制当局、 NPO）

ステップ 2: 保護属性定義

• 法的保護属性（人種・性別・年齢・障害）
• 文脈固有の属性（地域・所得・学歴）
• 交差属性（黒人女性、 高齢障害者など）

ステップ 3: ベースライン測定

• 全体精度・グループ別精度
• DPD・EOD・Calibration
• FPR・FNR のグループ間差

ステップ 4: プロキシ変数検出

• 各特徴量で属性を予測する AUC を測定
• AUC > 0.7 ならプロキシの疑い
• 除外 / 補正 / 重み調整を検討

ステップ 5: 緩和策の適用

• Pre-processing / In-processing / Post-processing から選択
• 複数手法を比較
• fairness と精度のトレードオフ曲線を描く

ステップ 6: ステークホルダーとの対話

• 結果を経営層・法務・コンプライアンスに報告
• 「どこまで公平性を求めるか」の合意形成
• 外部監査・第三者評価の検討

ステップ 7: 継続的モニタリング

• 運用中の予測分布をリアルタイム監視
• 新規データでの再学習時に再監査
• 苦情・異議申立てへの対応プロセス

🔧 ツール一覧 — 主要 fairness ライブラリ

標準は Fairlearn または AIF360。 大規模な企業監査では Holistic AI や Aequitas がレポート生成に便利。

🐍 Python 実装 ⑥ — Pareto 曲線で fairness-accuracy トレードオフを可視化

🎯 このコードでやること：Reweighing の重み強度を 0（オフ）から 1（フル）まで連続的に変え、 各点で精度と公平性差を測定。 Pareto 曲線として可視化することで、 「許容できる精度低下の中で最大の公平性」を判断できます。

📥 入力データ: 前出 X_std, y, a。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from fairlearn.metrics import demographic_parity_difference

alphas = np.linspace(0, 1, 11)  # 0=ベースライン、 1=フル Reweighing
accs, dpds = [], []
for alpha in alphas:
    w = np.ones(len(y))
    for av in [0, 1]:
        for yv in [0, 1]:
            m = (a == av) & (y == yv)
            if m.sum() > 0:
                exp = (a == av).mean() * (y == yv).mean()
                w_full = exp / m.mean()
                w[m] = 1 + alpha * (w_full - 1)  # 線形補間
    clf = LogisticRegression().fit(X_std, y, sample_weight=w)
    yp = clf.predict(X_std)
    accs.append(accuracy_score(y, yp))
    dpds.append(demographic_parity_difference(y, yp, sensitive_features=a))

plt.figure(figsize=(9, 6))
plt.plot(dpds, accs, 'o-', color='#C62828', linewidth=2, markersize=8)
for i, alpha in enumerate(alphas):
    plt.annotate(f'α={alpha:.1f}', (dpds[i], accs[i]),
                 fontsize=9, textcoords='offset points', xytext=(5, 5))
plt.xlabel('Demographic Parity Difference (小=公平)')
plt.ylabel('Accuracy (大=高精度)')
plt.title('Fairness-Accuracy トレードオフ曲線 — SSDSE-B-2026')
plt.grid(True, alpha=0.3)
plt.savefig('fairness_pareto.png', dpi=120)
print('Pareto 曲線を保存')

📤 実行例（出力）：

💬 結果の読み方: 公平性を改善するほど精度が概ね低下する Pareto 曲線が描けます。 「DPD < 0.3 を目指したい」なら α=0.5（DPD 0.268）が目安。 「DPD < 0.15」まで求めるなら α=0.7 が現実解です。 このデータでは精度が 0.66〜0.70 の狭い帯に収まるため、 公平性をかなり改善しても精度低下は数ポイントにとどまります。 経営判断にこの曲線を提示することで、 数字に基づいた fairness 政策決定が可能になります。

📊 SSDSE-B-2026 列詳細 — fairness 教材として

SSDSE-B-2026 から fairness 演習に使える列を分類しました：

「保護属性」候補

「機会」候補（特徴量）

「結果」候補（ターゲット）

これら 3 つを組み合わせて、 様々な「都道府県差別シナリオ」が作れます。 学生は 「機会・結果・属性」の三角関係を体感できます。

📜 公平性チートシート — よく使う数式と概念

指標の対応関係

緩和手法と適用タイミング

監査の頻度

• 新規モデル: デプロイ前に 必ず
• 運用中モデル: 半年〜年次
• 再訓練後: 再監査必須
• 重大事象後: 即時監査

⚠️ よくある落とし穴

⚠️ 上級者向け落とし穴 — 論文・実装で散見されるミス

📜 歴史と理論系譜

🌐 関連手法・派生

• Fairlearn：Microsoft 製の公平性ツールキット
• AIF360：IBM 製の公平性ライブラリ
• Reweighing：訓練データの重み付けで補正
• Adversarial Debiasing：敵対的学習で偏見を除去
• Post-processing：予測結果を後から補正
• Counterfactual Fairness：「もし属性が違ったら」の反実仮想

🌐 英日対訳テーブル

📋 クイックリファレンス

公平性 3 指標の覚え方

• DP（Demographic Parity）: 「採用率の均等」← 結果重視
• EO（Equal Opportunity）: 「資格者の検出率均等」← 能力重視
• Cal（Calibration）: 「スコアの意味均等」← 校正重視

緩和の 3 段階

• Pre: データ重み付け、 特徴量補正、 表現学習
• In: 制約付き最適化、 敵対的学習、 正則化
• Post: 閾値調整、 拒否オプション、 校正

監査の 7 ステップ

1. 利害関係者特定
2. 保護属性定義
3. ベースライン測定
4. プロキシ変数検出
5. 緩和策の適用
6. 経営層との対話
7. 継続モニタリング

必携ツール

• Fairlearn（Python、 Microsoft）
• AIF360（Python/R、 IBM）
• Aequitas（Python、 監査レポート）
• What-If Tool（Google、 対話的）

💎 重要な教訓 10 箇条

1. データは 客観的ではない — 過去の社会の偏見を反映する
2. アルゴリズムは 偏見を増幅する — 大規模に、 不可視に
3. 保護属性を入れないだけでは差別は防げない — プロキシ経由で再現
4. fairness の 単一定義は存在しない — 文脈に応じた選択が必須
5. 不可能性定理により、 トレードオフは避けられない
6. fairness と精度は基本的にトレードオフ — 経営判断が必要
7. 個人公平性と集団公平性は 同時達成困難
8. 技術的修正だけでは不十分 — 法律・組織文化が必要
9. 監査は 継続的 — 一度だけの評価では不十分
10. 透明性と説明可能性が fairness の前提

🔗 関連用語

🔗 関連用語（前提・並列・発展）

📘 前提となる概念

📗 並列・関連概念

📕 発展・関連分野

📝 演習問題 — 自分の手で確認する

演習 1: SSDSE で別の保護属性を作る

「都市/地方」の代わりに、 「東日本/西日本」「太平洋側/日本海側」など別の地理的二分で同じ分析を行え。 fairness 指標はどう変わるか？

演習 2: 3 階層保護属性

人口を「大都市（300 万+）」「中規模（100-300 万）」「地方（100 万未満）」に三分し、 3 グループでの DPD・EOD を計算せよ。 二値より複雑な構造が見えるか？

演習 3: プロキシの段階的除去

AUC が 0.9 を超えるプロキシ変数から順に除外し、 fairness が改善するか確認。 何個除外すれば DPD < 0.1 になるか？

演習 4: 不可能性定理を体感

Demographic Parity と Equal Opportunity を同時最小化しようとする最適化スクリプトを書け。 どちらかを 0 にすると他方が大きくなる現象を確認。

演習 5: Counterfactual テスト

各都道府県について「もし都市/地方が逆だったら予測は変わるか」をモデルで確認。 何 % のサンプルで予測が変わるか？

演習 6: 異なる緩和手法の比較

Reweighing、 ExponentiatedGradient、 Threshold Adjustment を同じデータで実行し、 公平性 vs 精度のトレードオフを Pareto 曲線で可視化。

演習 7: 監査レポートの作成

Aequitas を使って、 上記の分析を 1 つの PDF レポートにまとめよ。 経営層向けの要約と、 技術者向けの詳細を分けて。

❓ FAQ — 統計的差別に関するよくある質問

Q1. 「公平な AI」は作れるか？
A. 完全な公平は不可能性定理により不可能。 ただし「どの観点で何を優先するか」を明示的に選ぶことで、 受容可能な fairness は実現可能です。

Q2. なぜ「保護属性を入れない」だけでは不十分？
A. プロキシ変数が無数に存在するため。 郵便番号・姓・学歴・SNS 活動など、 多くの中立的に見える変数が保護属性を予測できます。

Q3. fairness と精度はどちらを優先すべき？
A. 文脈次第。 高リスク領域（採用・与信・医療・刑事司法）では fairness 優先、 低リスク領域（広告レコメンド）では精度優先が一般的。

Q4. 個人公平性と集団公平性、 どちらが本物の公平？
A. 両方とも正当な定義。 「同じ集団で同じ扱い」（集団）と「似た個人で似た扱い」（個人）は哲学的に違うアプローチ。

Q5. 「アファーマティブアクション」と AI fairness の関係は？
A. アファーマティブアクション = 「過去の差別補償のため少数派を優遇」。 AI fairness の文脈では、 Equal Opportunity や Reweighing などが対応。

Q6. 統計的差別と taste-based 差別、 どちらが現代では深刻？
A. アルゴリズム時代では 統計的差別が圧倒的に深刻。 大規模に自動化され、 「不可視」に動作するため。

Q7. LLM（生成 AI）にも統計的差別は起こる？
A. はい。 訓練データの偏りが反映され、 「医者」を男性、 「看護師」を女性として描く、 などのステレオタイプ再生産が確認されています（StereoSet、 BBQ ベンチマーク）。

Q8. 日本では統計的差別の規制はある？
A. 包括的な AI 規制はまだなく、 個人情報保護法・雇用機会均等法・障害者差別解消法等の組み合わせ。 2026 年現在、 EU AI Act 相当の法制化が議論中。

Q9. 監査は誰が行うべき？
A. 内部監査（データサイエンス・法務）＋ 外部監査（第三者機関・市民団体）の併用が理想。 NIST AI Risk Management Framework が国際標準として参照されます。

Q10. 「fairness washing」とは？
A. 「公平性に配慮しています」と表面的に主張しつつ、 実質的な改善を行わない見せかけの対応。 EU AI Act 等で実質審査が求められるようになり、 単なる声明では不十分に。

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 AI・データ倫理 — 公平性の理論と実装
• 📚 AI ガイドライン — 各国・各社の指針
• 📚 AI の信頼性 — fairness と並ぶ柱
• 📚 アルゴリズムバイアス — 隣接概念

📚 ケーススタディ ① — COMPAS 詳細分析

COMPAS（Correctional Offender Management Profiling for Alternative Sanctions）は、 米国 Northpointe 社（現 Equivant）が開発した再犯予測ソフトウェア。 7000 人以上のフロリダ州被告データで ProPublica が分析した結果：

数値詳細

不可能性定理の典型例

Northpointe は「calibration（精度）が等しい」ことを根拠に公平性を主張。 一方 ProPublica は「false positive rate が違う」ことを根拠に不公平と主張。 Chouldechova（2017）が数学的に証明：base rate（真の再犯率）が違う限り、 両方を同時に満たすことは 不可能。

「どちらが正しい？」ではなく「どちらの公平性を選ぶか」が社会的判断になります。 COMPAS 事件以後、 fairness の議論は技術論から倫理・政治論へとシフト。

📚 ケーススタディ ② — Amazon 採用 AI の解剖

Amazon は 2014 年から実験的に履歴書評価 AI を開発。 構造：

1. 過去 10 年間の応募者履歴書 × 採用結果でモデル訓練
2. 500 のジョブカテゴリ × 50,000 のキーワード
3. 5 段階評価で履歴書を採点

発覚した偏り

• 「women's chess club captain」← マイナス重み
• 「women's college」← マイナス重み
• 「executed」「captured」など男性に多用される動詞 ← プラス重み
• 同等の経歴で性別だけ違う場合、 男性の方が高得点

なぜ起きたか

Amazon の過去 10 年の採用は 男性中心（特にエンジニア職）。 モデルはこれを「採用されやすい属性」として学習し、 「女性に多い単語」を負の重みに収束させた。 性別を明示的に入力しなくても、 言語パターンから推定された。

教訓

• ラベル（採用 = 正解）自体が過去の差別を反映していた
• 言語データには性別シグナルが大量に含まれる
• 「不平等が学習データに刻まれている」場合、 技術的修正だけでは不十分
• Amazon は 2018 年にプロジェクトを完全中止

📚 追加ケーススタディ — その他の有名事件

事例 6: Google Photos の「ゴリラ」事件（2015）

Google Photos の画像認識 AI が、 黒人女性 2 人を「ゴリラ」と分類。 学習データに非白人画像が少なかったことが原因。 Google は対症療法として「ゴリラ」ラベル自体を削除し、 数年後に他のラベルでも修復が困難であることを発表。 教訓: 多様な学習データの重要性。

事例 7: 翻訳 AI のジェンダーバイアス（2017-）

Google Translate がトルコ語「o bir doktor」（彼/彼女は医者）を英訳すると、 自動的に「He is a doctor」となり、 「o bir hemşire」（彼/彼女は看護師）は「She is a nurse」となる事例が拡散。 言語データに含まれる職業ステレオタイプの典型例。 現在は両方の翻訳を提示する仕様に修正。

事例 8: オランダ児童手当スキャンダル（2019）

オランダ税務当局が児童手当の不正検知に使った AI が、 二重国籍者を不当にフラグ。 数万家族が誤って巨額返還を請求され、 多くが破産。 ルッテ内閣が 2021 年に総辞職する事態に発展。 EU AI Act の起源の 1 つ。

事例 9: 米国ホワイトハウス AI 権利章典（2022）

バイデン政権が「AI Bill of Rights」を発表。 5 原則: (1) 安全で効果的なシステム、 (2) アルゴリズム差別の保護、 (3) データプライバシー、 (4) 通知と説明、 (5) 人間による代替・配慮。 法的拘束力はないが、 業界基準として影響大。

事例 10: 中国の社会信用システム

中国政府の社会信用システムは、 個人・企業を多次元評価。 西側からは「統計的差別の国家化」と批判される一方、 中国国内では「信頼社会の構築」として位置付け。 グローバル AI 倫理の文化的相対性論争の象徴。

💎 最終チェックリスト — 学習到達度

• ☐ taste-based と statistical discrimination の違いを説明できる
• ☐ Demographic Parity、 Equal Opportunity、 Calibration の 3 指標を理解
• ☐ 不可能性定理の意味と数学的背景を把握
• ☐ プロキシ変数の検出方法を実装できる
• ☐ Reweighing で fairness を改善できる
• ☐ fairness-accuracy トレードオフを定量化できる
• ☐ SSDSE-B-2026 で都道府県差別シミュレーションが組める
• ☐ COMPAS、 Amazon、 Apple Card 等の典型事例を説明できる
• ☐ EU AI Act など主要規制の概要を把握
• ☐ Model Card と Datasheet の役割を理解
• ☐ Fairlearn または AIF360 で監査レポートを作成できる
• ☐ 因果推論と Counterfactual Fairness の関係を理解
• ☐ Intersectionality（複数属性の交差）の重要性を把握
• ☐ 組織的対応（AI 倫理委員会、 監査）の必要性を理解

🔮 業界予測 — 2026 年以降の展望

• 規制の急速な拡大: EU AI Act 施行（2025-）に呼応して、 米国・日本・韓国でも包括的 AI 規制が整備される見込み
• 監査の標準化: ISO/IEC 42001（AI マネジメントシステム規格、 2023）の普及。 ISO 24368（fairness 指標）も策定中
• AI 監査専門職の確立: 「AI Auditor」資格制度が複数機関で開始
• fairness as a Service: AWS、 Azure、 GCP で fairness 評価機能がデフォルト化
• LLM 評価の深化: BBQ、 StereoSet を超える次世代ベンチマークが研究中
• 因果推論の主流化: Counterfactual Fairness の実装ハードルが下がる見込み
• 市民監視の組織化: Algorithmic Justice League 等の活動が拡大
• 教育の必修化: AI 倫理が情報系学部の必修科目に
• 保険・補償制度: AI 誤判定への保険商品が登場
• 国際協調: G7・OECD で AI 倫理ガバナンスの調整が進行

📑 必読論文 TOP 10（時系列）

1. Becker (1957): 差別の経済学 — taste-based の原点
2. Phelps (1972): 統計的差別の定式化
3. Arrow (1973): 情報の非対称性モデル
4. Dwork et al. (2012): Fairness Through Awareness — Individual Fairness の数学的基礎
5. ProPublica (2016): Machine Bias — COMPAS 告発
6. Hardt et al. (2016): Equality of Opportunity in Supervised Learning
7. Chouldechova (2017): 不可能性定理の証明
8. Buolamwini & Gebru (2018): Gender Shades — 顔認識の偏り
9. Obermeyer et al. (2019, Science): 医療 AI の人種差別
10. Barocas et al. (2023): Fairness and Machine Learning — 包括的教科書

📘 実務ガイド — 明日から使える 5 ステップ

1. 「保護属性は何か」を 30 分で言語化: 法的属性 + 文脈固有属性のリスト化。 経営層・法務と合意
2. 「プロキシ検出スクリプト」を 1 日で実装: 各特徴量から保護属性を予測する AUC を測る簡単なコード。 上述の SSDSE 例が雛形
3. 「Fairlearn 監査」を 1 週間で導入: 既存モデルに MetricFrame を適用、 DPD・EOD・グループ別精度を測定
4. 「fairness レポート」を経営層に提示: 数値だけでなく、 「業務影響」「リスク」「修正コスト」を併記
5. 「継続監視ダッシュボード」を構築: 運用中モデルの fairness 指標を Grafana 等で常時可視化

この 5 ステップだけで、 fairness を「論文の中の概念」から「実務の数字」に変えられます。 完璧を目指すのではなく、 「測定して、 開示して、 改善する」サイクルを回すことが重要。

🎯 まとめ — この記事のテイクアウェイ

1. 統計的差別は 「平均で個人を判断する」合理的に見える差別 — Arrow / Phelps 1970 年代に経済学で定式化
2. AI 時代では 過去の偏見を学習データから増幅する形で深刻化
3. 主要 fairness 指標：Demographic Parity、 Equal Opportunity、 Calibration の 3 つ
4. 不可能性定理: 3 指標を同時に満たすことは数学的に不可能
5. 「保護属性を入れない」だけでは不十分 — プロキシ変数経由で差別が再現
6. 緩和策は Pre / In / Post-processing の 3 段階で実装可能
7. fairness-accuracy トレードオフは避けられず、 経営判断が必要
8. SSDSE-B-2026 の都道府県データで「都市/地方差別」が実演可能（教育に最適）
9. EU AI Act・NY 自動雇用決定法など、 法規制が 2024-2026 で急速に整備中
10. 技術 + 法律 + 組織文化の 三位一体で取り組む必要がある
11. SSDSE-B-2026 のような 公開データセットを使えば、 倫理的に安全な fairness 教材が組める
12. 2026 年は 規制と監査標準化の転換点 — EU AI Act 施行、 NY 自動雇用法、 ISO 規格策定が並行進行

🏁 結語

統計的差別は 技術と倫理が交差する 21 世紀最大の課題の 1 つです。 「データに基づく合理的判断」が、 結果として 差別を再生産・増幅する皮肉な現実は、 AI 開発者・データサイエンティスト全員に責任を問いかけます。 「動けば良い」「精度が高ければ良い」という時代は終わり、 誰に不利益を与えうるかを問い続ける文化が、 これからの機械学習実務には不可欠です。

本ページが、 あなたの fairness 思考の出発点になれば幸いです。 SSDSE-B-2026 の都道府県データを使った演習を、 ぜひ自分の手で動かしてください。 「同じ仕組みが本物の差別を生む」体感が、 何より説得力のある教育になります。

📈 統計的差別の経済学的定義と機械学習フェアネス

統計的差別（Statistical Discrimination）は、 Phelps (1972) と Arrow (1973) によって導入された概念で、 「個人の属性（性別・人種・年齢）を、 観測しにくい能力の代理指標として用いる」行動を指す。 偏見（taste-based discrimination）と異なり、 経済合理性に基づいて意思決定が行われる点が特徴である。 機械学習モデルが大量データから学んだ「平均的傾向」を個人判断に適用する時、 まさに統計的差別が再生産される。 本節では SSDSE-B-2026 の都道府県データを「グループ属性」と見立てて、 統計的差別が起きる構造と fairlearn を使った緩和策を実装する。

統計的差別の経済学的定式化

採用判断者は応募者 i の能力 a_i を直接観測できず、 信号 s_i = a_i + ε_i のみ観測する。 グループ g ごとの誤差分散 σ²_g が異なる時、 ベイズ更新で能力推定値は次のように書ける:

つまり、 信号のノイズが大きいグループ g では λ_g が小さく、 個別信号 s_i より「グループ平均 μ_g」に強く引っ張られる。 これが 統計的差別の数理的本質である。

SSDSE-B-2026 を用いた差別シミュレーション

🐍 Python 実装: fairlearn による統計的差別の検出と緩和

このコードでやること: SSDSE-B-2026 の都道府県を「都市圏（人口 300 万以上）」「地方」の 2 グループに分け、 消費支出（L3221）予測モデルが地方グループに不利な判断を下すかを fairlearn の MetricFrame で測定する。

📥 入力データ (SSDSE-B-2026 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import pandas as pd
from sklearn.linear_model import LogisticRegression
from fairlearn.metrics import MetricFrame, demographic_parity_difference, equalized_odds_difference

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == 2023].copy()

# グループ属性: 都市圏 (総人口 A1101 が 300万以上) vs 地方
df['group'] = (df['A1101'] >= 3_000_000).astype(int)
# 目的変数: 消費支出 L3221 が上位 50% に入るか
df['y'] = (df['L3221'] >= df['L3221'].median()).astype(int)
# 特徴量: 合計特殊出生率 A4103 のみ (本来は個人の弱いシグナル)
X = df[['A4103']]
y = df['y']
g = df['group']

clf = LogisticRegression().fit(X, y)
y_pred = clf.predict(X)

mf = MetricFrame(metrics={'selection_rate': lambda y, p: p.mean()},
                 y_true=y, y_pred=y_pred, sensitive_features=g)
print(mf.by_group)
print('Demographic Parity Diff:', demographic_parity_difference(y, y_pred, sensitive_features=g))
print('Equalized Odds Diff   :', equalized_odds_difference(y, y_pred, sensitive_features=g))

📤 実行すると次の出力が得られる:

💬 都市圏グループの選抜率は 100%、 地方グループは 54.1% で、 出生率という弱い個別シグナルしか使っていないのに、 所属グループで選抜確率が大きく異なる（DPD=0.459）。 都市圏は全県が「高消費」と予測される一方、 地方は約半数しか選ばれません。 これが統計的差別の典型例で、 fairlearn の ExponentiatedGradient や ThresholdOptimizer で緩和できる（Demographic Parity Diff を 0.1 以下に抑える）。

⚠️ 統計的差別を扱う時の追加落とし穴

• 「合理的だから OK」の罠: 経済学的に合理的でも、 法的・倫理的には違法（雇用機会均等法等）。 統計的根拠は免責にならない。
• センシティブ属性削除では解決しない罠: 性別を削除しても、 名前・住所・購買履歴から間接推定される。 fairness through unawareness は無効。
• fairness 指標トレードオフの罠: Demographic Parity と Equalized Odds は同時最適化できない（Chouldechova 2017 の不可能性定理）。 文脈で選択せよ。
• 群平均で個人を判断する罠: 個人 i の真の能力 a_i は信号 s_i から推定すべきで、 グループ平均 μ_g を強く加味すると統計的差別になる。

🖼 統計的差別の核心を 3 枚の図で押さえる

図 1: 群間ヒストグラム（情報非対称性の根源）

→ 群 A と群 B の能力分布が大きく重なっているのに、 群平均だけで個人を評価すると、 重なり領域の個人が「不利な側の群平均」で判断される。 これが統計的差別の本質。 個別の信号 s_i を強く参照すれば差別は減るが、 完全には消えない（Phelps モデル）。

図 2: 群間散布（信号と能力の関係）

→ 群ごとに信号のノイズ（σ_g）が異なるとき、 ベイズ最適予測は群平均を信号にブレンドする。 ノイズが大きい群（B）ほど群平均への引き寄せが強く、 群 B の有能な個人は過小評価されやすい。 これは「数学的に最適」だが「倫理的に不公平」。

図 3: ROC 曲線（fairness 指標のトレードオフ）

→ Demographic Parity（採用率を群間で揃える）と Equalized Odds（TPR/FPR を群間で揃える）は ROC 上で同時最適化できない。 Chouldechova（2017）の不可能性定理が示すように、 どちらか一方を選ぶ必要がある。 文脈と当事者の参加で決めるべき。

🧪 理解度チェック — 統計的差別

以下 5 問を解いて理解度を確認してください。 回答は本文の該当セクションを参照。

1. Q1. 統計的差別と嗜好的差別（taste-based discrimination）の違いを 1 行で。 経済学者 Phelps と Becker の区別を示せ。
2. Q2. 「センシティブ属性（性別等）を削除すれば差別は消える」が誤りである理由を、 「代理変数」というキーワードを使って説明せよ。
3. Q3. Demographic Parity と Equalized Odds の定義を式で示し、 両者が同時に成り立たない条件を述べよ。
4. Q4. 個別信号 s_i のノイズ σ_g が群間で異なるとき、 ベイズ最適予測が群平均をどう参照するか説明せよ。 統計的に最適でも倫理的に問題な理由は？
5. Q5. SSDSE-B-2026 の都道府県データから「都市規模で平均所得が低い県の個人は所得低と推定する」モデルを作ると、 どんな統計的差別が起きるか。 どう対策できるか。

📊 公平性指標の比較（補足表）

→ 公平性指標は文脈依存。 与信や医療は Equalized Odds が優先、 雇用機会均等は Demographic Parity が法的要請。 単一指標で「fair」と主張するのは誤りで、 複数指標を併記すべき。 監査機関の Independent Audit が次世代の標準。

関連: アルゴリズムバイアス / 公平性 / 選択バイアス / 因果 / 分類 / ロジスティック回帰

📖 上級補足: 統計的差別の理論的源流と現代の AI への接続

統計的差別の理論は 1972 年の Edmund Phelps（後にノーベル経済学賞）と Kenneth Arrow による「労働市場における差別の経済学」の論文で確立された。 彼らは「企業が個人の能力 a_i を直接観察できず、 ノイズの乗った信号 s_i = a_i + ε_g（ε_g は群 g に依存するノイズ）しか見えない」という情報非対称性のモデルを構築した。 ベイズ最適予測では、 群 g のノイズ分散 σ²_g が大きいほど、 群平均 μ_g への引き寄せ（shrinkage）が強くなる。 これが「群ごとに信号の信頼性が異なるなら、 同じ信号でも群によって異なる扱いをするのが統計的に最適」という結論を導く。 ただし「最適」という言葉は経済学的合理性であり、 倫理・法・社会正義の観点では正当化されないという点が議論の本質である。

この理論は 1990 年代以降に Coate-Loury モデル（1993）で発展し、 「自己成就的均衡（self-fulfilling equilibrium）」の概念が導入された。 企業が群 B を統計的に不利に扱うと、 群 B のメンバーは投資・教育のインセンティブを失い、 結果として実際の能力分布が悪化する。 すると企業の差別的扱いが「事後的に正当化」される悪循環が生まれる。 この自己強化メカニズムは現代の AI システムでも顕著に見られる。 例えば信用スコアリングモデルが特定地域を「リスク高」と分類すると、 その地域への融資が減り、 経済機会が失われ、 数年後のデフォルト率が実際に上昇するという因果ループが観察される。 これは Solon Barocas らが提唱する「アルゴリズムによる構造的差別の固定化」の典型例である。

2016 年の ProPublica による COMPAS 再犯予測アルゴリズムの調査は、 統計的差別が現代社会で起きていることを実証した有名な事例である。 ProPublica はアルゴリズムが「黒人被告に対して誤って高リスクと予測する率（false positive rate）が白人の約 2 倍」と報告。 一方、 開発元の Northpointe は「予測スコアが同じなら再犯率は群間で等しい（calibration）」と反論。 両者の主張は数学的に整合的（Chouldechova 2017 の不可能性定理が証明）であり、 「どちらの fairness 指標を優先するか」という社会的価値判断が問われる事案となった。 EU AI Act（2024 施行）や日本の AI 事業者ガイドライン（2024）はこの教訓を踏まえ、 高リスク AI システムに対して「複数の fairness 指標による評価」「Independent Audit」「当事者参加型のガバナンス」を要請している。 SSDSE-B-2026 を使った統計教育でも、 「都道府県別の予測モデル」を作る際には、 過疎地・高齢地域に対する暗黙の統計的差別が起きていないかを必ず検証する習慣が望まれる。

🔭 visual-r273-statdiscrim：統計的差別を「使える形」で押さえ直す補足

統計的差別（statistical discrimination）は、 個人の属性が直接観察できない場面で「群（性別・人種・地域など）の平均」を代理指標として使う行為を指す。 一見「合理的」に見えるが、 群内の個人差を無視するため 個人レベルでは不公正であり、 さらに 自己成就（self-fulfilling）のループで差別を強化する点で社会的にも有害である。 SSDSE-B-2026 で「都道府県を予測の特徴量に入れる」操作も、 過疎地・高齢化地域への暗黙の統計的差別になり得るため、 採用前に必ず「個別属性に置き換えられないか」を検証する習慣が要る。

📊 「合理的に見えるが不公正」を分解する

情報経済学のモデルでは「群 g のシグナルのノイズ分散 σ²_g が大きいほど、 群平均 μ_g への引き寄せが強くなる」と示せる。 これが「ベイズ最適予測」としての統計的差別。 しかし「最適」は 企業にとっての期待損失最小化であって、 個人の権利・社会の流動性・長期的厚生は無視されている。 経済モデル上の最適性が倫理・法的正当性とは別物であることを、 学習者が分けて理解できることが本ページの最重要ポイントである。

📐 fairness 指標の不可能性定理

Chouldechova (2017)・Kleinberg ら (2017) が示した不可能性定理は、 「キャリブレーション（同スコアなら群間で実陽性率が等しい）」と「等しい誤判定率（false positive rate / false negative rate が群間で等しい）」を、 群間の基本確率（base rate）が異なる場合に同時には満たせないと述べる。 COMPAS 事件はこの定理の現実例であり、 開発元と批判者の主張が両方数学的に正しいまま噛み合わなかった。 実務では「どの指標を優先するか」を 社会的価値判断として明示し、 ステークホルダー合意の上で選ぶ運用が要請される。

🛡 緩和策と監査の実務

緩和策は (1) 前処理（reweighing・oversampling で訓練データの偏りを補正）、 (2) 学習中（adversarial debiasing・fairness 制約付き最適化）、 (3) 後処理（しきい値を群別に調整して disparate impact を下げる）の 3 段階で議論される。 ただしどの段階でも 精度との二律背反があり、 「どこまで犠牲にしてどの公平性を取るか」を事前合意するのが必須。 EU AI Act・日本の AI 事業者ガイドラインは「高リスク AI には独立監査と当事者参加型のガバナンス」を要求しており、 開発側だけでは決められない構造になっている。

📚 SSDSE-B-2026 を使った自己点検テンプレート

分析者が「無自覚な統計的差別」を起こさないために、 次の 5 項目を分析開始前にチェックリスト化することを推奨する。 (1) 群属性を特徴量に入れる必然性はあるか — 個別属性で説明できるなら群属性は除外する。 (2) その特徴量が機会への accessに逆作用しないか — 信用・採用・教育などの判断に使うなら影響が大きい。 (3) 群間で base rate が異なる場合に、 どの fairness 指標を優先するか事前に明示したか。 (4) 当事者・第三者によるレビューを通したか。 (5) 結果を 運用後も継続監視する枠組みがあるか。 これらに 1 つでも No があるなら、 高リスク領域への投入は控えるべきである。

🧭 関連項目（実在ページのみ）

前提として アルゴリズムバイアス・公平性・AI 倫理 を押さえ、 並列として 交絡・因果関係、 派生として XAI（説明可能 AI）・AI 規制・AI ガイドライン を辿るとよい。

📖 補足: 統計的差別の実例と監査の社会実装

統計的差別は採用・融資・保険・刑事司法・教育など、 社会の重要意思決定の場面に広く現れる。 アマゾンが 2018 年に廃止した「履歴書スコアリング AI」は、 過去 10 年の採用データを学習した結果、 「woman」「women's chess club」などの単語があると低スコアを付けるバイアスを獲得していた。 ニュース報道（Reuters, 2018）で明らかになり、 「過去の差別的なデータで学習した AI は差別を再生産する」という典型例として教科書に載るほど有名になった。 同様に、 アップルカードの与信スコアリング（2019）も、 同じ世帯の夫婦で女性側だけ与信枠が大幅に低くなる事例が報告され、 ニューヨーク州金融サービス局の調査対象となった。 これらは「アルゴリズムの設計者は差別を意図していない」場合でも、 学習データに含まれる過去の差別パターンが結果に現れる、 という統計的差別の構造を示す。

監査の実装としては、 IBM の AI Fairness 360（オープンソースライブラリ）が 70 以上の公平性指標と 10 以上の緩和アルゴリズムを提供している。 Microsoft の Fairlearn、 Google の What-If Tool も同様のツールキットを提供し、 開発者が「自分のモデルがどの群を不利に扱っているか」を可視化できる環境が整いつつある。 ただし「ツールがある = 公平」ではない。 ツールの使い方を誤ると、 単一の公平性指標だけ最適化して別の指標を悪化させる、 表面的に公平な見せかけを作る、 など新たな問題が生まれる。 EU AI Act（2024 施行）は「高リスク AI」に対して独立第三者監査を義務付けており、 米国では NIST が AI Risk Management Framework（2023）を公開、 日本も AI 事業者ガイドライン（2024）で同様のフレームワークを整備している。 統計的差別の問題は、 技術的・法的・倫理的に交差する複雑な課題であり、 データサイエンティストには技術知識だけでなく、 法学・倫理学・社会学への基本的な素養が求められる時代になっている。 SSDSE-B-2026 のような公的統計データを使った教育でも、 「47 都道府県を分類するモデルを作るとき、 過疎地・高齢化地域に対して暗黙の不利益判断を組み込んでいないか」を批判的に検証する姿勢を学生に身につけさせることが、 次世代のデータリテラシー教育の重要な柱となる。

🗺 概念マップ — 統計的差別を取り巻く全体像

統計的差別は 8 つのレイヤが交差する問題。 技術者単独では解決できず、 法律家・倫理学者・経営者・市民社会との協働が必須。

📝 専門用語辞典

Statistical Discrimination

属性平均で個人を判断する差別。 Arrow / Phelps による経済学概念

Taste-based Discrimination

個人的偏見による差別。 Becker による分類

Algorithmic Bias

アルゴリズムによるバイアス。 統計的差別の AI 時代の表現

Demographic Parity (DP)

陽性予測率がグループ間で等しい

Equal Opportunity (EO)

真陽性率がグループ間で等しい

Equalized Odds (EOdds)

TPR と FPR の両方が等しい

Calibration

予測スコアが実際の確率と一致する

Proxy Variable

保護属性を予測できる中立的変数

Disparate Impact

意図はなくとも結果として差別になる現象

Disparate Treatment

明示的に保護属性で扱いを変える差別

Reweighing

サンプル重みで公平性を改善する前処理

Adversarial Debiasing

敵対的学習で属性予測を不可能にする

Counterfactual Fairness

「もし属性が違ったら」を考慮した公平性

Individual Fairness

「似た個人には似た予測」

Group Fairness

「集団間で公平な統計」

Intersectionality

複数属性の交差での差別

Procedural Fairness

意思決定プロセスの公平性

Algorithmic Recourse

「どう変えれば結果が変わるか」の説明

Self-fulfilling Prophecy

差別期待が現実を作り出すループ

Fairness-Accuracy Tradeoff

公平性と精度の二律背反

📖 必読文献・推奨資料

原典・教科書

• Becker, G. S. (1957). The Economics of Discrimination.
• Arrow, K. J. (1973). The Theory of Discrimination. In Discrimination in Labor Markets.
• Phelps, E. S. (1972). The Statistical Theory of Racism and Sexism. American Economic Review.
• Barocas, S., Hardt, M., & Narayanan, A. (2023). Fairness and Machine Learning. fairmlbook.org

代表的論文

• Dwork, C. et al. (2012). Fairness Through Awareness. ITCS.
• Hardt, M., Price, E., & Srebro, N. (2016). Equality of Opportunity in Supervised Learning. NeurIPS.
• Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data.
• Kleinberg, J., Mullainathan, S., & Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores.
• Buolamwini, J., & Gebru, T. (2018). Gender Shades. FAT*.

告発・調査記事

• ProPublica (2016). Machine Bias. — COMPAS 告発
• Reuters (2018). Amazon scraps secret AI recruiting tool.
• Obermeyer, Z. et al. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science.

実装ガイド

• Fairlearn 公式ドキュメント (fairlearn.org)
• AIF360 公式チュートリアル (ai-fairness-360.org)
• Google's People + AI Guidebook
• NIST AI Risk Management Framework

日本語資料

• 経産省「AI 事業者ガイドライン」(2024)
• 総務省「AI 利活用ガイドライン」
• JDLA E 資格教科書「AI 倫理」章
• 「AI と差別」（中央公論新社、 2023）

🧪 主要 fairness ベンチマーク

学術論文では Adult / COMPAS が最頻出。 LLM 時代の新標準は BBQ / StereoSet。

📇 Model Cards — モデルカードの構造

Mitchell et al. (2019, FAT*) が提案した Model Cards は、 全モデルに添付すべき情報シート。 構造：

1. Model Details: 開発者、 バージョン、 アーキテクチャ、 ライセンス
2. Intended Use: 主要な用途、 想定外の使用
3. Factors: 評価で考慮した属性・条件
4. Metrics: 全体精度、 グループ別精度、 fairness 指標
5. Evaluation Data: 評価データセットの来歴・偏り
6. Training Data: 訓練データの来歴・偏り
7. Quantitative Analyses: グループ別性能の数値
8. Ethical Considerations: リスク・配慮事項
9. Caveats and Recommendations: 制限事項・推奨

Google・Hugging Face・OpenAI 等が Model Cards を採用。 fairness 評価が標準化されました。 SSDSE-B-2026 で作ったモデルにも、 教育目的で Model Card を書く演習が有効。

📋 Datasheets for Datasets — データセットの透明性

Gebru et al. (2018) 提唱の Datasheets for Datasets。 データセットにも「成分表」を付ける思想：

1. Motivation: なぜこのデータを集めたか
2. Composition: 何が含まれるか、 サンプル数、 属性分布
3. Collection Process: どう集めたか、 偏りの可能性
4. Preprocessing: どう加工したか
5. Uses: どんな用途に使われてきたか
6. Distribution: 配布方法、 ライセンス
7. Maintenance: 維持・更新の体制

SSDSE-B-2026 は 独立行政法人統計センターによる公的データで、 来歴・更新・配布条件が明確という意味で「Datasheet を実装している模範例」です。

🏭 業界別実践事例

金融

• JP Morgan: 与信モデルに fairness 制約を組み込み
• Goldman Sachs: Apple Card 事件後に fairness 監査強化
• NY 金融当局: 与信 AI への監査ガイドライン

採用・人事

• HireVue: 顔・声分析を 2021 年に廃止（fairness 懸念）
• Pymetrics: ゲーム評価で attempt at fairness-by-design
• NY 市: 採用 AI への事前監査義務化（2023）

医療

• Optum (UnitedHealth): 医療費ベース AI を修正（Obermeyer 事件後）
• FDA: AI 医療機器への fairness 評価要求
• Mayo Clinic: 画像診断 AI の人種・性別バランス監査

教育

• UK A-Level 2020: 試験中止に伴うアルゴリズム成績付与で大規模差別問題
• Coursera / edX: 推薦アルゴリズムの fairness 評価
• 大学入試 AI: 米国で訴訟リスク回避のため慎重運用

広告・マーケティング

• Facebook（現 Meta）: 住宅広告の人種ターゲティング訴訟（2019）
• LinkedIn: 求人広告のジェンダーターゲティング規制
• Google Ads: 雇用・住宅・与信での属性ターゲティング禁止

❗ 未解決の論点

① fairness の定義の合意

「公平」の単一定義は存在しません。 文脈・文化・法律で異なる定義をどう調整するか、 グローバル AI の課題。

② 個人 vs 集団のバランス

Individual Fairness と Group Fairness は同時達成困難。 どちらを優先するかは哲学的選択。

③ 因果性の扱い

Counterfactual Fairness は理論的に魅力的だが、 因果グラフの推定が困難。 実装ハードル高い。

④ 長期的影響

短期的に公平な介入が、 長期的にはどう作用するか不明。 動的シミュレーションが研究中。

⑤ LLM 時代の fairness

生成 AI の偏見評価方法は未確立。 BBQ、 StereoSet 等の暫定指標があるが、 包括的な評価フレームワークは未完成。

⑥ 説明責任の所在

AI 判断による損害の責任は、 開発者・運用者・利用者のどこにあるか。 法的整理が国際的に進行中。

⑦ プライバシーとの両立

fairness 評価には保護属性データが必要だが、 これがプライバシーリスクを生む。 差分プライバシー等との統合が課題。

⑧ 国際標準の不在

ISO・IEEE で AI fairness 標準が策定中だが、 EU・米国・中国・日本で立場が異なる。 国際合意は数年先。

🔗 隣接手法への橋渡し

統計的差別 (statistical discrimination) は「集団の統計的傾向を個人判断に用いること」によって生じる構造的差別。 SSDSE-B-2026 の都道府県別データを用いて「ある都道府県の出身者の信用度を予測」するモデルを構築すると、 平均的に貧しい地域出身者にスコアを低く付けるバイアスが生じ、 個人の能力を反映しない不公平な意思決定になる。 これが代表的な統計的差別の発生機構。

• 上流: データバイアス、 アルゴリズミックバイアス、 過去の差別が学習データに反映される歴史的バイアス。
• 並列: AI 倫理、 公平性 指標 (Demographic Parity / Equal Opportunity / Equalized Odds)、 反事実公平性、 因果ベースの公平性。
• 下流: AI 規制 (EU AI 法・GDPR Article 22)、 バイアス緩和 技法 (preprocessing / inprocessing / postprocessing)、 監査制度。

SSDSE のような地域データを「個人属性の代理 (proxy)」に使ってしまう設計は要注意。 統計的に有用でも、 個人を地域で判断する差別性が残る。 公平性指標で多角的に確認する。

🌳 公平性指標の分類学

🌳 公平性指標の分類学

Group Fairness（集団公平性）

Individual Fairness（個人公平性）

Procedural Fairness（手続的公平性）

🏢 組織的対応 — fairness をどう企業に根付かせるか

1. AI 倫理委員会の設置: データサイエンティスト、 法務、 社外有識者を含める
2. fairness 担当役員（CAIO 等）: 経営層レベルでの責任明確化
3. モデルカード（Model Cards）: 全モデルに fairness 情報を添付（Mitchell et al. 2019）
4. Datasheets for Datasets: データの来歴・偏り情報を明示（Gebru et al. 2018）
5. 監査ログ: 全予測の入力・出力・グループ情報を保存
6. 定期監査: 半年〜年次で fairness 指標をレビュー
7. 従業員教育: AI 倫理研修を必須化
8. 外部監査契約: NIST・第三者監査機関との連携
9. ユーザ通知: AI による決定であることを明示
10. 苦情処理窓口: 差別を疑うユーザへの対応プロセス

技術的解決と組織的解決の両輪が必要。 fairness は「技術の問題」だけでなく、 「組織文化と統治の問題」です。

📊 SSDSE-B-2026 を使った教材展開

SSDSE-B-2026 は 「統計的差別」教材として極めて優秀です。 都道府県という公開・中立的データで、 倫理的トピックを安全に教えられます。

教材展開例

人種・性別データは扱いが難しいため、 教育現場では 都道府県データを使った疑似差別が安全で効果的。 学生は「同じ仕組みが本物の差別を生む」ことを体感できます。

統計的差別が疑われる場面で、 どのレベルの分析・是正策を選ぶかは以下の Step で判断する。

1. Step 1: 個人 vs 集団のどちらが差別の対象か?
   • 個人 (例: 特定の応募者が落ちた) → ベイズ更新・予測精度評価で個人レベルの判断根拠を検証
   • 集団 (例: 女性応募者全体の合格率) → demographic parity (合格率の群間差)・equalized odds (TPR/FPR の群間差) で群間差を定量化
2. Step 2: 真の能力差は観測可能か?
   • 観測可能 → 能力スコア (例: 共通試験) で条件付けして群間差を検証、 残差が アルゴリズムバイアス の証拠
   • 観測困難 (例: 過去差別による自己実現的予言) → 因果推論 / 自然実験 で歴史的差別の効果を分離
3. Step 3: 是正策はモデル修正か制度設計か?
   • モデル修正 → preprocessing (リサンプリング)・inprocessing (公平性制約)・postprocessing (閾値調整) のいずれかで 公平性指標 を改善
   • 制度設計 → 属性を意思決定から除外する blind hiring、 アファーマティブアクション、 透明性要件で社会的に解決

このフローで「統計的差別」と「個人差別」を区別し、 改善策を選べる。