🔖 キーワード索引

「fairness」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「fairness」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「fairness の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

📐 定義／数式

公平性（Fairness）：AIシステムが差別的でないことの基準

同義・関連語：AI公平性

📐 公平性 × 精度の Pareto frontier

制約 eps を変えながら学習すると、 「公平性」「精度」「校正」が同時に最適化できない曲面が見えます。 これを Pareto frontier (パレートフロンティア) と呼びます。 組織は この曲面上のどの点を選ぶかを倫理判断として行います。

💬 eps を厳しくすると DP 差は小さくなるが、 精度が低下し、 大都市群の TPR が下がる。 これは「大都市の優秀者にも漏れが出る」ことを意味し、 単純な「公平 = 正義」ではない複雑性が現れる。

🔬 記号・用語の読み解き

🔬 詳細な解説（深掘り）

概念の本質

公平性（Fairness）は、 単に用語の定義を覚えるだけでは本当には理解できません。 なぜこの概念が生まれたのか、 どんな問題を解決するために導入されたのか、 類似の手法とどう違うのか — これらを意識することで、 初めて「使える知識」になります。

数式や Python コードはあくまで 道具。 道具の使い方を覚える前に、 その道具で何をしたいか（目的） を明確にすることが、 データサイエンス学習の鉄則です。

他の概念との関係

公平性は単独の指標ではなく、 統計的差別禁止 (disparate impact)、 アルゴリズムバイアス、 個別公平性 vs 集団公平性、 因果推論との接続といった概念ネットワークの中心に位置します。 関連用語を辿ると以下の構造が見えます:

• 前提となる概念: 混同行列・誤分類コスト・分類閾値 — 公平性指標はすべてこれら基本指標の派生
• 並列に語られる概念: Demographic Parity, Equalized Odds, Calibration — 同時に満たすのが原理的に不可能 (impossibility theorem)
• 発展・応用: Counterfactual Fairness、 個別レベルでの反事実推論、 因果ダイアグラムによる差別経路の同定

実務で気をつけるポイント

理論を学ぶことと、 実務で使えることは別物です。 公的統計（SSDSE、 e-Stat 等）の実データで実装・実験することで、 教科書だけでは見えない罠 に気付けます。 たとえば：

• 欠損値・外れ値の扱いで結果が大きく変わる
• スケール（単位）の違いが分析結果を歪める
• 「相関」と「因果」を混同したまま結論を出してしまう
• 多重比較・複数仮説の補正を忘れる
• 再現性（コード・データ・乱数）の管理を後回しにする

これらは 公平性 に限った話ではなく、 データサイエンス全般に共通する作法です。 「落とし穴」セクションの内容と合わせて、 自分なりのチェックリストを作るとよいでしょう。

📊 評価・検証の視点

公平性 を使った分析の 正しさを担保する ためには、 以下の観点で検証するのが定番です。

💼 業界別の使われ方

公平性 は分野横断で活躍する概念です。 業界別に見ると以下のような使われ方があります。

📈 公的統計データ（SSDSE）での具体例

公平性 を実際のデータで学ぶときは、 SSDSE（教育用標準データセット、 総務省統計局）が便利です。

• SSDSE-A：市区町村の基本統計（人口・経済・教育・産業など）
• SSDSE-B：都道府県別・複数年の統計（本ページで使用）
• SSDSE-C：家計消費（県庁所在市 47 市の品目別支出）
• SSDSE-E：都道府県の産業・就業（47 都道府県の 1 年ぶん）

これらは 統計センターの SSDSE ページ から CSV で直接ダウンロードできます。 上の Python コード例で data/raw/SSDSE-B-2026.csv としているのが、 まさにこれです。

実データで動かすことで、 教科書の例題では見えない 実務的な気づき（欠損のパターン、 単位の混在、 都道府県名の表記揺れ等）が得られます。

🔧 よくあるトラブルと対処

🔬 数式を言葉で読み解く（4 要素構造・1200 字以上）

公平性の代表指標 Demographic Parity（人口統計的均等） を 4 要素で精密に読み解きます。

① 左辺 $P(\hat Y = 1 \mid A = a)$ — 「サブグループ $a$ での陽性率」

$\hat Y$ は モデル予測（融資承認＝ 1、 不承認＝ 0 など）。 $A$ は 保護属性（性別・人種・年齢・国籍）。 $P(\hat Y = 1 \mid A = a)$ はサブグループ $a$ の中で陽性予測が出る確率。 「女性の中で融資承認率は何%か」を測る量。 実務では性別・人種・年齢区分などをサブグループとして設定し、 サブグループ間で陽性率が等しくなることを要求する。

② 右辺 $= P(\hat Y = 1 \mid A = b)$ — 「他サブグループ $b$ での陽性率」

$b$ は別のサブグループ（男性、 白人、 若年層）。 右辺は同じ陽性予測の条件付き確率を $b$ 側で測ったもの。 「男性の中で融資承認率は何%か」。 左辺＝右辺 は 「サブグループに関わらず承認率が同じ」を意味する。 つまり結果（output）の均等性を要求する指標。 米 EEOC の Disparate Impact ルール（4/5 ルール）は緩い形の Demographic Parity と等価で、 「マイノリティの承認率／マジョリティの承認率 ≥ 0.8」を法的閾値とする。

③ 全称量化子 $\forall a, b \in \mathcal{A}$ — 「すべての組み合わせで成立」

$\forall a, b \in \mathcal{A}$ は 「任意の 2 つのサブグループの組み合わせ」で等式が成立することを要求。 $\mathcal{A}$ が 2 値（男女）なら 1 つの等式、 $|\mathcal{A}| = 5$（年齢層 5 区分）なら $\binom{5}{2} = 10$ 個の等式すべて成立を求める。 実務では完全な等式は不可能なので、 Demographic Parity Difference (DPD) $= \max_{a,b} |P(\hat Y=1|A=a) - P(\hat Y=1|A=b)|$ を 0.05〜 0.10 以下に抑えるという緩和を採る。

④ 制約と限界 — 「他指標との同時達成不可能性」

この指標には致命的な限界がある。 Chouldechova（2017）と Kleinberg ら（2017）が独立に示した 「Fairness Impossibility Theorem」 によれば、 Demographic Parity、 Equalized Odds、 Calibration の 3 つは、 base rate（クラス事前確率）がサブグループ間で異なるとき、 同時に満たすことは数学的に不可能。 たとえば男女で犯罪再犯率の base rate が異なれば、 Demographic Parity を満たすと Equalized Odds が破れる。 したがって 「どの公平性を優先するか」は技術的選択ではなく、 社会的・倫理的選択 となる。 ML エンジニアは「すべて満たします」と約束できない。 これがアルゴリズム公平性の本質的難しさ。

🔬 公平性の数式を言葉で読み解く: 完全版チートシート

10 種類の公平性メトリクスを「定義式 → 直感 → 採用場面」で並列に並べます。 これは fairlearn / AIF360 の機能対応表でもあります。

💬 運用上の選び方: ① 採用・融資 → Equal Opportunity (本来資格のある人を漏らさない) ② 刑事司法 → Equalized Odds (両エラーを均等に) ③ 医療診断 → Calibration (予測確率の信頼性) ④ 推薦・広告 → Demographic Parity (露出の平等) ⑤ 価格・保険 → Individual Fairness (個別の合理性)。 不可能定理により 全部は満たせないため、 領域固有の優先順位を文書化することが重要。

🧮 実値で計算してみる

🧮 SSDSE-B-2026 で公平性指標を計算してみる

公平性は抽象概念ですが、 サブグループ別の予測陽性率を実値で並べると一目瞭然です。 ここでは仮想的な「市区町村への補助金審査スコア」を想定し、 都市規模別の Demographic Parity を計算する数値例を示します（SSDSE-B-2026 は 47 都道府県×複数年のデータのため、 以下は市区町村統計を想定した仮想例です）。

設定

• 対象：仮想の 1,741 市区町村
• サブグループ $A$：3 区分（大都市 ≥ 30 万人、 中規模 5-30 万人、 小規模 < 5 万人）
• 予測 $\hat Y$：高齢化率と財政力指数から線形スコアで「補助金候補」を 2 値分類
• 陽性率 $P(\hat Y = 1 \mid A = a)$ をサブグループごとに集計

結果（典型値）

指標値

• Demographic Parity Difference (DPD) = max - min = 0.612 - 0.142 = 0.470（許容閾値 0.10 を大幅超過）
• Disparate Impact Ratio = 0.142 / 0.612 = 0.232（米 EEOC 4/5 ルール 0.80 を大幅下回る）
• 解釈：このスコアリングは「小規模自治体に過剰に陽性、 大都市に過小」と判定され、 政策議論が必要。

なお、 これは 意図的なバイアスではなく、 高齢化率を特徴量に入れた結果。 「Demographic Parity の達成」と「予測精度の維持」はトレードオフ関係にあり、 どちらを優先するかは政策判断。

💼 産業事例 6 件（公平性 の応用）

公平性 は学術概念に留まらず、 産業界で多種多様に運用されています。 6 業界の代表事例を示します。

📊 類似概念との比較表

公平性 は単独でなく類似概念群の中で位置付けると理解が深まります。

📝 演習問題 5 問（基礎・応用・議論）

理解度を確認する 5 問。 解答例は折りたたみで隠してあります。 まず自力で考えてから開いてください。

💥 実際の失敗例 — Apple Card 与信差別事件（2019 年）— 同居夫婦間で女性側の与信限度が最大 1/20

2019 年 11 月、 Apple Card（Goldman Sachs 提供）に対し 夫婦間で同等の収入・信用スコアにも関わらず、 妻側の与信限度が夫の 1/20 だった事例が Twitter で告発（DHH @dhh、 Steve Wozniak も同様報告）。 ニューヨーク金融サービス局が調査開始、 Apple/Goldman Sachs は「アルゴリズムは性別を明示的に使っていない」と弁明したが、 NYDFS は 「proxy variable（代理変数）経由で性別バイアスが学習データから漏れた可能性」を指摘。 教訓：性別・人種を入力から除外しても、 居住地・職業・学歴などの相関変数（proxy）から間接的にバイアスが学習される。 これは「fairness through unawareness」の限界。 対策：counterfactual fairness テスト、 サブグループ別精度の継続監視、 第三者監査。

📖 関連用語辞典 — 10 語

公平性 を学ぶ際に頻出する 10 語の最小限定義集です。 詳しくは各専用ページを参照。

🧮 SSDSE-B-2026 で公平性を「測る」: 47 県 高校→大学 進学率の格差

公平性 (Fairness) は AI 倫理の中で最も多用される語ですが、 「測れない不公平」は対処もできません。 ここでは SSDSE-B-2026 の 2023 年データから、 47 都道府県を 大都市群 (東京・神奈川・埼玉・千葉・大阪・愛知 計 6 都府県) と 地方群 (残り 41 県) に分け、 高等学校卒業者の大学進学率という「機会の指標」で 3 つの公平性メトリクスを計算します。 これは「もし AI が高校生に進学先を推薦するモデル」を構築する場合、 学習データに含まれる 地域バイアス を可視化する手順そのものです。

📐 3 つの公平性メトリクス (数式)

$$\text{Demographic Parity (DP)}:\ P(\hat{Y}=1 \mid A=a) = P(\hat{Y}=1 \mid A=b)$$

$$\text{Disparate Impact (DI)}:\ \frac{P(\hat{Y}=1 \mid A=\text{unprivileged})}{P(\hat{Y}=1 \mid A=\text{privileged})} \geq 0.8$$

$$\text{Equal Opportunity (EOp)}:\ P(\hat{Y}=1 \mid Y=1, A=a) = P(\hat{Y}=1 \mid Y=1, A=b)$$

🔬 数式を言葉で読み解く

• $\hat{Y}$: モデルの予測 (例: 進学する=1)、 $Y$: 真のラベル、 $A$: 保護属性 (今回は地域)
• Demographic Parity: 「予測が 1 になる確率」が保護属性 (a/b 群) で同じ → 結果の平等
• Disparate Impact: 不利属性側 / 有利属性側 の比率。 0.8 以上が 4/5 ルール (米国雇用慣行)
• Equal Opportunity: 「本来 1 であるべき人」が 1 と予測される率が群で同じ → 機会の平等

🐍 Python 実装: SSDSE-B で 3 メトリクスを一気に計算

🎯 このコードでやること: SSDSE-B-2026 の 47 都道府県を大都市/地方の 2 群に分け、 高校卒業→大学進学率について Demographic Parity 差・Disparate Impact 比・絶対格差を計算する。

📥 入力データ (SSDSE-B-2026 2023 年 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()
big_list = ['東京都','神奈川県','埼玉県','千葉県','大阪府','愛知県']
d['Group'] = d['Prefecture'].apply(lambda p: 'big' if p in big_list else 'small')

big = d[d['Group']=='big']
small = d[d['Group']=='small']

# 進学率 = 大学進学者 / 高校卒業者
rate_big = big['E4602'].sum() / big['E4601'].sum()
rate_small = small['E4602'].sum() / small['E4601'].sum()

# 1. Demographic Parity 差
DP_diff = rate_big - rate_small
# 2. Disparate Impact 比 (unprivileged=小, privileged=大)
DI = rate_small / rate_big
# 3. 絶対人数の格差 (Equal Opportunity の単純版)
N_big_advantage = big['E4602'].sum() / d['E4602'].sum()
N_big_pop = big['E4601'].sum() / d['E4601'].sum()

print(f'大都市群 進学率: {rate_big:.4f}')
print(f'地方群 進学率: {rate_small:.4f}')
print(f'DP 差: {DP_diff:.4f}')
print(f'DI 比: {DI:.3f} (4/5 ルール基準: 0.8)')
print(f'大都市の全国進学者シェア: {N_big_advantage:.3f}')
print(f'大都市の全国高校卒業者シェア: {N_big_pop:.3f}')

📤 実行結果:

💬 結果の読み方: 大都市の高校生は 68.6% が大学に進学するのに対し、 地方は 57.3%。 11.3 ポイントの開きがあります。 DI 比は 0.835 で 4/5 ルール (0.8) はギリギリ通過しますが、 米国 EEOC の解釈では「グレーゾーン」。 さらに、 全国の高校卒業者の 39.9% を占める大都市が、 大学進学者の 44.3% を占めるという「機会の集中」も観察されます。 もしこのデータで「AI 進路推薦モデル」を学習させると、 地方の生徒に対しても保守的な推薦 (大学を勧めない) が出やすくなる可能性があります。

🧮 47 都道府県全件: 進学率と公平性のマップ

公平性の議論は「平均値の差」だけでは不十分。 47 県を上位/下位で並べると、 連続的な格差構造が見えます。 以下は SSDSE-B-2026 (2023) で計算した全 47 県の高校→大学進学率です。

💬 解釈: 進学率は 46.7% (沖縄) ～ 74.1% (東京) の幅で連続的に分布。 2 位の京都府 (74.0%) は大都市群ではないが大学集積地として東京とほぼ並び、 単純な「大都市 vs 地方」分類は粗い。 大都市群の平均 68.6% は中庸より上だが、 京都府を上回るわけではない。 公平性指標を計算する際は「群定義の妥当性」も同時に問うべき。

🧮 数式に値を入れて手で計算する: 統計的均衡 (Demographic Parity)

合成データで群別の予測陽性率の差を計算する。

Step 1: 群別予測陽性率

Step 2: 差と DI

🐍 Python で再現

1
2
3
4
5
6
7
8

p_m = 250/500
p_f = 200/500
dp = p_m - p_f
di = p_f / p_m
print(f"P(ŷ=1|男): {p_m}")
print(f"P(ŷ=1|女): {p_f}")
print(f"DP差: {dp}")
print(f"DI比: {di}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。 DI=0.80 は 4/5 ルール境界。

🐍 Python での実装例

SSDSE-B-2026 などの実データを使った最小コード（11行）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import pandas as pd
import numpy as np
# 公平性指標の簡易計算
rng = np.random.default_rng(0)
df = pd.DataFrame({
    'group': rng.choice(['A','B'], 1000),
    'pred':  rng.binomial(1, 0.5, 1000),
})
rates = df.groupby('group')['pred'].mean()
print('グループ別予測率:'); print(rates)
print('DP差:', abs(rates['A'] - rates['B']).round(3))

※ data/raw/SSDSE-B-2026.csv は e-Stat SSDSE から取得した実データを想定。

🐍 緩和アルゴリズム (Mitigation): Reweighting と ThresholdOptimizer

公平性メトリクスで「問題あり」と判明したら、 次は 緩和です。 代表的な 3 アプローチ — Pre-processing (前処理: 重み調整)、 In-processing (学習中: 制約付き最適化)、 Post-processing (後処理: 閾値別調整) — を SSDSE-B のデータで試します。

🐍 Pre-processing: Reweighting

🎯 このコードでやること: 「大都市の進学例」を軽く、 「地方の進学例」を重く、 という訓練データの重みを調整して DP 差を縮める。

📥 入力: 47 県 × 2 (進学/非進学) = 94 行に展開した教育データ

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()
big_list = ['東京都','神奈川県','埼玉県','千葉県','大阪府','愛知県']
d['Group'] = d['Prefecture'].apply(lambda p: 'big' if p in big_list else 'small')

# 4 セルの観測度数 (大/小 × 進学/非進学)
N = {}
for g, sub in d.groupby('Group'):
    N[(g, 1)] = sub['E4602'].sum()           # 進学
    N[(g, 0)] = sub['E4601'].sum() - sub['E4602'].sum()  # 非進学
total = sum(N.values())

# Reweighting 重み = (P(A) * P(Y)) / P(A, Y)
weights = {}
for (g, y), n in N.items():
    PA = sum(N[(g, y2)] for y2 in [0, 1]) / total
    PY = sum(N[(g2, y)] for g2 in ['big', 'small']) / total
    PAY = n / total
    weights[(g, y)] = (PA * PY) / PAY

for k, w in weights.items():
    print(f'{k}: 観測 {N[k]:>7}, 重み {w:.3f}')

📤 実行結果:

💬 結果の読み方: 大都市の進学例 (有利な観測) の重みは 0.901 と「軽く」、 地方の進学例 (不利な観測) は 1.079 と「重く」なります。 この重みで再学習すれば、 モデルは地方の進学者をより重視するようになり、 結果として DP 差が縮小します。 これが Kamiran & Calders (2012) の Reweighting 原理。

🐍 Post-processing: ThresholdOptimizer (群別閾値)

🎯 このコードでやること: モデル予測スコアに対し、 大都市と地方で 異なる判定閾値を設定し、 DP 差を 0 にする。

📥 入力: 仮想的なスコア (進学率を 0.05 ノイズで揺らしたもの)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()
big_list = ['東京都','神奈川県','埼玉県','千葉県','大阪府','愛知県']
d['Group'] = d['Prefecture'].apply(lambda p: 'big' if p in big_list else 'small')
d['Score'] = d['E4602'] / d['E4601']  # 進学率を仮想スコアとして使う

# 同一閾値 0.6 で判定した場合
mask = d['Score'] >= 0.6
big_rate0 = mask[d['Group']=='big'].mean()
small_rate0 = mask[d['Group']=='small'].mean()
print(f'共通閾値 0.6 → 大都市予測率: {big_rate0:.3f}, 地方予測率: {small_rate0:.3f}')
print(f'  DP 差: {big_rate0 - small_rate0:.3f}')

# 群別閾値: 大都市=0.68, 地方=0.56
thresh = {'big': 0.68, 'small': 0.56}
d['Pred'] = d.apply(lambda r: r['Score'] >= thresh[r['Group']], axis=1)
big_rate1 = d.loc[d['Group']=='big','Pred'].mean()
small_rate1 = d.loc[d['Group']=='small','Pred'].mean()
print(f'群別閾値 → 大都市予測率: {big_rate1:.3f}, 地方予測率: {small_rate1:.3f}')
print(f'  DP 差: {big_rate1 - small_rate1:.3f}')

📤 実行結果:

💬 結果の読み方: 共通閾値 0.6 では大都市の 100%、 地方の 22% しか「進学を勧める」予測にならず、 DP 差は 0.78 と巨大。 群別閾値 (大=0.68, 小=0.56) を使うと両群で約 50% に揃い、 DP 差はほぼゼロに。 ただし、 これは 群別の判定基準を持つことを意味し、 「個人公平性」(同じスコアなら同じ扱い) とは正面衝突します。 ここに fairness の根本的トレードオフがあります。

🐍 fairlearn ライブラリで MetricFrame を計算

🎯 このコードでやること: Microsoft Fairlearn の MetricFrame を用いて、 群別の精度・偽陽性率を一括で算出する。

📥 入力: 47 県の予測 (Score≥0.6 → 1) と真のラベル (Score≥0.65 → 1; 教師データを進学率 0.65 を境とした 2 値で生成)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
from fairlearn.metrics import MetricFrame, demographic_parity_difference, equalized_odds_difference, true_positive_rate, false_positive_rate
from sklearn.metrics import accuracy_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()
big_list = ['東京都','神奈川県','埼玉県','千葉県','大阪府','愛知県']
d['Group'] = d['Prefecture'].apply(lambda p: 'big' if p in big_list else 'small')
d['Score'] = d['E4602'] / d['E4601']
d['Pred'] = (d['Score'] >= 0.60).astype(int)
d['True'] = (d['Score'] >= 0.65).astype(int)

mf = MetricFrame(
    metrics={'acc': accuracy_score, 'TPR': true_positive_rate, 'FPR': false_positive_rate},
    y_true=d['True'], y_pred=d['Pred'], sensitive_features=d['Group']
)
print(mf.by_group)
print('DP diff:', demographic_parity_difference(d['True'], d['Pred'], sensitive_features=d['Group']))
print('EO diff:', equalized_odds_difference(d['True'], d['Pred'], sensitive_features=d['Group']))

📤 実行結果:

💬 結果の読み方: 両群とも TPR は 1.0 だが、 大都市群は FPR 100% (真のラベルが 0 の 2 県も陽性判定) で精度 66.7%、 地方群は FPR 13.5% で精度 87.8%。 DP 差 0.780 / Equalized Odds 差 0.865 ともに大きく、 fairlearn のルールでは「強い不公平」と判定される水準。 fairlearn の Reduction Algorithm (ExponentiatedGradient) を使えば、 制約付き最適化で DP 差をしきい値内に抑えた予測器を学習できます。

🐍 In-processing: 制約付き学習 (ExponentiatedGradient)

Pre-processing と Post-processing は予測モデル本体を変更しません。 In-processing は 損失関数 + 公平性制約のラグランジュ最適化を行い、 「最初から公平な分類器」を作ります。 Agarwal et al. (2018) の Reduction Approach が標準。

🎯 このコードでやること: SSDSE-B-2026 を 4 特徴量に展開し、 LogisticRegression を「DP 差 ≤ 0.05」の制約下で学習する。

📥 入力特徴量 (説明変数): 人口・大学数・幼稚園数・着工建築物床面積を標準化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from fairlearn.reductions import ExponentiatedGradient, DemographicParity

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()
big_list = ['東京都','神奈川県','埼玉県','千葉県','大阪府','愛知県']
d['Group'] = d['Prefecture'].apply(lambda p: 'big' if p in big_list else 'small')

X_raw = d[['A1101', 'E6102', 'E4101', 'C3302']].values
y = (d['E4602'] / d['E4601'] >= 0.60).astype(int).values
A = d['Group'].values
X = StandardScaler().fit_transform(X_raw)

# 制約なし
clf0 = LogisticRegression().fit(X, y)
pred0 = clf0.predict(X)
dp0 = abs(pred0[A=='big'].mean() - pred0[A=='small'].mean())

# 制約付き学習 (DP)
mitigator = ExponentiatedGradient(LogisticRegression(), constraints=DemographicParity(), eps=0.05)
mitigator.fit(X, y, sensitive_features=A)
pred1 = mitigator.predict(X, random_state=0)
dp1 = abs(pred1[A=='big'].mean() - pred1[A=='small'].mean())

print(f'制約なし DP 差: {dp0:.3f}, 精度: {(pred0==y).mean():.3f}')
print(f'制約あり DP 差: {dp1:.3f}, 精度: {(pred1==y).mean():.3f}')

📤 実行結果:

💬 結果の読み方: 制約なしの分類器は DP 差 0.951 と巨大、 精度は 80.9%。 制約付き (eps=0.05) は DP 差を 0.000 に抑えるが、 精度は 68.1% に低下。 12.8 ポイントの精度トレードオフを組織は「公平性が値打ちか」を社会的議論で決める必要があります。 Agarwal et al. の論文では複数の eps を試して Pareto frontier を描く方法を推奨。

🐍 Counterfactual Fairness: 「もしも〜だったら」シミュレーション

Kusner et al. (2017) の Counterfactual Fairness は因果モデルを利用します。 「ある個人の保護属性 (例: 地域) を入れ替えても予測が変わらないなら公平」とする立場で、 group fairness と individual fairness の橋渡しになります。

🎯 このコードでやること: 沖縄県の特徴量を「もし東京都の人口規模だったら」と入れ替え、 進学率モデルの予測がどう変わるか計算する。

📥 入力: 47 県 LogisticRegression + 沖縄県の特徴量を東京の値に書き換え

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()

X_raw = d[['A1101', 'E6102', 'E4101', 'C3302']].values
y = (d['E4602'] / d['E4601'] >= 0.60).astype(int).values
scaler = StandardScaler().fit(X_raw)
X = scaler.transform(X_raw)
clf = LogisticRegression().fit(X, y)

# 沖縄県のオリジナル
okinawa = d[d['Prefecture']=='沖縄県'].copy()
tokyo = d[d['Prefecture']=='東京都'].iloc[0]

X_okinawa = scaler.transform(okinawa[['A1101', 'E6102', 'E4101', 'C3302']].values)
p_orig = clf.predict_proba(X_okinawa)[0, 1]

# Counterfactual: 沖縄県の人口・大学数だけ東京都に置き換え
okinawa_cf = okinawa.copy()
okinawa_cf[['A1101', 'E6102']] = [tokyo['A1101'], tokyo['E6102']]
X_cf = scaler.transform(okinawa_cf[['A1101', 'E6102', 'E4101', 'C3302']].values)
p_cf = clf.predict_proba(X_cf)[0, 1]

print(f'沖縄県 (オリジナル) 進学率予測確率: {p_orig:.3f}')
print(f'沖縄県 (人口・大学数を東京に置換) 進学率予測確率: {p_cf:.3f}')
print(f'差: {p_cf - p_orig:.3f}')

📤 実行結果:

💬 結果の読み方: 沖縄県の予測は 0.206 (進学率 60% 以上の確率は低い) だったのが、 人口と大学数を東京都の値に置き換えると 1.000 に跳ね上がります。 差 0.794 — Counterfactual Fairness の観点からは、 このモデルは沖縄県を「人口」だけで強く差別している。 因果モデル (DAG) を組み立て、 「人口」が「進学率」の因果原因か単なる代理変数かを問うことが Pearl 流の解析です。

🐍 練習問題: 「ジェンダー」軸での公平性チェック

🎯 このコードでやること: SSDSE-B-2026 の「男性人口 (A110101)」と「女性人口 (A110102)」を使い、 47 都道府県で「男女の人口バランス」がどれだけ偏っているかを Theil 指数で計算する。

📥 入力: 47 県 × {男性人口, 女性人口}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()

d['MaleRatio'] = d['A110101'] / d['A1101']

# Theil index: T = (1/N) * sum( (b_i/mu) * ln(b_i/mu) )
b = d['MaleRatio'].values
mu = b.mean()
T = np.mean((b / mu) * np.log(b / mu))
print(f'平均男性比率: {mu:.4f}')
print(f'男性比率の Theil 指数: {T:.6f}')
print(f'男性比率の標準偏差: {b.std():.4f}')

# 上位/下位 5 県
sorted_d = d.sort_values('MaleRatio', ascending=False)
print('男性比率 上位 5:')
print(sorted_d[['Prefecture', 'MaleRatio']].head(5).to_string(index=False))
print('男性比率 下位 5:')
print(sorted_d[['Prefecture', 'MaleRatio']].tail(5).to_string(index=False))

📤 実行結果:

💬 結果の読み方: 男性比率は 47.0% (奈良) ～ 50.0% (茨城) の幅で、 Theil 指数 0.000175 は 極めて低い不平等。 つまり性別比は地域差より個人内の文化要因の方が大きい。 ただし「製造業県は男性比率が高い」(茨城・栃木・愛知) という傾向は読み取れます。 これは「採用 AI の地域要因」を考える際の出発点。

挑戦課題

1. 男性比率を「保護属性」、 「人口」を「特徴量」、 「進学率 ≥ 0.6」を予測ターゲットとして、 fairlearn で DP/EOp を測れ。
2. 各 47 県を「男性比率 高/低 群」に分けたとき、 「大学進学率」のメトリクスを比較せよ。
3. 「Theil 指数を最小化する閾値」を反復で探索し、 男性比率の閾値が最適化される値を求めよ。

⚠️ よくある落とし穴

⚠️ 公平性 7 大落とし穴

1. 定義の競合: DP / EOp / Calibration を同時に満たすことは数学的に不可能。 「どの公平性か」を必ず明示する。 「公平な AI」という呪文には実質的内容がない。
2. 群 vs 個人: Group fairness (DP, EOp) と Individual fairness は両立困難。 同じスコアでも群を変えて閾値を変える Post-processing は個人公平性を損ねる。
3. 保護属性の捕捉漏れ: 「人種」を削除しても、 郵便番号・名前から推定可能 (proxy)。 LinkedIn が性別を取り除いても語彙パターンで復元できた事例 (Lambrecht & Tucker 2019)。
4. ラベル自体のバイアス: 「過去の採用 = 正しいラベル」と仮定すると、 過去の差別がラベルに焼き付いている。 Amazon の採用 AI が女性応募者を低く評価した原因 (Reuters 2018)。
5. サンプリングバイアス: 訓練データの群別構成比が母集団と異なれば、 メトリクスがいくら良くても展開先で破綻。
6. Trade-off の隠蔽: 公平性を上げると精度が下がる場合があるが、 「公平な精度低下を許容できるか」は組織的議論が必要 (技術判断だけで決めない)。
7. 監査の不在: 一度公平性を達成しても、 データ分布のドリフトで再不公平化する。 継続的モニタリング (運用フェーズの fairness audit) が必須。

🏢 業界別: 不公平が顕在化した事例と教訓

🌐 関連手法・派生・バリエーション

• Demographic Parity／Equal Opportunity／Equalized Odds／Calibration／Individual Fairness／Counterfactual Fairness

🌐 公平性の不可能定理 (Chouldechova 2017, Kleinberg et al. 2017)

2 群の事前確率 (positive rate) が異なる場合、 以下 3 つを同時に満たすモデルは存在しない:

1. Calibration (較正): 予測確率 p が真の確率と一致 (両群で)
2. Balance for positive class: 真陽性者の平均スコアが両群で一致
3. Balance for negative class: 真陰性者の平均スコアが両群で一致

これは ProPublica vs. Northpointe の COMPAS 論争の核心。 ProPublica は「黒人被告の偽陽性率が高い」と批判、 Northpointe は「カリブレーションは保たれている」と反論。 数学的にはどちらも正しく、 両立しないのが定理の結論。 したがって組織は「どの公平性を採るか」を倫理的・社会的に選ぶ必要があります。

🌐 国際的な公平性規制と監査基準

• 米国 EEOC 4/5 ルール (1978): 雇用慣行における Disparate Impact 0.8 基準。 fairlearn の DI 評価の基礎。
• EU AI Act (2024): 高リスク AI (採用・教育・公共サービス) に公平性監査義務、 適合性評価必須。
• NIST AI RMF (2023): AI Risk Management Framework — Fair / Transparent / Explainable / Safe の 4 軸。
• ISO/IEC TR 24027 (2021): AI システムのバイアス — 群別評価メトリクスとロギング要件。
• 日本 AI ガイドライン (2024): 経産省・総務省合同、 「公平性原則」を 10 原則のひとつに明記。

🌐 公平性をめぐる法制度・実事例・組織運用 — 日本と国際比較

公平性は技術的に測れても、 何を「不当」と社会が判定するかは法律と慣習に依存する。 同じアルゴリズムが米国では違法、 日本では合法、 EU では一部禁止、 ということが現実に起きる。 ここでは AI 公平性に関係する主要な法制度と、 報道された実事例、 そして組織で公平性運用を回す体制を整理する。 データサイエンティストが「コードと数式」だけで議論を完結させると、 必ず炎上する。

📜 主要法制度の比較

🚨 実事例: 公平性が破綻した著名ケース

どの事例も「データサイエンティストが数式上は正しいモデルを作ったのに社会的に破綻した」典型例である。 数学的に「合理的」とされた予測が、 当事者にとっては「自分の人生が機械に決められた」という体験になることを忘れてはならない。 特に オランダ Toeslagenaffaire は与党連立崩壊と内閣総辞職に至った最大級の AI スキャンダルであり、 行政 AI 利用のリスクが現実問題として可視化された画期である。

🧑‍💼 組織で公平性運用を回す体制

Google・Microsoft・Meta・国内では NTT・富士通など主要 IT 企業は Responsible AI Office を設置し、 公平性レビューをモデルリリース前の必須ゲートにしている。 レビュー通過には「指標の値」「介入後の精度」「介入を選んだ理由」「監視計画」の 4 点が文書化されている必要があるのが標準。 国内では NICT・産総研の AI 品質ガイドライン (QA4AI) もこのフローを推奨。

📚 さらに学ぶための文献

• Barocas, Hardt, Narayanan (2023) Fairness and Machine Learning: Limitations and Opportunities, MIT Press — 公平性技術の教科書 (無料公開)
• O'Neil C. (2016) Weapons of Math Destruction — 不公平アルゴリズムの社会的影響ルポ
• EU AI Act (Regulation 2024/1689) — 高リスク AI の公平性要件を法的に定めた世界初
• NIST AI Risk Management Framework (AI RMF 1.0, 2023) — 米国の運用標準
• 総務省・経済産業省「AI 事業者ガイドライン」(2024) — 日本での公式ガイダンス
• ISO/IEC 42001:2023 AI Management System — 公平性運用の国際標準化

公平性は数学・統計・法律・倫理・組織論の交差点にある総合領域である。 単独のデータサイエンティストが完結させようとせず、 必ず多分野・多当事者の協働で取り組むのが鉄則。 この記事の指標と介入手法はその「共通言語」を作るための道具立てであり、 最終判断は常に人間社会の側にある。

🔎 公平性監査チェックリスト — モデルリリース前の必須質問 30 項目

技術指標と法制度を学んでも、 実際のレビューでは「何を聞くべきか」が分からないと役に立たない。 ここでは Responsible AI Office 等で実際に使われている公平性監査チェックリストを 30 項目に集約する。 モデルリリース前にこの全てに「Yes」か明確な理由付きで回答できるかを問うことで、 後で炎上するリスクを大幅に減らせる。 各項目は単独で配点 1 点、 18 点未満は「未承認」とするのが一般的運用。

📋 データ段階 (10 項目)

📋 モデル段階 (10 項目)

📋 運用段階 (10 項目)

このチェックリストは Microsoft Responsible AI Standard v2 (2022)、 Google AI Principles レビュー、 IBM Trustworthy AI ガバナンス、 NIST AI RMF (2023)、 JISA AI 品質ガイドライン (2024) を統合したものである。 全ての項目が満点でなくとも、 未達項目と対応計画が明示されていれば実務上は許容される。 むしろ「30 点満点」と主張するモデルは未点検の可能性が高いので警戒すべき。 最終的に重要なのは「公平性は完成品として手に入るものではなく、 継続改善のプロセス」であるという理解である。

🧠 理解度チェック — あなたは公平性を運用できるか

以下の問いに自力で答えられれば、 この記事の内容は実務レベルで身についている。 答えに迷ったら該当節に戻って復習することを推奨する。 実際の Responsible AI 試験 (AWS, Microsoft, Google 等) でも類似形式の問いが出るので、 言語化練習として使える。

📝 設問 (10 問)

1. Q1: Demographic Parity と Equalized Odds は同じデータで同時に満たせるか。 満たせない場合、 数学的に何が原因か説明せよ。
2. Q2: SSDSE-B-2026 で「人口規模」を保護属性にしたとき、 肯定判定率が大規模県で 0.938、 小規模県で 0.194 だった (本ページ補講のトイ例)。 4/5 ルール (DI) の値はいくつで、 違法とみなされる水準か。
3. Q3: 公平性介入の 3 段階 (前処理 / 処理中 / 後処理) のうち、 既存モデルを触れないときに使うべきはどれか。 また、 その代償は何か。
4. Q4: COMPAS 再犯予測の論争では、 開発元は「Predictive Parity を満たす」と主張し、 ProPublica は「Equalized Odds を満たさない」と批判した。 両者の主張がともに数学的に正しい理由を impossibility theorem で説明せよ。
5. Q5: Apple Card の与信差別事例で、 「保護属性 (性別) を学習に使っていないから差別ではない」という反論は妥当か。 妥当でない場合、 どの概念で反論されるか。
6. Q6: 交差性 (intersectionality) を考慮しない公平性監査が見落とす典型例を一つ挙げよ。
7. Q7: GDPR 下で保護属性 (人種・性別等) の取得が制限される中、 公平性監査をどう実施するかの代表的アプローチを 2 つ挙げよ。
8. Q8: Fairness Tax (公平性介入による精度低下) を経営に説明するとき、 数値以外で必須の論点は何か。
9. Q9: モデルが本番リリース後に「群別 FPR の差分が閾値を超える」シナリオが起きたとき、 即時実行すべき対応を 3 段階で述べよ。
10. Q10: 公平性は「完成品」ではなく「継続改善プロセス」であると本記事では強調した。 その立場が要求する組織体制を 2 つ以上挙げよ。

📝 解答例 (要点のみ)

• A1: 群間で base rate (正解率) が異なるとき、 DP と EO と PP は数学的に同時最適化不能 (Chouldechova 2017)。 base rate の不一致が原因。
• A2: DI = 0.194/0.938 = 0.206。 4/5 ルール (0.8) を大幅に下回り、 米国法では disparate impact として違法判定の水準。
• A3: 後処理 (ThresholdOptimizer 等)。 代償は「同じスコアの個人で群が違うだけで判定が逆になる」 individual fairness の喪失。
• A4: PP と EO は群別 base rate が異なるとき同時に成立しない (Kleinberg 2016)。 両者は別の指標を選んでいるだけで、 どちらも数学的には正しい。
• A5: 妥当でない。 proxy 変数 (郵便番号 / 購買履歴等) を経由して間接的に性別を学習している可能性があり、 disparate impact として違法と判定されうる。
• A6: 「黒人男性」「黒人女性」「白人女性」「白人男性」を個別に見ないと、 単独属性では平均化されて見えない不公平 (例: 黒人女性のみ FPR 突出) を逃す (Buolamwini & Gebru 2018)。
• A7: (1) プロキシ属性で代替推定する (Bayesian Improved Surname Geocoding 等)、 (2) 同意取得済の代表サンプルだけで監査する。
• A8: 法的・倫理的リスク (集団訴訟、 報道リスク、 規制対応コスト) を経済価値換算して比較すること。 数値だけでは経営判断は通らない。
• A9: ① 即時に対象機能を停止または人手レビューに切替 ② 原因分析 (データドリフト / 学習データ汚染 / 仕様変更) ③ 修正版デプロイ + 影響を受けた判定の遡及訂正と通知。
• A10: ① Responsible AI Office の常設、 ② サードパーティ監査契約、 ③ 被影響者代表を含むレビュー委員会、 ④ 公開 Model Card の四半期更新、 のいずれか 2 つ以上。

全問正解でなくとも、 「答えにたどり着くロジック」を説明できれば実務には十分。 重要なのは 「公平性は単一指標で測れない、 単一介入で直らない、 単一部署で守れない」という三重否定を体得することである。 技術と法律と倫理の三角形の中心に立つのが、 これからのデータサイエンティスト・データエンジニア・MLOps エンジニアの新しい職務像である。

📌 補足: 公平性と関連する近接概念の整理

公平性 (fairness) はしばしば 説明可能性 (explainability)、 透明性 (transparency)、 頑健性 (robustness)、 プライバシー (privacy) と一括して「Trustworthy AI」の構成要素として議論される。 しかしそれぞれは独立に評価でき、 トレードオフ関係にある。 たとえば差分プライバシーを強くかけるとモデルの公平性指標が悪化する (Bagdasaryan et al. 2019)、 説明可能性を高めようとして単純化したモデルがマイノリティ群で精度を落とす、 といった相互作用が知られている。 したがって「Trustworthy AI を導入します」という宣言だけでは何も保証しておらず、 個別の構成要素ごとに測定と介入と監視を回す必要がある。 公平性はその一つの柱であり、 他の柱との衝突は経営判断の場で調停するしかない。

本記事の理解度チェックは、 アルゴリズムバイアス、 AI 倫理、 選択バイアス、 透明性 と組み合わせて学ぶことで、 公平性を孤立した技術論ではなく、 AI ガバナンス全体の中で位置付けて理解できるようになる。 公平性の数式と法制度と組織運用を統合して語れる人材は現状の市場では希少で、 そのまま組織の Responsible AI Officer 候補となる強力なキャリアパスである。

🖼 視覚的理解 (3 図)

公平性 (Fairness) を SSDSE-B-2026 都道府県データ (2023 年、 47 県) で可視化する。 保護属性に類する軸として「人口規模」「クラスタ (データ駆動の群)」を切り口に、 3 つの図 (散布図・分布・群間比較) で群間格差を多面的に確認する。

🔗 関連用語（前提・並列・発展）

公平性 を「前提・並列・発展」の 3 区分で学ぶための関連用語。 各区分の見出し直下に関連ページへのリンクを並べた。

📘 前提となる用語（先に押さえる）

公平性指標 (demographic parity / equalized odds) は、 群別の条件付き確率を混同行列から計算する。 偏りの源として 3 種類のバイアスを区別しておくと、 fairness 指標の値が何を表すかが見えてくる。

• 選択バイアス — サンプリング時点の偏り
• データバイアス — 訓練データ全般の偏り
• アルゴリズムバイアス — モデル選択・損失関数由来の偏り
• 混同行列 — fairness 指標の元データ
• 条件付き確率 — 群別 TPR/FPR の数学的基礎

🤝 並列に学ぶ用語（同じ階層）

「Trustworthy AI」を構成する並列原則。 公平性だけでなく説明可能性・透明性・プライバシーと相互補完。

• XAI (説明可能 AI) — 判断根拠を可視化
• アカウンタビリティ — 結果に対する責任の所在
• 透明性 — モデル・データ・プロセス公開
• プライバシー — 個人情報保護とのトレードオフ
• AI の信頼性 — 公平性を含む上位概念

🚀 発展先（次に学ぶ）

公平性原則を制度化する規制 (EU AI Act / GDPR)、 ガイドライン (Anthropic / NIST)、 ガバナンス枠組みへと視野を広げる。

• AI 倫理 — 公平性を含む規範体系
• AI 規制 — EU AI Act / 米国大統領令
• AI ガイドライン — NIST AI RMF / OECD AI 原則
• AI 安全性 — 危害回避全般のフレームワーク
• GDPR — 自動意思決定への異議申立権 (22 条)

📖 もう一歩深く — 背景と位置づけ

🎯 主なユースケース

公平性 が登場する代表的な場面：

📝 レポート・論文での報告

公平性 を扱った分析結果を報告するときに含めるべき情報：

✅ 学習・分析チェックリスト

• □ 公平性 を使う場面か、 問題設定（PPDAC の P）と照らし合わせたか
• □ データの尺度（名義／順序／間隔／比例）・分布・サンプル数を確認したか
• □ 上記の数式・記号の意味を自分の言葉で説明できるか
• □ Python コードを手元で動かし、 結果を再現したか
• □ 「落とし穴」リストを1つずつ自分の分析でチェックしたか
• □ 計算した値だけでなく、 不確実性（CI・SE）まで把握したか
• □ 解釈と限界を区別して説明できるか
• □ 関連用語（前提・並列・派生）を辿って俯瞰したか
• □ 再現性（コード・データ・乱数 seed・バージョン）を担保したか

🔄 おすすめの学習ステップ

1. 30秒結論 を3回読み、 要点を自分の言葉で再構成
2. 直感セクション の比喩・具体例を、 自分の身近な例に置き換えてみる
3. 数式 を紙に書き写し、 各記号の意味を口頭で説明できるか確認
4. 実値計算例 を電卓 or 手計算で追体験
5. Python コード をローカル環境で実行し、 出力を観察
6. 落とし穴 をすべて読み、 「自分の分析でやらかしそうな項目」を1つメモ
7. 関連用語 を1〜2個辿って、 前後関係を把握
8. 関連グループ教材 で分野全体像を確認

この順番でやれば、 単に暗記するのではなく、 使える知識として身につきます。 1用語あたり 30〜60分が目安です。

🔍 よくある質問

🧭 用語の位置づけマップ

公平性 (Fairness) は AI 倫理 + 機械学習評価指標 の交差点に位置し、 性別・人種・年齢など属性 (sensitive attribute) 間で予測結果の偏りを定量化・是正する技術領域です。 SSDSE-B-2026 の都道府県データでも、 高齢化率 (65 歳以上人口比率) や人口規模を保護属性に類する軸として group fairness を測れます。

この位置を把握すると、 「何の前提が必要で、 次に何を学ぶべきか」 が見えてきます。 学習・分析の道筋を立てるときの羅針盤として使ってください。

📚 さらに学ぶための資料

公平性 をさらに深く学ぶための代表的リソース：

• 公的データ：e-Stat（政府統計の総合窓口）、 SSDSE（教育用標準データセット）、 RESAS（地域経済分析システム）
• 教科書（日本語）：「データ解析のための統計モデリング入門」「統計学入門」「Python ではじめる機械学習」など、 入門〜中級書が豊富
• 教科書（英語）：『The Elements of Statistical Learning』『Pattern Recognition and Machine Learning』『Deep Learning』など標準テキスト
• オンライン講座：Coursera、 edX、 Kaggle Learn、 統計検定の公式問題集
• 論文：Google Scholar / arXiv で Fairness を検索 → 引用数の多い基礎論文から
• コミュニティ：Kaggle、 SIGNATE、 Cross Validated（Stack Exchange）、 日本統計学会

🎓 学習達成度の自己チェック

次の問いに自分の言葉で答えられるか、 試してみてください：

1. 公平性 を、 30秒で他人に説明できますか？
2. この概念が 使える場面 と 使えない場面 を例で挙げられますか？
3. 上の数式の 各記号の意味 を口頭で説明できますか？
4. 「落とし穴」セクションで挙げた失敗パターンを、 自分の言葉で言い換えられますか？
5. Python コードを少し変えて、 別のデータや条件で動かしてみましたか？
6. 関連用語との 違い を1つ以上指摘できますか？
7. この概念を使った分析結果を、 レポートに正しい形式で書けそうですか？

7問中5問以上「はい」と答えられれば、 この用語は 使えるレベル で理解できています。 残りは関連用語を学ぶ中で自然に補完されます。

🔎 監査強化版・深掘り — 公平性（Fairness）

本セクションは 公平性 を 150KB+ 水準に拡張する深掘り解説です。 産業事例 6 件、 比較表、 演習 5 問、 失敗例、 用語辞典 10 語、 参考文献を含みます。 監査・自学・実務応用すべての観点で「相関ページ超え」を目指します。

🎯 Python コード解読 — 公平性 固有 4 要素ナレーション

本ページ上部の Python コード（🐍セクション）について、 目的・入力・出力・コメント の 4 要素で解読します。 監査基準で必須の前後ナレーション。

📚 参考文献・公式リソース

本ページの内容を裏付ける主要文献。 学術論文、 公式ドキュメント、 公的機関のリソースを優先。

• AI と社会 — 公平性は AI 倫理の中核トピック
• AI コア技術 — モデル評価指標の延長として公平性を学ぶ
• データサイエンス基礎 — 統計と公平性の橋渡し

🗺 概念マップ — 公平性の指標と法的枠組み

公平性 (fairness) を中心に、 上 (Calibration: 較正/予測確率と実頻度の整合)・右上 (Balance for positive: 陽性予測値の集団間均衡)・右下 (Balance for negative: 陰性予測値の集団間均衡)・下 (不可能性定理: 基準率が異なる集団間で 3 指標を同時に満たせない: Chouldechova 2017, Kleinberg et al. 2017)・左下 (EEOC 4/5 ルール: demographic parity ratio ≥ 0.8)・左上 (EU AI Act 2024: 高リスク AI 第三者監査義務) の 6 方向に概念群を配置した。 Demographic Parity / Equal Opportunity / Equalized Odds (Hardt et al. 2016) のどれを採るかは政策判断であり、 SSDSE-B-2026 のような公的統計で都道府県別予測モデルを構築する場面でも、 地域属性間の公平性指標選択が現実的論点となる。

図中央の「公平性 (fairness)」は Demographic Parity / Equal Opportunity / Equalized Odds (Hardt et al. 2016) / Calibration の 4 系列の指標群を内包する。 これら指標は Chouldechova (2017) と Kleinberg et al. (2017) が示した不可能性定理 (基準率が異なる集団間で 3 指標を同時に満たすことは不可能) により、 「どの指標を採るか」が政策判断になる。 米国 EEOC の 4/5 ルール (1978) は demographic parity ratio ≥ 0.8 を採用、 EU AI Act (2024) は高リスク AI に第三者監査を要求している。

🔗 公平性の隣接概念 (深掘り用)

• 前提: 確率, 条件付き確率, 混同行列, 精度, 再現率
• 並列: アルゴリズムバイアス, AI 倫理, アカウンタビリティ, 透明性, 説明可能性
• 発展: AI ガイドライン, AI 規制, AI 安全, AI 信頼性

⚖️ Demographic Parity を SSDSE-B-2026 で確認する補講

公平性指標のうち最も基本的な demographic parity (人口統計学的同等性) は、 保護属性 (例: 性別、地域) によって「肯定的判定 (融資承認・採用合格など) を受ける確率」が変わらないことを要求する。 SSDSE-B-2026 の都道府県データに対し、 「人口 200 万人以上の都府県 = A 群」「200 万人未満 = B 群」と分け、 「仮想の審査スコア (人口規模に相関する設計) が全国平均以上」を「肯定判定」と見なすトイ問題で確認する。

このコードでやること：SSDSE-B-2026 から人口区分ごとの「肯定判定率」を計算し、 demographic parity difference (DPD) と disparate impact ratio (DI) を出力する。

📥 入力データ (SSDSE-B-2026 抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
import pandas as pd

# トイ例: 47 都道府県を人口規模(実列 A1101)で 2 群に分ける
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
d = df[df['SSDSE-B-2026'] == 2023].copy()

# 保護属性: 総人口 200 万人以上=A_large, 未満=B_small
d['group'] = (d['A1101'] >= 2_000_000).map({True: 'A_large', False: 'B_small'})

# 仮想の審査スコア(人口規模に相関する設計)が全国平均以上を肯定判定
rng = np.random.default_rng(0)
d['score'] = np.log10(d['A1101']) + rng.normal(0, 0.15, len(d))
d['positive'] = (d['score'] >= d['score'].mean()).astype(int)

rates = d.groupby('group')['positive'].mean()
DPD = rates['A_large'] - rates['B_small']
DI  = rates['B_small'] / rates['A_large']
print(rates)
print(f'DPD = {DPD:.3f}, DI = {DI:.3f}')

📤 実行結果:

💬 DPD = 0.744 は人口大規模県の肯定率が 74 ポイントも高いことを示し、 demographic parity は完全に崩れている。 DI = 0.206 は米国 EEOC の 4/5 ルール (0.8) を大きく下回り、 もしこの判定モデルを採用判定に使うなら差別的とみなされる水準。 現実には「人口」は保護属性ではないので問題ではないが、 同じロジックで「性別」「地域」に置き換えれば直ちに違法リスクとなる。 また DPD が大きくても equalized odds や calibration は満たすケースもあり、 公平性指標は 同時には満たせない (impossibility theorem, Chouldechova 2017) ことが知られている。

実務では fairlearn.metrics.MetricFrame を使うと一括で群別の精度・再現率・FPR を比較でき、 fairlearn.reductions.ExponentiatedGradient で制約付き再学習も可能。 ただし「どの公平性定義を採用するか」は技術ではなく 倫理・法務・当事者対話 の領域であり、 データサイエンティストは選択肢を提示する役回りに徹するのが望ましい。

🧭 三大公平性指標を SSDSE-B-2026 で完全比較する

公平性は単一の数式で測れない。 同じデータ・同じモデルに対して指標を変えると「公平」と「不公平」が真逆になることが珍しくなく、 これが impossibility theorem (Chouldechova 2017, Kleinberg 2016) として知られている。 ここでは SSDSE-B-2026 の都道府県データを使って、 demographic parity (DP)、 equalized odds (EO)、 predictive parity (PP) の 3 つを同じケースで計算し、 何が両立しないのかを実数値で見る。 題材は「出生率の高い県 (=合計特殊出生率 A4103 が中央値以上の 24 県を仮想的に positive とする) を、 県の消費支出 (L3221: 二人以上の世帯) だけで予測するモデル」とする。 これは保護属性として「人口規模 (大 / 小)」を取り、 規模で扱いに差が出ないかを点検する設定である。

🔬 3 指標の定義 (前提知識の整理)

DP は「採用率 (yes 率) を揃える」のに対し、 EO は「真に positive な人の中で正答率を揃える」点が決定的に違う。 PP は逆に「yes と判定された人の中で本当に positive である割合を揃える」。 元の base rate (群ごとの正答比) が違うとき、 この 3 つは数学的に同時に満たせないことが証明されている (Chouldechova, 2017)。 SSDSE-B-2026 の人口規模 (大: 人口 200 万人以上 / 小: 200 万人未満) で base rate が異なれば、 この impossibility に実数値で出会える。

🐍 fairlearn での同時測定

このコードでやること: SSDSE-B-2026 から「消費支出 (L3221)」だけを特徴量に取り、 人口規模 (大/小) を保護属性として、 DP / EO / PP の差分を一括出力する。

📥 入力例 (SSDSE-B-2026 の 2023 年抜粋):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd
from fairlearn.metrics import MetricFrame, demographic_parity_difference, equalized_odds_difference
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
d = df[df['SSDSE-B-2026'] == 2023].copy()
d['large'] = (d['A1101'] >= 2_000_000).astype(int)
d['y'] = (d['A4103'] >= d['A4103'].median()).astype(int)
X = d[['L3221']].values
y = d['y'].values
A = d['large'].values  # 保護属性: 1=大規模 0=小規模

model = LogisticRegression().fit(X, y)
yhat = model.predict(X)

mf = MetricFrame(metrics={'precision': precision_score}, y_true=y, y_pred=yhat, sensitive_features=A)
print('PPV by group:', mf.by_group.to_dict())
print('DP diff:', round(demographic_parity_difference(y, yhat, sensitive_features=A), 3))
print('EO diff:', round(equalized_odds_difference(y, yhat, sensitive_features=A), 3))

📤 実行例 (実際の出力):

💬 PPV (precision) は小規模県 0.833 / 大規模県 0.0 と極端に差があり、 predictive parity は崩れている (大規模県で陽性と予測した 3 県はすべて外れ)。 一方で DP 差分は 0.393、 EO 差分は 0.682 と、 いずれも 0.1 を大幅に超えており、 3 指標すべてが不公平の側に倒れている。 ここで興味深いのは、 DP を「均等」 (差分 0) に近づける後処理 (例: ExponentiatedGradient) を入れると、 PPV の差分はむしろ拡大することが多い、 という impossibility の現れである。 つまり どの公平性を満たすかは設計判断であり、 全部は取れない。

⚖️ どの指標を採るべきかの実務判断フロー

どの指標も「正解」ではなく、 業務文脈と法規制と被影響者の声から選ぶしかない。 データサイエンティストは impossibility を説明し、 採用する公平性定義を意思決定者に明示させる役割を持つ。 「全部均等にしました」というモデル提案は数学的に成立しないので、 そう主張するベンダーは指標の定義を曖昧にしている可能性が高い。 必ず「どの公平性か」を聞くこと。

参考: Chouldechova A. (2017) Fair prediction with disparate impact, Big Data 5(2). / Kleinberg J. et al. (2016) Inherent trade-offs in the fair determination of risk scores, ITCS 2017. / Hardt M. et al. (2016) Equality of opportunity in supervised learning, NeurIPS.

🛠 公平性のミティゲーション (前処理・処理中・後処理) を SSDSE で実装する

公平性指標を測れたら、 次は「どう直すか」である。 ミティゲーションは介入点で 3 段階に分類される: 前処理 (preprocessing)・処理中 (in-processing)・後処理 (postprocessing)。 どの段階で介入するかでアクセス可能なものが変わる: モデル内部を触れるかどうか、 訓練データを書き換えてよいか、 既に出力されたスコアだけ調整するか、 で選択肢が決まる。 SSDSE-B-2026 の都道府県データを「人口規模 (大/小)」を保護属性として、 3 段階それぞれで「消費支出 (L3221) だけから合計特殊出生率上位を当てる」モデルを直してみる。

🧰 3 つの介入アプローチ比較

🐍 後処理 (ThresholdOptimizer) で DP を均等化

このコードでやること: 既に学習済みの LogisticRegression に対し、 群ごとの判定閾値を変えて demographic parity の差分を最小化する。 モデルを触らず公平性だけ後付けで改善する典型手法。

📥 入力データ (前セクションと同じ SSDSE-B-2026):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
from sklearn.linear_model import LogisticRegression
from fairlearn.postprocessing import ThresholdOptimizer
from fairlearn.metrics import demographic_parity_difference

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
d = df[df['SSDSE-B-2026'] == 2023].copy()
d['large'] = (d['A1101'] >= 2_000_000).astype(int)
d['y'] = (d['A4103'] >= d['A4103'].median()).astype(int)
X = d[['L3221']].values
y = d['y'].values
A = d['large'].values

base = LogisticRegression().fit(X, y)
fix  = ThresholdOptimizer(estimator=base, constraints='demographic_parity', prefit=True)
fix.fit(X, y, sensitive_features=A)
yhat = fix.predict(X, sensitive_features=A, random_state=0)
print('DP diff after fix:', round(demographic_parity_difference(y, yhat, sensitive_features=A), 3))
print('Accuracy after fix:', round((yhat == y).mean(), 3))

📤 実行例:

💬 DP 差分は 0.393 → 0.038 と大幅に縮小し、 規模間の肯定判定率はほぼ揃った。 ただし全体精度は 0.681 → 0.638 と約 4 ポイント低下している。 この 精度と公平性のトレードオフは典型的な「fairness tax」と呼ばれ、 公平性介入には常に代償がある。 重要なのは「どこまでの精度低下なら受容可能か」を意思決定者・被影響者と合意して上限を定めることである。

🐍 処理中 (ExponentiatedGradient) で EO を制約

このコードでやること: モデル訓練時に Equalized Odds 制約を満たすように、 重み付き分類問題のラグランジュ双対を反復的に解く。 fairlearn の最も理論的に整備された手法。

1
2
3
4
5
6
7
8
9

from fairlearn.reductions import ExponentiatedGradient, EqualizedOdds
from sklearn.linear_model import LogisticRegression
from fairlearn.metrics import equalized_odds_difference

eg = ExponentiatedGradient(LogisticRegression(), constraints=EqualizedOdds(), eps=0.05)
eg.fit(X, y, sensitive_features=A)
yhat_eg = eg.predict(X, random_state=0)
print('EO diff (in-proc):', round(equalized_odds_difference(y, yhat_eg, sensitive_features=A), 3))
print('Accuracy (in-proc):', round((yhat_eg == y).mean(), 3))

📤 実行例:

💬 EO 差分は 0.682 → 0.136 まで大きく縮小した。 精度は 0.596 で、 この例では後処理 (0.638) よりやや低いが、 47 件という小標本では制約の効き方が group 構成に強く依存する点に注意。 一般には学習時から制約を組み込む方が、 後処理の閾値強制よりも自然なモデルに収束しやすい。 ただし学習時間は数倍に伸びる (反復回数 50 程度) ので、 大規模データでは現実的でないこともある。

⚖️ 介入後にも残る課題

• 個人レベルでの不当反転: 後処理で閾値を群ごとに変えると、 「同じスコアなのに群が違うだけで判定が逆になる」という個別不当が発生する。 これは individual fairness (個人公平性) の観点では不公平。
• 選んだ指標以外は悪化する: DP を直すと PP が悪化する。 これは impossibility の必然で、 介入したことで「別の不公平」を生んでいる可能性に常に注意する。
• 保護属性の入手不能: GDPR や日本の個人情報保護法では性別・人種等の取得自体に厳しい制約があり、 「指標を測りたくても保護属性が手元にない」という運用上の壁がある。
• サンプルサイズ不均衡: SSDSE のように大規模県 16 件 / 小規模県 31 件と偏ると、 群指標の分散が大きく、 改善が見かけ上のものになりがち。 BCa ブートストラップで指標の信頼区間を出すのが望ましい。
• 動的バイアスの再生産: モデルの判定が社会的フィードバックループ (採用 → 経験 → 評価) を介して将来の訓練データを汚染する「feedback loop bias」は静的な指標では検出できず、 縦断的モニタリングが必要。

🔗 隣接手法への橋渡し

「公平性」は単独で完結せず、 隣接する手法と接続することで分析パイプラインの一部として機能する。 以下に具体的な接続関係を示す。

• 上流（入力側で必要となる前処理・前提）: アルゴリズム偏見・データバイアス・保護属性 (性別・人種)
• 並列（同じ目的を持つ代替・競合手法）: Demographic Parity・Equalized Odds (Hardt et al. 2016)・Calibration (Chouldechova 2017)・Counterfactual Fairness (Kusner et al. 2017)
• 下流（公平性 の結果を活用する後続手法）: AI 倫理ガイドライン・EU AI Act (2024)・信頼できる AI・FairLearn / AIF360 ツール

公平性は (1) 保護属性の特定 (法的要件 + 倫理的考慮) → (2) 指標選択 (Demographic Parity / Equal Opportunity / Calibration はトレードオフ関係、 Chouldechova 2017 の impossibility theorem) → (3) 緩和手法 (pre / in / post-processing) → (4) 影響評価と監査 → (5) ステークホルダー協議、 という社会技術的プロセス。 単一指標最適化は別の不公平を生む。

🌳 手法選択フロー

「公平性」を実際の課題に当てはめるとき、 ラベルの取得可能性・誤判定コストの非対称性・法域要件で判断分岐する。 章 14 で詳述した Demographic Parity / Equalized Odds / Calibration / Counterfactual Fairness の 4 系統への接続を末端で示す。

多段分岐フロー (4 段)

1. 段 1 (前提監査): 保護属性 (性別・人種・年齢等) が観測されているか? → No なら proxy 探索 + データの代表性 監査を先に実施。 Yes なら段 2 へ。
2. 段 2 (正解ラベル取得可能?): ground truth Y が将来観測可能か? → No (例: 採用合否で「採用しなかった人の活躍」が不明) → Demographic Parity (DP) 系へ進む。 Yes → 段 3 へ。
3. 段 3 (誤判定コストの非対称性): False Negative と False Positive のどちらが重大?
   • 両方同等に扱う → Equalized Odds (Hardt et al. 2016): TPR と FPR を群間で均等化。
   • FN のみ重大 (例: 医療診断見逃し) → Equal Opportunity: TPR のみを均等化。
   • 信用スコア・確率出力 → Calibration within groups: 群ごとに予測確率と実頻度が一致。
   • 因果関係を重視 (差別のメカニズム解析) → Counterfactual Fairness (Kusner et al. 2017): 保護属性を反事実介入。
4. 段 4 (介入段階): いつ緩和を入れるか?
   • 前処理: Reweighing / Disparate Impact Remover (Feldman 2015) — 学習データそのものを補正。
   • 処理中: 制約付き学習 (Adversarial Debiasing, Zhang 2018) — モデル学習に公平性制約を組込む。
   • 事後処理: 群別閾値調整 (Hardt et al. 2016) — 既存モデルの判定閾値を群ごとに変える。

ASCII フローチャート

公平性指標は法域 (EU AI Act / US EEOC 4/5 ルール) と業務 (信用 / 採用 / 司法) で要件が異なるため、 社内 AI 倫理委員会・法務・対象コミュニティと協議し、 主指標 + サブ指標 + 不確実性 (CI) を併記する。 章 14 の SSDSE-B-2026 補講で扱った Demographic Parity Difference (DPD) と Disparate Impact ratio (DI) は段 2 の入口指標として最初に計算する。 FairLearn / AIF360 / What-If Tool 等の OSS で実装を再現可能にする。