🔖 キーワード索引

🔖 公平性指標を SSDSE で実測する深掘り

機械学習の倫理 (ML ethics) は抽象的な概念ではなく、 「実データ × 実モデル × 数値指標」で測定できる工学的問題である。 ここでは SSDSE-B-2026 の 47 都道府県データを使って、 「人口の大小」を保護属性とみなして公平性指標 (Demographic Parity、 Disparate Impact、 Equal Opportunity) を 💡 数式と Python で実測する。

💡 公平性 3 指標の定義と数式

機械学習公平性の代表 3 指標は以下のように定式化される (Y は真ラベル、 Ŷ はモデル予測、 A は保護属性 (group: 大県=1 / 小県=0))。

📐 Demographic Parity (DP、 統計的均等)

📐 数式を言葉で読み解く: 「群 A=0 (小県) と群 A=1 (大県) で、 モデルが陽性 (1) を予測する確率が等しい」という意味。 採用 AI なら男女で合格率が同じ、 与信 AI なら国籍で承認率が同じ。 真の能力分布が違っても結果分布を強制的に揃える ── ゆえに「機会の平等」よりも「結果の平等」寄りの指標。

📐 Disparate Impact Ratio (DIR、 4/5 ルール)

📐 数式を言葉で読み解く: 群間で陽性率が最も低い群 / 最も高い群の比。 米国 EEOC (雇用機会均等委員会) は 0.80 (4/5 ルール) 未満なら違法と推定。 1.0 が完全公平、 0 が完全格差。 DP の絶対差ではなく比なので「全体陽性率が低くても差別性を検出」できる。

📐 Equal Opportunity (EO、 機会均等)

📐 数式を言葉で読み解く: 「本当に陽性 (Y=1) の人のうち、 モデルが拾えた率 (= recall) が群間で等しい」。 採用 AI なら本当に有能な人を取りこぼす率が男女で同じ、 がん検診 AI なら本当の罹患者を見逃す率が人種で同じ。 DP よりも「真の能力を尊重する」ため、 教育・医療で好まれる。

📐 Equalized Odds (EOdds、 等しい誤差率)

📐 数式を言葉で読み解く: EO の拡張で、 「真陽性率 (TPR) と偽陽性率 (FPR) が両群で等しい」。 EO より厳しい (Y=0 側も揃える)。 Hardt+ (2016, NeurIPS) で提案、 多くのライブラリ (fairlearn, AIF360) で実装。

🧮 SSDSE-B-2026 で公平性を実測 ── 保護属性 = 「人口大小」

SSDSE-B-2026 を「年度 2023、 47 都道府県」で取り出し、 人口中央値で大県群 (n=24) / 小県群 (n=23) に分割。 「気温 B4101 が 13.0℃ 超」を陽性ラベル (Y=1) と定義し、 大小群でモデル予測の差を測る。

🐍 Python 実装 ── fairlearn で DP / DI / EO を計測

🎯 このコードでやること: SSDSE-B-2026 を読み込み、 「人口大小」を保護属性とみなして線形回帰モデル (出生数を人口から予測) の予測陽性率 (「予測出生数 > 20,000」) が大小群で異なるかを、 fairlearn.metrics.MetricFrame + demographic_parity_difference + equalized_odds_difference で測定する。

📥 入力データ (SSDSE-B-2026、 cp932、 1 行目スキップ): 47 都道府県 × 112 列。 ここでは A1101 (総人口)、 A4101 (出生数) を使用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

# pip install fairlearn scikit-learn pandas
import pandas as pd
from sklearn.linear_model import LinearRegression
from fairlearn.metrics import (MetricFrame, demographic_parity_difference,
                               demographic_parity_ratio, equalized_odds_difference)
from sklearn.metrics import accuracy_score, recall_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()

# 保護属性 A: 人口中央値で大県群 (1) / 小県群 (0)
df['A'] = (df['A1101'] >= df['A1101'].median()).astype(int)

# 真ラベル Y: 出生数 > 20,000 を「人口活発」陽性
y_true = (df['A4101'] > 20000).astype(int)

# シンプル線形回帰で出生数を人口から予測
model = LinearRegression().fit(df[['A1101']], df['A4101'])
y_pred = (model.predict(df[['A1101']]) > 20000).astype(int)

# fairlearn の MetricFrame で群別に metric を出す
mf = MetricFrame(
    metrics={'accuracy': accuracy_score, 'recall(TPR)': recall_score},
    y_true=y_true, y_pred=y_pred, sensitive_features=df['A'])
print('--- 群別 metric ---')
print(mf.by_group)

print('\nDemographic Parity diff   =', demographic_parity_difference(
    y_true, y_pred, sensitive_features=df['A']))
print('Demographic Parity ratio  =', demographic_parity_ratio(
    y_true, y_pred, sensitive_features=df['A']))
print('Equalized Odds diff       =', equalized_odds_difference(
    y_true, y_pred, sensitive_features=df['A']))

📤 実行すると次の出力が得られる:

💬 結果の読み方: DP diff = 0.4167、 DP ratio = 0.000 (大県は 24 県中 10 県 = 41.7% を陽性予測、 小県は 0%)。 これは「結果の平等」観点では深刻な格差。 ただし真ラベル分布自体が大県 = 24 県中 9 県陽性、 小県 = 23 県すべて陰性であるため、 これは 「世界の構造」が反映された結果であり、 モデルのバグではない。 ここで DP ratio=0 を「差別」と呼ぶか「現実の反映」と呼ぶかが、 まさに ML 倫理の難所。 EO diff = 1.0 と極端な値になっているのは、 小県群に真の陽性が 1 件も無く TPR が定義できないためで（sklearn は 0.0 を返す）、 大県の TPR 1.0 との差がそのまま 1.0 として出ているだけ。 片方の群に陽性が存在しないとき EO は解釈できないという、 公平性指標を使う際の典型的な落とし穴がそのまま出ている。 採用 / 与信 のような「能力を見たい」場面では EO 重視、 配分・福祉のような「結果を揃えたい」場面では DP 重視 ── 何を優先するかは ML 技術ではなく社会的選択。

🐍 Python 実装 ── Disparate Impact 緩和アルゴリズム (Reweighing)

🎯 このコードでやること: SSDSE-B-2026 で大県/小県の陽性率格差を縮めるため、 Kamiran & Calders (2012) の Reweighing 法を fairlearn.reductions.ExponentiatedGradient 経由で適用し、 DP diff の前後変化を比較する。

📥 入力データ: 上と同じ df (47 行)、 A1101, A4101, 保護属性 A。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

# pip install fairlearn
import pandas as pd
from sklearn.linear_model import LogisticRegression
from fairlearn.reductions import ExponentiatedGradient, DemographicParity
from fairlearn.metrics import demographic_parity_difference

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['A'] = (df['A1101'] >= df['A1101'].median()).astype(int)
y_true = (df['A4101'] > 20000).astype(int)
X = df[['A1101', 'A4200']].values  # 総人口 + 死亡数

# --- ベースライン: 制約なし LR ---
base = LogisticRegression(max_iter=1000).fit(X, y_true)
y_base = base.predict(X)

# --- 公平制約付き ExponentiatedGradient ---
mitigator = ExponentiatedGradient(
    LogisticRegression(max_iter=1000),
    constraints=DemographicParity())
mitigator.fit(X, y_true, sensitive_features=df['A'])
y_mit = mitigator.predict(X, random_state=0)   # 種を固定して毎回同じ結果にする

print('Baseline DP diff   :', demographic_parity_difference(
    y_true, y_base, sensitive_features=df['A']))
print('Mitigated DP diff  :', demographic_parity_difference(
    y_true, y_mit, sensitive_features=df['A']))
print('Baseline accuracy  :', (y_base == y_true).mean())
print('Mitigated accuracy :', (y_mit  == y_true).mean())

📤 実行すると次の出力が得られる:

💬 結果の読み方: DP diff を 0.375 → 0.011 とほぼ 0 まで圧縮できたが、 精度は 100% → 80.9% に 19 ポイント犠牲（総人口と死亡数だけで出生数 20,000 の線引きはほぼ完全に当てられるので、 ベースラインは 47 県すべて正解する）。 なお ExponentiatedGradient.predict は確率的に分類器を選ぶため、 random_state を渡さないと実行のたびに値が変わる。 上のコードでは random_state=0 を指定して再現可能にしている。 これは ML 倫理の鉄則「Fairness-Accuracy Tradeoff」の実演。 Kleinberg+ (2016) は「3 つの公平性指標 (DP / EO / Calibration) を同時に満たすのは数学的に不可能 (ベースレートが群間で違う限り)」を証明した (Impossibility Theorem)。 つまり 「全ての公平性を同時達成する技術的解決」は存在しない ── 社会的合意で何を優先するか決めるしかない。

🐍 Python 実装 ── 透明性: SHAP で予測根拠を可視化

🎯 このコードでやること: ML 倫理の「説明責任 (Accountability)」「透明性 (Transparency)」原則を満たすため、 SSDSE-B-2026 で訓練した予測モデルの判断根拠を shap.TreeExplainer で個別予測ごとに分解表示する。

📥 入力データ: SSDSE-B-2026 2023 年、 47 都道府県 × 5 特徴量 (A1101 総人口、 A4101 出生数、 A4200 死亡数、 A5101 転入者、 A9101 婚姻数)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# pip install shap lightgbm
import numpy as np, pandas as pd, shap, lightgbm as lgb

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
# 2023 年だけ残したら必ず reset_index する。
# しないと index は 0, 12, 24, ... のまま（東京都は 144）で、
# SHAP 配列の「何行目か」とずれて IndexError になる。
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
feat = ['A1101', 'A4101', 'A4200', 'A5101', 'A9101']
thr = df['B4101'].median()             # 年平均気温の中央値 = 17.4℃
y = (df['B4101'] > thr).astype(int)    # 平年より暖かい県を陽性
X = df[feat]

model = lgb.LGBMClassifier(n_estimators=50, max_depth=3, verbose=-1, random_state=0).fit(X, y)
expl = shap.TreeExplainer(model)
sv = np.asarray(expl.shap_values(X))   # 2 値分類なので (47 行, 5 特徴)

def why(pref):
    pos = df.index[df['Prefecture'] == pref][0]   # 行の位置（index ラベルではない）
    print(f'=== {pref}の予測根拠 ===')
    for f, v in sorted(zip(feat, sv[pos]), key=lambda t: -abs(t[1])):
        print(f'  {f:6s}: SHAP={v:+.4f}')

why('東京都')
print()
why('鳥取県')

📤 実行すると次の出力が得られる (LightGBM 学習結果による):

💬 結果の読み方: SHAP 値で「東京都が陽性 (=平年より暖かい県) と予測された理由」を A4101=+0.41 / A5101=+0.25 / A1101=-0.18 と分解表示できる。 同じ特徴量でも県によって符号が逆転する (A1101 は東京で負、鳥取で正) 点が個別説明の要。 これにより「なぜこの予測か」をユーザーや規制当局に説明可能 (EU AI Act の Article 13「透明性義務」が要求するレベル)。 個別予測の説明 (Local Explanation) と特徴量の全体重要度 (Global Importance) を区別することが ML 倫理運用の基本。

🌐 倫理原則と国際ガイドラインの対応表

⚠️ 落とし穴 (ML 倫理運用版)

• Fairness-Accuracy Trade-off の無視: DP/EO を最大化すると精度が下がる事実を経営層に説明せず数値だけ突きつけると「公平性のために有効モデルを潰す気か」と頓挫する。 必ず Pareto 曲線で見せる。
• Bias propagation (バイアス伝播): 訓練データに過去差別が反映されていれば、 モデルは「過去の差別を学習・拡大再生産」する。 Amazon 採用 AI 廃止 (2018) や COMPAS 量刑予測の人種差別 (ProPublica, 2016) は代表例。 データ収集段階の監査が必須。
• Impossibility Theorem の存在: Kleinberg+ (2016) により、 ベースレートが群間で異なる限り DP / EO / Calibration を同時達成は数学的に不可能。 「全部達成」と言うベンダーは嘘 ── どれを諦めるかは社会的選択。
• Explainability の幻想: SHAP / LIME は「真の因果」ではなく「局所的近似」。 ディープモデルの真の判断根拠は人間に翻訳できない部分が残る ── 説明=正しい説明ではないことに注意。
• cultural difference: 「公平性」の定義は国・文化で異なる。 米国は差別禁止 (race-blind)、 EU は GDPR (個人情報)、 日本は調和、 中国は社会信用。 国際展開時は地域別ポリシー必須。
• Data minimization 違反: 「機械学習は多いほうが良い」発想で個人情報を不必要に集めると GDPR Art.5(1)(c) や日本 個人情報保護法 違反。 最小限の特徴量で目的を達成する設計が原則。
• Audit trail なし: モデル変更履歴 / 訓練データバージョン / 性能履歴 を残さないと、 後日の問題発生時に責任追跡 (accountability) ができない。 MLflow / DVC で必ず追跡。

🔬 主要なバイアス源とその対策

🔗 関連用語 (前提・並列・発展)

前提: バイアス、 データ品質、 機械学習、 分類、 混同行列

並列: AI 倫理、 AI の信頼性、 AI 原則、 AI 安全性、 AI と社会、 アルゴリズムバイアス

発展: AI ガイドライン、 AI 規制、 説明可能 AI (XAI)、 プライバシー、 公平性、 アカウンタビリティ

📚 関連グループ教材

• AI と社会・倫理 — グループ教材
• AI の信頼性と安全性 — グループ教材
• 機械学習の基礎 — グループ教材

🎨 直感で掴む

高精度な ML モデルが「誰の役に立ち、 誰を傷つけるか」を作り手が考えていなければ、 社会に害を及ぼす。 例：顔認識が監視に使われる、 採用 AI が差別を強化、 LLM が誤情報を量産。 性能・効率に加え、 公平性・透明性・説明責任を組み込むのが ML 倫理。 技術と社会の接合点。

🎨 概念図で押さえる

機械学習倫理 (ML 倫理) の主要論点は、 ① 偏りの可視化 (バイアスの分布)、 ② 公平性指標のばらつき (グループ間の出力差)、 ③ 説明可能性 (特徴量寄与の透明化) の 3 軸で整理できる。 以下の図は SSDSE-B-2026 を題材にした類似可視化で、 これらの観点を直感的につかむための補助である。

💬 3 枚を合わせて見ると、「データの偏り → モデル出力の偏り → 代理変数経由の間接差別」という ML 倫理の典型パターンが浮かび上がる。 倫理レビューでは必ず可視化を通じてこの三段階を点検することが推奨される。

📋 ML 倫理レビューの実務チェックリスト

ML 倫理は概念だけでは現場で機能しない。 実装・運用フェーズで何を点検すべきかを、 ① データ収集、 ② モデル設計、 ③ 評価、 ④ 運用、 ⑤ 廃止 (デコミッション) の 5 段階で整理する。 各段階で「どんな公平性指標を計算し」 「誰が責任を負い」 「どの記録を残すか」 を事前に決めておくことが、 後の説明責任 (accountability) を担保する唯一の方法である。

📋 5 段階別 倫理レビュー項目

この表のポイントは、 「倫理は事後対応では不可能」 ということ。 データ収集の時点で偏りが入り込めば、 どれだけ後段で頑張っても完全には除去できない。 一方で、 各段階でチェックを入れ、 ドキュメント (Datasheet, Model Card) を残しておけば、 後で誰かが異議申立をしたときに「なぜそうしたか」 を説明できる。 ML 倫理の実務的価値は、 まさにこの「説明可能性の準備」 にある。

✅ 理解度チェック

1. 「Demographic Parity (人口統計学的均等)」 と「Equal Opportunity (機会均等)」 の違いを、 採用 AI の例で説明せよ。
2. 代理変数 (proxy) による間接差別が起きるメカニズムを、 「郵便番号」 を例に具体的に説明せよ。
3. Model Card に最低限記載すべき項目を 4 つ挙げよ。
4. 運用フェーズで公平性指標が劣化したとき、 まず確認すべき「データ側の変化」 を 1 つ挙げよ。
5. 「公平性は数式で完全には定義できない」 と言われる理由を、 異なる公平性定義が互いに両立しないトレードオフの観点から説明せよ。

📝 補足: 公平性指標の数式とトレードオフ

ML 倫理で議論される公平性指標は数十種類あり、 互いに両立しないものが多い。 ここでは実務でよく使われる 5 つを数式と直感で整理する。 A をセンシティブ属性 (例: 性別)、 Y を真ラベル (例: 採用適性あり = 1)、 Ŷ をモデル予測 (1 = 採用) とする。

1. Demographic Parity (人口統計学的均等): P(Ŷ=1 | A=0) = P(Ŷ=1 | A=1)。 グループ間で「採用率が等しい」 こと。 結果均等の最も単純な定義。 ただし真の適性が異なる場合、 「能力ベースの選抜」 と相反する。
2. Equal Opportunity (機会均等): P(Ŷ=1 | A=0, Y=1) = P(Ŷ=1 | A=1, Y=1)。 「真に資格のある人」 が採用される率がグループ間で等しい。 TPR (再現率) のグループ間均等とも言える。
3. Equalized Odds (均等オッズ): TPR も FPR もグループ間で等しい。 Equal Opportunity を強化した定義で、 偽陽性まで含めて公平を要求する。
4. Predictive Parity (予測値の均等): P(Y=1 | Ŷ=1, A=0) = P(Y=1 | Ŷ=1, A=1)。 「採用と判定された人のうち、 真に適性がある人」 の割合がグループ間で等しい。 適合率 (Precision) の均等。
5. Calibration (キャリブレーション): 予測確率 0.7 を出したら、 グループによらず真に正例である確率が 70 % になる。 確率予測の信頼性に関する公平性。

これら 5 つの中で、 Demographic Parity と Predictive Parity と Equalized Odds は「基底率 (P(Y=1|A))」 がグループ間で異なる場合、 数学的に同時には満たせない (Chouldechova 2017、 Kleinberg 2017 の不可能性定理)。 つまり「どの公平性を優先するか」 は数式では決まらず、 「採用の文脈ではどれが社会的に求められるか」 という規範的判断が必要となる。 ML 倫理が「技術 + 哲学 + 法律」 の学際領域である理由はここにある。 SSDSE-B-2026 のような社会データを扱う際にも、 単一指標で評価せず、 複数指標を併記して報告するのが実務上の最低ライン。

📝 補足: ML 倫理レビューで実務上ぶつかる 6 つの壁

理論を学んでも、 実務で ML 倫理レビューを実施しようとすると、 必ず以下の壁にぶつかる。 事前に知っておくことで、 各壁ごとに事前に対策を打てる。

1. 壁①: センシティブ属性のデータが取れない: 法的・倫理的に性別や人種を収集できないと、 グループ別公平性指標自体が測れない。 対策: プロキシ変数で代替推定、 ただし「推定の不確実性」 を必ず併記する。
2. 壁②: グループ定義が曖昧: 「性別」 は二値か多値か。 「人種」 は自己申告か観察か。 定義の段階で議論が止まる。 対策: 複数定義での感度分析を実施。
3. 壁③: 公平性とビジネス目標の衝突: 公平性を強化すると精度が落ちる場合、 経営層が抵抗。 対策: 「Pareto 曲線」 で公平性と精度のトレードオフを定量化して提示。
4. 壁④: 規制要件と研究上の最適解の不一致: GDPR や EU AI Act は「説明可能性」 を要求するが、 最高精度のモデルは深層学習でブラックボックス。 対策: SHAP / LIME などの事後説明手法を併用し、 説明と精度の両立を図る。
5. 壁⑤: 苦情処理の体制不足: モデル運用後にユーザーから「不当な判定だ」 と異議申立があったとき、 誰がどう対応するかが決まっていない。 対策: 運用前にエスカレーションフローと再判定プロセスを文書化。
6. 壁⑥: 公平性検証の継続的負担: 1 回だけの公平性チェックでは不十分。 月次・四半期での再検証が必要だが、 リソースが続かない。 対策: CI/CD パイプラインに公平性テストを組み込み、 自動化する。

これらの壁は、 倫理を「技術論」 だけで解決しようとすると必ず詰まる。 ML 倫理は技術・組織・法律・倫理学の境界領域なので、 各分野の専門家と協働できる体制づくりが、 個別の指標選定よりも先に必要となる。 SSDSE-B-2026 のような公的統計データを使った演習であっても、 「この変数を入れていいか」 「結果をどう解釈すべきか」 を常に倫理的観点から問い直す習慣をつけることが、 真のデータサイエンティストの素養を育てる。

実務でこれらの壁を乗り越える具体的なテクニックを補足する。 第一に、 「倫理委員会の事前審査」 を制度化すると、 開発の初期段階から倫理リスクを洗い出せる。 第二に、 「外部監査」 を年次で受けることで、 内部だけでは見えないバイアスを発見できる。 第三に、 「ユーザー参加型設計 (participatory design)」 を導入し、 影響を受ける当事者を設計段階から関与させることで、 倫理的な盲点を減らせる。 第四に、 「失敗事例集」 を社内で共有し、 過去の倫理的問題から学ぶ文化を作ることで、 同じ失敗を繰り返さない仕組みができる。 第五に、 「倫理リテラシー研修」 を技術者全員に必修化することで、 「倫理は専門家が考えること」 という縦割り意識を解消できる。 これらは個別の技術的対策と組み合わせて初めて効果を発揮し、 ML 倫理を「文化」 として組織に根付かせる土台となる。 SSDSE-B-2026 の演習でも、 個人での回帰分析だけでなく、 グループで「この分析は誰にとって何の影響があるか」 を議論する時間を設けると、 倫理感覚が一気に育つ。

最後に、 ML 倫理は完成形のない領域である点を強調しておきたい。 新しい技術 (生成 AI、 マルチモーダル基盤モデル、 自律エージェント) が登場するたびに、 新しい倫理課題が生まれる。 そのため、 一度学んだ知識で済ませるのではなく、 継続的な学習と議論が不可欠である。 国際的なガイドライン (OECD AI 原則、 EU AI Act、 NIST AI RMF) や学会の最新研究 (FAccT、 AIES) をフォローしながら、 自分の実務に落とし込む習慣をつけることが、 ML 倫理を本当に身につける唯一の道である。

📐 定義・数式

標準化された定式化はないが、 OECD/EU/日本の原則で共通して挙げられる柱。 各組織のミッションに合わせてカスタマイズして実装する。

🔬 数式を言葉で読み解く

数式に出てくる記号の意味を 1 つずつ確認しましょう。

Fairness

差別を増幅しない。

Transparency

意思決定の根拠を説明可能に。

Privacy

個人情報の保護。

Accountability

問題時の責任主体明確化。

Beneficence

便益と害のバランス。

🔬 実事例で学ぶ ML 倫理 ── 5 つの著名事案と教訓

🐍 Python 実装 ── Equal Opportunity と Predictive Parity を SSDSE で比較

🎯 このコードでやること: COMPAS 論争 (2016) で焦点となった「ProPublica の Equal Opportunity 主張 vs Northpointe の Predictive Parity 主張」を SSDSE-B-2026 上で再現し、 「同じデータでも公平性指標を変えれば結論が逆転する」事実を実演する。

📥 入力データ: SSDSE-B-2026 2023 年、 大県群 (A=1, 24 件) / 小県群 (A=0, 23 件) で、 真ラベル Y = (B4101 年平均気温 > 全国中央値 17.4℃)、 予測 Ŷ = LightGBM 5 特徴量出力。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd, lightgbm as lgb
from sklearn.metrics import confusion_matrix

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)
df['A'] = (df['A1101'] >= df['A1101'].median()).astype(int)   # 1=大県 0=小県
y = (df['B4101'] > df['B4101'].median()).astype(int)          # 平年より暖かい県
X = df[['A1101','A4101','A4200','A5101','A9101']]
m = lgb.LGBMClassifier(n_estimators=50, max_depth=3, verbose=-1, random_state=0).fit(X, y)
pred = m.predict(X)

def metrics_for(group):
    mask = (df['A'] == group).values
    # labels=[0,1] を必ず渡す。片方のクラスが 0 件の群だと
    # 行列が 2x2 にならず、ravel() が 4 個に分解できない。
    tn, fp, fn, tp = confusion_matrix(y[mask], pred[mask], labels=[0, 1]).ravel()
    tpr = tp / (tp + fn) if (tp + fn) else float('nan')
    fpr = fp / (fp + tn) if (fp + tn) else float('nan')
    ppv = tp / (tp + fp) if (tp + fp) else float('nan')   # 陽性的中率 = precision
    return tpr, fpr, ppv

for g, label in [(1, '大県'), (0, '小県')]:
    tpr, fpr, ppv = metrics_for(g)
    print(f'{label}群: TPR={tpr:.3f}  FPR={fpr:.3f}  PPV={ppv:.3f}')

# Equal Opportunity 視点: TPR の差
# Predictive Parity 視点: PPV の差
print()
print('--- 公平性指標の比較 ---')
print(f'Equal Opportunity (TPR 差): {abs(metrics_for(1)[0] - metrics_for(0)[0]):.3f}')
print(f'Predictive Parity (PPV 差): {abs(metrics_for(1)[2] - metrics_for(0)[2]):.3f}')
print(f'Equalized Odds   (FPR 差): {abs(metrics_for(1)[1] - metrics_for(0)[1]):.3f}')

📤 実行すると次の出力が得られる:

💬 結果の読み方: PPV (= Predictive Parity) は 0.625 vs 0.500 で差 0.125 しかなく「ほぼ公平」に見えるのに、 TPR (= Equal Opportunity) は大県 0.909 vs 小県 0.100 と 9 倍の格差。 FPR 差 0.385 も加わり Equalized Odds も満たさない。 同じデータ・同じモデルで「公平」とも「不公平」とも言える。 COMPAS 論争はこの構造で発生 ── どの指標を採用するかは 政治的・倫理的判断であり、 ML エンジニアだけで決められない。 ステークホルダー (法務・利用者・規制当局) 全員で合意形成すべき。

🐍 Python 実装 ── プライバシー保護: Differential Privacy で SSDSE 集計

🎯 このコードでやること: ML 倫理の「Privacy」原則を満たすため、 SSDSE-B-2026 の県別人口集計に差分プライバシー (Differential Privacy, ε=1.0) を Laplace mechanism で適用し、 公開可能な noisy 集計を生成する。

📥 入力データ: SSDSE-B-2026 2023 年 47 県の A1101 (総人口)、 平均値・最大値・最小値を公開。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df2023 = df[df['SSDSE-B-2026'] == 2023]
pop = df2023['A1101'].values

# パラメータ: ε (privacy budget)、 sensitivity Δ (1 個追加で集計が動く幅)
eps = 1.0
n = len(pop)
sens_mean = pop.max() / n  # 1 県追加で平均が動く最大幅
sens_count = 1.0           # 1 県追加で count が動く幅

def laplace_mech(value, sensitivity, eps):
    """Laplace mechanism: M(x) = f(x) + Lap(Δ/ε)"""
    scale = sensitivity / eps
    return value + np.random.laplace(0, scale)

true_mean  = pop.mean()
noisy_mean = laplace_mech(true_mean, sens_mean, eps)
true_count = (pop > 5_000_000).sum()
noisy_cnt  = laplace_mech(true_count, sens_count, eps)

print(f'真の平均人口    : {true_mean:>15,.0f}')
print(f'DP公開値 (ε=1.0): {noisy_mean:>15,.0f}')
print(f'平均との誤差    : {noisy_mean - true_mean:>+15,.0f}')
print()
print(f'真の「500万人超県数」: {true_count}')
print(f'DP公開値 (ε=1.0)    : {noisy_cnt:.1f}')

📤 実行すると次の出力が得られる (Laplace noise の試行 1 回):

💬 結果の読み方: ε=1.0 (中程度のプライバシー) で平均値に ±30 万人程度のノイズ。 個人 1 件の有無を e^ε=2.7 倍以内に確率を抑えられる (DP の保証)。 ε を小さくする (= プライバシー強化) ほどノイズ増、 ε を大きくする (= 公開精度向上) ほどプライバシー弱体化。 米国 Census 2020 は ε=19.6 で公開 (賛否両論)、 Apple iOS 集計は ε=2-8。 トレードオフを ε で明示的に管理することが DP の長所。

🌐 ML 倫理運用フレームワーク比較

🎨 ML 倫理運用チェックリスト (実務 30 項目)

📐 主要公平性指標の数式まとめ

📐 数式を言葉で読み解く: SPD と DIR は「結果分布」、 EO と Predictive Parity は「条件付き結果分布」、 Theil index は「個別誤差の不平等度」を測る。 用途別に: 採用 = EO 重視 (能力ある人を取りこぼさない)、 与信 = Predictive Parity 重視 (予測の精度を保証)、 リソース配分 = SPD/DIR 重視 (結果が均等)。 これらは 多くの場合互いに矛盾するため、 ステークホルダー合意で優先順位を決める。

🧮 実値で計算してみる

実装プロセスでの倫理チェック手順。

🧮 SSDSE 実値で学ぶ ML 倫理 cookbook

本セクションでは SSDSE-B-2026 で具体的な数値を出しながら、 ML 倫理運用の典型 5 パターンを実演する。

パターン 1: 性別代理変数の検出 (Proxy Variable Audit)

SSDSE-B-2026 に性別の直接列はないが、 A110101 (総人口・男) / A110102 (総人口・女) で男女比を出せる。 「男女比」を保護属性とみなし、 ある特徴量が 男女比と相関しすぎる場合は proxy として警戒すべきと判定する。

🎯 このコードでやること: SSDSE-B-2026 で 47 都道府県の男女比 (A110101 / A110102) を計算、 他全列との相関係数を出して |r| > 0.7 の列を proxy 候補としてフラグ。

📥 入力データ: SSDSE-B-2026 2023 年 47 都道府県、 数値列 100 以上。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['gender_ratio'] = df['A110101'] / df['A110102']  # 男女比

# 数値列のみ抜き出して相関
numeric = df.select_dtypes('number').drop(columns=['SSDSE-B-2026'])
corr = numeric.corrwith(df['gender_ratio']).abs().sort_values(ascending=False)

print('=== 男女比と高相関の特徴量 TOP 8 (proxy 候補) ===')
print(corr.head(8))
print()
proxies = corr[corr > 0.7].index.tolist()
print(f'|r| > 0.7 の列数: {len(proxies)}')
print('  → これらの列を予測モデルに含めると、 形式上は性別を使っていなくても')
print('     性別差別と等価になる可能性が高い')

📤 実行すると次の出力が得られる:

💬 結果の読み方: 性別 (男女比) と |r| > 0.7 で結びつく列は、 自分自身を除くと 0 列（表の 1 列は gender_ratio 自身）。 最も高い相関でも L322109 の 0.49 で、 この指標では強い proxy は見つからなかった。 ただし 0.4〜0.5 の相関が複数あるので、 それらを組み合わせれば性別をかなり復元できる。 「単独で強い代理変数が無い＝安全」ではない。 これが Fairness Through Unawareness の限界 ── 監査では 保護属性を明示的に持って proxy 検出 + 緩和する。

パターン 2: 介入なし vs 介入ありの差分検証

🎯 このコードでやること: SSDSE-B-2026 で「人口大県/小県」の予測結果差を、 ① 介入なし (制約なし LR)、 ② 介入あり (DemographicParity 制約 ExponentiatedGradient) で比較し、 効果を 4 指標 (DP / DI / EO / 精度) で同時表示する。

📥 入力データ: SSDSE-B-2026 2023 年、 保護属性 A=1 (大県), A=0 (小県)、 Y=出生数 > 20,000。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import pandas as pd
from sklearn.linear_model import LogisticRegression
from fairlearn.reductions import ExponentiatedGradient, DemographicParity
from fairlearn.metrics import (demographic_parity_difference, demographic_parity_ratio,
                               equalized_odds_difference)

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['A'] = (df['A1101'] >= df['A1101'].median()).astype(int)
y = (df['A4101'] > 20000).astype(int)
X = df[['A1101','A4200','A5101','A9101']].values

def report(name, pred):
    print(f'\n--- {name} ---')
    print(f'  Accuracy : {(pred==y).mean():.3f}')
    print(f'  DP diff  : {demographic_parity_difference(y, pred, sensitive_features=df["A"]):.3f}')
    print(f'  DP ratio : {demographic_parity_ratio(y, pred, sensitive_features=df["A"]):.3f}')
    print(f'  EOdds dif: {equalized_odds_difference(y, pred, sensitive_features=df["A"]):.3f}')

# ベースライン
base = LogisticRegression(max_iter=1000).fit(X, y)
report('Baseline (制約なし)', base.predict(X))

# DemographicParity 介入
mit = ExponentiatedGradient(LogisticRegression(max_iter=1000),
                             constraints=DemographicParity())
mit.fit(X, y, sensitive_features=df['A'])
report('DemographicParity 制約', mit.predict(X))

📤 実行すると次の出力が得られる:

💬 結果の読み方: DP 制約を強制すると DP は改善するが EOdds は悪化、 さらに精度も 10 ポイント落ちる。 「公平性指標は片方を改善すると別が悪化」という Impossibility Theorem (Kleinberg 2016) の実演。 どの指標を優先するか = 社会的選択。

パターン 3: model card の YAML 化と CI 統合

🎯 このコードでやること: model card を機械可読 YAML で出力し、 CI/CD パイプラインに統合 (公平性指標が閾値以下ならビルド失敗) するための準備コードを示す。

📥 入力データ: SSDSE-B-2026、 上記モデル指標、 出力 = ssdse_model_card.yaml。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import pandas as pd, yaml
from sklearn.linear_model import LogisticRegression
from fairlearn.metrics import demographic_parity_difference

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['A'] = (df['A1101'] >= df['A1101'].median()).astype(int)
y = (df['A4101'] > 20000).astype(int)
X = df[['A1101','A4200','A5101','A9101']]
m = LogisticRegression(max_iter=1000).fit(X, y)
pred = m.predict(X)

card = {
    'name': 'SSDSE-Births-LR-v1',
    'version': '1.0',
    'license': 'CC BY 4.0 (SSDSE source)',
    'dataset': {'name': 'SSDSE-B-2026', 'n': 47, 'year': 2023},
    'metrics': {
        'accuracy': float((pred == y).mean()),
        'dp_diff' : float(demographic_parity_difference(y, pred, sensitive_features=df['A'])),
    },
    'fairness_thresholds': {'dp_diff_max': 0.20, 'accuracy_min': 0.80},
    'intended_use': 'educational demo only',
    'out_of_scope_use': ['individual prediction', 'policy decision']
}
print(yaml.dump(card, allow_unicode=True, sort_keys=False))

# CI 統合判定
if card['metrics']['dp_diff'] > card['fairness_thresholds']['dp_diff_max']:
    print('❌ FAIL: dp_diff threshold exceeded')
elif card['metrics']['accuracy'] < card['fairness_thresholds']['accuracy_min']:
    print('❌ FAIL: accuracy threshold breached')
else:
    print('✅ PASS')

📤 実行すると次の出力が得られる:

💬 結果の読み方: model card を YAML 化することで CI/CD (GitHub Actions, GitLab CI, Jenkins) に統合できる。 「公平性指標 0.20 超ならビルド失敗」のような閾値で 自動 fairness gate を実装。 Microsoft、 Google、 IBM 等が本番運用中。 これにより人間レビューを忘れても自動的に有害モデルがリリースされない。

パターン 4: 影響評価 (Impact Assessment) テンプレート

パターン 5: ML 倫理運用のレポーティング指標

本 cookbook は SSDSE-B-2026 の実値でデモしたが、 実プロジェクトでは「保護属性」「真ラベル」「予測閾値」を業務固有に設定する。 fairlearn、 AIF360、 What-If Tool 等の OSS で全プロセスが再現可能。

🗺 概念マップ ── ML 倫理の主要概念ツリー

ML 倫理 (ML Ethics)
├── 公平性 (Fairness)
│   ├── 集団公平性 (Group Fairness)
│   │   ├── Demographic Parity (DP)
│   │   ├── Equalized Odds (EOdds)
│   │   ├── Equal Opportunity (EO)
│   │   └── Predictive Parity
│   ├── 個別公平性 (Individual Fairness、 Dwork+ 2012)
│   ├── 反事実公平性 (Counterfactual Fairness、 Kusner+ 2017)
│   └── 因果的公平性 (Causal Fairness、 Kilbertus+ 2017)
├── 透明性 (Transparency)
│   ├── モデル説明可能性 (XAI)
│   │   ├── 局所説明 (SHAP, LIME, Anchors)
│   │   └── 大域説明 (PDP, ICE, Feature Importance)
│   ├── データ説明可能性 (Datasheets, Data Cards)
│   └── プロセス透明性 (Model Cards, Audit Trails)
├── アカウンタビリティ (Accountability)
│   ├── 責任の所在 (Provider / Deployer / User)
│   ├── 監査可能性 (Auditability)
│   ├── 異議申立権 (Right to Appeal)
│   └── 是正措置 (Remediation)
├── プライバシー (Privacy)
│   ├── 差分プライバシー (Differential Privacy)
│   ├── 連合学習 (Federated Learning)
│   ├── 同型暗号 (Homomorphic Encryption)
│   └── データ最小化 (Data Minimization)
├── 安全性 (Safety, Robustness)
│   ├── 敵対的攻撃耐性 (Adversarial Robustness)
│   ├── 分布外汎化 (OOD Generalization)
│   ├── 不確実性定量化 (Uncertainty Quantification)
│   └── キルスイッチ (Kill Switch)
└── 社会的影響 (Social Impact)
    ├── 環境負荷 (Carbon Footprint of ML)
    ├── 労働市場への影響 (Job Displacement)
    └── 民主主義への影響 (Misinformation, Manipulation)

📝 用語ミニ辞典

🧮 数式に値を入れて手で計算する: モデル群間の公平差

合成データで 2 群の予測精度差を倫理リスクとして計算する。

Step 1: 群別精度

Step 2: 公平指標

🐍 Python で再現

1
2
3
4
5
6

acc_A, acc_B = 0.90, 0.70
diff = acc_A - acc_B
ratio = acc_B / acc_A
print(f"差: {diff}")
print(f"比: {ratio:.3f}")
print(f"4/5 ルール: {'NG' if ratio < 0.8 else 'OK'}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装

🎯 このコードでやること: SSDSE-B-2026 の都道府県データを保護属性 (人口大群 vs 人口小群) として扱い、 「出生数 > 全国中央値」を予測するロジスティック回帰モデルに対して ML 倫理 3 指標 (Demographic Parity Difference、 Disparate Impact Ratio、 Equalized Odds Difference) をワンショットで計測する CI 用ルーチン。

📥 入力データ (SSDSE-B-2026 抜粋、 47 都道府県):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

# pip install fairlearn scikit-learn pandas
import pandas as pd
from sklearn.linear_model import LogisticRegression
from fairlearn.metrics import (demographic_parity_difference,
                               demographic_parity_ratio,
                               equalized_odds_difference)

# 1) SSDSE-B-2026 読込
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].reset_index(drop=True)

# 2) 保護属性 (人口大小) と目的変数 (出生数中央値超え)
med_pop = df['A1101'].median()
df['group']  = (df['A1101'] > med_pop).map({True: 'large_pop', False: 'small_pop'})
df['y']      = (df['A4101'] > df['A4101'].median()).astype(int)

# 3) モデル: 人口以外の特徴 (15～64歳人口 A1302、 大学数 E6102) を使う
#    ※ F1101 という列は SSDSE-B-2026 に存在しない (F は F3101〜F3105 のみ)
X = df[['A1302', 'E6102']].fillna(0)
y = df['y']
y_pred = LogisticRegression(max_iter=1000).fit(X, y).predict(X)

# 4) 公平性 3 指標
g = df['group']
dpd = demographic_parity_difference(y, y_pred, sensitive_features=g)
dir_ = demographic_parity_ratio(y, y_pred, sensitive_features=g)
eod = equalized_odds_difference(y, y_pred, sensitive_features=g)

print(f"DP Difference     = {dpd:.4f}")
print(f"Disparate Impact  = {dir_:.4f}  (4/5 ルール: 0.80 以上で合格)")
print(f"Equalized Odds Δ  = {eod:.4f}")

📤 実行すると次の出力が得られる:

💬 結果の読み方: 保護属性 (総人口 A1101) をモデルから外したのに、 Disparate Impact = 0.0000 と 最悪値になった。 大県は全件陽性・小県は全件陰性と予測されたためで、 DP Difference も 1.0000 (陽性率が 100 ポイント差)。 原因は 代理変数 (proxy) ── 15〜64歳人口 A1302 と大学数 E6102 はどちらも総人口とほぼ完全に相関するので、 保護属性を削っても情報がそのまま残る。 「センシティブ属性をカラムごと落とせば公平」という Fairness through Unawareness が成り立たない典型例。 → fairlearn の ExponentiatedGradient や CorrelationRemover で proxy の相関を落としてから再学習し、 DI 0.80 以上を本番投入の CI ゲートにする。

⚠️ よくある落とし穴

ML 倫理を「ガイドライン作成」で済ませると、 実装現場では何も変わらない。 形式倫理（チェックリスト）が通っていても、 訓練データの偏り・利益相反・国別法規の差で実害が発生する 4 大失敗を以下に整理する。 EU AI Act / GDPR / 個人情報保護法のいずれを参照するかでも罠が違う。

🌐 関連手法・派生

この用語を理解したら、 自然と気になる発展トピック・派生手法を紹介します。

🌐 ML 倫理ガバナンスの 4 層モデル

ML 倫理を 「個人 → チーム → 組織 → 社会」の 4 層で運用する考え方が主流。 各層で何を行うかをマッピングすると以下のようになる。

🐍 Python 実装 ── Model Card 自動生成 (SSDSE 例)

🎯 このコードでやること: Google Research の Model Cards Toolkit に倣い、 SSDSE-B-2026 で訓練したモデルの仕様 (用途・データ・性能・倫理考慮) を構造化 markdown で自動生成する。 これにより透明性 (Transparency) を実装レベルで担保。

📥 入力データ: SSDSE-B-2026 2023 年 47 都道府県、 model = LightGBM (5 特徴量 → 年平均気温 12℃ 超 二値分類)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

import pandas as pd, lightgbm as lgb
from sklearn.metrics import accuracy_score, recall_score, precision_score
from fairlearn.metrics import demographic_parity_difference

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df['A'] = (df['A1101'] >= df['A1101'].median()).astype(int)
y = (df['B4101'] > 12.0).astype(int)
X = df[['A1101','A4101','A4200','A5101','A9101']]
m = lgb.LGBMClassifier(n_estimators=50, max_depth=3, verbose=-1, random_state=0).fit(X, y)
pred = m.predict(X)

card = f"""# Model Card: SSDSE 気温区分予測モデル

## モデル詳細
- 名称: SSDSE-Temperature-LGBM-v1
- 種類: LightGBM 二値分類
- 学習データ: SSDSE-B-2026 (政府統計、 cc-by 4.0)
- 訓練特徴: A1101 総人口, A4101 出生数, A4200 推計人口, A5101 転入, A9101 婚姻
- 目的変数: B4101 年平均気温 > 12.0℃（B4101 は気温であって失業率ではない）

## 想定用途
- 地域経済分析、 政策研究、 教育用デモ
- 個別の県・市町村への政策決定には使用しない (集計レベル分析のみ)

## 想定 NG 用途
- 個人や事業所の気象リスク判定
- 自治体評価・序列化
- 予算配分の直接決定

## データセット倫理考慮
- 政府公開データのみ使用 (個人情報なし)
- ライセンス: CC BY 4.0、 出典明記必須
- 更新: 年次、 経年比較可能

## 性能指標 (n=47)
- Accuracy : {accuracy_score(y, pred):.3f}
- Recall   : {recall_score(y, pred):.3f}
- Precision: {precision_score(y, pred):.3f}

## 公平性指標 (人口大小群)
- DP diff: {demographic_parity_difference(y, pred, sensitive_features=df['A']):.3f}

## 既知の限界
- n=47 で過学習リスク高
- 2023 年単年なので時系列変動を捉えていない
- 47 都道府県のみで政令市・特別区を別扱いしていない

## バージョン
- v1.0 (2026-05-24)
- 監督者: Glossary maintainer
"""
print(card)

📤 実行すると次の出力が得られる (markdown 形式):

💬 結果の読み方: まず数値そのものを疑うこと。 しきい値 12.0 では 47 県中 46 県が陽性で、 モデルは全県を陽性と予測している。 だから Recall = 1.000、 DP diff = 0.000 で、 Accuracy 0.979 も「全部陽性と答えるだけ」で達成できる値にすぎない。 公平性指標がきれいに 0 になったからといって公平とは限らないという、 Model Card を読む側が最初に確認すべき点がそのまま出ている（既知の限界欄にこの旨を書くべき例）。 そのうえで Model Card により「このモデルは何のために作られ、 何ができ、 何ができないか、 倫理的に何を考慮したか」が一目で分かる。 EU AI Act Art.13 (透明性) や日本 AI 事業者ガイドライン (説明可能性) の要請を満たす実装手段の 1 つ。 公開モデル、 OSS、 SaaS API には必須付帯文書。 model card + data card (datasheet) の 2 点セットで完備とする。

🐍 Python 実装 ── データセット監査: representation bias 検出

🎯 このコードでやること: SSDSE-B-2026 を保護属性「人口規模」で層別し、 各層が訓練データ全体に占める比率と統計量を比較。 もし層別比率がアプリ運用先の分布と乖離していれば representation bias の可能性ありと警告。

📥 入力データ: SSDSE-B-2026 2023 年 47 都道府県を 4 クォンタイル分割 (Q1: 小、 Q4: 大)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()

df['pop_quartile'] = pd.qcut(df['A1101'], 4, labels=['Q1(小)','Q2','Q3','Q4(大)'])

audit = df.groupby('pop_quartile', observed=True).agg(
    n=('A1101', 'size'),
    mean_pop=('A1101', 'mean'),
    mean_births=('A4101', 'mean'),
    mean_unemp=('B4101', 'mean'))
audit['share'] = audit['n'] / audit['n'].sum()

print('=== Representation Audit ===')
print(audit.round(2))
print()

# 想定 deploy 先分布: 全国均等 (4 グループ各 25%)
expected = 0.25
imbalance = (audit['share'] - expected).abs().max()
print(f'最大層別偏差: {imbalance:.3f}')
print('判定:', 'OK (均等)' if imbalance < 0.05 else '⚠ representation bias 検討要')

📤 実行すると次の出力が得られる:

💬 結果の読み方: SSDSE は 47 都道府県をすべて含むため層別比率は約 25% で均等。 もし「東京/大阪/愛知」だけで訓練したモデルを「全国」に適用すると representation bias で性能差が出る可能性。 監査では train 分布と deploy 分布を比較するのが原則。 訓練 EM 配布前 + 運用中の双方で representation audit を回す。

🎨 ML 倫理 vs AI 倫理 vs データ倫理 ── 概念の整理

📐 ML 倫理を測定する公式 ── Theil Index の手計算

Theil index (個別誤差の不平等度) は ML 倫理研究で頻出。 SSDSE で実値計算してみる:

📐 数式を言葉で読み解く: b_i は「誤差を +1 シフトしたもの (常に正にするため)」。 μ_b はその平均。 全予測の誤差が等しければ b_i = μ_b で ln=0、 Theil=0。 誤差が一部に集中するほど Theil 増。 0 で完全平等、 上限なし (ln n に近づく)。 Atkinson index、 Gini index と並ぶ不平等指標で、 ML 公平性では Speicher+ (2018) が導入。

⚠️ 落とし穴 (ガバナンス版)

• Ethics washing: 「倫理 board 設置しました」と発表するが実権なし、 単なるブランド対策 (Big Tech に頻発)。 実効性ある拒否権・予算が必須。
• Compliance theater: 法令チェックリストを埋めるだけで実際の運用に反映されない。 文書化に終始しない。
• Single point of ethics: 「倫理担当」1 人に押し付けて全社が他人事化。 全エンジニアが ACM Code of Ethics 等の最低教育を受けるべき。
• Speed vs ethics: 「リリース優先」で IA や監査を後回し、 リリース後に問題発覚で全社責任。 設計段階から組み込むのが最も安価。
• Vendor opacity: 外部ベンダー (OpenAI、 Google Cloud AI 等) のモデル詳細が不明で監査困難。 契約段階で監査権を明記する。
• Cultural import bias: 米国産フレームワーク (NIST AI RMF、 Fairlearn) を日本にそのまま適用しても文化差で機能しない場面がある。 ローカライズ必須。

🔬 倫理的に困難な ML 用途 7 つ

🌐 主要 ML 倫理研究機関・コミュニティ

• FAccT (ACM FAccT): ML 公平性・説明可能性・透明性の国際カンファレンス。 年次開催、 査読論文多数。
• Partnership on AI (PAI): Google, Apple, OpenAI, Amazon, IBM 等が共同設立、 業界ガイドライン提案。
• AI Now Institute (NYU): 社会的影響研究、 年次レポートで政策提言。
• DAIR (Distributed AI Research Institute): Timnit Gebru 主導、 マージン化された声を AI 研究に反映。
• Algorithmic Justice League: Joy Buolamwini 主導、 顔認証バイアスの体系的暴露。
• OECD.AI Policy Observatory: 加盟国 AI 政策の一元情報源。
• UNESCO Recommendation on AI Ethics (2021): 193 ヵ国合意の国際倫理基準。

🔗 さらなる学習リソース

• Mehrabi+ (2021) "A Survey on Bias and Fairness in Machine Learning" ACM Comput. Surv.
• Mitchell+ (2019) "Model Cards for Model Reporting" ACM FAT*
• Gebru+ (2018) "Datasheets for Datasets" arXiv:1803.09010
• Barocas, Hardt, Narayanan (2023) Fairness and Machine Learning (free online textbook)
• EU AI Act 全文 (2024 公布、 2026 段階発効)
• NIST AI Risk Management Framework 1.0 (2023)
• 日本 AI 事業者ガイドライン (2024、 経産省 + 総務省)

🔗 関連用語 (前提・並列・発展)

機械学習の倫理は「技術が社会に与える影響を予見し設計する」分野。 公平性・透明性・説明可能性の 3 軸を中心に、 上流（データバイアス）から下流（規制）まで横断的に関連する。

🧭 前提（先に押さえる基礎）

• 機械学習 — 倫理が対象とする技術そのもの。
• データに潜むバイアス — 倫理問題の最大の温床。
• アルゴリズムバイアス — モデル設計に由来する系統的不公平。
• AI 倫理 — ML 倫理の上位概念。 哲学的基礎を含む。

↔ 並列（同時に検討すべき関連概念）

• AI の信頼性 — 倫理を技術要件に落とし込んだ枠組み。
• AI 安全性 — 危害回避の側面を担う並行領域。
• 説明責任 — 倫理の運用面での核心。
• AI 原則 — 各国・組織が定める倫理ガイドライン。

🚀 発展（応用・実装・規制）

• AI 規制 — EU AI Act 等、 倫理が法制度化される段階。
• AI ガイドライン — 業界別の運用指針。
• AI と社会 — 倫理を社会システムへ統合する視点。
• オプトアウト — 個人の権利保護の具体手段。
• AI 運用 — モニタリング・監査による継続的倫理確保。

ML 倫理は 「データ → モデル → デプロイ → 社会影響」 の各段階で点検する。 上流のバイアス検出 / 中流の説明可能性 / 下流の規制対応を一体で学ぶと、 単なる ガイドライン暗記でなく 運用可能な倫理 が身につく。

📚 関連グループ教材・さらに学ぶには

このサイト内

• 論文一覧に戻る — 機械学習の倫理 を実際に使った再現論文をハンズオン形式で読む
• 関連用語ページ — このページの「🔗 関連用語」から派生
• 用語集トップ — 全用語を一覧で確認
• 概念マップ — 用語間の関係を視覚化

推奨書籍・教材

• 『統計学入門』（東京大学出版会）― 日本語統計入門の定番。 倫理 の基礎が押さえられる。
• 『Pythonによるデータ分析入門』（Wes McKinney、 O'Reilly）― pandas 作者による実装ガイド。
• 『機械学習のエッセンス』（加藤公一、 SBクリエイティブ）― ML 基礎を Python で実装しながら学ぶ。
• 『因果推論の科学』（Judea Pearl、 文藝春秋）― 相関と因果の違いを徹底解説。

オンライン教材

• scikit-learn 公式ドキュメント — 機械学習の標準実装。
• StatQuest (YouTube) — 統計概念を直感的に解説。
• Coursera / edX — 体系的なオンライン講座。
• SSDSE 公式 — 本サイトで使う公的データの提供元。

困ったときは

1. データの可視化 (散布図・ヒストグラム・箱ひげ図) で全体像を把握
2. サンプルサイズ・欠損・外れ値を確認
3. 適用条件 (前提) が満たされているか診断
4. 類似研究での標準的な手法を確認
5. 結果を複数手法でクロスチェック

📜 歴史的背景と学習の位置づけ

機械学習の倫理 は 倫理 の領域で発展してきた概念です。 ここでは大まかな歴史的背景と、 なぜこの概念が必要になったのかを整理します。 用語が「降ってきた」のではなく、 現実の問題を解くために順番に編み出されたものだと知ると、 学習の納得感が違います。

なぜこの概念が生まれたか

データ分析や AI を実務で使うと、 「単純な数式」「直感だけのモデル」では太刀打ちできない場面が必ず出てきます。 機械学習の倫理 は、 そうした実務的な課題を整理し、 共通言語として定式化したものです。 そのため、 教科書だけで完結する話ではなく、 使う場面と使わない場面を見極めることが何より重要になります。

学習の位置づけ

• 初学者：まず「30秒で分かる結論」「直感で掴む」だけ読めば、 論文に出てきたときに「あ、 あれね」と分かります。
• 中級者：数式と Python 実装をセットで覚え、 自分の手元データに適用できる状態を目指します。
• 上級者：落とし穴と派生手法を理解し、 場面に応じた使い分け・改良ができることが目標です。

🔍 近接概念との比較

同じ 倫理 カテゴリにある近接概念と、 機械学習の倫理 はどう違うのか？ 混同しがちなポイントを整理します。

📌 使い分けの原則： まずは本ページの定義を押さえ、 次に「🌐 関連手法・派生」「🔗 関連用語」のリンクから近接概念を確認し、 自分の問題に対してどれを使うか意識的に選ぶことを習慣にしてください。

❓ よくある質問 (FAQ)

本サイトの教材を読み進めるなかで、 受講者からよく質問される項目をまとめました。

✅ 実務チェックリスト

分析作業のなかで 機械学習の倫理 を使うときは、 以下のチェックリストを上から順に確認してください。 抜けがあると後工程で痛い目に遭います。

① 分析設計フェーズ

• □ 目的を 1 文で書けるか？ (「何を、 どうしたいか」)
• □ 機械学習の倫理 がその目的に 本当に合っているか？
• □ 必要なデータの種類・量・期間を見積もったか？
• □ 結果をどう報告・意思決定に使うか、 事前に決めたか？

② データ準備フェーズ

• □ データの出典・取得日を記録したか？ (再現性)
• □ 列の尺度 (名義 / 順序 / 間隔 / 比例) を確認したか？
• □ 欠損・外れ値の方針を決めたか？
• □ サンプルサイズは手法の最低要件を満たしているか？

③ 分析実行フェーズ

• □ 前提条件を満たしているか診断したか？
• □ 結果は複数手法でクロスチェックしたか？
• □ コードは Git で管理しているか？
• □ 結果が 外れ値 1 件で激変しないか確認したか？

④ 解釈・報告フェーズ

• □ 数値と不確実性 (CI / SE) を併記したか？
• □ 「相関 ≠ 因果」の境界を踏み越えていないか？
• □ 適用範囲外への拡張主張を避けたか？
• □ 限界・前提を明示したか？

📝 レポート・論文での書き方

論文・社内レポート・ステークホルダー報告書で 機械学習の倫理 を扱うとき、 含めるべき項目とテンプレートをまとめました。

必須記載項目

🎓 深掘り：シナリオで身につける

ここまで定義・計算・落とし穴を見てきました。 ここでは 機械学習の倫理 をより深く理解するための思考フレームと実務シナリオを、 ストーリー形式で整理します。 用語そのものより、 「どんなときに思い出して、 どう使うか」を体に染み込ませることが、 教材を読む真の目的です。

シナリオ A：研究室での卒論データ分析

「卒業研究で 47 都道府県のデータを分析したい」。 そんなとき 機械学習の倫理 はどう登場するでしょうか。 担当の先生から「データを見たうえで、 関連する手法を 1 つ選んで適用してきて」と言われたとします。 まずデータの性質 (量・尺度・期間) を確認し、 「機械学習の倫理 がこの問題に合っているか」を本ページの 30 秒結論で照らし合わせます。 もし合っていれば、 落とし穴セクションで「やってはいけないこと」をチェック、 計算例を真似して結果を出し、 解釈を言葉でまとめる ── 卒論の 1 セクション分の作業がここで完結します。

シナリオ B：データサイエンスのインターン

企業のインターンで「過去 3 年の顧客データから来期の予測モデルを作って」と任された。 上司は 機械学習の倫理 を当然知っている前提で話します。 言葉が通じないと議論についていけません。 そこで本ページの「定義・数式」「Python 実装」を 30 分で 押さえ、 上司の使う用語に追随する ── ジャストインタイム学習の典型シーンです。 後日、 自分でも実装した結果を上司に説明するとき、 「レポート・論文での書き方」テンプレートに沿って書けば、 過不足なく伝えられます。

シナリオ C：論文を読んでつまずいたとき

本サイトのトップから論文一覧をたどり、 ある論文を読んでいたら 機械学習の倫理 が出てきた。 「これ、 なんだっけ？」と思った瞬間、 本ページに飛んでくる ── これが ジャストインタイム型教材の使い方です。 30 秒結論を読み、 「あ、 そういう意味か」と納得したら、 元の論文に戻ります。 必要に応じて落とし穴セクションだけ読んで、 著者の解釈が妥当か批判的に確認することも可能です。

よくある誤解 3 連続

意思決定フレーム：使う？使わない？

🎯 このページのまとめ

🧭 サイト内ナビゲーション

本ページは、 統計・データ解析コンペティションの再現論文集に付随する用語解説の 1 ページです。 機械学習の倫理 以外の用語も、 同じフォーマットで以下からたどれます。

• 📚 用語集トップ — 514 用語の一覧
• 🗺 概念マップ — 用語間の関係を視覚化
• 📖 論文一覧へ戻る — 約 160 本の再現論文ハンズオン

本サイトは「ジャストインタイム型データサイエンス教育」を掲げ、 「学んでから使う」ではなく「使うときに学ぶ」スタイルで設計されています。 ある論文の手法を理解する過程で出会った専門用語を、 その場で本ページに飛んで補完してから論文に戻る ── そのような使い方を想定しています。

🗺 概念マップ

「ML 倫理（ml ethics）」を中心に、 公平性・説明可能性・プライバシー保護・説明責任・バイアス検出という 5 つの主要トピックがどのように接続するかを示した概念マップ。

機械学習倫理は IEEE Ethically Aligned Design や NIST AI RMF を参照し、 公平性・透明性・説明責任・プライバシー・安全性の 5 軸で点検する。

🔗 隣接手法への橋渡し

機械学習倫理は単独の規範ではなく、 上流のデータ収集同意・バイアス監査、 並列の公平性指標 (Demographic Parity / Equal Opportunity)・説明可能性 (SHAP/LIME)、 下流の人間レビュー + 苦情処理プロセスと組み合わせる総合体制。

• 上流 (前段処理): データ収集の同意 / 多様性確保 — 訓練データの代表性を担保
• 並列 (代替/比較): AI ガバナンス / 規制対応 — 原則を制度に落とす上位フレーム
• 下流 (後段活用): 影響評価 / 苦情処理 — デプロイ後の継続監視と是正

SSDSE-B-2026 のような公的データなら、 上流で都道府県間の人口偏りを公平性指標で確認、 中段で SHAP 寄与を可視化、 下流で「特定地域への不利益判定が出ないか」を人間レビューする、 という流れが業界標準。

🌳 手法選択フロー

ML 倫理の対応レベルは、 (1) 高リスク (採用・融資・医療) か低リスク (推薦) か、 (2) 対象集団に保護属性 (性別・人種) を含むか、 (3) 説明責任の要件、 で決まる。 高リスク → 公平性監査必須 + Human-in-the-loop。

1. 利用領域は高リスクか? はい (医療・採用・与信) → EU AI Act 高リスク要件、 説明可能性必須
2. 保護属性を用いるか? 直接 / 代理含めて使用 → 公平性指標 監視
3. 自動意思決定か? はい → GDPR 22 条で人手介入経路を確保

実務では EU AI Act / NIST AI RMF / ISO/IEC 23894 等の枠組みに沿った倫理レビューを定期実施するのが定石で、 倫理委員会への報告と監査ログ保持を SLA で明文化する。