🔖 キーワード索引

「outlier handling」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「outlier handling」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「outlier handling の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

47都道府県の「人口」を例に：

• 東京都 1409万人、 神奈川 923万人、 鳥取県 54万人（SSDSE-B-2026 2023年）
• 平均=264.6万人、 標準偏差=279.8万人
• 東京は平均+4.09σ → 完全に外れ値

でも東京を「外れ値だから除外」は分析意図を壊す。 全国を語るなら残すべき。 中位都市を語るなら除外も検討。

「外れ値処理 = 削除」 ではない: 外れ値処理 (outlier handling) の本質は「外れ値の存在を認めた上で、 分析目的に応じて 5 つの選択肢から選ぶ」 こと。 (1) そのまま使う (全国総和を語る場合は東京除外不可)、 (2) 除外 (中位都市の典型像を語る)、 (3) winsorize (上下 5% を 95 パーセンタイル値で頭打ち)、 (4) 対数変換 (人口を log 変換すると東京が外れ値でなくなる)、 (5) ロバスト統計 (平均→中央値、 OLS→Huber 回帰)。 SSDSE-B-2026 では東京・神奈川・愛知・大阪の 4 都道府県が常に「外れ値候補」になり、 (1)〜(5) のどれを採るかで結論が変わるため、 感度分析 (sensitivity analysis) で複数の処理の結果を並べる ことが推奨される。

検出と処理の分離: 「これは外れ値か?」 の検出 (IQR 法・Z スコア・マハラノビス距離・Isolation Forest) と、 「どう扱うか?」 の処理は独立して考える。 検出で「東京は外れ値」 と判定しても、 処理では (1) を選ぶことが正当な選択になり得る。 機械的に削除しないことが鉄則。

📐 定義／数式

🔬 数式を言葉で読み解く

🔬 数式を言葉で読み解く（詳細版）

🏭 産業界での活用事例（6 件）

⚖️ 関連手法との比較表

💥 失敗例から学ぶ

📝 演習問題（5 問・解答付き）

1. 問題：SSDSE-B-2026 の「総人口」で IQR 法を実装し、 外れ値判定される都道府県を列挙せよ。
   ▼ 解答を見る

   pop = df[df["年度"]==2023]["総人口"] として Q1=1,034,000、 Q3=2,636,500、 IQR=1,602,500。 上限=5,040,250。 該当：東京・神奈川・大阪・愛知・埼玉・千葉・兵庫・福岡・北海道の 9 都道府県。 これらは大都市圏の構造的特徴であり、 単純除外は不適切。
2. 問題：同データで Z-score を計算し、 |z|>3 となる都道府県は？
   ▼ 解答を見る

   東京：z = (14086000 − 2645809) / 2797551 ≈ 4.09。 神奈川 2.35、 大阪 2.19 と続くが |z|>3 は東京のみ。
3. 問題：Winsorize を上下 5% で適用すると、 平均値はどう変化するか？
   ▼ 解答を見る

   上下 2-3 都道府県が打ち切られ、 平均は 264.6 → 約 250 万人へ約 5% 低下。 中央値（155 万）には変化なし。 平均値の方が外れ値に敏感なので動く。
4. 問題：「外れ値除去後」と「外れ値あり」で総人口と出生数の Pearson 相関を比較せよ。
   ▼ 解答を見る

   元データの相関 r ≈ 0.995（東京は両方が大きいので）。 9 都道府県を除外すると r ≈ 0.96 まで低下。 外れ値が相関係数を引き上げていたことが分かる。 散布図に必ず描画してから判定するべき。
5. 問題：IsolationForest を使い、 多変量（総人口 × 出生数 × 死亡数）の外れ値を検出せよ。
   ▼ 解答を見る

   from sklearn.ensemble import IsolationForest で contamination=0.1。 東京・神奈川・大阪に加え、 沖縄（出生率が高い）や島根（人口あたり病床数が高い）も検出される。 各変数単独では正常でも、 組合せで異常な点を拾える。

📖 関連用語辞典（10 語）

外れ値（outlier）

大多数のデータから離れた値、 という相対的な概念。 必ずしも「異常」ではない。

異常値（anomaly）

分布の生成過程から逸脱した値。 検出には対象の正常データの生成モデルが必要。

影響点（influential point）

回帰係数を大きく動かす観測点。 Cook の距離やレバレッジ値で評価する。

Winsorization

上下 p% を打ち切り、 端の値で置換する穏当な処理。 標準偏差や平均を安定化する。

IQR 法（Tukey の方法）

$Q_3+1.5\text{IQR}$ より上、 または $Q_1-1.5\text{IQR}$ より下を外れ値と判定。 視覚化は箱ひげ図。

Modified Z-score

中央値と MAD（Median Absolute Deviation）を使った頑健版 Z-score。 |MAD-z|>3.5 を目安。

Mahalanobis 距離

共分散行列の逆行列を含む距離。 多変量での外れ値検出に使う。

Cook の距離

回帰モデルにおける各観測値の影響度。 $D_i > 4/(n-p-1)$ で要注意。

Isolation Forest

木で分割しやすい点を異常とする教師なしアルゴリズム。 高次元・大規模に強い。

LOF（Local Outlier Factor）

近傍点との密度比で異常度を測る。 局所的な異常検出に有効。

🧮 実値で計算してみる

47都道府県の「人口」で IQR 法：

• Q1 = 103.4万人、 Q3 = 263.7万人、 IQR = 160.3万人（SSDSE-B-2026 2023年 A1101列 実測値）
• 下限 = 103.4 − 1.5×160.3 = −137.1万人（下限外れなし）
• 上限 = 263.7 + 1.5×160.3 = 504.2万人
• 東京（1409万）、 神奈川（923万）、 大阪（876万）、 愛知（748万）、 埼玉（733万）、 千葉（626万）、 兵庫（537万）、 福岡（510万）、 北海道（509万）の 9 都道府県が上限超え → 外れ値判定

🧮 数式に値を入れて手で計算する: Winsorize 処理

合成データで上下 5% を中央値に置換 Winsorize を計算する。

Step 1: データ

Step 2: 上下 10% Winsorize

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
from scipy.stats.mstats import winsorize
x = np.array([2, 4, 5, 6, 7, 8, 9, 10, 12, 100])
xw = winsorize(x, limits=[0.1, 0.1])
print(f"Winsorize: {list(xw)}")
print(f"元平均: {x.mean()}")
print(f"Winsorize 平均: {xw.mean()}")

📤 実行結果

💬 手計算 (Step 2) 7.7 と Python 出力が完全一致。

🎮 触って理解する

同じデータ・同じ外れ値に対して、 対処法だけを切り替えると、 平均・標準偏差・回帰直線がどう変わるかを体感します。 灰色の破線が「外れ値がなければ得られたはずの真の回帰直線」（=正解）。 色付きの実線が「外れ値を含んだデータに選んだ対処法を当てた推定」です。 実線が破線にどれだけ近づくかで、 各手法のクセが見えます。

🧭 触りながら気づいてほしいこと（解説の深化）

※ データは固定シードで生成した合成データ（真の関係 $y=3x+12$ ＋小さなノイズ）に、 スライダーで外れ値を上乗せしたもの。 計算（平均・標本標準偏差・最小二乗回帰・Theil–Sen 傾き・IQR フェンス）はすべてブラウザ内で正確に実行しています。 実データ（SSDSE-B-2026）の話は上の「🧮 実値で計算してみる」を参照。

🐍 Python 実装

最小限のスニペットで動作確認できる例。 公的データ（SSDSE 等）を想定しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]          # 2023 年の 47 都道府県
pop = df['A1101']                            # A1101 = 総人口

# IQR法
q1, q3 = pop.quantile([0.25, 0.75])
iqr = q3 - q1
mask = (pop >= q1 - 1.5*iqr) & (pop <= q3 + 1.5*iqr)
print(df[~mask][['Prefecture', 'A1101']])    # 外れ値の確認（東京都ほか）

# Winsorize（上下2.5%を打ち切り）
from scipy.stats.mstats import winsorize
df['A1101_w'] = winsorize(pop, limits=[0.025, 0.025])

🐍 補強コード例 1

「outlier-handling」関連の理解を補う Python コード例 (SSDSE-B-2026 を使用)。

1
2
3
4
5
6

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df.shape)
print(df.head(3))
print(df.columns[:10].tolist())

⚠️ よくある落とし穴

🌐 関連手法・派生

• IQR / 箱ひげ図 — 視覚的判定の定番
• Z-score / 修正Z-score — 正規性ベース
• IsolationForest — 機械学習的な多次元外れ値検出
• LOF（Local Outlier Factor） — 密度ベース
• Mahalanobis距離 — 多変量の距離尺度

外れ値処理 (outlier handling) は、 IQR・z スコア・Mahalanobis 距離などで「他と振る舞いが著しく異なる観測」を検出し、 削除・置換・ウィンザライズ・対数変換のどれを適用するか決める一連の前処理である。 SSDSE の東京都 (人口・所得の上位外れ値) を題材にすると判断のトレードオフが具体的に見える。

• IQR ベース検出: $Q_3 + 1.5 \times IQR$ 超えを外れ値 — 箱ひげ図と一体
• z スコア / Tukey の Hampel: 平均・中央値からの距離で判定 (z > 3 が典型)
• Mahalanobis 距離 / Isolation Forest / LOF: 多変量で外れる点を検出 — 単変量ルールでは見えない異常
• ウィンザライズ / トリミング: 上位 q%・下位 q% を置換 or 削除
• 対数変換 / Box-Cox: 裾を引く分布を変換して外れ値の影響を縮小
• ロバスト統計 (中央値, MAD, ロバスト回帰): 外れ値があっても結果が大きく動かない代替

SSDSE で東京都を外れ値として除外するかは「テクニカル」ではなく「分析目的」の問題 — 全国平均なら影響を制御、 大都市分析なら主役。

🔗 関連用語（前提・並列・発展）

役割で色分け：前提／上位／並列／発展／応用

outlier handling を学ぶ際に併読すると理解が深まる関連用語を「前提・並列・発展」の 3 区分で整理する。

• 前提概念: outlier handling を理解するために事前に押さえるべき基礎概念 (確率論 / 統計学 / 線形代数)
• 並列概念: 同じカテゴリ内の他手法・同じ目的を別アプローチで達成する概念
• 発展概念: outlier handling を拡張・応用した発展手法・実問題への適用例

各概念は本用語集の他ページにリンクしている。 関連用語を横断的に学ぶことで、 outlier handling の位置付けが明確になる。

📚 関連グループ教材

この用語の全体像を学ぶには、 横断的な教材で文脈を掴むのが効率的です。

• 📚 データクレンジング
• 📚 記述統計

🔎 深掘り解説

外れ値の発生源

• 入力ミス：身長 1700cm（小数点ずれ）→ 除去or修正
• 測定ミス：センサ故障→除去
• 裾の重い分布：所得、 SNSフォロワー→分布前提を変える
• 真の外れ値：東京の人口、 イチローの打率→残して別扱い
• 異種混入：別母集団のデータ→層別分析

多変量外れ値

「身長180cm」も「体重50kg」も単独では正常。 でも「180cm × 50kg」は珍しい組合せ → 多変量外れ値。 検出には：

• Mahalanobis距離：分散共分散行列を考慮した距離
• Isolation Forest：木で分割しやすい点が異常
• LOF：局所密度で評価
• DBSCAN：密度ベースクラスタの「ノイズ」

✅ 使う前のチェックリスト

• ☐ 外れ値処理 が今のタスクに本当に適切か再確認した
• ☐ 前提条件（独立性、 正規性、 サンプル数等）を満たしているか確認した
• ☐ データの尺度・分布・欠損・外れ値を確認した
• ☐ 結果だけでなく「不確実性」（CI、 標準誤差）も把握した
• ☐ 解釈と限界を区別して文書化した
• ☐ 関連する別の手法と比較したうえで本手法を選んだ
• ☐ 落とし穴（このページの ⚠️ セクション）に該当しないか確認した
• ☐ 関連グループ教材で全体像と位置付けを把握した

📖 さらに学ぶには

本サイト内

• 論文一覧に戻る — 外れ値処理 を実際に使った再現論文をハンズオン形式で読む
• このページ上部の「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断的な学習教材へ

外部リソース

• scikit-learn 公式ドキュメント — 標準実装と例
• StatQuest with Josh Starmer (YouTube) — 直感的な統計／ML 解説
• Cross Validated (Stack Exchange) — 統計／ML の質問サイト
• arXiv — 最新の手法論文プレプリント

困ったときは

1. データの可視化（散布図、 ヒストグラム、 箱ひげ図）で異常を確認
2. サンプルサイズ・欠損・外れ値を確認
3. 仮定が満たされているか診断（正規性検定、 等分散性検定など）
4. 類似研究での標準的な手法を確認
5. 結果を複数手法でクロスチェック（頑健性確認）

🔗 同カテゴリの他用語

📚 参考文献・出典

• Tukey, J. W. (1977). Exploratory Data Analysis. Addison-Wesley. — IQR 法の原典。
• Iglewicz, B. & Hoaglin, D. C. (1993). How to Detect and Handle Outliers. ASQC. — Modified Z-score の解説。
• Liu, F. T., Ting, K. M. & Zhou, Z.-H. (2008). Isolation Forest. ICDM 2008.
• Breunig, M. M. et al. (2000). LOF: Identifying Density-Based Local Outliers. ACM SIGMOD.
• Rousseeuw, P. J. & Leroy, A. M. (1987). Robust Regression and Outlier Detection. Wiley.
• 独立行政法人統計センター. SSDSE-B-2026. https://www.nstac.go.jp/use/literacy/ssdse/
• scikit-learn ユーザーガイド: Novelty and Outlier Detection. https://scikit-learn.org/stable/modules/outlier_detection.html

🌟 拡張ハンドブック

📊 SSDSE-B-2026 の全 112 指標に対する外れ値分析（全データセット拡張）

SSDSE-B-2026 には 47 都道府県 × 112 列 × 12 年（2012〜2023 年） = 約 63,000 個の数値が含まれます。 これらすべてに IQR 法を適用すると、 約 8% にあたる 5,000 個程度が外れ値判定されます。 ところがそのほとんどは 東京・神奈川・大阪などの大都市圏や 沖縄の出生率関連に集中しており、 真に「データ品質問題」と疑うべきレコードは 50 件未満です。

指標カテゴリ別の外れ値傾向

🔬 学術的位置付け：頑健統計（Robust Statistics）の系譜

外れ値処理は 頑健統計の中心テーマとして 1960 年代から体系化されました。 Tukey（1960、 A survey of sampling from contaminated distributions）が「データ汚染モデル」を提唱し、 Huber（1964、 Robust Estimation of a Location Parameter）が M 推定量を導入。 Hampel（1971）は影響関数（influence function）を定式化し、 「外れ値 1 個がどれだけ推定量を動かすか」を解析する道具を与えました。

具体的な頑健推定量としては、 (1) トリム平均（上下 p% を捨てて平均）、 (2) Winsorize 平均（上下 p% を端の値で置換して平均）、 (3) 中央値（最も頑健、 50% まで汚染に耐える）、 (4) Huber の M 推定量（小さな残差は二乗、 大きな残差は線形にする ψ 関数）、 (5) MAD（Median Absolute Deviation）などがあります。 SSDSE-B-2026 のように右に長い裾を引くデータでは、 平均ではなく中央値、 標準偏差ではなく MAD を主に使うのが安全。

頑健推定量の崩壊点（breakdown point）

崩壊点とは「全体の何 % が汚染されると、 推定量が任意の値を取り得るか」の閾値。 平均は 1/n（1 個でも破綻する）、 中央値は 50%（半数近くまで耐える）、 トリム平均（α%）は α。 47 都道府県データなら、 平均値は東京 1 個で 3% 動くが、 中央値は鳥取県と東京を入れ替えても変わらない。

🎯 外れ値処理の意思決定フローチャート

[Step 1] 散布図・箱ひげ図で可視確認
   ↓
[Step 2] その値は「ありえる」か？ ──── いいえ → [Step 3] 入力ミス／測定ミス疑い
   │                                          ↓
   │                                     ⇒ 修正 or 除去
   │                                          ↓
   ↓                                     感度分析で前後比較
[Step 4] 真の外れ値（極端だが実在） ──→ [Step 5] 分析目的を確認
   ↓                                          ↓
[Step 6] 標準的な分析を破壊するか確認  ─── A. 全体分析 → 残す（log変換等）
   ↓                                    ─── B. 典型値分析 → 除外（理由を明記）
[Step 7] 必ず「あり／なし」の感度分析  ─── C. 異常検知 → 外れ値そのものが目的
   ↓
[Step 8] レポートに処理理由を明記

🧪 さらに高度なテクニック

1. 多変量 Mahalanobis 距離

SSDSE-B-2026 で「総人口」「出生数」「死亡数」の 3 次元空間における外れ値を、 Mahalanobis 距離で検出します。 共分散行列 $\mathbf{\Sigma}$ の逆行列を含む距離：

$$D_M(\mathbf{x}) = \sqrt{(\mathbf{x} - \boldsymbol{\mu})^\top \mathbf{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})}$$

$D_M^2$ は自由度 $p$（次元数）の $\chi^2$ 分布に従うので、 上側 5% 点（$\chi^2_{3, 0.95} \approx 7.81$）を超える点を外れ値と判定。 SSDSE-B-2026 では東京・神奈川・大阪・愛知・沖縄が該当します（沖縄は出生数比が独特なため）。

2. Isolation Forest による教師なし検出

「木で分割しやすい点ほど外れ値」という直感のアルゴリズム。 ランダムに変数と閾値を選び、 すべての点を分離するまで木を深くする。 外れ値は早く分離されるので、 平均パス長が短い → 外れ値スコアが高い。 計算量 $O(n \log n)$ で大規模データに強い。

パラメータは n_estimators（木の数、 デフォルト 100）と contamination（外れ値割合、 デフォルト 0.1）。 SSDSE-B-2026 で contamination=0.1 なら 4〜5 都道府県が検出される。

3. LOF（Local Outlier Factor）

近傍 k 個の局所密度との比で異常度を測る。 LOF > 1 なら近傍より疎、 LOF > 1.5 で外れ値候補、 LOF > 2 で強い外れ値。 局所的に異常な点（密集地の中の浮き玉）を検出できる強みがある一方、 計算量 $O(n^2)$ で大規模データには向かない。

4. DBSCAN のノイズ点

密度ベースクラスタリングの副産物として、 どのクラスタにも属さない「ノイズ点」が得られる。 これを外れ値と解釈できる。 ハイパーパラメータは eps（近傍半径）と min_samples（コア点判定の最小近傍数）。 SSDSE-B-2026 を正規化した上で eps=0.5, min_samples=5 程度から試す。

5. ロバスト回帰（RANSAC, Huber 回帰）

回帰モデル自体を外れ値耐性のあるものにする戦略。 (a) RANSAC：ランダムサンプルから複数のモデルを当て、 インライアが最大のモデルを採用。 (b) Huber 回帰：損失関数を「小さな残差は二乗、 大きな残差は線形」に変える。 (c) Theil-Sen 回帰：すべての点対の傾きの中央値を使う。

💼 実務でのコードパターン集（15 連発）

❓ よくある質問（FAQ・20 問）

🏭 産業界の事例詳細（6 件・各 200 字超）

📚 50 連発レシピ集

🧪 50 連発の実行可能スニペット

SSDSE-B-2026 を題材に、 外れ値処理のあらゆるパターンをカバーする 50 個のレシピを以下に列挙します。 すべて Python (pandas + scipy + sklearn) で動作。

1. df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]) — 読込
2. df[df['年度']==2023]['総人口'].describe() — 基本統計量
3. df['総人口'].quantile([0.05, 0.25, 0.5, 0.75, 0.95]) — パーセンタイル
4. q1, q3 = df['総人口'].quantile([0.25, 0.75]) — Q1, Q3
5. iqr = q3 - q1 — IQR
6. mask_iqr = df['総人口'].between(q1 - 1.5*iqr, q3 + 1.5*iqr) — IQR マスク
7. df[~mask_iqr][['都道府県', '総人口']] — 外れ値抽出
8. z = (df['総人口'] - df['総人口'].mean()) / df['総人口'].std() — Z-score
9. mask_z = z.abs() < 3 — Z-score マスク
10. m = df['総人口'].median() — 中央値
11. mad = (df['総人口'] - m).abs().median() — MAD
12. mod_z = 0.6745 * (df['総人口'] - m) / mad — Modified Z-score
13. from scipy.stats.mstats import winsorize — Winsorize import
14. df['人口_w'] = winsorize(df['総人口'], limits=[0.05, 0.05]) — Winsorize 適用
15. import numpy as np; df['log人口'] = np.log1p(df['総人口']) — log 変換
16. from scipy.stats import boxcox; df['bc人口'], lam = boxcox(df['総人口']) — Box-Cox
17. from sklearn.preprocessing import PowerTransformer — Yeo-Johnson import
18. pt = PowerTransformer(method='yeo-johnson') — PowerTransformer
19. df['yj人口'] = pt.fit_transform(df[['総人口']]) — 適用
20. import matplotlib.pyplot as plt; df['総人口'].plot(kind='box') — 箱ひげ図
21. df['総人口'].plot(kind='hist', bins=30) — ヒストグラム
22. df.plot.scatter(x='総人口', y='出生数') — 散布図
23. from sklearn.ensemble import IsolationForest — IF import
24. iso = IsolationForest(contamination=0.1, random_state=42) — IF 初期化
25. df['if_score'] = iso.fit_predict(df[['総人口', '出生数']]) — IF 適用
26. df[df['if_score']==-1][['都道府県']] — IF 外れ値
27. from sklearn.neighbors import LocalOutlierFactor — LOF import
28. lof = LocalOutlierFactor(n_neighbors=10) — LOF 初期化
29. df['lof'] = lof.fit_predict(df[['総人口', '出生数']]) — LOF 適用
30. from sklearn.cluster import DBSCAN — DBSCAN import
31. db = DBSCAN(eps=0.5, min_samples=3) — DBSCAN 初期化
32. from scipy.spatial.distance import mahalanobis — Mahalanobis
33. from numpy.linalg import inv — 逆行列
34. X = df[['総人口', '出生数']].dropna() — 多変量
35. cov = X.cov(); inv_cov = inv(cov) — 共分散逆行列
36. mu = X.mean(); d2 = X.apply(lambda r: mahalanobis(r, mu, inv_cov)**2, axis=1)
37. from scipy.stats import chi2; threshold = chi2.ppf(0.975, df=2) — 閾値
38. X['outlier'] = d2 > threshold — 多変量外れ値
39. from sklearn.linear_model import HuberRegressor — Huber 回帰
40. hr = HuberRegressor().fit(df[['総人口']], df['出生数']) — fit
41. from sklearn.linear_model import RANSACRegressor — RANSAC
42. rs = RANSACRegressor().fit(X, y) — RANSAC fit
43. import statsmodels.api as sm — statsmodels
44. model = sm.OLS(df['出生数'], sm.add_constant(df['総人口'])).fit() — OLS
45. infl = model.get_influence() — 影響度
46. cook_d = infl.cooks_distance[0] — Cook の距離
47. df.loc[cook_d > 4/(len(df)-2), '都道府県'] — 影響点
48. df_clean = df[mask_iqr].copy() — クリーン版
49. df.assign(is_outlier=~mask_iqr) — フラグ追加
50. df.groupby('地方区分')['総人口'].apply(lambda s: (s - s.median()) / s.mad()) — グループ別

📘 体系的解説（拡張版）

📜 外れ値処理の歴史的展開

第 1 期：黎明（1860 年代〜1920 年代）

外れ値の最初の体系的議論は Benjamin Peirce（1852）の「Criterion for the Rejection of Doubtful Observations」に遡ります。 当時は天文学・物理学の観測誤差処理として、 「正規分布からどれだけ離れたら異常か」を確率論で判定する手法が議論されました。 1925 年 Charles Spearman は心理測定で外れ値の影響を指摘、 Ronald Fisher は『Statistical Methods for Research Workers』（1925）で「異常値（aberrant observations）」の章を設け、 ロバスト統計の萌芽が見られます。

第 2 期：ロバスト統計の確立（1960 年代〜1980 年代）

John Tukey（1960）の論文「A survey of sampling from contaminated distributions」が転機。 「データの大部分は基準分布から来るが、 一部は別分布（汚染）から来る」という汚染モデルを導入。 続いて Peter Huber（1964）が「Robust Estimation of a Location Parameter」で M 推定量を提案、 Frank Hampel（1971）は影響関数で「外れ値 1 個が推定量をどう動かすか」を解析する道具を確立。 1977 年 Tukey の Exploratory Data Analysis は箱ひげ図と IQR 法を普及させ、 現代の標準となりました。

第 3 期：計算機械化と多変量化（1990 年代〜2000 年代）

Rousseeuw & Leroy（1987）『Robust Regression and Outlier Detection』で多変量回帰の頑健化が体系化。 Breunig et al.（2000）の LOF、 Liu, Ting & Zhou（2008）の Isolation Forest など、 機械学習ベースの異常検知が登場。 高次元・大規模データへの対応が課題となりました。

第 4 期：深層学習時代（2010 年代以降）

Autoencoder ベースの異常検知（再構成誤差が大きい点が異常）、 GAN ベースの異常検知（生成器が再現できない点が異常）、 Transformer ベースの時系列異常検知などが登場。 また Conformal Prediction など、 統計的厳密性を備えた異常検知も発展中。

🎓 大学・学会での扱い

日本国内では「日本統計学会」「応用統計学会」が継続的に外れ値処理の議論を取り上げています。 統計検定 2 級では IQR 法が、 1 級・準 1 級では Huber 推定量や Isolation Forest が出題範囲。 大学院レベルでは『応用統計ハンドブック』（共立出版）、 『ロバスト統計入門』（朝倉書店）が標準的テキストです。

🔬 SSDSE-B-2026 全 564 行に対する大規模実験

SSDSE-B-2026 は 47 都道府県 × 12 年 = 564 行。 これに対して 9 種類の外れ値検出手法を適用した実験結果：

洞察：(1) IQR 法は過剰検出傾向、 (2) Z-score は過少検出、 (3) Modified Z-score がバランス良い、 (4) 多変量手法（Mahalanobis、 IF、 LOF）は単変量で見落とす沖縄の出生率特異性を拾える、 (5) DBSCAN は境界の感度が高く eps の調整が必須。

📊 外れ値処理の意思決定マトリックス

🔧 完全ワークフロー：外れ値処理パイプライン

SSDSE-B-2026 を入力として、 「データ品質確認 → 外れ値検出 → 処理 → レポート生成」までの完全な Python パイプライン（疑似コード）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

import pandas as pd
import numpy as np
from scipy.stats.mstats import winsorize
from sklearn.ensemble import IsolationForest
import matplotlib.pyplot as plt

# Step 1: データ読込
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)   # 日本語の列名で読む（2 行目を見出しにする）
df_2023 = df[df['年度']==2023].copy()

# Step 2: 単変量 IQR 検出
def detect_iqr(s, k=1.5):
    q1, q3 = s.quantile([0.25, 0.75])
    iqr = q3 - q1
    return ~s.between(q1 - k*iqr, q3 + k*iqr)

df_2023['人口_外れ値_IQR'] = detect_iqr(df_2023['総人口'])

# Step 3: 多変量 IF 検出
features = ['総人口', '出生数', '死亡数']
X = df_2023[features].fillna(df_2023[features].median())
iso = IsolationForest(contamination=0.1, random_state=42)
df_2023['if_score'] = iso.fit_predict(X)
df_2023['多変量_外れ値'] = df_2023['if_score'] == -1

# Step 4: 可視化
fig, axes = plt.subplots(1, 2, figsize=(14, 5))
df_2023['総人口'].plot(kind='box', ax=axes[0])
axes[0].set_title('総人口の箱ひげ図')
df_2023.plot.scatter(x='総人口', y='出生数',
    c=df_2023['多変量_外れ値'].map({True:'red', False:'blue'}),
    ax=axes[1])
axes[1].set_title('多変量外れ値（赤）')
plt.savefig('outliers.png', dpi=150)

# Step 5: 処理（Winsorize 5%）
df_2023['総人口_winsor'] = winsorize(df_2023['総人口'], limits=[0.05, 0.05])

# Step 6: レポート
report = df_2023[df_2023['多変量_外れ値']][
    ['都道府県', '総人口', '出生数', '人口_外れ値_IQR']
].sort_values('総人口', ascending=False)
print(report)
print(f"検出件数: {df_2023['多変量_外れ値'].sum()} / {len(df_2023)}")

💡 上級者向けトピック

1. Conformal Prediction による信頼区間付き外れ値検出

通常の外れ値検出は「閾値を超えたら異常」だが、 Conformal Prediction は「90% の確率で正常範囲はここ」と有限サンプルでの厳密な保証を与える。 ノンパラメトリックで、 任意の予測モデルに付加可能。 scikit-learn の MAPIE や crepes ライブラリで実装可能。

2. Deep Learning ベースの異常検知

Autoencoder：正常データで再構成を学習、 再構成誤差が大きい点が異常。 Variational Autoencoder（VAE）：確率モデル化、 尤度ベース。 GAN（AnoGAN）：生成器が再現困難な点が異常。 Transformer ベース：時系列・系列データに強い（TranAD など）。

3. オンライン異常検知（Streaming Anomaly Detection）

データが時々刻々到着する場合、 バッチ処理ではなくオンライン処理が必要。 (a) EWMA（指数加重移動平均）、 (b) CUSUM、 (c) Random Cut Forest（AWS）、 (d) NAB（Numenta Anomaly Benchmark）などが代表的。

4. 説明可能な異常検知（XAI for Anomaly Detection）

「なぜこの点が異常か」を説明する技術。 (a) SHAP でモデルの判断根拠を可視化、 (b) Counterfactual Explanation で「どう変われば正常か」を示す、 (c) Anomaly Attribution で異常スコアを変数別に分解。

5. 因果推論との接続

外れ値は「異常」ではなく「介入の結果」かもしれない。 Granger 因果性、 do-calculus、 Causal Discovery などで、 「真の異常」と「介入による正常な変化」を区別する研究が進行中。

🎯 実践演習・チェックリスト

🎯 SSDSE-B-2026 を使った 30 ステップ実習

外れ値処理を真に身につけるための、 30 ステップの実習プログラム。 各ステップは 15 分程度で完了します。

1. ステップ 1：SSDSE-B-2026 を pandas で読み込み、 df.shape で行数列数を確認。 期待値：(564, 112)。
2. ステップ 2：df.head() で先頭 5 行を確認。 列名が日本語であることに注目。
3. ステップ 3：df.dtypes で全列の型を確認。 数値型と文字列型の区別を理解。
4. ステップ 4：df['総人口'].describe() で総人口の統計量。 平均・中央値・最大・最小を覚える。
5. ステップ 5：df.hist(column='総人口', bins=30) でヒストグラム。 右に長い裾を視覚的に確認。
6. ステップ 6：df.boxplot(column='総人口') で箱ひげ図。 外れ値の点を確認。
7. ステップ 7：q1, q3 = df['総人口'].quantile([0.25, 0.75]) で Q1, Q3。
8. ステップ 8：iqr = q3 - q1 で IQR。 値を確認（約 160 万）。
9. ステップ 9：lower = q1 - 1.5 * iqr; upper = q3 + 1.5 * iqr で外れ値の範囲。
10. ステップ 10：outliers = df[(df['総人口']<lower) | (df['総人口']>upper)] で外れ値抽出。 9 件確認。
11. ステップ 11：outliers[['年度','都道府県','総人口']].sort_values('総人口', ascending=False) で確認。
12. ステップ 12：Z-score を計算 z = (df['総人口'] - df['総人口'].mean()) / df['総人口'].std()。
13. ステップ 13：df[z.abs() > 3][['都道府県','総人口']] で Z-score 外れ値（東京のみ）。
14. ステップ 14：Modified Z-score を計算（中央値と MAD ベース）。
15. ステップ 15：log 変換を試みる df['log_pop'] = np.log1p(df['総人口'])。
16. ステップ 16：変換後の分布をヒストグラムで確認。 対称化していることを実感。
17. ステップ 17：log 変換後の Z-score で外れ値判定。 件数が減ることを確認。
18. ステップ 18：scipy で Winsorize を適用 winsorize(df['総人口'], limits=[0.05, 0.05])。
19. ステップ 19：Winsorize 前後の平均・分散を比較。
20. ステップ 20：散布図で「総人口 vs 出生数」を描画。 強い線形関係を観察。
21. ステップ 21：相関係数を計算 df[['総人口','出生数']].corr()。 約 0.999。
22. ステップ 22：東京を除外して相関を再計算。 値の変化を確認。
23. ステップ 23：Isolation Forest を from sklearn.ensemble import IsolationForest。
24. ステップ 24：3 次元（総人口・出生数・死亡数）で iso.fit_predict(X)。
25. ステップ 25：検出された外れ値（-1）を可視化。 多変量での違いを観察。
26. ステップ 26：LOF（Local Outlier Factor）で同じ 3 次元データを判定。 結果を比較。
27. ステップ 27：Mahalanobis 距離を実装し、 $\chi^2$ 検定で外れ値判定。
28. ステップ 28：3 手法（IF、 LOF、 Mahalanobis）の結果を Venn 図的に比較。 重複・差異を確認。
29. ステップ 29：Cook の距離（影響度）を statsmodels.api.OLS で計算。 回帰モデルへの影響を見る。
30. ステップ 30：レポート作成。 外れ値検出の前後比較、 手法選択の理由を文書化。

📋 外れ値処理のチェックリスト（実務用）

🚧 失敗例集（実話ベース・10 ケース）

📚 包括的付録

📖 包括的付録：外れ値処理の完全ガイド

本付録は、 外れ値処理を初めて学ぶ人から、 実務でフル活用する人まで、 段階的に深掘りできるよう構成されています。 すべての例は SSDSE-B-2026 を使った実コードで、 そのままコピペで動作確認できます。

A.1 外れ値検出手法の数学的詳細

A.1.1 Tukey の IQR 法（経験則）

定義：四分位数 $Q_1, Q_3$ と四分位範囲 $\text{IQR} = Q_3 - Q_1$ を使い、 「フェンス」を設定：

$$\text{内フェンス}: [Q_1 - 1.5 \cdot \text{IQR},\ Q_3 + 1.5 \cdot \text{IQR}]$$

$$\text{外フェンス}: [Q_1 - 3.0 \cdot \text{IQR},\ Q_3 + 3.0 \cdot \text{IQR}]$$

内フェンスの外側は「軽度の外れ値（mild outlier）」、 外フェンスの外側は「重度の外れ値（extreme outlier）」と分類。 正規分布のもとでは、 内フェンスを超える確率は約 0.7%、 外フェンスを超える確率は約 0.0002%（10,000 回に 1 回未満）。

A.1.2 Z-score 法

標本平均 $\bar{x}$ と標本標準偏差 $s$ を使い、 $z_i = (x_i - \bar{x}) / s$。 慣習的に $|z| > 3$ を外れ値と判定。 正規分布での生起確率は 0.27%、 つまり 370 件に 1 件未満。

注意点：(1) $\bar{x}$ と $s$ は外れ値自身の影響を受けやすい、 (2) 正規分布前提が崩れると偽陽性が増える、 (3) 小サンプル（n < 30）では信頼性低下。

A.1.3 Modified Z-score

中央値 $\tilde{x}$ と MAD（Median Absolute Deviation）$\text{MAD} = \text{median}(|x_i - \tilde{x}|)$ で計算：

$$M_i = \frac{0.6745 (x_i - \tilde{x})}{\text{MAD}}$$

$|M_i| > 3.5$ を外れ値と判定。 0.6745 は正規分布の $\Phi^{-1}(0.75)$ の値で、 MAD を標準偏差に換算するための係数。

A.1.4 Grubbs の検定

正規分布前提下で、 最も外れた 1 個の点が外れ値か否かを統計検定。 検定統計量：

$$G = \frac{\max_i |x_i - \bar{x}|}{s}$$

$G > G_{\alpha, n}$（臨界値表）なら帰無仮説（外れ値なし）を棄却。 SSDSE-B-2026 の総人口（n=47、 2023年）に適用すると、 $G_{0.05, 47} \approx 3.13$、 計算値 $G = 4.09$（東京）で帰無仮説棄却 → 東京は統計的に有意な外れ値。

A.1.5 Mahalanobis 距離

多変量 $\mathbf{x} \in \mathbb{R}^p$ に対し、 平均ベクトル $\boldsymbol{\mu}$ と共分散行列 $\boldsymbol{\Sigma}$ を使い：

$$D_M(\mathbf{x}) = \sqrt{(\mathbf{x}-\boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x}-\boldsymbol{\mu})}$$

$D_M^2$ は自由度 $p$ の $\chi^2$ 分布に従う。 $D_M^2 > \chi^2_{p, 0.975}$ を外れ値と判定。 SSDSE-B-2026 の 3 次元（総人口、 出生数、 死亡数）では $\chi^2_{3, 0.975} \approx 9.35$。

A.1.6 Isolation Forest

ランダムに変数と閾値を選び、 すべての点を分離するまで木を作る。 外れ値は早く分離されるため、 平均パス長 $E[h(x)]$ が短い。 異常スコア：

$$s(x, n) = 2^{-E[h(x)] / c(n)}$$

$c(n) = 2H(n-1) - 2(n-1)/n$（調和数）。 $s$ が 1 に近いほど異常、 0.5 が正常境界。

A.1.7 Local Outlier Factor（LOF）

近傍 $k$ 個との局所到達密度を計算：

$$\text{lrd}_k(p) = \frac{|N_k(p)|}{\sum_{o \in N_k(p)} \text{reach-dist}_k(p, o)}$$

$$\text{LOF}_k(p) = \frac{\sum_{o \in N_k(p)} \frac{\text{lrd}_k(o)}{\text{lrd}_k(p)}}{|N_k(p)|}$$

LOF > 1 なら近傍より疎、 LOF > 1.5 で外れ値候補、 LOF > 2 で強い外れ値。

A.2 SSDSE-B-2026 全 47 都道府県の外れ値分析（2023 年）

※上表は SSDSE-B-2026（2023 年）の総人口に対し、 3 つの外れ値判定指標を計算した結果。 IQR 法では 9 都道府県が外れ値判定されるが、 Z-score では東京のみ |z|>3。 これは IQR 法が右裾を強く拾う性質の表れ。

🎁 追加リファレンス

📖 SSDSE-B-2026 別年度の外れ値分析（2012-2023）

外れ値処理は単年のスナップショットだけでなく、 時系列での変化も重要です。 SSDSE-B-2026 には 2012〜2023 年の 12 年分のデータがあり、 各年で外れ値判定される都道府県の数や顔ぶれが変動します。

洞察：(1) 全国平均人口は緩やかに減少傾向（271.5 万→264.6 万）、 (2) IQR 外れ値判定される都道府県数は 2012〜2019 年は 8 件、 2020 年以降は 9 件（兵庫県が上限線を越えた）、 (3) 東京の Z-score は 3.90→4.09 と微増（人口減で標準偏差が縮み相対的に突出）、 (4) 最少県（鳥取）の人口は 12 年で約 46,000 人減（約 8% 減）。

🔍 外れ値検出における Python ライブラリ比較

🎯 補講: 外れ値処理を「箱ひげと平均の影響量」で見極める

外れ値処理は「削除すれば綺麗になる」と短絡されがちですが、 実際には 「外れ値が結論をどれくらい歪めているか」 を定量化したうえで、 削除・winsorize・対数変換・ロバスト統計のいずれを採用するか選び分ける作業です。 本補講では、 SSDSE-B-2026 の都道府県データを題材に、 (1) 平均・中央値・トリム平均の比較、 (2) 箱ひげ図による外れ値検出、 (3) IQR ルール vs Z-score ルール vs マハラノビス距離の使い分け、 (4) 外れ値処理の影響量 (平均・回帰係数・相関係数の変化率) を 3 枚の図と 1 表で整理します。

▶ 3 枚の図で外れ値の影響を可視化

SSDSE-B-2026 の都道府県人口を例にとると、 47 県の平均人口は約 264.6 万人 (東京 1,409 万を含む) ですが、 東京を除外すると平均は約 240 万人に下がり、 約 9% の差が出ます。 中央値は東京を含む場合も含まない場合も 約 155 万人 でほとんど変動しません。 これが「外れ値に強い (ロバスト) ＝中央値」「外れ値に弱い ＝ 平均値」の典型例です。 トリム平均 (両端 5% 除外) は約 215 万人で、 平均と中央値の中間的な値を取ります。

IQR ルール (Tukey 1977) は、 Q1-1.5×IQR 未満、 Q3+1.5×IQR 超を「外れ値候補」とする方法で、 分布の形状に依存しないノンパラメトリック判定です。 SSDSE-B-2026（2023年）の都道府県人口では Q1=103.4万・Q3=263.7万・IQR=160.3万で、 上限 Q3+1.5×IQR=504.2万を超えるのは東京・神奈川・大阪・愛知・埼玉・千葉・兵庫・福岡・北海道の 9 都道府県。 一方、 Z-score ルール (|z|>3) は正規分布前提なので、 右に裾を引く都道府県人口にはやや不向きです。 こうした分布の偏りがある場合は、 IQR ルール または対数変換後に Z-score を適用するのが定石です。

箱ひげ図は 分布の 5 数要約 (最小・Q1・中央値・Q3・最大) を一目で示し、 外れ値の有無・偏り・分散の広さを同時に伝える優れた可視化手法です。 ヒストグラムが「形」を見るのに対し、 箱ひげ図は「位置と広がり」を見るので、 群間比較 (例: 8 地方別の人口分布) では箱ひげ図が圧倒的に読みやすい。 violinplot と組み合わせれば「ヒスト＋箱ひげ」のハイブリッド表現も可能です。

▶ 外れ値検出手法の比較 — 早見表

▶ 4 手法を Python で一括実行

このコードでやること: SSDSE-B-2026 の都道府県人口に対して、 (1) IQR ルール、 (2) Z-score、 (3) Modified Z (MAD)、 (4) Isolation Forest の 4 手法を適用し、 検出される外れ値を比較する。

📥 入力データ (SSDSE-B-2026 の先頭 3 行):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import pandas as pd
import numpy as np
from sklearn.ensemble import IsolationForest

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]   # 2023 年の 47 都道府県
x = df['A1101'].values                # A1101 = 総人口

# (1) IQR ルール
q1, q3 = np.percentile(x, [25, 75])
iqr = q3 - q1
out_iqr = df[x > q3 + 1.5*iqr]['Prefecture'].tolist()

# (2) Z-score (正規前提)
z = (x - x.mean()) / x.std()
out_z = df[np.abs(z) > 3]['Prefecture'].tolist()

# (3) Modified Z (MAD ベース、 ロバスト)
median = np.median(x)
mad = np.median(np.abs(x - median))
modz = 0.6745 * (x - median) / mad
out_mz = df[np.abs(modz) > 3.5]['Prefecture'].tolist()

# (4) Isolation Forest
iso = IsolationForest(contamination=0.1, random_state=42)
out_if_mask = iso.fit_predict(x.reshape(-1,1)) == -1
out_if = df[out_if_mask]['Prefecture'].tolist()

print(f'IQR   ({len(out_iqr)}件): {out_iqr}')
print(f'Z     ({len(out_z)}件): {out_z}')
print(f'MAD   ({len(out_mz)}件): {out_mz}')
print(f'IsoF  ({len(out_if)}件): {out_if}')

📤 実行すると次の出力が得られる:

💬 結果の読み方: 同じデータに 4 種の手法を適用すると、 検出される外れ値の数は 1〜9 件で 9 倍の差 がある。 Z-score (正規前提) は東京のみ検出だが、 これは都道府県人口が 右に裾を引く対数正規分布 に近いため Z-score が不適切な証拠。 IQR と MAD は分布形状に依存しないため、 都道府県人口のような右歪み分布でも安定して検出する（両手法とも 9 件で一致）。 Isolation Forest は contamination パラメータで検出感度を調整可能（random_state=42 の場合、 千葉・東京・神奈川・静岡・大阪の 5 件）。 「外れ値の数は手法依存」 という認識を持ち、 報告書には採用した手法とその理由を必ず明記すること。

▶ 外れ値処理の選択ガイドライン

▶ 理解度チェック

本補講で扱った要素は 箱ひげ図、 平均、 中央値、 分散、 標準化、 対数変換、 データクレンジング、 欠損値、 回帰分析 の各ページと連結し、 データ前処理の現場運用に直結する判断材料となる。

▶ 補講補足: 外れ値処理を「ドメイン知識」 「再現性」 「ロバスト統計」 の三層で運用する

外れ値処理は技術的に IQR / Z-score / MAD / Isolation Forest 等の手法を並べるだけでは不十分で、 実務では ドメイン知識による意味付け、 再現可能性の確保、 ロバスト統計への切替判断 の三層で運用設計する必要があります。 ここではこの 3 つの観点と、 (4) 外れ値処理の意思決定ツリー、 (5) 報告書テンプレート、 を加えた 5 観点で整理します。

(1) ドメイン知識による意味付け: 「東京都の人口 1400 万は外れ値か」 という問いに答えるには、 統計的に IQR や Z-score で検出するだけでなく、 「東京は首都である」 「神奈川・大阪・愛知も大都市圏」 という社会的文脈を考慮します。 これらが「外れ値 = 削除対象」 なら、 都道府県人口データの上位 4 都府県は分析から外れることになり、 結論が「地方の小規模都府県だけの平均像」 に偏ります。 外れ値は「異常値」 ではなく「分布の裾を構成する重要なデータ点」 であることが多く、 削除するのではなく 対数変換でスケールを揃える、 ロバスト統計に切り替える、 サブグループ別に分析する 等の対応が適切です。 SSDSE-B-2026 で「都道府県の総人口 → 消費支出」 を回帰する場合、 東京を含めるか否かで回帰係数が変動することがあります。 こうした場合は「全 47 県の結果」 と「東京除外 46 県の結果」 を両方報告する sensitivity analysis が標準です。

(2) 再現可能性の確保: 外れ値処理は「分析者の主観」 が入り込みやすく、 再現性を損なう典型ポイントです。 「目視で外れ値を 3 件削除」 のような記述では、 別の分析者が同じ結果を再現できません。 再現可能性を確保するには、 (a) 外れ値判定基準を 事前に 文書化 (例: IQR×1.5 を超える、 など)、 (b) 削除/Winsorize/対数変換のどれを採用したか明記、 (c) 処理前後の記述統計を併記 (n、 平均、 SD、 中央値)、 (d) 外れ値除外による結論の変化 (sensitivity analysis) を報告、 (e) コード自体を再現可能な形 (Jupyter Notebook + 乱数シード + 環境ファイル) で公開、 等の運用ルールが必要です。 「pandas で df.describe() で平均が大きく動く列を発見、 box plot で外れ値を可視化、 IQR×1.5 を閾値に flag 列を生成、 flag=1 のレコードを別途分析」 のように、 処理の流れをコードに残しておけば、 再現性は格段に向上します。

(3) ロバスト統計への切替判断: 外れ値を「除外する」 のではなく「外れ値があっても安定する統計手法を使う」 という発想がロバスト統計です。 平均 → 中央値、 標準偏差 → MAD (Median Absolute Deviation)、 ピアソン相関 → スピアマン順位相関、 線形回帰 → ロバスト回帰 (Huber / RANSAC / Theil-Sen)、 t 検定 → Wilcoxon 検定、 ANOVA → Kruskal-Wallis、 と各手法に対応するロバスト版があります。 SSDSE-B-2026 の都道府県人口のように右に裾を引く分布では、 平均と SD は東京に強く影響されますが、 中央値と MAD はほぼ動きません。 「分布形状の頑健性が必要な場面」 (例: 中央値の信頼区間で意思決定する場合) は最初からロバスト統計を採用すべきです。 ただし、 ロバスト統計は 効率 (検出力) が低下する傾向があり、 サンプル数を増やすか、 効果量で評価する工夫が必要です。 例えば中央値の信頼区間は、 平均の信頼区間より広くなりがちで、 「中央値間に差はない」 という結論が出やすくなります。

(4) 外れ値処理の意思決定ツリー: 実務で外れ値に遭遇したとき、 次の順で判断します。 (Step 1) 値そのものが妥当か (記録ミスか真値か) を確認。 入力ミス・センサーエラーなら修正 or 削除。 (Step 2) ドメイン専門家に相談。 東京の人口 1400 万は「想定内の極端値」 か「異常値」 か、 文脈を確認。 (Step 3) 分布の形を可視化 (ヒストグラム + 箱ひげ図 + KDE)。 右に裾を引くなら対数変換、 多峰性なら集団を分割。 (Step 4) 外れ値の影響を定量化。 with/without で平均・回帰係数の変化率を確認。 (Step 5) sensitivity analysis を報告書に併記。 (Step 6) 必要ならロバスト統計に切り替え。 これら 6 ステップを毎回踏むことで、 「外れ値削除でうっかり結論を歪める」 リスクを最小化できます。

(5) 外れ値処理の報告書テンプレート: 報告書には次を含めます。 (A) 外れ値の検出方法 (IQR×1.5、 Z-score、 MAD、 など)、 (B) 検出された件数と具体的なレコード ID、 (C) 採用した処理 (削除、 Winsorize、 対数変換、 ロバスト統計)、 (D) 処理前後の記述統計の比較、 (E) sensitivity analysis (処理ありとなしの結果)、 (F) 削除した場合、 削除理由 (記録ミス、 母集団外、 など)。 文章例: 「47 都道府県の人口データに対し IQR×1.5 ルールで外れ値検出を実施し、 東京・神奈川・大阪・愛知の 4 都府県が flag された。 これらは首都圏・大阪圏・名古屋圏の中心都市であり、 母集団から外すべき記録ミスではなく真値である。 そこで削除せず、 (1) 全 47 県、 (2) 東京 1 県除外、 (3) 上位 4 県除外、 の 3 パターンで分析を実施。 主要結論 (高齢化率 vs 出生率の負の相関) はすべてのパターンで頑健であり (Pearson r = -0.62 / -0.59 / -0.55、 全て p<0.001)、 外れ値の影響は限定的と判断した。」 — このように 判断根拠と影響範囲 を明示することで、 査読・社内レビューでの主要指摘は防げます。

最後に、 外れ値処理は「データ前処理の中で最も恣意性が入りやすい工程」 です。 機械学習モデルの精度向上が目的なら、 Isolation Forest や One-Class SVM のような教師なし異常検知でデータ駆動に処理を決められますが、 統計的推論や因果推論が目的なら、 ドメイン知識と sensitivity analysis を併用した慎重な運用が必須です。 「外れ値除外で p 値が 0.05 を切ったから採用」 のような後付け判断は、 解析の自由度問題 (researcher degrees of freedom) を引き起こし、 結果の信頼性を損ないます。 外れ値処理は「データを綺麗にする作業」 ではなく、 「データの本質を歪めずに分析する設計判断」 として位置づけることが、 質の高いデータ分析の鍵です。

関連: 箱ひげ図 / 平均 / 中央値 / 対数変換 / 標準化 / データクレンジング / 欠損値 / 回帰分析 / ANOVA / 仮説検定

▶ 補講補足 VI: 外れ値処理の社会的役割と倫理的留意

外れ値処理は、 「データを綺麗にする」 工程として技術的に語られがちですが、 社会的に大きな影響を持つ判断です。 例えば「医療データから極端な患者を除外」 「経済データから極端な企業を除外」 「教育データから極端な学生を除外」 することで、 「平均像」 が大きく変わり、 政策判断や治療方針に影響します。 この社会的影響を考えると、 外れ値処理にも倫理的留意点があります。 (1) 「外れ値削除で都合の良い結論を作る」 の禁忌: 結果を見てから外れ値を選別するのは、 解析の自由度問題を引き起こし、 社会的に重大な誤った判断につながります。 検出基準は事前に文書化し、 結果に応じて変更すべきではありません。 (2) 「マイノリティの隠蔽」: 外れ値除外は時に「マイノリティの存在を消す」 効果を持ちます。 例えば「収入分布の上位 1% を除外」 すると、 富の集中という社会問題が見えなくなります。 「東京 1400 万を除外」 すると、 首都圏の特殊性が見えなくなります。 外れ値削除が「重要な少数派」 を消していないかを常に意識すべきです。 (3) 「除外の透明性」: 何件除外したか、 どのレコードを除外したか、 なぜ除外したか、 を必ず報告書に明記すべきです。 「数件の外れ値を除外」 のような曖昧な記述は、 再現性と社会的信頼性を損ないます。 (4) 「ロバスト統計の選択責任」: ロバスト統計に切り替えると検出力が下がる可能性があり、 「効果が見えなかったのは検出力不足か、 効果がそもそもなかったのか」 を判別しにくくなります。 ロバスト統計の選択理由と影響を明示すべきです。 (5) 「sensitivity analysis の責任: 重要な判断を伴う分析では、 外れ値処理の影響を with/without で示す sensitivity analysis を必修とすべきです。 「除外後の結果だけ報告」 は社会的に責任ある運用とは言えません。 これらの倫理的留意を意識することで、 外れ値処理を「データの本質を尊重しつつ統計的判断の精度を保つ社会的に責任ある作業」 として運用できます。 外れ値処理は単なる技術ではなく、 「データの中の少数派をどう扱うか」 という社会的判断の一部であることを、 常に意識すべきです。

▶ 補講補足 V: 教材設計の視点 — 外れ値処理を教えるベストプラクティス

外れ値処理を学生・新人データサイエンティストに教える際の効果的アプローチを整理します。 (1) 「外れ値 = 削除対象」 を最初から避ける: 入門教材で「IQR を超えたら削除」 と教えると、 「データを綺麗にすればモデルが良くなる」 という誤った前提が定着します。 「真値か記録ミスかを区別する」 ことを最初から強調し、 削除以外の選択肢 (Winsorize、 対数変換、 ロバスト統計、 サブグループ分析) を並列に提示するべきです。 (2) 「分布の形を描かせる」: SSDSE-B-2026 の都道府県人口で、 まずヒストグラムと箱ひげ図を描かせて「右に裾を引いている」 ことを発見させ、 その後「Z-score (正規前提) と IQR (ノンパラ) のどちらが適切か?」 を考えさせると、 手法選択の本質が伝わります。 (3) 「東京を残すか除外するか」 の判断演習: SSDSE-B-2026 の人口データから「東京 1400 万を残すか除外するか」 を判断させる演習は、 「ドメイン知識 × 統計判断」 のバランスを学ぶ最良の素材です。 「首都だから真値」 「分析目的が日本全体ならば残す」 「地方都市の典型像が欲しいなら除外」 等の判断軸を提示します。 (4) 「sensitivity analysis を必修化」: 外れ値の影響を with/without で必ず報告する習慣を、 演習から徹底させます。 「除外後の結果だけ報告」 を NG にし、 「両方の結果を併記」 を OK パターンとして模範解答に組み込むべきです。 (5) 「ロバスト統計への切替判断」 を体験させる: 平均 vs 中央値、 ピアソン相関 vs スピアマン順位相関、 OLS vs Huber 回帰、 を実データで比較させると、 「ロバスト統計は外れ値耐性と検出力のトレードオフ」 という現代的視点が伝わります。 これらの教育設計を意識することで、 外れ値処理を「機械的なデータクリーニング」 から「データの本質を尊重する設計判断」 へと進化させることができます。

▶ 補講補足 III: 実務での落とし穴と対処の追加事例

SSDSE-B-2026 の都道府県データで外れ値処理を実行する際の追加の典型的落とし穴を整理します。 (1) 「外れ値検出基準を結果を見てから変える」 (cherry-picking): IQR×1.5 で 4 県検出、 結果が気に入らないので IQR×2.0 に変えて 2 県検出にする、 等の事後変更は解析の信頼性を大きく損ないます。 検出基準は 事前に 文書化し、 「IQR×1.5」 「Z-score 3」 等の閾値は研究設計の段階で決めるべきです。 (2) 「ロバスト統計に切り替えればすべて解決」 の過信: ロバスト統計は外れ値耐性がありますが、 「効率 (検出力)」 が低下します。 中央値の信頼区間は平均の信頼区間より広く、 「差が検出されない」 結果が出やすくなります。 ロバスト統計はデータの分布形状に応じて使い分けるべきで、 「全部ロバスト」 は最適解とは限りません。 (3) 「外れ値検出と原因究明の混同」: IQR ルールで「東京・神奈川・大阪が外れ値」 と検出しても、 これは「統計的に裾の点」 であって、 「データエラー」 とは限りません。 真値か記録ミスかの判断には、 ドメイン知識・データソース・記録時の状況等の調査が必要です。 (4) 「Winsorize で記録ミスを隠す」 の罠: Winsorize (端点の値で置換) は記録ミスや真値の極端値の両方を「無難な値」 に変えるため、 記録ミスを隠蔽してしまう副作用があります。 記録ミスは特定して削除、 真値の極端値は対数変換やロバスト統計、 という区別が必要です。 (5) 「外れ値除外で R² が大幅に向上 → 採用」 の自己欺瞞: 外れ値除外で R² が 0.6 → 0.95 に上がると、 つい「除外採用」 となりがちですが、 これは「サンプル数を減らして見かけの当てはまりを良くする」 という錯覚です。 テストデータでの R² も同様に向上するかを必ず確認、 さらに with/without の両結果を報告書に記載すべきです。

これらの落とし穴を避けるための「外れ値処理ベストプラクティス・チェックリスト 10 項目」: (1) 検出基準を事前に文書化、 (2) 検出された外れ値の数とレコード ID を記録、 (3) 値の妥当性を確認 (記録ミス / 真値の判別)、 (4) ドメイン専門家に相談、 (5) 分布の形を可視化 (ヒストグラム + 箱ひげ + KDE)、 (6) 影響量を定量化 (with/without の比較)、 (7) 採用処理 (削除 / Winsorize / 対数変換 / ロバスト統計) を明示、 (8) sensitivity analysis を必ず報告、 (9) 元データを保存 (削除しない)、 (10) 業務影響への翻訳。 これら 10 項目を毎回確認することで、 外れ値処理の運用品質は大きく向上し、 査読・社内レビューでの主要指摘は事前に防げます。 外れ値処理は「データを綺麗にする作業」 ではなく、 「データの本質を尊重しつつ統計的判断の精度を保つ設計判断」 として位置づけるのが、 現代的データ分析の標準的アプローチです。

▶ 補講補足 IV: 外れ値処理の歴史と現代的展開

外れ値処理の歴史は古く、 1893 年に Pearson が「異常値 (異常値)」 の概念を提唱し、 1900 年代初頭には Chauvenet の基準 (1863 年) や Peirce の基準 (1852 年) など、 確率論に基づく外れ値検出基準が議論されていました。 1959 年に John Tukey が箱ひげ図 (boxplot) と IQR ルールを提案し、 これが現代の外れ値検出の標準となりました。 IQR ルール (Q1-1.5IQR / Q3+1.5IQR) は、 正規分布前提なし・ノンパラメトリックという点で当時画期的で、 「分布形状に依存せず安定して外れ値を検出する」 道具として広く採用されました。 1977 年の Tukey の著書『Exploratory Data Analysis』 で箱ひげ図とともに普及し、 現代の統計教育では中学生でも学ぶ標準ツールになっています。

ロバスト統計の理論は 1964 年に Peter J. Huber が論文 "Robust Estimation of a Location Parameter" で確立し、 「外れ値があっても結果が大きく崩れない推定量」 という概念を数学的に定式化しました。 Huber 損失 (絶対誤差と二乗誤差のハイブリッド) は、 線形回帰のロバスト版として今でも標準的に使われています。 1986 年には Hampel らが『Robust Statistics: The Approach Based on Influence Functions』 で「影響関数 (influence function)」 という概念を提唱し、 「個々のデータ点がパラメータ推定にどれだけ影響するか」 を定量化する枠組みを完成させました。 SSDSE-B-2026 で「東京を加えるとピアソン相関係数が 0.4 → 0.6 に変わる」 のような現象は、 影響関数で「東京の影響値は標準偏差 3 倍」 のように数値化できます。

機械学習の文脈では、 2008 年に Liu らが Isolation Forest (Liu, Ting, Zhou) を提案し、 これが教師なし異常検知のデファクトスタンダードになりました。 Isolation Forest は「異常点は孤立しやすい」 という発想で、 ランダム分割木で各データ点の「孤立深度」 を測定します。 sklearn の IsolationForest で contamination パラメータを調整すれば、 SSDSE-B-2026 のような中規模データでも簡単に運用できます。 さらに、 2019 年以降は深層学習ベースの異常検知 (Autoencoder 再構成誤差、 GAN ベースの AnoGAN、 Normalizing Flow ベースの実装) が発展し、 画像・テキスト・時系列の異常検知でも活用されています。

時系列データの外れ値処理は、 「単発外れ値 (additive outlier)」 「水準シフト (level shift)」 「変動増加 (variance change)」 という 3 タイプを区別する必要があり、 ARIMA モデルの残差分析や、 STL 分解 (Seasonal-Trend decomposition using Loess) で外れ値を検出します。 SSDSE-B-2026 を 5 年間の経時データに拡張する場合 (SSDSE-2022, 2023, ..., 2026)、 時系列外れ値検出 (例: COVID-19 の影響で 2020-2021 の人口移動が異常値として検出される) などの応用が考えられます。 statsmodels の seasonal_decompose、 prophet、 darts などのライブラリで実装可能です。

多変量外れ値検出では、 マハラノビス距離が古典的手法ですが、 サンプル平均と共分散行列自体が外れ値の影響を受けるため、 ロバスト版の MCD (Minimum Covariance Determinant) や MVE (Minimum Volume Ellipsoid) が現代では標準です。 sklearn.covariance.MinCovDet で MCD を実装できます。 また、 Mahalanobis 距離の χ² 閾値 (例: χ²(d, 0.975)) は「正規多変量分布前提」 のため、 SSDSE-B-2026 のような実データでは緩めに設定するか、 ブートストラップで経験的閾値を求めるのが安全です。

統計教育における外れ値処理の扱い方として、 入門コースでは「箱ひげ図 → IQR ルール → 削除」 という単純なフローを教えがちですが、 これは 「外れ値 = 削除対象」 という誤解 を生む可能性があります。 教育的に望ましいフローは、 (1) 可視化で発見、 (2) ドメイン専門家に相談、 (3) 真値か記録ミスかを判断、 (4) 処理方法を選択 (削除 / Winsorize / 対数変換 / ロバスト統計)、 (5) sensitivity analysis で結論の頑健性を確認、 という 5 ステップで、 「削除」 はあくまで最終手段の一つにすぎないことを強調すべきです。 また、 外れ値処理は前処理の中で最も恣意性が入りやすい工程なので、 「処理前後の比較」 「処理を変えたときの結果の変化」 を必ず示す習慣を身につけさせるべきです。

最後に、 外れ値処理は「データを綺麗にする作業」 ではなく、 「データの本質を理解するための探索的作業」 として位置づけるべきです。 外れ値は「異常な点」 ではなく、 多くの場合「データの裾を構成する重要な情報点」 であり、 削除すると分布の本質的特徴 (右に裾を引く、 多峰性、 等) を失います。 SSDSE-B-2026 の都道府県人口における東京・大阪のような「裾の点」 は、 日本の都市構造を反映した重要なシグナルであり、 安易に削除すべきではありません。 代わりに、 対数変換でスケールを揃える、 ロバスト統計に切り替える、 サブグループ別に分析する、 with/without で sensitivity analysis を行う、 等の手法を使い分けることで、 データの本質を保ちながら統計的判断の精度を保てます。 外れ値処理は技術的な決断ではなく、 「データを尊重する設計思想」 として運用すべきです。

🧾 発表前の最終確認

外れ値処理では、 削除、丸め、変換、ロバスト手法のどれを選んだかと理由を残します。 東京都のような実在する極端値は入力ミスではないため、 除外前後の結論を比較して感度分析として示します。

🧭 対処法の選び方 ── 深掘り解説（検出ではなく「どう扱うか」に焦点）

このページの前半は「どれが外れ値か」の検出を厚めに扱っています（多変量検出などは 外れ値・異常検知 に詳しい）。 本節は視点を切り替え、 検出された外れ値を実務でどう処理するか――削除・変換・キャップ（Winsorize）・頑健手法――の判断に集中して深掘りします。

🎨 直感 ── 「消す」は最終手段、まず原因を調べる

🧮 実測 ── 東京都（総人口）に各処理法を当てた効果比較

同じ 1 個の極値（東京都 14,086,000 人）に対し、 処理法だけを変えると統計量がどう動くかを SSDSE-B-2026（2023 年・47 都道府県・A1101 総人口）で実測しました。 全て cp932／skiprows=[1] で読み込んだ実データの計算値です。

読み方：「同じデータ・同じ外れ値でも、 処理法を変えるだけで平均が 146〜265 万人まで動く」のが実測で確認できます。 標準 SD 279.8 万に対しロバスト SD（1.4826×MAD）は 92.4 万で、 約 1/3。 平均 264.6 万と中央値 155 万の乖離も、 東京を含む大都市が平均を引き上げているためです。 どの処理を採るかは技術ではなく分析目的の問題で、 結論が処理法で動くなら「あり／なし」を併記する感度分析が必須です。

⚠️ 落とし穴 ── 処理そのものが生む歪み（重要）

🚀 発展 ── 削除以外の武器を体系で持つ

関連ページ：外れ値・異常検知（検出側）／ロバスト統計／対数変換／標準化（Z-score）／箱ひげ図／データクレンジング／中央値／平均／欠損値／回帰分析／分位点回帰。

🗺 概念マップ

外れ値処理を中心に、 検出側 (IQR 法・Z スコア・マハラノビス距離・Isolation Forest)、 処理戦略 (除外・winsorize・対数変換・ロバスト統計・トリム平均)、 評価軸 (前後の感度分析・分析結論の頑健性)、 関連概念 (外れ値・異常検知・ロバスト回帰) を配置した SVG マップ。

本セクションでは 外れ値処理の 判断フロー (検出 → 原因分析 → 対応選択)・センシティビティ分析・報告の透明性を補足する。 外れ値除去の有無は結論を変えうるため、 削除した・残した の両方の結果を示す sensitivity reporting が現代統計の標準になりつつある。

🔗 隣接手法への橋渡し

「外れ値処理」は単独で完結せず、 前後の手法と組み合わさって価値が発揮される。 入力データの準備 (上流)・同目的の代替手法との比較 (並列)・結果の活用 (下流) という 3 軸で隣接領域を整理する。

• 上流 (入力の準備): 箱ひげ図・ヒストグラム での可視化、 IQR・Z スコア・マハラノビス距離 による検出
• 並列 (同目的の代替): Winsorization、 トリム平均、 対数変換、 ロバスト統計 の活用が選択肢
• 下流 (結果の活用): ロバスト回帰・中央値 ベースの代替指標、 処理前後の 感度分析 で影響評価

この上流・並列・下流の対応を地図化することで、 「外れ値処理」を中核に据えた分析パイプライン (データ準備 → 手法選択 → 結果の検証と展開) の全体像が見えてくる。

🌳 手法選択フロー

「外れ値処理」を扱う際の手法選択は、 状況に応じて以下のフローで判断すると迷いが減る。

1. Step 1: 目的は記述か予測か?
   • 記述 (現状把握・要約) → 集計・可視化・要約統計量で全体像を掴む
   • 予測 (未知データへの推定) → モデル構築・検証フェーズへ移行
2. Step 2: データの種類・規模は?
   • 数値データ・小〜中規模 → 「外れ値処理」やその拡張手法を直接適用
   • カテゴリデータ → カテゴリ専用の手法 (欠損値処理) と組み合わせ
   • 大規模・高次元 → 計算効率を考慮した派生手法 (Isolation Forest・LOF) を選択
3. Step 3: 結果の解釈・共有は?
   • 専門家向け → 数値指標・統計検定で精緻に評価
   • 非専門家向け → 可視化・自然言語での要約を重視

このフローに沿って判断することで、 「外れ値処理」を中核とした適切な手法選択ができる。