🔖 キーワード索引（拡張版）

このページに登場する主要キーワード。 クリックで該当セクションへ。

🎨 直感で掴む

クレンジング処理の 詳細編 では、 欠損補完・型統一・重複削除・表記揺れ・外れ値・スキーマ整合といった 6 工程を、 SSDSE-B-2026 の都道府県 × 年度パネルを題材に 1 つずつ実装可能なレベルまで分解する。 「とりあえず dropna()」のような粗い対処ではなく、 「なぜその列が欠損するのか」「補完で意味が壊れないか」を判断する基準を整える。

以下では、 6 工程 (欠損補完 → 型統一 → 重複削除 → 表記揺れ統一 → 外れ値処理 → スキーマ整合) を SSDSE-B-2026 都道府県 × 年度パネルで 1 つずつ pandas コードに落とし、 「MCAR/MAR/MNAR の判定に基づく補完手法選択」「IQR×1.5 と Tukey の違い」「正規表現での表記揺れ統一」など、 単なる dropna() を超えた判断基準を整えます。

🎨 直感で掴む — 比喩と具体例

データクレンジング（詳細）を、 統計を学んだばかりの人に説明するときの比喩を 3 つ用意した。

もう一歩深い直感

SSDSE-B-2026 の 47 都道府県を例にとる。 同じ「汚れ」でも、 種類ごとに適切な処置が異なる：

同じ 47 県 × 113 列 の表でも、 汚れの種類を診断してから処置を選ぶかどうかで、 後段の分析の信頼性がまるで変わる。 これがクレンジングを「詳細に」学ぶ理由である。

📐 定義

データクレンジング（詳細）：生データに含まれる欠損値・外れ値・重複・表記ゆれ・型不整合を系統的に検出し、 欠損値処理・外れ値処理・重複除去・表記ゆれ統一・型変換・名寄せの 6 工程によって解析可能な状態へ整える一連の作業。

英語名 Data Cleansing（Data Cleaning とも）。 本ページは データクレンジング（概要） の詳細編である。

🎯 いつ・どこで使うか

• 欠損補完・外れ値処理・型変換・表記揺れの正規化・重複排除など、 分析やモデル投入の前段に必ず入る工程として登場します。
• 📚 データエンジニアリング パイプラインの中で、 ETL の T (Transform) や ELT の T を担う中核作業です。
• クレンジング規則をコード化し版管理することで、 後続の分析結果の再現性 (Reproducibility) を担保できます。

📋 前提条件・適用範囲

クレンジングを設計するときは、 次の前提を先に確認してください：

• スキーマの把握：各列の意味・単位・型・値域（付録 A の列リファレンス参照）を先に文書化する
• 欠損メカニズム：MCAR / MAR / MNAR のどれかで補完・削除の妥当性が変わる（欠損メカニズム）
• 外れ値の由来：入力ミスか真の極端値かをドメイン知識で判定してから処置を選ぶ
• キーの定義：重複判定に使う主キー（SSDSE-B なら県 × 年度）を明示する
• 元データの保全：生データは上書きせず、 処理済みデータを別ファイルで版管理する

📐 数式または定義

クレンジングの各工程は、 次の 3 つの基本量で数式として書き下せる。 データ行列を $$X = (x_{ij})$$（$$i$$ 行 = 観測、 $$j$$ 列 = 変数、 $$N$$ 行）とする。

(1) 列 $$j$$ の欠損率：

$$r_j = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}\{x_{ij} \text{ が欠損}\}$$

(2) IQR 法（Tukey のフェンス）による外れ値判定：四分位点 $$Q_1, Q_3$$、 $$\mathrm{IQR} = Q_3 - Q_1$$ として

$$x_{ij} \notin [\,Q_1 - 1.5\,\mathrm{IQR},\; Q_3 + 1.5\,\mathrm{IQR}\,] \;\Rightarrow\; \text{外れ値候補}$$

(3) Z-score 法による外れ値判定：列平均 $$\bar{x}_j$$、 標準偏差 $$s_j$$ として

$$z_{ij} = \frac{x_{ij} - \bar{x}_j}{s_j}, \qquad |z_{ij}| > 3 \;\Rightarrow\; \text{外れ値候補}$$

本記事の SSDSE-B-2026（2023 年度断面、 $$N=47$$）では、 全列で $$r_j = 0$$（欠損なし）、 A1101 総人口の IQR 上方フェンス超えは 9 県、 東京都の Z-score は約 $$+4.1$$ となる（実測値は後述の Python 実装参照）。

📐 数式の深掘り — 欠損メカニズムの 3 分類

「削除してよい欠損」と「補完すべき欠損」の区別は、 欠損指示行列 $$M = (m_{ij})$$（欠損なら 1）の確率構造で定義される（Rubin, 1976）。 データを観測部分 $$X_{obs}$$ と欠損部分 $$X_{mis}$$ に分けると：

MCAR (Missing Completely At Random)

$$P(M \mid X_{obs}, X_{mis}) = P(M)$$

欠損が完全にランダム。 リストワイズ削除しても推定に偏りは生じない（サンプル数は減る）。

MAR (Missing At Random)

$$P(M \mid X_{obs}, X_{mis}) = P(M \mid X_{obs})$$

欠損確率が観測済みの値にのみ依存。 単純削除は偏るが、 観測値を使う多重代入（MICE / IterativeImputer）で妥当に補完できる。

MNAR (Missing Not At Random)

$$P(M \mid X_{obs}, X_{mis}) \ne P(M \mid X_{obs})$$

欠損確率が欠損値そのものに依存（例：値が大きいほど無回答）。 通常の補完では偏りが残り、 選択モデル等の明示的なモデリングが必要になる。

重複と名寄せの定式化

重複除去は「主キー $$k(i)$$（SSDSE-B なら県 × 年度）が等しい行の集合から代表 1 行を残す」操作。 名寄せ（レコードリンケージ）はその緩和版で、 文字列類似度 $$\mathrm{sim}(a, b)$$（編集距離・Jaro-Winkler など）が閾値 $$\tau$$ を超えるペアを同一エンティティ候補とみなす：

$$\mathrm{sim}(a, b) \ge \tau \;\Rightarrow\; a, b \text{ を同一候補として照合レビュー}$$

閾値 $$\tau$$ を上げると取りこぼし（同一なのに別扱い）が増え、 下げると誤結合（別なのに同一扱い）が増える。 この精度と再現率のトレードオフが Fellegi–Sunter (1969) 以来の名寄せ理論の中心である。

📜 歴史・系譜（データクレンジング）

🔬 数式を言葉で読み解く（4 段ナレーション）

🎬 ナレーション 1：欠損率 $$r_j$$ — 「どの列がどれだけ欠けているか」

$$r_j = \frac{1}{N}\sum_i \mathbb{1}\{x_{ij}\text{ が欠損}\}$$ は「列 $$j$$ の欠損セルの割合」。 指示関数 $$\mathbb{1}\{\cdot\}$$ は欠損なら 1、 そうでなければ 0 を返すので、 その平均がそのまま欠損率になる。 クレンジングの最初の仕事は、 全列の $$r_j$$ を一覧にする「欠損マップ」作り。 SSDSE-B-2026 は公的統計として整備済みなので全列 $$r_j = 0$$ だが、 業務データでは列ごとに 0〜数十 % とばらつくのが普通で、 $$r_j$$ の大きさと欠損メカニズム（MCAR/MAR/MNAR）の組合せで削除・補完を選ぶ。

🎬 ナレーション 2：IQR フェンス — 「箱ひげ図のヒゲの外」

$$[\,Q_1 - 1.5\,\mathrm{IQR},\ Q_3 + 1.5\,\mathrm{IQR}\,]$$ は Tukey が箱ひげ図とともに定義した「普通の値の範囲」。 四分位点を使うため外れ値そのものに影響されにくいのが長所。 SSDSE-B-2026 の A1101 総人口（2023 年度）では、 上方フェンスを超えるのは東京都・神奈川県・大阪府・愛知県・埼玉県・千葉県・兵庫県・福岡県・北海道の 9 県。 これらは誤入力ではなく「大都市圏」という実体なので、 削除ではなく対数変換で吸収するのが正解となる。

🎬 ナレーション 3：Z-score $$z_{ij}$$ — 「平均から標準偏差いくつ分か」

$$z_{ij} = (x_{ij} - \bar{x}_j)/s_j$$ は値を「平均 0・標準偏差 1」の物差しに載せ替えた量。 $$|z| > 3$$（3σ ルール）を外れ値候補とするのが慣例だが、 平均 $$\bar{x}_j$$ と標準偏差 $$s_j$$ 自体が外れ値に引きずられる弱点がある。 実測では東京都の総人口の Z-score は約 $$+4.1$$。 「正規分布なら数万分の 1 の珍しさ」だが、 人口分布はそもそも正規ではないため、 Z-score は機械的な削除基準ではなく診断の目安として使う。

🎬 ナレーション 4：$$P(M \mid X)$$ — 「欠損の出方は何に依存するか」

欠損指示行列 $$M$$ の条件付き確率 $$P(M \mid X_{obs}, X_{mis})$$ を読むと、 3 分類の違いが一目で分かる。 右辺に何も残らなければ MCAR（完全ランダム）、 観測値 $$X_{obs}$$ だけ残れば MAR、 欠損値 $$X_{mis}$$ が残れば MNAR。 実務では「アンケートの高収入層ほど収入欄が空欄」のような MNAR が珍しくなく、 このときは fillna(平均) のような単純補完では偏りが取れない。 数式のどこに $$X_{mis}$$ が残るかが、 補完手法選択の分水嶺である。

🧮 実値で計算してみる（SSDSE-B-2026 47 都道府県）

data/raw/SSDSE-B-2026.csv を 年度 2023 の 47 行に絞り、 関係する指標を取り出して手計算ベースの確認をする。

STEP 1: データを眺める（年度 2023 の抜粋）

STEP 2: 基本統計

STEP 3: 主要指標間の相関（クレンジング前の整合性チェック）

STEP 4: クレンジング設計で決めるべき 5 項目（チェックリスト）

1. ✅ 対象列 = A1101 総人口, A4103 合計特殊出生率, B4101 年平均気温 など（付録 A の列リファレンスで単位・値域を確認）
2. ✅ 主キー = 県 × 年度（重複判定の基準）
3. ✅ 欠損の処置 = 欠損率と MCAR/MAR/MNAR の診断結果で削除／補完を選択
4. ✅ 外れ値の処置 = 東京都など「正しい外れ値」は削除せず対数変換・クリッピングで吸収
5. ✅ 検収指標 = 欠損率, 重複行数, 型整合性, 値域（スキーマ検査）

🧮 数式に値を入れて手で計算する: 重複除去後の件数

例題として 10,000 件の会員名簿を想定し、 完全重複・部分重複の除去後の有効件数を手計算する（SSDSE-B-2026 は重複ゼロなので、 ここだけ架空の件数を使った練習問題である）。

Step 1: クリーニング工程別残存件数

Step 2: クレンジング率

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
removed = np.array([500, 200, 300, 1000])
total = 10000
remain = total - removed.sum()
print(f"除外合計: {removed.sum()}")
print(f"最終有効: {remain}")
print(f"有効率: {remain/total:.2f}")

📤 実行結果

💬 手計算 (Step 2) 8000 件 / 0.80 と Python 出力が完全一致。

🐍 Python での扱い

SSDSE-B-2026 のような公的統計データを Python で扱う際の基本パターン：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
import numpy as np

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df.shape)
print(df.dtypes)
print(df.describe())

# 「クレンジング処理」の文脈で扱う場合の例：
# 分野: データ前処理
# 関連手法は同カテゴリの他用語を参照してください。

具体的なコードは データエンジニアリング を参照してください。

📝 レポートでの報告

分析結果を報告するときに含めるべき情報：

• 使ったデータ：出典・期間・サンプル数
• 適用条件の確認：前提が満たされているか
• 計算結果：数値だけでなく不確実性（CI・SE）も
• 解釈：何を意味するか、 何を意味しないか
• 限界：適用範囲外への拡張は避ける

✅ チェックリスト

• □ 「クレンジング処理」を使う場面か再確認したか
• □ データの尺度・分布・サンプル数を確認したか
• □ 前提条件を満たしているか
• □ 計算した値だけでなく不確実性も把握したか
• □ 解釈と限界を区別したか
• □ 関連グループ教材で全体像を確認したか

🔗 同カテゴリの他用語

🐍 Python 実装（データクレンジング詳細編、 SSDSE-B-2026）

実装 1: 最小再現コード

🎯 このコードでやること：SSDSE-B-2026 の 47 都道府県データに対して欠損・型・重複の 3 点診断を行い、 欠損率・重複行数・型整合性を確認する。

📥 入力データ（SSDSE-B-2026.csv 抜粋、 47 都道府県 × 113 列）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

# 1. 欠損確認
print("欠損数 (列ごと 上位5):")
print(df.isnull().sum().sort_values(ascending=False).head())

# 2. 型確認
print("\n型情報:")
print(df.dtypes.value_counts())

# 3. 重複行
print(f"\n重複行: {df.duplicated().sum()}")

# 4. 数値列の基本統計（2023 年度断面）
print("\n総人口の基本統計:")
print(df[df['SSDSE-B-2026']==2023]['A1101'].describe())

📤 実行結果：

💬 結果の読み方：SSDSE-B-2026 はクレンジング済みデータなので欠損 0・重複 0。 しかし総人口は最小 約54万人(鳥取) ～ 最大 約1409万人(東京) と巨大な裾を持つ。 そのまま線形回帰に投入すると東京が外れ値として効きすぎる → 対数変換 or 標準化が必須。

実装 2: 比較・拡張

🎯 このコードでやること：実装 1 の診断を踏まえ、 IQR 法による外れ値検出と、 対数変換による「削除しない外れ値処理」を実装する。

📥 入力データ：実装 1 と同じ SSDSE-B-2026（年度 2023）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df_2023 = df[df['SSDSE-B-2026']==2023].copy()

# 外れ値検出: IQR 法で総人口の外れ値県を表示
q1, q3 = df_2023['A1101'].quantile([0.25, 0.75])
iqr = q3 - q1
upper = q3 + 1.5 * iqr
outliers = df_2023[df_2023['A1101'] > upper][['Prefecture','A1101']].sort_values('A1101', ascending=False)
print("総人口 上方外れ値県:")
print(outliers.to_string(index=False))

# 対数変換でクレンジング
df_2023['log_pop'] = np.log10(df_2023['A1101'])
print(f"\n対数変換後 std: {df_2023['log_pop'].std():.3f}")
print(f"対数変換前 cv : {df_2023['A1101'].std()/df_2023['A1101'].mean():.3f}")

📤 実行結果：

💬 結果の読み方：IQR 法で 9 県が上方外れ値と判定された。 これらは『大都市圏』という意味のある集団なので削除ではなく対数変換で対処する。 対数変換後（log10）の標準偏差は 0.35 に縮み（変換前の変動係数 1.06 と比べて桁スケールが圧縮され）、 モデルが安定する。

🐍 Python 実装 第 3 弾（多段階クレンジング・パイプライン）

🎯 このコードでやること：重複除去 → 型変換 → 外れ値クリッピング → 標準化の 4 段階を順番に適用し、 各段階のログを残す。

📥 入力データ：SSDSE-B-2026（2012〜2023 の全年度を含む）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# 多段階クレンジング: 重複・型・外れ値・正規化を順に
import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df_2023 = df[df['SSDSE-B-2026']==2023].copy()

# Step A: 重複行削除
before = len(df_2023)
df_2023 = df_2023.drop_duplicates()
print(f"Step A: 重複除去 {before} -> {len(df_2023)} 行")

# Step B: 型確認・修正
df_2023['A1101'] = pd.to_numeric(df_2023['A1101'], errors='coerce')
df_2023['B4101'] = pd.to_numeric(df_2023['B4101'], errors='coerce')
print(f"Step B: 数値変換後 型 = {df_2023['A1101'].dtype}, {df_2023['B4101'].dtype}")

# Step C: 外れ値クリッピング (Winsorize 1-99%)
lo, hi = df_2023['A1101'].quantile([0.01, 0.99])
df_2023['A1101_w'] = df_2023['A1101'].clip(lo, hi)
print(f"Step C: クリッピング後 max = {df_2023['A1101_w'].max():.0f} (元 {df_2023['A1101'].max():.0f})")

# Step D: Z-score 標準化
df_2023['A1101_z'] = (df_2023['A1101_w'] - df_2023['A1101_w'].mean()) / df_2023['A1101_w'].std()
print(f"Step D: 標準化後 mean = {df_2023['A1101_z'].mean():.6f}, std = {df_2023['A1101_z'].std():.4f}")
print(f"\n東京の Z-score: {df_2023[df_2023['Prefecture']=='東京都']['A1101_z'].values[0]:.3f}")

📤 実行結果：

💬 結果の読み方：4 段階クレンジング後、 東京の Z-score は 3.54 で『約 3.5σ 外れ値』（クリッピング前の生 Z-score は約 4.1）。 クリッピングを 1-99% で穏やかに行ったため、 東京の値は約 14.1M → 11.9M に圧縮されたが、 依然として外れ。 さらなる処理が必要なら対数変換 or 別モデル化を検討。

🚑 トラブルシューティング

🚀 次に学ぶべき関連用語

本ページを読み終えたら、 以下の関連用語ページに進んでさらに理解を深めよう：

前半 6 つはクレンジングの各工程を深掘りする用語、 後半 2 つはクレンジングのゴール（整然データ）と下流工程（特徴量設計）である。

🏭 産業界活用 詳細（4 業界深掘り）

1) 公共政策・統計行政（クレンジングの主戦場）

SSDSE-B-2026 のような都道府県別社会指標を政策評価に使う場合、 分析前に「年度間で定義や単位が変わっていないか」「『-』などの記号が欠損として正しく読み込まれているか」を検査するのがクレンジングの仕事。 公的統計は整備度が高い一方、 複数年度・複数統計の結合時に単位・コード体系の不一致が混入しやすい。 本記事の Python 実装 1-5 の診断手順はそのまま流用可能。

2) EC・小売（顧客・商品マスタ）

顧客名簿の名寄せ（同一人物が「山田太郎」「ヤマダ タロウ」で二重登録）、 商品マスタの表記ゆれ（「500ml」「500ML」「５００ｍｌ」）が典型課題。 重複除去を誤ると会員数・販売数が水増しされ、 需要予測やレコメンドの学習データが汚染される。 全角半角の NFKC 正規化と置換マスタの整備が鍵。

3) 医療・公衆衛生

電子カルテ・レセプトデータは欠損が MNAR になりやすい代表例（重症患者ほど検査値が多く、 健康な人ほど記録が少ない）。 「欠損 = 測定なし」と「0 = 陰性」の区別、 施設ごとの単位（mg/dL と mmol/L）の統一が、 疾患リスク分析の信頼性を左右する。 SSDSE-B-2026 の I510120 一般病院数のような集計統計と突合する際も、 集計基準日のずれに注意。

4) 観光・宿泊分析（右裾の長い指標）

SSDSE-B-2026 の G7101 延べ宿泊者数は右裾が極端に長い列の典型で、 2023 年実測では約 170 万人泊（最小県）〜 約 8,027 万人泊（東京都）と、 上位観光地に極端に集中する。 クレンジング設計では「対数変換で吸収するか」「外れ値（東京）を別扱いするか」「年度パネルとして扱うか」を必ず決める。 同様に地価・売上のような右裾の長い実務データでも、 対数変換と外れ値の扱いの判断が品質を左右する。

📘 ステップバイステップ・チュートリアル

STEP 1: 環境準備

1
2
3
4
5
6
7
8
9

# 必要なパッケージをインストール
# pip install pandas numpy scikit-learn matplotlib seaborn

# データを読み込む
import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(f"形状: {df.shape}")
print(f"年度: {df['SSDSE-B-2026'].unique()}")

STEP 2: 探索的データ分析 (EDA)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

df_2023 = df[df['SSDSE-B-2026']==2023]
print(df_2023.describe()[['A1101','A4103','B4101']])

# 出生率上位・下位 5 県
top5 = df_2023.nlargest(5, 'A4103')[['Prefecture','A4103']]
bot5 = df_2023.nsmallest(5, 'A4103')[['Prefecture','A4103']]
print("\n出生率 高い 5 県:")
print(top5.to_string(index=False))
print("\n出生率 低い 5 県:")
print(bot5.to_string(index=False))

STEP 3: 相関ヒートマップ

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import seaborn as sns
import matplotlib.pyplot as plt

cols = ['A1101','A4103','B4101','A1303','A9101','I510120']
corr = df_2023[cols].corr()
plt.figure(figsize=(8,6))
sns.heatmap(corr, annot=True, fmt='.2f', cmap='RdBu_r', center=0)
plt.title('SSDSE-B-2026 相関ヒートマップ')
plt.tight_layout()
plt.savefig('correlation_heatmap.png', dpi=120)

STEP 4: クレンジング済みデータをモデルへ（Pipeline でリーク防止）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.model_selection import cross_val_score

X = df_2023[['A1101','A1303','A9101','B4101','B4106']]
y = df_2023['A4103']

pipe = Pipeline([
    ('sc', StandardScaler()),
    ('reg', Ridge(alpha=1.0))
])

scores = cross_val_score(pipe, X, y, cv=5, scoring='r2')
print(f"5-fold CV R^2: {scores.mean():.3f} +/- {scores.std():.3f}")

STEP 5: クレンジング前後の検証・可視化・記録

処理前後のヒストグラム・箱ひげ図・散布図を比較し、 「行数・列数がどう変わったか」「主要な相関関係が保存されているか」をログとして残す。 クレンジングが成功したかは『欠損が消えた』ことではなく、 『分析目的に必要な情報が壊れていない』ことで判断する。

🐍 Python 実装 第 4 弾（文字列クレンジング）

🎯 このコードでやること：文字列列（都道府県名）の表記ゆれ・文字数・接尾辞を点検し、 名寄せの前段となる診断を行う。

📥 入力データ：SSDSE-B-2026.csv（年度 2023, 47 都道府県）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 文字列クレンジング: 都道府県名の表記揺れチェック
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df_2023 = df[df['SSDSE-B-2026']==2023].copy()

# 表記ゆれの検出ヒューリスティック
print(f"県名ユニーク数: {df_2023['Prefecture'].nunique()}")
print(f"全レコード数: {len(df_2023)}")

# 末尾「県」「都」「府」「道」の集計
def suffix(s):
    for ch in ['県','都','府','道']:
        if s.endswith(ch):
            return ch
    return 'その他'

df_2023['suf'] = df_2023['Prefecture'].apply(suffix)
print("\n末尾分類:")
print(df_2023['suf'].value_counts())

# 文字数チェック
df_2023['len'] = df_2023['Prefecture'].str.len()
print(f"\n県名の文字数: min={df_2023['len'].min()}, max={df_2023['len'].max()}")
print(f"最長県: {df_2023[df_2023['len']==df_2023['len'].max()]['Prefecture'].values}")

📤 実行結果：

💬 結果の読み方：47 都道府県 = 1 都・1 道・2 府・43 県。 文字数は 3〜4 で、 4 文字は『和歌山県』『神奈川県』『鹿児島県』。 SSDSE-B-2026 は表記ゆれゼロのクリーンデータだが、 自治体名・町村名を扱う場合は『市』『町』『郡』も混在し、 さらに同名町村（例: 府中市が東京と広島）が頻出。

🐍 Python 実装 第 5 弾（スケール変換 4 種の比較）

🎯 このコードでやること：スケール変換 4 種（Standard / MinMax / Robust / Yeo-Johnson）を比較し、 外れ値（東京都）の効き方が手法でどう変わるかを実測する。

📥 入力データ：SSDSE-B-2026.csv（年度 2023）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# 数値列のスケール変換 4 種を比較
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler, PowerTransformer

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df_2023 = df[df['SSDSE-B-2026']==2023].copy()
x = df_2023[['A1101']].values

scalers = {
    'Standard': StandardScaler(),
    'MinMax': MinMaxScaler(),
    'Robust': RobustScaler(),
    'YeoJohnson': PowerTransformer(method='yeo-johnson'),
}
for name, sc in scalers.items():
    z = sc.fit_transform(x).ravel()
    tk_idx = list(df_2023['Prefecture']).index('東京都')
    print(f"{name:12s}: 東京={z[tk_idx]:+.2f}, min={z.min():+.2f}, max={z.max():+.2f}, std={z.std():.2f}")

📤 実行結果：

💬 結果の読み方：東京の値は Standard で +4.13、 RobustScaler では +7.82（中央値・IQR ベース）、 YeoJohnson で +1.94（パワー変換）。 外れ値の効きは RobustScaler が最大、 YeoJohnson が最小。 クレンジング設計では『その後のモデルが何を仮定するか』で選ぶ。

📝 演習問題（解説付き、 5 問）

問 A：ある列の欠損率が 3% と 40% のとき、 それぞれどう対処すべきか？

問 B：出生率（A4103）を log 変換すべきか？

問 C：「東京」「東京都」「Tokyo」が混在する県名列をどう統一する？

問 D：重複行の判定キーはどう決める？ SSDSE-B-2026 の場合は？

問 E：外れ値への対処は「削除」だけではない。 3 通り挙げよ。

⚠️ よくある落とし穴

🙅 よくある誤解 3 つ

🌐 関連手法・派生

🔗 関連用語 — 前提・並列・発展

前提となる用語 (クレンジング前に押さえる)

並列に位置する用語 (前処理パイプラインの近接工程)

発展先の用語 (クレンジング後に進む)

📝 最終ノート — データクレンジング（詳細）の重要性

本ページで データクレンジング（Data Cleansing） の詳細を展開した。 内容を 3 行でまとめれば：

1. クレンジングは分析プロジェクトの上流工程であり、 工数の 60-80% を占めつつ結果の信頼性を決める。
2. 欠損・外れ値・重複・表記ゆれ・型は「まず診断、 次に処置」— 一括 dropna のような機械的処理は禁物。
3. 本ページの 5 段階 Python 実装 + クレンジング・レシピ集 + FAQ 20 問を反復することで、 実務で使えるクレンジング・スキルが身につく。

次は 欠損値、 外れ値、 整然データ (Tidy Data) のページに進もう。 本ページで扱った欠損率・IQR・Z-score が、 これらの概念とどう絡むかが見えてくる。

🖼 クレンジング処理の前後を可視化で検証する

クレンジング処理は 「前」「中」「後」 の 3 段階で必ず可視化チェックします。 ここでは SSDSE-B-2026 の都道府県データを念頭に、 各段階での確認図と読み取りポイントをまとめます。

クレンジングは 「処理を施せば良くなる」 という単純な操作ではなく、 処理ごとに情報の取捨選択が発生する 慎重な工程です。 図 1 → 2 → 3 の順に毎回確認することで、 過剰除去や欠損誤処理を防げます。

✅ 理解度チェック

1. クレンジング前後で同じヒストグラムを比べる目的は何か？ （ヒント: 想定外の歪み・型崩れの検知）
2. IQR ベースの外れ値検知が、 SSDSE-B-2026 の都道府県データで問題を起こしやすい理由は？
3. 欠損値を平均値で埋めるとき、 失われる情報の種類は何か？
4. カテゴリ変数の表記揺れ （「東京」「東京都」「東京都」） を統一する一般的手段は？
5. クレンジング後にもとの分析目的と照らして 「過剰処理」 を検知する図はどれか？

→ すべて即答できれば、 クレンジング工程の意思決定を独力で行える段階。 不安な項目は本ページの前半セクションを再読してください。

📝 補足: クレンジング処理の実務 3 パターン

クレンジングは状況に応じて使い分けます。 ここでは 探索的分析 (EDA)、 本番モデル学習、 ダッシュボード配信 の 3 シーンで頻出する実務パターンを SSDSE-B-2026 を念頭に整理します。

パターン A: 探索的分析 (EDA)

EDA 段階のクレンジングは 「最小限」 が原則です。 SSDSE-B-2026 の都道府県データなら、 数値型を確認 (df.dtypes)、 欠損集計 (df.isna().sum())、 重複行検出 (df.duplicated().sum()) の 3 点で終わらせ、 外れ値除外や欠損補完はまだ行いません。 早すぎる除外は 「本来見るべき外れ値」 を見逃させるからです。 東京都は人口・経済の多くの指標で外れ値ですが、 これを最初から除外すると都市・地方ギャップの議論ができなくなります。

パターン B: 本番モデル学習

機械学習モデル用のクレンジングは 「再現性」 が最重要です。 sklearn.pipeline.Pipeline や ColumnTransformer を使い、 「欠損補完 → 標準化 → ワンホットエンコード」 を 1 つのオブジェクトにまとめ、 訓練データで fit、 テストデータで transform のみを行う構造にします。 これを怠ると、 テストデータの統計量が学習にリークし、 評価が過大になります。 SSDSE-B-2026 で 47 都道府県を訓練 8 割・テスト 2 割に分けるシナリオでも、 この原則は変わりません。

パターン C: ダッシュボード配信

経営層・分析者向けのダッシュボード配信では、 「集計時に意味が変わらない」 処理が選ばれます。 欠損は中央値補完、 外れ値はキャップ (上下 1% を 99 パーセンタイル値で置換) など、 統計値が大きくブレない手法を採用します。 過剰な除外をすると 「表示される総人口が公式統計と乖離する」 という事故が起こり、 信頼を失います。 SSDSE-B-2026 のような公的データを配信する場合は、 必ず元データのソースを明示し、 行った処理を透明化 してください。

これら 3 パターンを 「目的によって違うクレンジングが必要」 という観点で理解しておくと、 同じ SSDSE-B-2026 データから何種類ものクリーンな派生データセットを作れるようになります。 1 つのデータセットを 「これがクリーン」 と固定する発想は危険で、 用途ごとに処理パイプラインを分ける運用が現代的なベストプラクティスです。 とくに学習用とダッシュボード用は 必ず別パイプライン で管理してください。

最後に、 クレンジングは 「自分で実装する」 と 「ライブラリに任せる」 の使い分け が重要です。 SSDSE-B-2026 程度の規模 (47 行) では pandas で十分ですが、 数百万行を超える場合は pyjanitor、 cleanlab、 great-expectations といった専用ツールを併用すべきです。 とくに great-expectations はデータ品質を YAML で宣言的に契約でき、 CI/CD に組み込むことで「データの劣化」を検知できます。 大規模化したら必ずチェックしてください。

追加 Tips: クレンジングと欠損のメカニズム

欠損には大きく 3 種類あります。 (a) MCAR (Missing Completely At Random): 完全にランダムに欠ける。 削除しても偏りは生じない。 (b) MAR (Missing At Random): 他の観測値に依存して欠ける。 例えば年齢が高い人ほど特定項目を答えない傾向など。 (c) MNAR (Missing Not At Random): 欠損自体が値に依存する。 例えば収入が高い人ほど収入を答えない。 この区別を意識せずに欠損を一律平均値補完すると、 (b)(c) の場合に推定が深刻に歪みます。 SSDSE-B-2026 のような公的統計では欠損は少ないですが、 業務データではこの 3 区分の見極めが分析の出発点です。

MCAR なら削除や単純補完で OK ですが、 MAR は 多重代入法 (sklearn.experimental.IterativeImputer や R の mice パッケージ) を、 MNAR は 選択モデル (Heckman の二段階推定など) を検討します。 「欠損は単に埋めるもの」 という素朴な発想を超えて、 「欠損のメカニズム自体が情報」 という視点を持つと、 クレンジングが単なる前処理から分析の本質的な一部に変わります。

追加 Tips: クレンジングの自動化と再現性

クレンジング処理を Jupyter のセルに散在させると、 数か月後に同じ処理を再実行できなくなります。 必ず 関数化 し、 入力と出力のスキーマを docstring に明記し、 unit test を書く運用にしてください。 pytest で 「欠損数が処理前後でどう変わったか」 「特定の数値が想定範囲内か」 を自動チェックすれば、 データ品質の劣化を CI で検知できます。

またクレンジング処理の 順序 は結果に大きく影響します。 例えば 「重複削除 → 欠損補完」 と 「欠損補完 → 重複削除」 では、 補完によって新たに重複が生まれる場合の処理結果が変わります。 SSDSE-B-2026 では問題になりにくいですが、 ID 列のないログデータなどでは順序を文書化し、 リファクタリング時に順序を変えないように注意してください。 さらに 「クレンジング処理の各ステップで何行・何列が変わったか」 を log として残すと、 後で問題が起きたときに原因特定が劇的に早まります。

クレンジングのチェックリスト (実務版)

• 型を確認したか (df.dtypes)
• 欠損集計を行ったか (df.isna().sum())
• 重複行を確認したか (df.duplicated().sum())
• 外れ値の有無を箱ひげ図で確認したか
• カテゴリ変数の表記揺れを確認したか (df['col'].value_counts())
• クレンジング前後で行数・列数の変化を log したか
• パイプラインを関数化したか
• テストデータへのリーク防止策を取ったか
• クレンジングの順序を文書化したか
• 公式統計との乖離をチェックしたか

このチェックリストを SSDSE-B-2026 で 1 度通せば、 ほぼすべての公的データに対して同じ手順で品質保証が行えるようになります。 大規模データでも基本は同じで、 処理対象の規模に応じてツールを置き換えるだけです。 クレンジングは「データ分析の地味だが最も時間がかかる工程」 と言われますが、 ここを丁寧にやることが分析全体の信頼性を決めます。

追加 Tips: クレンジングと文化・組織

クレンジングは技術だけの問題ではなく、 組織文化の問題でもあります。 「データはきれいで当然」 という前提で動く組織では、 クレンジングに割かれる時間が見えず、 分析の納期が常に遅延します。 逆に 「データは汚いのが普通」 という前提を共有する組織では、 クレンジングを正当な作業時間として認め、 品質改善への投資が継続されます。 SSDSE-B のような公的データは比較的きれいですが、 業務システムから取り出した生データは想像以上に汚いものです。 この事実を経営層に納得してもらうところからクレンジングの仕事は始まります。

また、 クレンジングを行うときの最重要原則は 「元データを上書きしない」 です。 元 CSV はそのまま保持し、 クレンジング済みデータは別ファイル (例: data/processed/ssdse_clean_v01.parquet) として保存し、 バージョン番号で管理します。 これを怠ると 「3 か月前の分析を再現できない」 という致命的な事故が起こります。 git LFS や DVC (Data Version Control) を導入し、 データ自体もバージョン管理する文化を作ると、 クレンジング処理の透明性と再現性が大幅に向上します。 大規模化したら必ず検討してください。

最後に、 クレンジングの結果は 「分析仮説に対する答え」 ではなく、 「分析の前提条件」 であることを忘れないでください。 クレンジングで失われた情報は永久に戻りません。 そのため、 元データのバックアップと、 クレンジング理由のドキュメント化が、 分析全体の信頼性を支える土台になります。 SSDSE-B-2026 で身につけたクレンジング感覚は、 そのまま実務の大規模データでも通用するものです。

クレンジングを学ぶ次のステップ

本ページでクレンジングの基礎・実務パターン・組織文化までを押さえました。 次に学ぶべきは 外れ値処理 (定量的な検知と除外基準)、 欠損値 (MCAR/MAR/MNAR の理論)、 標準化 (スケーリングと前処理の自動化) です。 これらを順に押さえると、 クレンジングを 「データを綺麗にする」 段階から 「分析に最適な状態に整える」 段階まで深められます。

並行して、 DataFrame・データクレンジング (概要)・欠損メカニズム・Tidy data の各用語ページを巡回すると、 「データの理想形」 と 「現実の汚いデータ」 のギャップを埋める一連のスキルが体系化できます。 とくに Tidy data の概念は、 「クレンジングのゴール状態」 を端的に定義しており、 押さえる価値があります。 SSDSE-B-2026 のような既に Tidy なデータからスタートすると、 Tidy 化の重要性が逆に分かりにくいことがあるので、 意識して理解を深めてください。

クレンジングは単発の技能ではなく、 「データを扱う限り一生使い続ける基盤スキル」 です。 統計学・機械学習・可視化のあらゆる分野は、 クレンジング済みデータの存在を前提としており、 ここが甘いと後段すべてが揺らぎます。 逆に言うと、 クレンジングを丁寧にこなせる人は、 どの分析プロジェクトでも信頼を獲得できます。 SSDSE-B-2026 という公的データで一度しっかりやり切る経験は、 その後のキャリア全体を支える資産になります。 ぜひ本ページの内容を実データで手を動かし、 自分なりのクレンジングプロトコルを 1 つ作り上げてください。 そのプロトコルが、 あなたの分析の品質保証書になります。

最後に補足として、 クレンジング処理を行う際の 「やりすぎ」 の感覚 を持つことの重要性を強調します。 外れ値を全部除き、 欠損を全部埋め、 表記揺れを完全に統一すると、 一見綺麗なデータになりますが、 そこから得られる分析結果はしばしば「過剰に滑らかな現実離れした結論」 になりがちです。 たとえば SSDSE-B-2026 で東京都の総人口(A1101)と婚姻件数(A9101)を外れ値として除外すると、 「人口と婚姻件数には強い相関がない」 (実測では両者の相関 r=0.989) という現実と矛盾する結論が出てきます。 これは外れ値の機械的除外が招く典型的な落とし穴です。 クレンジングは 「データの不要なノイズを除く」 ことが目的であり、 「データの本質を曲げる」 ことではない、 という原則を常に意識してください。 この感覚は経験でしか身につかず、 SSDSE-B-2026 のような小規模で実例の多いデータで何度も練習することが、 最速の習得経路です。

クレンジング処理を独立した工程としてだけでなく、 「分析仮説と一体で考える」 段階に達すると、 分析者として一段上のレベルになります。 「この仮説を検証するためにはどこまでのクレンジングが必要か」 「逆にどのクレンジングは仮説検証を妨げるか」 を事前に設計できるようになると、 同じデータでも引き出せる知見の質が大きく変わります。 SSDSE-B-2026 で何度も練習し、 ぜひこの段階を目指してください。 学習のロードマップとしては、 まず本ページの 「やってみよう」 ブロックを順に手を動かして実行し、 次に外れ値処理・欠損値の各ページに進むのが理想です。 そして最終的には Tidy data の概念に立ち戻り、 「自分のクレンジング処理は Tidy 化を達成しているか」 を毎回確認する習慣をつけてください。 この往復が、 データ分析者としての成長を加速させる最良の練習になり、 実務での品質保証スキルにもそのまま直結します。

📚 関連グループ教材

• 📚 機械学習の基礎 — このカテゴリの俯瞰
• 📚 データクレンジング基礎 — 入門概念へ戻る
• 📚 欠損値処理グループ — MCAR/MAR/MNAR と補完法
• 📚 外れ値処理グループ — IQR / Z-score / Isolation Forest
• 📚 整然データグループ — クレンジング後の標準形
• 📚 評価指標 — クレンジング効果の測定

• pandas Working with missing data（https://pandas.pydata.org/docs/user_guide/missing_data.html）— NaN 検出・補完・除外の公式ガイド
• scikit-learn Imputation of missing values（https://scikit-learn.org/stable/modules/impute.html）— SimpleImputer / IterativeImputer / KNNImputer
• OpenRefine 公式（https://openrefine.org/）— GUI ベースのデータクレンジング標準ツール
• SSDSE-B-2026 教育用標準データセット（https://www.nstac.go.jp/use/literacy/ssdse/）— クレンジング実演用の標準データ
• Wickham (2014) Tidy Data Paper（https://vita.had.co.nz/papers/tidy-data.pdf）— クレンジング目標形の正本論文

🏭 産業界での活用事例（6 件）

⚖️ 関連手法 比較表

💥 失敗例ケーススタディ

ケース 1: 外れ値を機械的に全削除して結論が反転

あるチームが SSDSE-B-2026 の分析で、 IQR フェンスを超えた行をすべて自動削除した。 A1101 総人口では東京都・神奈川県・大阪府など大都市 9 県が消え、 「人口と経済指標にはほとんど関係がない」という現実と矛盾する結論に。 外れ値検出はあくまで候補列挙であり、 誤入力か真の極端値かの判定を挟むべきだった。

ケース 2: 欠損を 0 で埋めて全国平均が過小に

公的統計の「-」（該当なし・秘匿）を数値 0 として読み込んだまま集計し、 全国平均が実態より大きく下振れした。 「欠損（測定なし）」と「0（本当にゼロ）」は意味が違う。 na_values=['-'] で欠損として読み込み、 欠損フラグ列で処理を追跡するルールが要る。

ケース 3: 生データを上書きして再現不能に

Jupyter 上で生 CSV に直接クレンジングを重ね、 そのまま上書き保存。 数か月後に「どの行をなぜ削除したか」を問われて再現できず、 分析全体が差し戻しになった。 生データは読み取り専用とし、 処理済みデータは data/processed/ に別名・版番号付きで保存、 処理は関数化してログを残すのが鉄則。

📝 演習問題（5 問）

問 1（基礎）

データクレンジングの「6 大工程」を順番に挙げよ。

問 2（診断）

SSDSE-B-2026 を読み込んだ直後に必ず確認すべき 3 点は？ pandas のメソッド名とともに答えよ。

問 3（欠損と 0 の区別）

「観光入込客数が NaN の県」を 0 で埋めてはいけない理由を説明せよ。

問 4（順序依存）

「重複削除 → 欠損補完」と「欠損補完 → 重複削除」で結果が変わり得るのはなぜか？

問 5（設計）

「同じデータでも用途によってクレンジングは変わる」— EDA・本番モデル学習・ダッシュボード配信の 3 用途での方針の違いを述べよ。

📖 関連用語辞典（10 語）

📚 参考文献

1. Little, R. J. A., Rubin, D. B. (2019). Statistical Analysis with Missing Data (3rd ed.). Wiley. — 欠損データ解析の標準書。
2. Dasu, T., Johnson, T. (2003). Exploratory Data Mining and Data Cleaning. Wiley. — データクリーニングの体系的教科書。
3. Ilyas, I. F., Chu, X. (2019). Data Cleaning. ACM Books. — 重複検出・整合性制約の計算機科学的整理。
4. Wickham, H. (2014). Tidy Data. Journal of Statistical Software, 59(10). — クレンジングのゴール形（整然データ）。
5. SSDSE（教育用標準データセット）. 独立行政法人統計センター. data/raw/SSDSE-B-2026.csv. — 本記事の全計算で使用。
6. pandas ユーザーガイド Working with missing data: pandas.pydata.org/docs/user_guide/missing_data.html
7. 『Pythonによるデータ分析入門』Wes McKinney 著、 オライリー・ジャパン. — 第 7 章「データのクリーニングと前処理」。

📕 拡張ハンドブック（実務 10 ステップ）

1. スキーマ表の作成：列名・意味・単位・型・値域・キーを 1 枚に文書化（付録 A が雛形）。
2. 生データの保全：元 CSV は読み取り専用にし、 処理済みは data/processed/ に版番号付きで保存。
3. 読み込み検査：encoding（SSDSE 系は cp932）・skiprows・na_values を確認し、 行数・列数を assert。
4. 欠損診断：列ごとの欠損率を集計し、 MCAR/MAR/MNAR を仮判定して削除・補完を決定。
5. 型変換：object 化した数値列を to_numeric、 日付を to_datetime、 カテゴリを category に。
6. 重複検査：完全重複と主キー重複（県 × 年度）を分けて検出・解消。
7. 表記ゆれ統一：value_counts() で点検 → NFKC 正規化 → 置換マスタ適用 → ユニーク数を検査。
8. 外れ値処置：IQR / Z-score で候補列挙 → 誤入力か実体かを判定 → 変換・クリッピング・保持を選択。
9. 前後比較の検証：ヒストグラム・箱ひげ・散布図と主要統計量で「情報が壊れていないか」を確認。
10. パイプライン化・記録：処理を関数化して unit test とログを付け、 CI で品質劣化を検知。

🍳 50 連発レシピ（データクレンジング × SSDSE-B-2026）

クレンジングの定番操作を 50 通り並べる。 すべて pandas / scikit-learn で SSDSE-B-2026 に適用できる。

1. read_csv(encoding='cp932', skiprows=[1]) で正しく読み込む
2. na_values=['-'] で記号を欠損として読む
3. df.shape を想定行数（564）と assert で照合
4. df.dtypes で object 化した数値列を洗い出す
5. df.isna().sum() で欠損マップを作る
6. df.isna().mean() で列ごとの欠損率を出す
7. 欠損フラグ列（df['x'].isna().astype(int)）を追加
8. dropna(subset=...) でキー欠損行だけ削除
9. fillna(median) の中央値補完（応急処置と明記）
10. 群別補完（県別・地方別の中央値で埋める）
11. interpolate() で年度方向の線形補間
12. ffill / bfill でパネルの前方・後方補完
13. KNNImputer で近傍県から補完
14. IterativeImputer（MICE 相当）で多変量補完
15. pd.to_numeric(errors='coerce') で型を数値へ
16. pd.to_datetime で日付文字列をパース
17. astype('category') でカテゴリ型に変換
18. カンマ・単位付き数値文字列を正規表現で除去
19. 全角数字 → 半角（NFKC 正規化）
20. str.strip() で前後空白を除去
21. str.upper() / lower() で大文字小文字統一
22. 置換マスタ（辞書）で表記ゆれを正式名へ写像
23. 変換後のユニーク数（47）を assert で検査
24. duplicated().sum() で完全重複を検出
25. duplicated(subset=['SSDSE-B-2026','Code']) でキー重複を検出
26. drop_duplicates(keep='last') で更新差分を残す
27. merge(validate='one_to_one') で結合の多重化を防ぐ
28. 県コード（R01000 等）で他統計と名寄せ
29. 編集距離・Jaro-Winkler で曖昧照合の候補を出す
30. IQR × 1.5 フェンスで外れ値候補を列挙
31. Z-score |z| > 3 で外れ値候補を列挙
32. Isolation Forest で多変量の異常行を検出
33. 外れ値候補をドメイン知識で「誤入力／実体」に仕分け
34. clip(lo, hi) で 1-99% winsorize
35. np.log10 で右裾の長い列を対数変換
36. PowerTransformer（Yeo-Johnson）で歪度を縮小
37. StandardScaler / RobustScaler を列特性で使い分け
38. 値域検査（assert (df['A4103'].between(0, 3)).all()）
39. 参照整合性検査（県コードがマスタに存在するか）
40. 単位の統一（千円 ↔ 百万円）を換算列で明示
41. 年度ソートの統一（sort_values(['Code','SSDSE-B-2026'])）
42. reset_index(drop=True) でインデックスを整える
43. melt / pivot で整然データ（Tidy）形式へ変形
44. 処理前後の行数・列数・統計量をログ出力
45. クレンジング処理を関数化して docstring に仕様を書く
46. pytest で「欠損 0・重複 0・値域内」を自動テスト
47. Great Expectations で品質規則を宣言的に記述
48. 処理済みデータを data/processed/*_v01.parquet で版管理
49. DVC / git で生データとコードの対応を追跡
50. クレンジング判断（削除理由・閾値）を README に記録

❓ FAQ（20 問）

📚 参考論文（10 件）

1. Rubin, D. B. (1976). Inference and missing data. Biometrika, 63(3), 581-592. — MCAR/MAR/MNAR の原典。
2. Fellegi, I. P., Sunter, A. B. (1969). A theory for record linkage. JASA, 64(328), 1183-1210. — 名寄せの古典。
3. Rahm, E., Do, H. H. (2000). Data cleaning: Problems and current approaches. IEEE Data Engineering Bulletin, 23(4), 3-13.
4. Kim, W. et al. (2003). A taxonomy of dirty data. Data Mining and Knowledge Discovery, 7(1), 81-99.
5. Wickham, H. (2014). Tidy data. Journal of Statistical Software, 59(10), 1-23.
6. van Buuren, S., Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of Statistical Software, 45(3), 1-67.
7. Chandola, V., Banerjee, A., Kumar, V. (2009). Anomaly detection: A survey. ACM Computing Surveys, 41(3), 1-58.
8. Hellerstein, J. M. (2008). Quantitative data cleaning for large databases. UNECE report.
9. Chu, X., Ilyas, I. F., Krishnan, S., Wang, J. (2016). Data cleaning: Overview and emerging challenges. SIGMOD.
10. Gebru, T. et al. (2018). Datasheets for datasets. arXiv:1803.09010. — データ品質・出所のドキュメント化。

🏁 まとめ — 本ページで身についたこと

本ページを通読・実装した読者は、 以下の 15 のスキルを獲得した：

1. クレンジング 6 大工程を順序立てて説明できる
2. SSDSE-B-2026 を cp932 / skiprows=[1] で正しくロードできる
3. 欠損率・重複行数・型整合性の 3 点診断ができる
4. 5 段階の Python 実装を写経・改造できる
5. MCAR / MAR / MNAR を区別して補完を選べる
6. IQR と Z-score の外れ値検出を使い分けられる
7. 「正しい外れ値」を削除せず変換で吸収できる
8. winsorize・対数変換・RobustScaler を列特性で選べる
9. 県 × 年度キーで重複・結合の検査ができる
10. 表記ゆれを NFKC 正規化 + 置換マスタで統一できる
11. 欠損と 0 を区別してデータを読み込める
12. クレンジング前後を可視化で検証できる
13. 処理を関数化し行数・統計量のログを残せる
14. 生データ非破壊・版管理の運用ができる
15. 用途別（EDA／モデル／ダッシュボード）に方針を変えられる

次のステップは 欠損値、 外れ値、 整然データ の各ページに進み、 個々のテクニックを深掘りすること。

📎 付録 A — SSDSE-B-2026 主要列リファレンス

📎 付録 B — 47 都道府県コード一覧

📒 クイック・リファレンスカード（印刷推奨）

🗺 概念マップ（データクレンジングの位置づけ）

データクレンジングはデータ分析プロジェクトのデータ準備段階にある「整形工程」。 以下の階層関係で位置づけられる：

🌐 データエンジニアリング
  └── 🧹 データクレンジング（詳細）  ← 本ページ
        ├── 🕳 欠損値処理 (削除 / 補完 / モデル予測補完)
        ├── 📏 型変換・スキーマ整合 (str ↔ int, datetime, category)
        ├── 🔁 重複行・キー重複の検出 (drop_duplicates / 主キー検査)
        ├── 🏷 表記揺れ・名寄せ (大文字小文字 / 全角半角 / 同義語マスタ)
        ├── 📉 外れ値・異常値の検出 (IQR / Z-score / Isolation Forest)
        └── 🔍 スキーマ・整合性チェック (型・範囲・参照整合)
                │
                ▼
        ✨ 特徴量エンジニアリング
                │
                ▼
        🤖 モデル学習・評価
                │
                ▼
        🚀 デプロイ・運用

📌 1 枚まとめ（持ち帰り用）

🧭 用語間ナビゲーション

関連する用語ページを「学習の流れ」で並べた。 上から順に読むと理解が深まる：

1. データ収集 — 上流工程・データソースの確保
2. データエンジニアリング — 親カテゴリ・パイプライン全体
3. データクレンジング — 概念編 (本ページは詳細編)
4. データクレンジング（詳細） — このページ
5. 欠損値 — 6 工程の 1 つ目
6. 外れ値 — 6 工程の 5 つ目
7. データバイアス — クレンジングで気付くべき歪み
8. データガバナンス — 完成度を測る評価軸
9. 特徴量エンジニアリング — クレンジング後の下流工程
10. CRISP-DM — クレンジングを位置づける業界標準フレーム

📕 用語別ディープダイブ（データクレンジング）

クレンジング工程の標準化（CRISP-DM / TDSP）

業界標準のクレンジング工程は CRISP-DM や Microsoft TDSP で 6 段階に標準化されている：(1) 業務理解、 (2) データ理解、 (3) データ準備、 (4) モデリング、 (5) 評価、 (6) 展開。 データクレンジングは主に (3) に該当し、 全体の 60-80% の工数を占めると言われる。

クレンジング失敗のコスト

🍳 さらに 20 連発（クレンジング細分化キーワード 51〜70）

51. 重複削除
52. 欠損補完
53. 中央値補完
54. 平均値補完
55. MICE
56. IQR外れ値
57. Z-score外れ値
58. Isolation Forest
59. RobustScaler
60. StandardScaler
61. MinMaxScaler
62. PowerTransformer
63. log変換
64. sqrt変換
65. BoxCox
66. YeoJohnson
67. 名寄せ
68. 正規表現
69. 日付パース
70. 型変換

🎁 持ち帰り 10 項目

1. クレンジングは分析工数の 60-80% を占め、 結果の信頼性を決める上流工程
2. 順序は「診断（型・欠損・重複・表記・外れ値）→ 処置 → 検査」— いきなり処置しない
3. 欠損は MCAR/MAR/MNAR を診断してから削除・補完を選ぶ
4. 「欠損（測定なし）」と「0（本当にゼロ）」を混同しない
5. 外れ値 = 誤りとは限らない（東京都の総人口は正しい外れ値）
6. 削除は最終手段 — 対数変換・winsorize・頑健統計で「吸収」を先に検討
7. 重複判定は主キー（SSDSE-B なら県 × 年度）を明示してから
8. 表記ゆれは NFKC 正規化 + 置換マスタ + ユニーク数検査で再現可能に
9. 生データは上書きせず、 処理済みを別ファイルで版管理
10. 処理前後の行数・統計量・分布をログと可視化で必ず検証

🔗 隣接手法への橋渡し

クレンジング詳細は収集と特徴量設計の境界を埋める実装層。

• 上流: データ収集 — 未整備データを受け取って処理する
• 並列: データクレンジング — 簡略版・概念版との対比
• 下流: 特徴量エンジニアリング — 整備済データから特徴量を作る

型確認 → 欠損処理 → 重複削除 → 外れ値検出 → 派生変数生成 → 再検証の流れで、 各段の処理を再現可能にすることが要点。

🌳 手法選択フロー

クレンジング詳細は欠損 → 外れ値 → 文字列正規化 → 結合の順で処理する。

1. 型と欠損は処理したか？ Yes → 次へ。 No → データ型・尺度 と 欠損値 を先に確認
2. 重複と外れ値は？ Yes → 次へ。 No → 主キー（県 × 年度）の重複検査と 外れ値 の診断を先に行う
3. 文字列正規化と単位統一は？ Yes → 整然データ (Tidy Data) へ進む。 No → 正規表現 と 名寄せ で表記・単位を統一する

少量欠損なら平均補完、 構造欠損なら多重代入、 外れ値が誤入力なら除去、 真の極端値なら頑健統計、 と「欠損/外れ値の性質」で選ぶ。