🔖 キーワード索引

「データクレンジング (data cleansing)」は欠損値・外れ値・重複・表記揺れ・型不整合・桁ズレなど "データ品質の欠陥" を体系的に検出・修正する工程。 分析パイプラインの土台であり、 GIGO (Garbage In, Garbage Out) を回避する最初の防衛線。 本ページでは欠損補完・外れ値判定 (IQR/Z-score)・重複削除・正規化・dtype 修正の標準手順を SSDSE-B-2026 で順に追う。

これらのキーワードは「品質欠陥の検出 → 修正方針の決定 → スキーマ検証で再発防止」というデータクレンジングの標準フローを構成する。

🎨 直感で掴む

データクレンジングは「分析する前に、 欠損・重複・表記揺れ・型のズレ・外れ値を整える掃除作業」。 SSDSE-B-2026 のような公式統計でも、 列名末尾の空白や「-」のまま残った欠損が混じり、 そのまま集計するとピボット結果がずれる。 プロジェクト工数の 60-80% を占めると Forbes / Anaconda の調査が繰り返し報告する地味だが決定的な工程である。

以下では、 SSDSE-B-2026 の都道府県データに混じる末尾空白の列名・「-」のままの欠損・全角/半角の表記揺れを実際に検出するコードから始め、 strip()・replace()・astype()・drop_duplicates() を用いた修復手順、 そして「Excel で開いて壊した CSV を Python で再現性なく修復してしまう」「対症療法的に fillna(0) して分析を歪める」といった現場の落とし穴まで順に辿ります。

データクレンジングは 「散らかった部屋を片付けて作業机を確保する」 作業に喩えるとよい。 SSDSE-B-2026 を素のまま読み込むと、 列名末尾に空白、 欠損が空文字列、 同じ「東京都」が「東京」「Tokyo」に揺れているなど、 そのままでは集計関数が誤った答えを返す状態が混じる。 これらを整える 6 つの典型操作は 欠損補完・型変換・重複削除・表記統一・外れ値処理・スキーマ整合 の 6 操作で、 通常はこの順序でパイプライン化する。

クレンジングは「分析の前段」と位置付けられがちだが、 実プロジェクトでは全工数の 60-80% を占めることが Forbes・Anaconda の調査で繰り返し報告されている。 SSDSE は公式が整備済みのため比較的綺麗だが、 それでも年度間で列名が変わったり (R02_population → P_population)、 一部都道府県で値が「-」のまま放置されている等、 細かな整形は避けられない。

クレンジング処理は 「元に戻せること」 が鉄則: 元 CSV は data/raw/ に置いたままにし、 処理後を data/processed/ に書き出す。 これにより「外れ値除去のせいで沖縄の値が消えていた」のような事故を後から検証できる。 Python では pandas の chain 形式 df.dropna().assign(...).rename(...) でステップを可視化、 大規模では Great Expectations や Pandera で 品質ゲート を CI に組み込む。

📐 定義

不整合・誤りなどを修正してデータを整える処理

英語名 Data Cleansing。 同義・関連語：クレンジング, データ前処理。

🎯 いつ・どこで使うか

• 欠損補完・外れ値除去・表記揺れ正規化・重複排除など、 分析・モデル投入前の必須工程として登場します。 アンケート集計や IoT センサーログのような「現実から取得したばかりのデータ」では作業時間の 60-80% を占めるのが典型です。
• 📚 データエンジニアリング パイプラインの中で、 ETL の T (Transform) を担う中核作業です。
• 正規化規則をコード化・版管理することで、 分析結果の再現性 (Reproducibility) を確保できます。

📋 前提条件・適用範囲

この用語を理解・使用するときは、 次のような前提を意識してください：

• データの性質：尺度（名義/順序/間隔/比例）と分布を確認
• サンプル数：手法によって最低限のサンプル数が異なります
• 独立性：観測が独立であるかを確認（時系列・パネル等では別の手法が必要）
• 欠損・外れ値：前処理の方針を明確に

📐 数式または定義（厳密版）

データクレンジングは生データ $D_\text{raw}$ を「分析可能な状態」 $D_\text{clean}$ に変換する一連の操作。

$T_i$ は個別の変換: 型変換 ($T_\text{cast}$)、 欠損補完 ($T_\text{impute}$)、 外れ値除去 ($T_\text{outlier}$)、 重複削除 ($T_\text{dedup}$)、 単位正規化 ($T_\text{unit}$) など。

クレンジング後は assert で「期待される性質」(行数・型・主キー一意性・値域) を保証する。

🔬 数式を言葉で読み解く

🔬 深掘り: クレンジングの設計原理 7 段

クレンジングは「とりあえず NaN を落とす」 だけの作業ではない。 本節では、 実務で何度も悩む 7 つの判断ポイントを、 SSDSE-B-2026 を題材に整理する。 ここを押さえれば、 自分のチームのクレンジング規約をゼロから書ける。

① 「行を削るか・列を削るか」 を最初に決める

欠損が「特定の数列に集中」 しているなら列削除、 「特定の数行に集中」 しているなら行削除が原則。 SSDSE-B-2026 自体は悉皆調査で欠損ゼロだが、 一般に欠損が数列に集中している場合は、 まず「その列を使うかどうか」 を業務要件と照らして判断する。 行と列を同時に削るのは情報を失いすぎるためアンチパターン。

② 「補完するか・しないか」 は分散歪みのコストで決める

平均代入は分散を縮め、 標準誤差を過小評価する。 多重代入 (MICE) は分散を保つが計算コスト・解釈コストが高い。 「探索的分析の段階」 では補完せず欠損のまま、 「モデル投入の直前」 で初めて MICE か KNN 補完を行うのが現代的。 SSDSE-B-2026 では欠損が無いため、 補完を行う必然性は低い。

③ 「外れ値 = 異常」 ではない

出生数 (A4101) や人口 (A1101) で IQR の上限を超えるのは、 東京・大阪・愛知など「大都市の構造的特性」。 これを「異常」 として削除すると、 SSDSE-B-2026 が捉えるべき重要な現象 (人口や出生の大都市集中) を捨ててしまう。 外れ値処理は必ず「ドメイン知識による判定」 を組み合わせる。

④ クレンジングは「順番」 が結果を左右する

正しい順序は「① 重複削除 → ② 型変換 → ③ 欠損処理 → ④ 外れ値処理」。 例えば欠損を平均で埋めた後に外れ値判定をすると、 平均が引き寄せられて判定基準が歪む。 SSDSE-B-2026 のような公的統計でも、 後段の派生指標を作るときにこの順序を間違えると結論が変わる。

⑤ クレンジングログは「列名 + 削除理由 + 件数」 を残す

「何件削った」 だけでは再現できない。 「列 A1101 で IQR 3 倍を超えた 3 行を確認のうえ保持、 列 X で NaN だった 12 行を削除」 のように、 列・理由・件数を必ず記録する。 SSDSE-B-2026 のような公的データでも、 自分のチームのフィルタ条件は完全に文書化する。

⑥ クレンジング後の検証は「分布の前後比較」 で行う

削除前後で平均・中央値・分散・最頻値が大きく動いていないかを確認する。 大きく動いた場合、 「削除が過剰だった」 か「重要な構造を捨てた」 可能性が高い。 SSDSE-B-2026 では、 クレンジング前後で「人口の中央値が 10% 以上動いたら警戒」 という運用基準が現場で使われる。

⑦ クレンジングは「コード」 として再現可能に

Excel での手動編集ではクレンジングが再現できず、 「翌年の更新時に同じ品質が保てない」 という問題を引き起こす。 必ず Python スクリプトとして残し、 引数で「データバージョン」 を切り替えられる構造にする。 SSDSE 系は毎年更新されるため、 再現可能なクレンジングが特に重要。

❓ よく聞かれる質問 (R516 追補 10 問)

本ページに対して、 講義・社内勉強会・実務支援の現場でよく頂く質問を 10 件、 SSDSE-B-2026 に即して回答する。 既存の FAQ 20 問と合わせて 30 件分の Q&A になる。

Q11. 欠損補完で平均と中央値、 どちらが安全？

右に長い分布 (人口、 所得など) では中央値の方が安全。 SSDSE-B-2026 の人口は右に長いため、 平均代入は実際より高い値で埋めることになる。 ただし「補完したことを記録する」 のは必須。

Q12. クレンジング前後で結果が変わったらどう判断？

「クレンジングが結果を変えた」 のではなく「クレンジングが結果を正した」 か「クレンジングが過剰だった」 のどちらかを判定する。 中央値・分散の変化幅を見て、 ドメイン知識と照合する。

Q13. 外れ値は削除すべき、 補正すべき、 保持すべきのどれ？

原則は保持。 削除は「明らかな入力誤り」 と判定できるときのみ。 補正 (Winsorization) は分析の都合で「分布の裾を切る」 必要があるときに限定的に使う。

Q14. SSDSE-B-2026 で重複行は本当にない？

「年度 × 都道府県」 を主キーとすれば 0 行。 ただし「コード A1101 と A1101_万人」 のような派生列が増えると、 列方向の重複が混入することがある。 値の重複ではなく列の重複も確認する。

Q15. クレンジングの所要時間の目安は？

分析プロジェクト全体の 60〜80% を占めると言われる。 SSDSE-B-2026 のような整備済みデータでも、 単位統一・派生列作成・型統一に 1〜2 日は確保するのが現実的。

Q16. ChatGPT 等の LLM にクレンジングを任せていい？

「列名と意味の対応付け」 「ルール抽出のたたき台」 までは有効。 ただし最終判定はドメイン知識を持つ人が必ず確認する。 LLM は「単位の違い」 「カテゴリの粒度」 を取り違えやすい。

Q17. クレンジングルールはチームで共有すべき？

必須。 「同じデータ × 違うクレンジング」 で報告書の数字が違うと、 後工程の信頼を一気に失う。 SSDSE-B-2026 のような公開データでも、 派生列の定義を組織内で標準化する価値は高い。

Q18. 「クレンジング」 と「前処理」 の違いは？

クレンジングは「データそのものの品質を上げる」 工程、 前処理はクレンジング後に「モデル投入に適した形に整える」 (標準化・エンコーディング・特徴量設計) 工程。 どちらか一方ではなく、 順番に通すのが正しい。

Q19. SSDSE-B-2026 で最も注意すべき列は？

家計の列 (L3221 消費支出など)。 単位は二人以上の世帯の 1 か月あたりの円で、 しかも県全体ではなく県庁所在市の値。 県の総人口と掛け合わせて「県全体の支出額」 にはできない。 列の説明書を必ず読み、 派生列に「単位サフィックス」 を付けて運用する。

Q20. クレンジングの自動化はどこまで進められる？

「欠損率の計算」 「重複検出」 「型変換」 までは完全自動化できる。 ただし「外れ値の最終判定」 「列削除の判断」 はドメイン知識が要るため、 ルールベース + 人間レビューが現実解。

🛠 実務ワークフロー詳説: SSDSE-B-2026 を一通りクレンジングする 9 ステップ

ここでは SSDSE-B-2026 のような時系列パネルデータを実務でクレンジングする際の標準ワークフローを 9 ステップに分けて解説する。 各ステップで「やること」 「使う関数」 「品質基準」 「失敗パターン」 を明示し、 自分のプロジェクトでそのまま流用できる形に整理する。 最後の検収まで通せば、 同僚や上司に渡しても恥ずかしくないクレンジング結果になる。

ステップ 1: データの一次取り込みとスキーマ確認

最初に pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8-sig') でデータを取り込み、 df.shape df.dtypes df.columns の 3 点を必ず確認する。 「行数 564、 列数 112」 という公的なスキーマと一致しないなら、 ファイル損傷や読み込みエンコーディング誤りを疑う。 BOM 付き UTF-8 で書かれているため utf-8-sig を使うのがコツ。 ここで間違えると以後の処理がすべて狂う。

ステップ 2: 主キーの定義と重複チェック

「年度 × 都道府県」 を主キーと定め、 df.duplicated(subset=['年度','都道府県']).sum() でゼロを確認する。 もし 1 件でも重複があれば、 取り込みの段階で集計ミスが入っている。 SSDSE-B-2026 は整備済みのため通常はゼロだが、 自前で派生ファイルを作った場合は再確認する。 主キーをはっきり決めずに分析を進めると、 後で 2 倍計算などの致命的ミスにつながる。

ステップ 3: 型変換と単位の標準化

数値列は pd.to_numeric(errors='coerce') で float64 に統一、 カテゴリ列 (都道府県・地域ブロック) は astype('category') でカテゴリ型にする。 単位は「人」 と「万人」 が混在しがちなので、 派生列に _人 _万人 のサフィックスを付けて両方持つのが現代的。 後段で「単位を間違えてグラフを描いた」 という事故が起きにくくなる。

ステップ 4: 欠損の可視化と対応方針決定

列ごとに df.isna().mean() を計算し、 棒グラフで降順に並べる (missingno ライブラリを使うとさらに見やすい)。 SSDSE-B-2026 は悉皆調査で欠損ゼロだが、 一般に欠損が数列に集中する場合は、 「その列を使うか・捨てるか」 を業務要件と照合する。 単純削除は避け、 欠損フラグ列を作って後段で「欠損だったことを覚えておく」 のが推奨。 欠損は「データの語り」 でもあるからだ。

ステップ 5: 外れ値の検出と扱い決定

人口・所得など右に長い分布の列は np.log1p で対数変換してから IQR 法を適用する。 上位 5 件が東京・大阪・愛知・神奈川・福岡なら「都市の特殊性」 として保持、 それ以外なら入力ミスを疑う。 削除か Winsorization か対数変換のままモデル投入か、 を業務目的別に決める。 「外れ値が異常値とは限らない」 という原則をチームで共有する。

ステップ 6: 派生列の生成と命名規約

「1 人あたり所得」 「高齢化率」 「合計特殊出生率」 など、 分析の主役となる派生列を作る。 命名規約は「元列名 + 単位サフィックス」 が最も保守しやすい。 派生列はメモリ消費を増やすが、 後段の分析・グラフ生成での誤解を激減させる。 命名規約は SSDSE のように年次更新があるデータでは特に重要。

ステップ 7: 整合性検証 (相互チェック)

派生列同士の整合性を assert で検証する。 例えば「1 人あたり所得 × 人口 = 総所得」 が成立すべきなのに ±1% 以上ズレるなら、 どこかで丸めや単位ミスが起きている。 SSDSE-B-2026 のような統合データでは整合性検証が特に効果的。 検証スクリプトをリポジトリに含めて、 CI で毎回回すのが理想。

ステップ 8: クレンジングログの保存

「何を、 なぜ、 何件、 削除・補完した」 をログファイル (JSON or CSV) に書き出す。 監査やレビューが入った時、 「クレンジングの根拠」 が即座に示せるかどうかは大きな信頼差になる。 SSDSE-B-2026 のような公開データを使う場合でも、 自分のチームでの加工内容を文書化する価値は高い。

ステップ 9: 分析用 parquet/feather への書き出し

最後に df.to_parquet('data/clean/ssdse_b_2026_clean.parquet') でカラム型を保ったまま保存する。 CSV だと再読込時に型が崩れて、 また「文字列 → 数値」 のクレンジングが必要になる。 parquet/feather は型情報を保持するため、 クレンジング完了後の標準保存形式として推奨。 これで次工程 (特徴量設計・モデリング) にスムーズに渡せる。

🧮 SSDSE-B-2026 47 都道府県での実値計算

このコードでやること: SSDSE-B-2026 を読み、 欠損率・重複・型異常を一括チェック。

📥 入力データ: data/raw/SSDSE-B-2026.csv（564 行 × 112 列）

 1
 2
 3
 4
 5
 6
 7
 8

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv',
                 encoding='cp932', skiprows=1)
print('行 × 列:', df.shape)
print('欠損合計:', df.isna().sum().sum())
print('重複(年度,都道府県):',
      df.duplicated(subset=['年度','都道府県']).sum())
print('数値列数:', df.select_dtypes('number').shape[1])

📤 実行結果:

💬 SSDSE-B-2026 は欠損 0 件、 重複 0 件、 110 列が数値型。 教材として理想的な品質。 ただし「データクレンジングを学ぶ」目的では、 意図的に欠損を入れて練習する。

このコードでやること: 教材用に「欠損を含む SSDSE」を作り、 3 種類の補完を比較する。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

import numpy as np
d23 = df[df['年度']==2023].copy()
# わざと 3 件欠損を作る
d23.loc[d23['都道府県'].isin(['東京都','大阪府','北海道']), '出生数'] = np.nan
print('欠損数:', d23['出生数'].isna().sum())
# (A) 全国平均で補完
m1 = d23['出生数'].mean()
# (B) 中央値で補完
m2 = d23['出生数'].median()
# (C) 比例補完（総人口 × 出生率）: 率は出生数が観測できた 44 県だけで計算する
obs = d23['出生数'].notna()
rate = d23.loc[obs, '出生数'].sum() / d23.loc[obs, '総人口'].sum()
print(f'平均={m1:.0f}, 中央値={m2:.0f}, 比例係数={rate:.5f}')
tokyo_pop = d23.loc[d23['都道府県']=='東京都', '総人口'].values[0]
print(f'東京の比例補完値: {tokyo_pop * rate:,.0f} (実測 86,348)')

📤 実行結果:

💬 平均 12,755 と中央値 9,134 で大きく違う（東京等の外れ値を含むため）。 どちらで埋めても東京の実測 86,348 には遠く及ばない。 比例補完は観測できた 44 県の出生数 ÷ 総人口 = 0.00582 を東京の総人口 1,408.6 万人に掛けて 81,992 となり、 実測との差は約 5%。 率の分母に欠損 3 都道府の人口まで入れると係数が 0.00451 に下がり、 東京を 6.4 万人弱と大きく過小推定するので、 分子と分母は同じ行で揃える。

このコードでやること: 外れ値の検出: IQR 法と Z スコア法を SSDSE-B-2026 出生数に適用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import numpy as np
d23 = df[df['年度']==2023]
s = d23['出生数']
# IQR 法
q1, q3 = s.quantile([0.25, 0.75])
iqr = q3 - q1
low, high = q1 - 1.5*iqr, q3 + 1.5*iqr
outl_iqr = d23[(s < low) | (s > high)][['都道府県','出生数']]
# Z スコア法
z = (s - s.mean()) / s.std()
outl_z = d23[z.abs() > 2][['都道府県','出生数']]
print('IQR 外れ値:')
print(outl_iqr.to_string(index=False))
print('Z>2 外れ値:')
print(outl_z.to_string(index=False))

📤 実行結果:

💬 IQR は「相対的に大きい 8 都県」を外れ値とするが、 Z スコアは「東京・神奈川・大阪の 3 件」に絞る。 SSDSE のように分布が偏るデータでは IQR の方が緩く、 Z は厳しめになる。

このコードでやること: 重複検出と削除: 意図的に重複行を作り、 keep オプションで挙動を比較。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 北海道の 2023 行を重複させてみる
d23 = df[df['年度']==2023].copy()
dup = d23[d23['都道府県']=='北海道']
d23_dup = pd.concat([d23, dup], ignore_index=True)
print('元 N=', len(d23), '重複追加後 N=', len(d23_dup))
print('重複行数:',
      d23_dup.duplicated(subset=['年度','都道府県']).sum())
# 先勝ち
cleaned = d23_dup.drop_duplicates(subset=['年度','都道府県'], keep='first')
print('clean 後 N=', len(cleaned))

📤 実行結果:

💬 重複検出のキー指定（subset=['年度', '都道府県']）は必須。 全列一致 (subset=None) では「微妙に値が違う重複」を見落とす。

🧮 数式に値を入れて手で計算する: 外れ値検出 (IQR 法)

合成データ [2,4,7,5,3,7,9,25] で IQR を使った外れ値判定を行う。

Step 1: 並び替えと四分位

Step 2: 外れ値境界

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
x = np.array([2, 4, 7, 5, 3, 7, 9, 25])
q1, q3 = np.percentile(x, [25, 75])
iqr = q3 - q1
out = x[(x < q1 - 1.5*iqr) | (x > q3 + 1.5*iqr)]
print(f"Q1={q1}, Q3={q3}, IQR={iqr}")
print(f"外れ値: {out}")

📤 実行結果

💬 手計算 (Step 2) 外れ値=25 と Python 出力が一致 (四分位計算の方法で Q1 値が若干異なる)。

🐍 Python での扱い

SSDSE-B-2026 のような公的統計データを Python で扱う際の基本パターン：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
import numpy as np

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
print(df.shape)
print(df.dtypes)
print(df.describe())

# 「データクレンジング」の文脈で扱う場合の例：
# 分野: データ処理
# 関連手法は同カテゴリの他用語を参照してください。

💬 skiprows=[1] で読んだので列名は A1101 などの英字コードで、1 列目の年度は列名が 'SSDSE-B-2026' のまま int64 になっている。クレンジングの観点では、describe() の count がどの列も 564 で欠損が無く（全 112 列で欠損 0）、型も int64 104 列・float64 6 列・object 2 列と崩れていない。一方で年度の mean 2017.5 のように要約しても意味のない列が混ざるので、列名の付け替え（'SSDSE-B-2026'→年度）と ID 列の除外が最初の作業になる。

具体的なコードは データエンジニアリング を参照してください。

🐍 拡張 Python レシピ

上記の実値計算がそのまま Python の動作確認ブロックを兼ねる。 加えて、 産業界で使う応用パターンを下の 50 連発に整理した。

🐍 データクレンジング 実データ追補 (SSDSE-B-2026)

本セクションでは、 SSDSE-B-2026 を題材に「欠損 → 重複 → 型変換 → 外れ値」 のクレンジング 4 段階を順に Python で確認する。 各ブロックは「やること → 入力 → 実行例 → 結果の読み方」 を必ず併記。

① 欠損率を列別に診断する (df.isna().mean())

このコードでやること: SSDSE-B-2026 を読み、 列別の欠損率と「欠損が 1% を超える列」 を可視化する。 入力前の最重要チェック。

📥 入力データ: data/raw/SSDSE-B-2026.csv (564 行 × 112 列)

1
2
3
4
5
6
7
8
9

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
miss = df.isna().mean().sort_values(ascending=False)
print('全列数      :', df.shape[1])
print('欠損 > 1% 列:', (miss > 0.01).sum())
print('上位 3 列   :')
print(miss.head(3))

📤 実行例:

💬 結果の読み方: 全 112 列すべて欠損率 0%。 SSDSE-B-2026 は悉皆調査のため欠損が存在しない。 実データには欠損が無いので、 欠損処理を学ぶ際は後述のように意図的に欠損を作って練習する。 一般のデータでは、 欠損のホットスポットを最初に把握するのがクレンジングの第 1 歩。

② 重複行を検出する (duplicated)

このコードでやること: 「年度 × 都道府県」 を主キーとして重複行が無いかを duplicated で確認し、 重複があれば最後の行のみ残す。

📥 入力データ: df (564 行)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# この抜粋は 日本語の項目名（見出し 2 行目）を使うので、ここで読み込む
import pandas as pd
df_jp = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

key = ['年度', '都道府県']
dup_mask = df_jp.duplicated(subset=key, keep=False)
print('重複行数        :', dup_mask.sum())
print('重複キーの組合せ:', df_jp[dup_mask][key].drop_duplicates().shape[0])

df_clean = df_jp.drop_duplicates(subset=key, keep='last')
print('クレンジング後  :', df_clean.shape)

📤 実行例:

💬 結果の読み方: SSDSE-B-2026 は (年度, 都道府県) でユニーク。 重複 0 行は「公的統計として整備済み」 であることの傍証。 ただし他データセットでは「同じ ID で複数行」 がよく発生するため、 必ず最初に確認すべき項目。

③ 型変換と単位統一 (人口の万人 → 人)

このコードでやること: 文字列で混入した数値列を pd.to_numeric で安全に変換し、 単位「万人」 → 「人」 への揃え方を確認する。

📥 入力データ: df['A1101'] (人口、 一部に文字列混入の想定)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# この抜粋は 日本語の項目名（見出し 2 行目）を使うので、ここで読み込む
import pandas as pd
df_jp = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

# A1101 を厳密に数値化 (errors='coerce' で変換不能は NaN)
pop = pd.to_numeric(df_jp['総人口'], errors='coerce')
print('変換失敗数:', pop.isna().sum() - df_jp['総人口'].isna().sum())
print('dtype     :', pop.dtype)

# 人口を「万人」 単位で表示する派生列を作る
df_jp['A1101_万人'] = (pop / 10_000).round(1)
print(df_jp[['年度', '都道府県', '総人口', 'A1101_万人']].head(3))

📤 実行例:

💬 結果の読み方: 変換失敗 0 で、 元が全部整数なので dtype は int64 のまま（文字列が 1 つでも混じって NaN が出れば float64 になる）。 先頭 3 行は北海道の 2023・2022・2021 年度で、 509.2 → 514.0 → 518.3 万人と遡るほど多い。 「人」 と「万人」 の両単位を派生列として保持することで、 グラフ・レポート・モデル入力で柔軟に使い分けられる。 単位の明示は他人が読むコードでは必須。

④ 外れ値検出 (IQR 法) を全数値列に一括適用

このコードでやること: 数値列に対し IQR (四分位範囲) 法で外れ値マスクを作り、 「外れ値が多い列」 ランキングを返す。

📥 入力データ: df (数値列のみ抽出)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

num = df.select_dtypes(include='number')
q1 = num.quantile(0.25)
q3 = num.quantile(0.75)
iqr = q3 - q1
mask = (num < q1 - 1.5 * iqr) | (num > q3 + 1.5 * iqr)
outlier_rate = mask.mean().sort_values(ascending=False)

print('外れ値率トップ 3:')
print(outlier_rate.head(3))
print('全列の平均外れ値率:', round(outlier_rate.mean(), 4))

📤 実行例:

💬 結果の読み方: 外れ値率が最も高い列でも 2 割弱、 数値列全体の平均外れ値率は約 11%。 右に長い分布の列では「東京・大阪・愛知など大都市圏が IQR の上限を超える」 という構造が出やすい。 SSDSE 系では外れ値 = 異常ではなく「都市の特殊性」 を表すため、 単純削除ではなく文脈に応じた扱いが必要、 という重要な教訓が得られる。

🖼 クレンジング前後を比較する 3 枚の図 (SSDSE-B-2026)

数値だけ眺めていても「どう汚れているか」 は実感しにくい。 ここでは SSDSE-B-2026（2023 年度・47 都道府県）の人口・出生・消費支出を題材に、 散布・分布・箱ひげの 3 視点で「クレンジング前」 と「クレンジング後」 の挙動差を視覚化する。 各図は「なぜこの図か → どう読むか → どこに着目するか」 を併記する。

図 1: 散布図で外れ値と単位ミスを見抜く

読み方: 多くの点が直線状に並ぶなか、 1 点だけ大きく外れる例があれば「単位ズレ (10 倍誤り)」 か「典型的な大都市」 かを判別する必要がある。 図 1 の東京都は右端にあるが直線の延長上に乗っている (大都市) のに対し、 福岡県 339,420 人は直線から真上に外れている (桁ズレ)。 比 (出生数 / 総人口) を取ると、 大都市は他県と同程度の値に収まり、 桁ズレだけが 10 倍前後に跳ねるので機械的にも区別できる。 散布図は「数値のままでは気づけない 1 桁誤り」 を即座に視認させてくれる。 クレンジングでは、 統計検定の前に必ず一度散布図を出す習慣が重要。

図 2: ヒストグラムで分布の歪み・外れ値を確認

読み方: 人口は明らかに右に長い分布 (平均 265 万人、 中央値 155 万人)。 「平均値」 ではなく「中央値」 を代表値にすべき、 あるいは「log 変換してから外れ値判定すべき」 という判断材料になる。 ヒストグラムは「IQR 法で何を削るか」 を決める前に必ず確認したい。

図 3: 箱ひげ図でカテゴリ別の品質を一覧

読み方: 中央値は関東 30.78 万円・近畿 30.56 万円が高く、 九州・沖縄 27.70 万円が最も低い。 全体一括の境界で外れ値になるのは愛媛県 (22.34 万円) だけだが、 ブロック内で見ると中部の福井県 (27.67 万円、 ほかの中部 8 県は 29.8〜32.8 万円) も外れ値になる。 ブロックごとに水準が違うため、 全体一括の判定では見落とす県があり、 逆に関東の高い値を一律の基準で「外れ値」 として削除すると大都市圏の家計構造を捨てることになる。 クレンジングでは「グループ内」 で IQR を計算し、 ブロックの特性を保ったまま異常値だけ除去するのが鉄則。

🧪 理解度チェック (R516)

本ページの理解度を 10 問で自己採点する。 回答後は解説を読み、 自分のクレンジング判断と差があった項目はもう一度該当セクションに戻ること。 7 問以上の正答で「実務で使える基礎」、 9 問以上で「設計を任せられる中級」 と判断してよい。 各問は SSDSE-B-2026 を題材にした実務判断を問う構成で、 ただの単語暗記ではなく「現場で迷ったときの実務的判断軸」 を確認できる作りにしてある。 自分の答えと解説を突き合わせるところに学びが生まれる。

1. Q1. 欠損率を最初に確認する関数は？ (ヒント: pandas)
   → df.isna().mean()。 列ごとに 0〜1 の欠損割合を返し、 上位 3 列を確認するのがクレンジングの第 1 歩。
2. Q2. 「年度 × 都道府県」 が主キーのとき、 重複行検出に使う引数は？
   → df.duplicated(subset=['年度','都道府県'])。 SSDSE-B-2026 のように主キーが明確な公的統計では、 単独列の重複ではなく複合キーで判断する。
3. Q3. 文字列で混入した数値列を例外を出さず変換するには？
   → pd.to_numeric(s, errors='coerce')。 失敗を NaN にすることで、 「どの行が変換不能か」 を後段で集計できる。
4. Q4. 外れ値判定で IQR 法の閾値はいくつか？
   → Q1 − 1.5 × IQR と Q3 + 1.5 × IQR。 ただし都道府県データのように「大都市圏が構造的に上限超え」 となる場合は閾値を 3 × IQR に緩めるのが定石。
5. Q5. 「クレンジング前に散布図を見る」 理由を 1 行で答えよ。
   → 単位混在・桁誤り・タイプミスは数値表では気づけず、 散布図の「1 点だけ離れた点」 で初めて発覚するから。
6. Q6. 人口のように右に長い分布で外れ値判定を行う際の前処理は？
   → 対数変換 (np.log1p)。 変換後に IQR を計算することで、 「桁が違うだけの大都市」 を誤って削除しない。
7. Q7. 地域ブロック別に外れ値判定すべき理由は？
   → ブロック間で中央値が大きく異なるため、 全体一括の IQR では「関東の外れ値」 が無くなり「九州の正常値」 が外れ値扱いされるなど誤判定が起こる。
8. Q8. クレンジング結果をレポートに残すための必須 3 項目は？
   → ① 元データ行数、 ② 削除/補完した行数とその理由、 ③ クレンジング後の行数。 これがないと再現可能なクレンジングにならない。
9. Q9. 欠損補完で「平均代入」 が危険な理由を 1 つ挙げよ。
   → 分散を過小評価する。 欠損値を平均値で埋めると、 標準偏差・相関係数・回帰係数の標準誤差が実際より小さく見え、 後段の有意性判定を誤らせる。
10. Q10. 「クレンジングが完了した」 と判断する基準を 1 つ挙げよ。
    → ① 主キー重複 0、 ② 必須列の欠損 0、 ③ 型と単位が全列で揃っていることが揃った段階。 「完璧」 ではなく「次工程に渡せる最低条件」 を満たすかが判断基準。

採点: 9-10 問正解 → クレンジング設計を主導できる。 7-8 問 → 既存パイプラインの運用 OK。 4-6 問 → 主要操作の API を再確認すべき。 0-3 問 → 本ページの「定義」 〜「Python 実装」 を再読。

📊 クレンジング操作早見表 4 種

実務でクレンジングを行うとき、 「どの操作を、 どの順番で、 どう判断するか」 を即座に引き出せる早見表を 4 つ用意する。 すべて SSDSE-B-2026 を念頭に置いた具体例付き。

表 1: 欠損パターン別 推奨処理 (SSDSE-B-2026 の場合)

表 2: 重複検出のキー設計 4 パターン

表 3: 外れ値検出 5 手法の使い分け

表 4: 型変換ルールと単位統一

⚠️ よくある落とし穴

⚠️ よくある データクレンジング 失敗例

1. 欠損 0 補完：NaN を 0 にすると「測定値 0」と区別できない。 別フラグ列を残す
2. 外れ値の機械的除去：東京を「外れ値」として除外すると人口の現実が見えなくなる
3. 重複定義の曖昧さ：行全体一致 vs キー一致は意味が違う。 subset 指定必須
4. 単位の取り違え：mg と g、 円と千円。 列名に単位を明記
5. クレンジング順序ミス：欠損補完 → 外れ値検出の順だと、 補完値が外れ値判定に影響

⚠️ 追加の落とし穴 8 件 (実務で本当に見るやつ)

本ページでは「よくある落とし穴」 セクションをすでに用意しているが、 SSDSE-B-2026 を使った教材設計の現場で本当によく見るパターンをさらに 8 件挙げる。 自分のクレンジング規約に取り込めば、 後輩や受講者の最頻ミスを未然に防げる。

1. BOM を無視して読み込む: encoding='utf-8' だと列名先頭に「\\ufeff」 が混入。 必ず utf-8-sig。
2. 都道府県コードと名称の不整合: 「東京」 と「東京都」 の表記揺れで重複が見えなくなる。 正規化辞書を持つ。
3. 年度を文字列のまま比較: 文字列の「9」 と「10」 では「10」 が先に来る。 必ず整数に変換。
4. 0 と欠損を混同: SSDSE は「0」 と「N/A」 が違う意味。 値が 0 のセルを欠損で埋めないこと。
5. クレンジング前にグラフを書く: 単位ミスのまま図を描くと、 後で公開した図の差し替えが大変。 必ずクレンジング後にグラフ。
6. 外れ値を「自動削除」 する: 「IQR × 1.5 を超えたら削除」 を自動化すると、 都市部の経済指標が消える。 必ず保留に。
7. クレンジング結果をユーザー操作前提にしない: Excel での手動修正は再現できない。 必ずスクリプトで残す。
8. カテゴリ列を文字列のまま大量結合: メモリ消費が増えて I/O が遅くなる。 早めに category 型に変換。

🌐 関連手法・派生の比較

✍️ 演習問題 5 問

📖 関連用語辞典 10 語

📘 拡張ハンドブック

以下はデータクレンジングを「順序立てて」進めるための拡張ハンドブック。 業務でも研究でも汎用する。

A. 着手前 5 段階

1. データの出典・取得日・ライセンスを記録
2. 生データを data/raw/ に固定（編集禁止）
3. 列名・型・単位・許容値域をスキーマファイルに記述
4. 業務知識者にヒアリング（NaN の意味、 外れ値の許容範囲）
5. ノートブックでなくスクリプトで再現可能化

B. クレンジング 5 工程

1. 列名統一・型変換
2. 重複削除（キー指定）
3. 欠損処理（補完か削除か業務判断）
4. 外れ値処理（除外でなくフラグ＋脚注）
5. 単位正規化・カテゴリ統一

C. 検証 5 段階

1. 行数（前後で一致するかは目的次第）
2. 主キーの一意性
3. 欠損率（許容範囲内か）
4. 外れ値率
5. サマリ統計（min/max が業務的に妥当か）

🍳 データクレンジング 50 連発レシピ

1. df.dropna(subset=['col']) で必須列の欠損を除外
2. df.fillna(0) で欠損を 0 補完
3. df.fillna(method='ffill') で前値補完
4. df.fillna(df.mean()) で平均値補完
5. df.fillna(df.median()) で中央値補完
6. SimpleImputer(strategy='mean') で sklearn 補完
7. KNNImputer(n_neighbors=5) で近傍補完
8. IterativeImputer (MICE) で多重代入
9. df.duplicated().sum() で重複数
10. df.drop_duplicates(subset=['key']) で重複削除
11. IQR で外れ値検出
12. Z スコアで外れ値検出
13. Isolation Forest で多変量外れ値
14. LocalOutlierFactor で局所外れ値
15. df.clip(lower=, upper=) で値域クリップ
16. np.log1p で対数変換
17. sklearn の StandardScaler で Z 標準化
18. MinMaxScaler で 0-1 正規化
19. RobustScaler で外れ値耐性スケーリング
20. QuantileTransformer で分位変換
21. pd.get_dummies で One-Hot
22. OneHotEncoder で sklearn One-Hot
23. LabelEncoder でラベル整数化
24. OrdinalEncoder で順序エンコード
25. TargetEncoder で目的変数平均エンコード
26. str.strip / str.lower で正規化
27. str.replace で表記揺れ統一
28. unicodedata.normalize で全角半角統一
29. pd.to_datetime で日付パース
30. pd.to_numeric(errors='coerce') で数値化
31. df.astype({}) で型統一
32. df.rename(columns={}) で列名統一
33. df.query() で条件抽出
34. df.assign() で列追加
35. df.pipe(func) で関数チェーン
36. pandas-profiling で品質レポート
37. great_expectations.expect_* で検証
38. pandera.DataFrameSchema で型検証
39. pyjanitor の clean_names で snake_case化
40. pyjanitor の remove_empty で空行列除去
41. siuba で SQL 風記述
42. sweetviz でデータ比較レポート
43. ydata-profiling で大規模可視レポート
44. datacleaner で自動クレンジング（実験的）
45. fancyimpute で MissForest 等
46. cleanlab でラベルノイズ検出
47. awswrangler で S3 連携クレンジング
48. Polars で高速 dropna / drop_duplicates
49. DuckDB で SQL クレンジング
50. pytest で前後比較テスト

❓ FAQ 20 問

🔗 関連用語 (前提・並列・発展) と学習動線

データクレンジングはデータ分析プロセスの「土台」 を作る作業。 ここでは「クレンジングの前に押さえるべき用語」 「並列して理解すべき用語」 「クレンジング後に進むべき発展用語」 を整理する。 順に読むことで、 自分が今どこを学んでいるのかが明確になる。

前提 (クレンジング前に押さえる)

• 変数の尺度とデータ型: 何を数値、 何をカテゴリとして扱うかの基準
• 欠損メカニズム (MCAR/MAR/MNAR): 欠損が「ランダムか」 「構造的か」 を見極める枠組み
• 量的変数: 数値処理対象を定める前提

並列 (一緒に理解する)

• データ分析プロセス全体: クレンジングが分析のどこに位置するか
• PPDAC サイクル: Analysis 工程の前段でクレンジングが必須となる
• 集計: クレンジング後すぐに行う基本操作

発展 (クレンジング後に進む)

• 特徴量: クレンジング後に作る派生列の設計
• One-Hot エンコーディング: カテゴリ列を数値化する前処理
• 過学習: クレンジング不足が過学習につながる事例

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 データエンジニアリング — このカテゴリの全体像を学ぶ
• 📚 データクレンジング詳細 — 各処理の数式・実装
• 📚 欠損値処理グループ — MCAR/MAR/MNAR と補完法
• 📚 外れ値処理グループ — IQR / Z-score
• 📚 整然データグループ — クレンジング後の標準形

• pandas Working with missing data（https://pandas.pydata.org/docs/user_guide/missing_data.html）— 欠損検出・補完・除外の公式ガイド
• OpenRefine（https://openrefine.org/）— GUI クレンジングツール（無料 OSS）
• SSDSE-B-2026 教育用標準データセット（https://www.nstac.go.jp/use/literacy/ssdse/）— クレンジング実演用
• e-Stat 政府統計の総合窓口（https://www.e-stat.go.jp/）— 一次データソース（クレンジング前）
• Great Expectations（https://greatexpectations.io/）— データ品質テストの自動化 OSS

🔗 同カテゴリの他用語

📚 SSDSE-B-2026 実ケーススタディ

A. 5 ケースの整理

B. 時系列連続性のチェック

このコードでやること: 各都道府県について 2012-2023 の 12 行が揃っているかを確認。

 1
 2
 3
 4
 5
 6
 7

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
# ケース 4: 各県が 12 年揃っているか
counts = df.groupby('都道府県').size()
print('各県の行数（上 5 県）:')
print(counts.head(5))
print('全県 12 行揃っているか:', (counts == 12).all())

📤 実行結果:

💬 「全県 12 行揃っているか」が True であれば、 時系列分析（年差・累積）で 1 県だけ抜け落ちる事故を防げる。

🚫 やってはいけないアンチパターン 10 選

1. 全 NaN → 0 に置換 → 欠損と測定値 0 が混同される → ✅ 別フラグ列を残す or dropna
2. 外れ値を機械的に削除 → 「東京」が消えて分布の現実が見えなくなる → ✅ フラグ＋脚注で残す
3. 生データを直接編集 → 再現性ゼロ、 ロールバック不能 → ✅ data/raw/ は read-only に
4. ノートブックで in-place 書き換え → セル順依存で結果が変わる → ✅ 純関数化＋スクリプト化
5. 単位を確認しない → m と km、 円と千円で 1000 倍誤差 → ✅ 列名に単位を明記
6. 数値列の型を放置 → object 型でメモリ爆発・演算不能 → ✅ astype で固定
7. Date 列を str のまま → ソート順が逆、 比較失敗 → ✅ pd.to_datetime で datetime64 化
8. 重複削除を全列一致で → 微妙に値が違う重複を見落とす → ✅ subset=['key'] で主キー指定
9. クレンジング順序の検討不足 → 欠損補完→外れ値検出で補完値が混入 → ✅ 順序を pipeline で固定
10. 変更履歴を残さない → 誰が何をいつ変えたか追えない → ✅ Git + データ版管理 (DVC)

📊 品質指標とダッシュボード

A. 8 つの品質指標 — SSDSE-B-2026 実測値

B. quality_report 関数（汎用）

このコードでやること: SSDSE-B-2026 の品質を 5 指標で 1 度に確認。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)

def quality_report(df):
    return {
        'rows': len(df),
        'cols': df.shape[1],
        'na_ratio': df.isna().mean().mean(),
        'dup_ratio': df.duplicated().mean(),
        'numeric_cols': df.select_dtypes('number').shape[1],
    }

print(quality_report(df))

📤 実行結果:

💬 SSDSE-B-2026 は欠損 0、 重複 0、 数値列 110。 「教材として品質劣化が無い」ことを CI で日次監視する基準になる。

👥 チームクレンジング運用パターン

A. 5 段階のチーム規模別運用

B. クレンジング関数の回帰テスト

このコードでやること: クレンジング関数を pytest 風に検証。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# クレンジング関数を pytest で回帰テスト
def cleanse(df):
    return df.dropna().drop_duplicates()

def test_cleanse_basic():
    import pandas as pd
    df = pd.DataFrame({'a':[1,2,2,None,4]})
    out = cleanse(df)
    assert len(out) == 3  # NaN 削除 + 重複削除
    assert out['a'].tolist() == [1, 2, 4]
    print('テスト合格')

test_cleanse_basic()

📤 実行結果:

💬 単純な関数でも回帰テストを付けると安全。 SSDSE 用なら「行数 564」「都道府県数 47」を assert する形でテスト化できる。

📖 クレンジングの設計哲学: 「捨てる」 ではなく「整える」

本ページの最後に、 クレンジングという作業そのものをどう捉えるかという「設計哲学」 を文章で整理しておきたい。 ここを腹落ちさせると、 個別の操作の判断が一段とブレなくなる。 SSDSE-B-2026 を題材にしたうえで、 普遍的に通用する考え方として読んでほしい。

1. クレンジングは「捨てる」 作業ではなく「整える」 作業である。 初学者は「クレンジング = 欠損を消す、 外れ値を消す」 と理解しがちだが、 実際は「データを後段の分析に渡せる形に整える」 のが本質。 削るより、 単位を統一する、 型を揃える、 派生列を作るほうが、 結果的に分析の質を底上げする。 SSDSE-B-2026 のような整備済みデータでさえ、 単位・型・派生列の整備で 1〜2 日かかるのは普通である。 「整える」 という姿勢を取れば、 闇雲な削除に走ることなく、 必要な情報を残したままデータを準備できる。

2. クレンジングは「ドメイン知識との対話」 である。 IQR 法で外れ値を機械的に削除するのは簡単だが、 SSDSE-B-2026 で東京・大阪を削除したら、 日本経済の中心地が消えた歪んだデータになる。 数値の異常さと、 ドメイン上の異常さは別物。 クレンジングの判断は必ず「このデータは何を測っているのか、 どんな現象の表れか」 という問いと突き合わせる必要がある。 公的統計を扱うときほど、 「数値だけで判断しない」 という姿勢が結果の信頼性を左右する。

3. クレンジングは「再現可能なコード」 として書く。 Excel での手動編集は速いが、 再現できない。 「翌年の更新時にもう一度同じ品質で整える」 ためには、 必ず Python スクリプトとしてクレンジングを残す。 リポジトリに code/cleanse.py を置き、 CI でテストを通す体制を作れば、 1 年後の自分や後任の人が同じ品質を保てる。 SSDSE のように年次更新があるデータでは特にこの「再現性の担保」 が価値を持つ。

4. クレンジングログは「未来の自分・他人への手紙」 である。 「列 A1101 で IQR × 3 を超えた 5 行を、 大都市の構造的特性として保持」 という記述を残しておけば、 1 年後の自分も、 査読者も、 後任の担当者も、 判断の根拠を再現できる。 ログは単なる記録ではなく、 「自分の判断を未来に伝える手紙」 として書くべきだ。 SSDSE-B-2026 を使った研究では、 査読時に「クレンジングの基準を明示せよ」 と求められることが多く、 ログを書く習慣が査読対応の速度を 2〜3 倍にしてくれる。

5. クレンジングは「分析プロジェクトの最も創造的な工程」 である。 統計手法やモデリングは確かに花形だが、 分析の品質を決定的に左右するのはクレンジングの設計力。 どの列を残すか、 どう派生列を作るか、 どう単位を揃えるかという判断こそが、 アウトプットの説得力を決める。 教科書には載らないが、 現場では「データ整備が 7 割」 と語られるのはこのためだ。 SSDSE-B-2026 を使うときも、 単純に「読み込んでモデルに入れる」 のではなく、 「自分のリサーチクエスチョンに合う形に整える」 という視点でクレンジングを設計してほしい。

6. クレンジングは「品質の連鎖」 として設計する。 クレンジング結果は、 後段の特徴量設計・モデリング・レポート・意思決定にまで品質を伝播させる。 「ここで一つ間違うと、 後ろの工程が一気に崩れる」 という連鎖を強く意識する必要がある。 SSDSE-B-2026 を使う教材設計でも、 クレンジングの判断ミスが一つあると、 受講者の学習体験が大きく損なわれる。 だからこそ、 クレンジングの工程は急がず、 検証を重ね、 再現可能な形で残すべきだ。

この 6 つの設計哲学を腹落ちさせれば、 SSDSE-B-2026 以外のあらゆるデータセットでも、 「捨てる」 ではなく「整える」 という姿勢でクレンジングを設計できるはずだ。 クレンジングはデータサイエンスの土台中の土台であり、 ここに時間と頭を投資することが、 分析全体の品質を決める。 本ページの内容を踏まえて、 自分のチームのクレンジング規約をぜひ整備してほしい。

📕 関連語ミニ辞典 (12 語、 R516 追補)

クレンジングの周辺で頻出する用語を 12 語、 短い定義 + SSDSE-B-2026 での具体例で整理する。 既存の「関連用語辞典 10 語」 と合わせて 22 語の小辞典になる。 SSDSE 実践時にどの用語が必要になるかを確認しながら読み進めるとよい。

BOM (Byte Order Mark): UTF-8 ファイルの先頭に付く識別バイト。 utf-8-sig で開かないと、 列名先頭に「\\ufeff」 が混入する。 SSDSE 系の CSV では BOM 付きが多い。

category 型: pandas でカテゴリ変数を表す型。 メモリ消費が大幅に減り、 groupby が高速化する。 都道府県・地域ブロックは必ず category 型へ。

errors='coerce': pd.to_numeric 等で「変換不能セルを NaN にする」 引数。 例外を抑制し、 「どこで失敗したか」 を後段で集計可能にする。 クレンジングでは事実上必須。

欠損フラグ列: 「元値が欠損だった」 ことを 0/1 で記録する派生列。 補完後も「欠損由来か実値か」 を区別できるようにする。 SSDSE で欠損が 1% 超の列に推奨。

主キー: 行を一意に識別する列 (or 列の組合せ)。 SSDSE-B-2026 では「年度 × 都道府県」 が主キー。 重複検出と join の前に必ず宣言する。

派生列: 既存列から計算した新規列。 「1 人あたり所得」 「人口密度」 など。 命名規約と単位サフィックスを揃えるのがコツ。

parquet: 型情報を保持する列指向の保存形式。 クレンジング完了後の標準保存先として CSV より優れる。 SSDSE クレンジング後の中間ファイルに最適。

missingno: 欠損パターンの可視化ライブラリ。 列ごと・行ごとの欠損を 1 枚の絵で確認できる。 クレンジング初動の必須ツール。

MICE (多重代入): 欠損を複数回ランダムに補完して分散を保つ補完法。 「平均代入では分散が縮む」 問題を回避する。 sklearn の IterativeImputer が代表実装。

Winsorization: 外れ値を「削除せず、 一定範囲に丸める」 手法。 例: 上位 1% を 99 パーセンタイル値で打ち止めにする。 削除より情報損失が少ない。

クレンジングログ: 「何を、 なぜ、 何件、 削除・補完したか」 を記録する JSON or CSV。 再現可能性とレビュー対応速度を大幅に向上させる。

整合性検証 (sanity check): 派生列同士で「成立すべき関係」 を assert で確認する作業。 「1 人あたり所得 × 人口 = 総所得」 等。 短時間で大きな安心を得られる。

🎒 持ち帰り 10 か条 (本ページの要点まとめ)

本ページで学んだ内容のうち、 実務に持ち帰ってほしい要点を 10 か条にまとめる。 自分のクレンジング規約の最初のページにそのまま貼ってもよい。 SSDSE-B-2026 を題材にしつつ、 普遍的に通用する原則として整理した。

1. 取り込みは utf-8-sig で: BOM 付き UTF-8 を確実に読むため、 SSDSE 系では encoding='utf-8-sig' を既定に。
2. 主キーを最初に宣言する: SSDSE-B-2026 は「年度 × 都道府県」。 重複検出と join の前提として明示。
3. 型統一は pd.to_numeric(errors='coerce') + astype('category'): 数値列とカテゴリ列を早めに区別。
4. 欠損は「フラグ列を作って残す」: 単純削除や平均代入は分散歪みを起こす。 欠損フラグで情報を残す。
5. 外れ値は対数変換 + IQR × 3: 人口・所得など右裾の長い分布で IQR × 1.5 は過剰削除。
6. 派生列の命名規約を統一: 「元列名 + 単位サフィックス」 で一貫させ、 後段のグラフ・モデルでの誤読を防ぐ。
7. 整合性検証を assert で書く: 「1 人あたり所得 × 人口 = 総所得」 が ±1% で一致することを必ず確認。
8. クレンジングログを JSON で残す: 列名・操作・件数・理由を記録し、 git にコミットする。
9. parquet/feather で保存: CSV は型情報が崩れる。 クレンジング後は型を保つ形式で。
10. クレンジングはコードで残す: Excel の手動編集は再現できない。 必ず Python スクリプトに。

この 10 か条を満たせば、 SSDSE-B-2026 を使った分析プロジェクトは「再現可能で、 査読に耐え、 同僚に渡せる」 品質に到達できる。 クレンジングは目立たないが、 全体の質を決める作業。 ぜひ本ページの内容を自分の現場に持ち帰ってほしい。

📨 クロージング: 次の一歩

本ページを読んだ後の「次の一歩」 を整理しておく。 SSDSE-B-2026 を題材にしたクレンジングは、 単独で完結する作業ではなく、 続く「特徴量設計」 「モデリング」 「レポーティング」 へとつながる流れの最初の関門だ。 ここで身につけた習慣は、 他のデータセット (自治体のオープンデータ、 企業の内部 DB、 IoT のセンサーログ等) でも、 そのまま使える。

次の一歩 (1): 自分の手元のデータで「ステップ 1 〜 9」 を 1 回通してみる。 半日かかっても良いので、 ログを残す習慣を身につける。 SSDSE-B-2026 ではない自前のデータでこそ、 本ページの内容が活きる。

次の一歩 (2): チーム内で「クレンジング規約」 を整備する。 本ページの「持ち帰り 10 か条」 と「追加の落とし穴 8 件」 をたたき台に、 自分のチームの実情に合わせてカスタマイズしよう。 規約があるだけで、 新メンバーのオンボーディング期間が劇的に短くなる。

次の一歩 (3): 関連用語 (欠損メカニズム、 PPDAC サイクル、 特徴量) へ進む。 本ページ末尾の「関連用語」 セクションから、 自分の理解の弱い順にリンクをたどると効率的だ。 クレンジングの周辺知識を厚くすることが、 結果的にクレンジングの質を底上げする。

最後に: クレンジングは「捨てる」 ではなく「整える」 作業である。 この一言を腹落ちさせれば、 個別の操作のブレが激減する。 SSDSE-B-2026 を起点にして、 自分のデータサイエンス実践の土台を、 ぜひ強くしてほしい。

さらに踏み込む方へ: 本ページの内容を腹落ちさせたあとは、 「クレンジング規約のテンプレートを 1 枚にまとめて社内 Wiki に貼る」 「クレンジングスクリプトに pytest を仕込み CI で回す」 「parquet の中間ファイルを DVC で版管理する」 という 3 つのプラクティスに挑戦してほしい。 SSDSE-B-2026 のような公開データを使うときも、 この 3 点を入れるだけで、 プロジェクトのスケールに応じた品質保証ができるようになる。 教育用途であれ研究用途であれ、 「再現性」 と「品質」 を両立する設計は、 今後のデータサイエンスで最も投資価値の高いスキルセットになるはずだ。 本ページを起点にして、 自分の現場のクレンジング標準を、 ぜひ一段強くしてほしい。

本ページ全体のまとめ: データクレンジングとは、 取り込み・型変換・単位統一・欠損処理・外れ値判定・派生列・整合性検証・ログ・parquet 書き出しまでの一連の流れを、 再現可能なコードとして残す作業である。 SSDSE-B-2026 を題材にすれば、 重複 0・欠損 0・大都市の外れ値といった現象を通じて、 教科書では学べない「現場の判断」 を体験できる。 本ページの各セクション (図 1〜3、 表 1〜4、 理解度チェック 10 問、 ワークフロー 9 ステップ、 追加落とし穴 8 件、 事例集 6 件、 設計哲学 6 つ、 ナラティブ、 ミニ辞典 12 語、 持ち帰り 10 か条、 クロージング) を順に読み返せば、 自分のチームのクレンジング規約の骨格がそのまま出来上がる。 SSDSE-B-2026 を 1 回まわすところから、 ぜひ実践を始めてほしい。 そして本ページの内容を、 自分の現場の規約・スクリプト・社内 Wiki に落とし込んでこそ、 学びが定着する。 クレンジングという土台仕事に時間と頭を投じることが、 結局のところ分析プロジェクト全体の最大投資効率になる。

🗺 概念マップ

データクレンジングを中心に、 上位のデータエンジニアリング、 入力 (CSV / SSDSE / DB エクスポート)、 兄弟の前処理工程 (欠損 / 外れ値 / 型変換)、 出力 (Tidy data / DataFrame / parquet)、 そして利用先の分析・可視化・モデリングを放射状に整理した。

🔧 データクレンジング応用ブロック

以下はデータクレンジングを「業務・研究・教育」の現場で運用するための応用ブロック。 SSDSE-B-2026 を題材に追加の narration コード・応用レシピ・FAQ を補強。

このコードでやること: SSDSE-B-2026 のカテゴリ列「都道府県」を One-Hot エンコードして 47 列の 0/1 行列にする。

📥 入力データ: data/raw/SSDSE-B-2026.csv（2023 年抜粋）

 1
 2
 3
 4

d23 = df[df['年度']==2023][['都道府県','総人口','出生数']].copy()
onehot = pd.get_dummies(d23, columns=['都道府県'])
print('元: 3 列, 変換後:', onehot.shape[1], '列')
print(onehot.iloc[:2, :7].to_string(index=False))

📤 実行結果:

💬 2 + 47 = 49 列に拡張される。 機械学習モデルに投入する前の必須前処理。 sklearn の OneHotEncoder の方が pipeline と相性が良い。

このコードでやること: SSDSE-B-2026 の総人口を 3 種類のスケーリング手法で比較する。

📥 入力データ: data/raw/SSDSE-B-2026.csv（2023 年）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler
d23 = df[df['年度']==2023].copy()
s = d23[['総人口']].values
z = StandardScaler().fit_transform(s).flatten()
mm = MinMaxScaler().fit_transform(s).flatten()
rb = RobustScaler().fit_transform(s).flatten()
print('東京の値:')
i = d23.index[d23['都道府県']=='東京都'][0]
loc = list(d23.index).index(i)
print(f'Z={z[loc]:.2f}, MinMax={mm[loc]:.2f}, Robust={rb[loc]:.2f}')

📤 実行結果:

💬 Z 標準化では東京が +4σ、 MinMax では 1.0（最大値）、 Robust では IQR の約 8 倍。 Robust が「外れ値を保持しつつ尺度を揃える」のに最適。

このコードでやること: great_expectations 風の検証関数を自作し、 SSDSE-B-2026 の必須性質を assert する。

📥 入力データ: data/raw/SSDSE-B-2026.csv

 1
 2
 3
 4
 5
 6
 7
 8
 9

def validate_ssdse(df):
    assert df.shape == (564, 112), f'shape: {df.shape}'
    assert df['都道府県'].nunique() == 47
    assert df['年度'].between(2012, 2023).all()
    assert (df['総人口'] > 0).all()
    assert df.duplicated(subset=['年度','都道府県']).sum() == 0
    return True
ok = validate_ssdse(df)
print('SSDSE-B-2026 検証合格:', ok)

📤 実行結果:

💬 関数 1 つで「想定どおりのデータか」を機械的に確認。 CI（GitHub Actions）に組み込めば、 上流データの破損を即時検知できる。

⚙️ 応用 25 連発（既出 25 + 応用 25 = 計 50 を補完）

1. isort + black で前処理コードを統一スタイルに
2. pre-commit hook で品質チェック
3. tox で複数 Python バージョン互換性検証
4. mypy で型チェック
5. pylint / ruff で静的解析
6. sphinx で前処理関数を自動ドキュメント化
7. nbdev でノートブック → ライブラリ変換
8. kedro でデータパイプラインのテンプレート化
9. Prefect / Dagster で workflow 定義
10. Airflow Operator で日次クレンジング
11. PostgreSQL の COPY で大量取込前にクレンジング
12. BigQuery の SQL でクレンジング (REGEXP_REPLACE)
13. Snowflake で COPY INTO + TRANSFORM
14. dbt で「クレンジング SQL」を再利用可能化
15. Apache Iceberg で大規模 clean データ管理
16. Delta Lake で時間旅行 (time travel) クレンジング履歴
17. cleanlab でラベル品質チェック
18. fastai の DataBlock で画像/テキストクレンジング
19. NLTK + spacy で日本語テキスト正規化
20. sudachi で日本語形態素解析
21. mecab-ipadic-neologd で表記揺れ正規化
22. jaconv で全角半角・カタカナ変換
23. unicode_jp 正規化
24. CSV 文字コード判定の高速化（charset-normalizer）
25. AWS Glue DataBrew でノーコード前処理

🌟 追加 FAQ 10 問

🛠 トラブルシューティング表

🧪 ラボノート（再現実験ステップ）

1. SSDSE-B-2026 を読み込み
2. df.shape == (564, 112) を assert
3. df.isna().sum() で欠損率確認
4. df.duplicated(subset=['年度','都道府県']).sum() == 0 を assert
5. df.dtypes で型確認、 必要に応じて astype
6. 主要数値列の describe() で異常検査
7. 対象指標で IQR / Z スコア外れ値検出
8. 前処理 pipeline を関数化
9. 関数を pytest で回帰テスト
10. 結果を data/processed/ に UTF-8 BOM CSV で保存

🚧 クレンジングパイプライン設計

A. 8 ステップ汎用パイプライン表

B. SSDSE-B-2026 用パイプライン関数の実装

このコードでやること: 1 つの関数で SSDSE の前処理を pipeline 化し、 結果と中間検証を出す。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
from sklearn.preprocessing import StandardScaler

def cleanse(df):
    df = df.copy()
    df = df.rename(columns={'年度':'year','都道府県':'pref','総人口':'pop_total'})
    df['year'] = df['year'].astype('int32')
    df = df.drop_duplicates(subset=['year','pref'])
    df = df.dropna(subset=['pop_total'])
    scaler = StandardScaler()
    df['pop_z'] = scaler.fit_transform(df[['pop_total']])
    return df

raw = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
clean = cleanse(raw)
print('clean shape:', clean.shape)
print(clean[['year','pref','pop_total','pop_z']].head(3).to_string(index=False))

📤 実行結果:

💬 pipeline 関数は idempotent（何度呼んでも同じ結果）に作る。 sklearn の Pipeline クラスを使うと前処理 + モデル訓練を一体化できる。

🛡 検証フレームワーク比較

A. 8 フレームワーク比較

B. pandera で SSDSE スキーマ検証

このコードでやること: pandera で SSDSE-B-2026 の主要列に型・値域制約を宣言し、 自動検証。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandera as pa
from pandera import Column, DataFrameSchema, Check

schema = DataFrameSchema({
    '年度': Column(int, Check.in_range(2012, 2023)),
    '都道府県': Column(str),
    '総人口': Column(int, Check.greater_than(0)),
    '出生数': Column(int, Check.greater_than_or_equal_to(0)),
})

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
validated = schema.validate(df[['年度','都道府県','総人口','出生数']])
print('検証合格:', validated.shape)

📤 実行結果:

💬 564 行 × 4 列すべてが制約を満たしたので、検証済みの DataFrame がそのまま返り shape は (564, 4) になる。実データでは年度が 2012〜2023、出生数の最小は 3,263 なので値域の制約に余裕で収まる。1 行でも違反すると SchemaError 例外で止まるため、CI に組み込めばデータ品質の劣化を本番前に見つけられる。

🔗 隣接手法への橋渡し

データクレンジングは収集と特徴量エンジニアリングの間の橋。 3 視点 (接続・統合・比較) で隣接前処理工程との関係を整理する。

🔌 接続: 上流・下流での連鎖

• 上流: データ収集 — 未整備の生データを受け取る
• 並列: データクレンジング詳細、 欠損値、 外れ値 — 実装の詳細工程
• 下流: 特徴量エンジニアリング、 EDA — 整備データから特徴量を作る

🧩 統合: 前処理パイプラインへの組み込み

読み込み (read_csv で SSDSE-B-2026 を取得) → 列名正規化 → 型変換 (parse_dates・dtype) → 欠損処理 (median/前後補完) → 重複削除 → 値の妥当性検証 (range/codeset) の流れで、 sklearn Pipeline 化することで再現性が確保できる。 各段で検証ログを残すと、 後工程の異常検知時に原因切り分けが速い。

⚖️ 比較: 隣接前処理工程との位置づけ

4 工程は目的が異なる。 クレンジングは「正しさ」、 特徴量エンジニアリングは「有用性」、 統合は「整合性」、 EDA は「理解」を担う。 SSDSE 分析では順にクレンジング → 統合 → EDA → 特徴量化と進めるのが定型。

🌳 手法選択フロー

データクレンジングは欠損・外れ値・型統一を反復する前処理工程。

1. 欠損値の扱いは？ Yes → 欠損値、 No → 欠損メカニズム を先に確認
2. 外れ値や重複は？ Yes → 外れ値、 No → 重複処理 を先に確認
3. 型や単位は揃ったか？ Yes → データ型、 No → 正規化 を先に確認

スクリプト主導なら pandas、 大規模なら Spark、 GUI なら OpenRefine、 と「データ規模と対話性」で選ぶ。

🎮 触って理解する

架空の店舗売上データ(8行)には、 表記揺れ・重複行・型混在・欠損・異常値 の 5 種類の「汚れ」が仕込んである。 下のボタンを ①→⑤の順 に押すと、 クレンジングの各工程が 1 つずつ適用され、 表・棒グラフ・集計値(件数/合計/平均)がリアルタイムに変化する。 行をタップ/クリック すると、 その行に潜む問題の説明が表示される。 汚れたまま集計した平均と、 クレンジング後の平均がどれだけ違うかに注目してほしい。

💡 直感: 「分析の 8 割は前処理」の意味

上の演習で分かる通り、 集計コード自体は 1 行 (平均を取るだけ) なのに、 その前に 5 工程の掃除が必要だった。 これが「分析工数の 60-80% は前処理」と言われる実態である。 しかも汚れたまま計算した平均 (1,613.3 万円) とクレンジング後の平均 (790 万円) は 2 倍以上ずれる。 計算機はエラーを出さずに「間違った答え」を静かに返すため、 汚れは自分で探しに行くしかない — これが GIGO (Garbage In, Garbage Out) の恐ろしさである。

⚠️ よくある落とし穴

• 過剰な削除: ⑤で札幌の 5800 を「異常だから」と行ごと削除すると、 実在する店舗のデータが消える。 上の演習では原簿と照合して 580 に修正した。 IQR や Z スコアは「疑わしい値の検出器」であって「自動削除装置」ではない (外れ値 参照)。 欠損も同様に、 闇雲な dropna は標本を偏らせる (欠損値 参照)。
• 元データの破壊: 生データの CSV を直接上書き保存すると、 「⑤の修正が正しかったか」を後から検証できない。 元データは読み取り専用で保管し、 クレンジング後は別ファイルに書き出すのが鉄則。
• ルールの記録漏れ: 上の「クレンジングログ」のように、 どの値をどんな根拠で直したかを残さないと、 半年後の自分もレビュアーも再現できない。 手作業の Excel 修正が最も危険で、 コード化 (= 記録) されたクレンジングだけが再現可能である。

🚀 発展: バリデーション・パイプライン化・再現性

• バリデーション: クレンジング後に「行数 6・売上は 0〜10000 の数値・欠損 0」といった期待条件を assert やスキーマ (pandera / Great Expectations) で検証し、 品質ゲートとして自動化する (バリデーション 参照)。
• パイプライン化: ①〜⑤を関数の連鎖として実装すれば、 データが更新されても同じ順序・同じルールで再実行できる。 順序が重要な点 (欠損補完の後に外れ値判定をすると基準が歪む等) はコードの順序として固定される (ETL / データクレンジング詳細 参照)。
• 再現性: 「生データ + クレンジングコード + ログ」の 3 点セットが揃えば、 誰がいつ実行しても同じ D_clean が得られる。 これが分析の信頼性の土台であり、 クレンジング後の EDA やモデリングの結論を守る保険になる。