🔖 キーワード索引

別名・略称：（なし）

「filtering」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「filtering」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「filtering の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

🎮 条件フィルタで行を絞る（体験）

📐 定義 / 数式

📐 集合論で見るフィルタリング — AND/OR の正体

フィルタリングは集合演算そのもの。 2 条件 $A, B$ について：

⚖️ ド・モルガンの法則：$\neg(A \land B) = \neg A \lor \neg B$ → pandas でも ~((A) & (B)) ≡ (~A) | (~B)。

🧩 フィルタの設計パターン — 再利用しやすい書き方

パターン A: 関数化（複数箇所で使う条件）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd

# ── この抜粋だけで動くように、47 都道府県の表を読み込む ──
# Prefecture / I5102（一般診療所数）という英字の列名を使うので skiprows=[1]
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]      # 最新年度の 47 行

def is_kanto(df):
    kanto = ['茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県']
    return df['Prefecture'].isin(kanto)

def has_many_clinics(df, threshold=5_000):
    return df['I5102'] >= threshold

# 再利用可能なフィルタ
df_target = df[is_kanto(df) & has_many_clinics(df, 5_000)]
print(df_target[['Prefecture', 'I5102']].to_string(index=False))

パターン B: パイプライン（メソッドチェーン）

1
2
3
4
5
6

result = (df
    .loc[lambda d: d['SSDSE-B-2026'] == 2023]
    .loc[lambda d: d['L3221'] >= 300000]
    .loc[lambda d: d['Prefecture'].str.endswith('都')]
    .reset_index(drop=True)
)

パターン C: 設定駆動型（YAML/JSON で条件管理）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

filter_config = {
    'min_population': 500_000,
    'max_aging_rate': 35.0,
    'target_prefectures': ['茨城県', '東京都', '大阪府', '愛知県']
}
aging_rate = df['A1303'] / df['A1101'] * 100
mask = (
    (df['A1101'] >= filter_config['min_population']) &
    (aging_rate < filter_config['max_aging_rate']) &
    (df['Prefecture'].isin(filter_config['target_prefectures']))
)
df_subset = df[mask]

💡 業務分析では「条件が頻繁に変わる」ことが多いため、 設定駆動型が保守性◎。

📖 さらに学ぶには

本サイト内

• 論文一覧 — フィルタリングを実際に使った再現論文を体験
• 「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断学習へ

外部リソース

• pandas 公式ドキュメント — Boolean indexing: pandas.pydata.org
• 10 minutes to pandas — 公式チュートリアル（フィルタも含む）
• Wes McKinney『Python for Data Analysis』 — DataFrame 操作の決定版
• Kaggle Learn / Pandas — 演習形式で学べる
• Modern Pandas（Tom Augspurger） — 中級者向けブログシリーズ
• Effective pandas（Matt Harrison） — チェーン記法の入門書
• polars 公式 — 次世代の高速 DataFrame ライブラリ

困ったとき / トラブルシューティング

🔬 記号・式を言葉で読み解く

boolean mask

True/False の Series。 これで行を絞り込む。

&, |, ~

AND, OR, NOT。 各条件を括弧で囲む こと（演算子優先順位対策）。

query()

文字列で条件を書く。 SQL ライクに読みやすい。

isin()

リスト内のいずれかと一致するか。

欠損

NaN との比較は常に False。 必ず isna() / notna() で扱う。

🔬 性能比較 — どの書き方が速いか

🔑 鉄則: ベクトル化（&, |, .isin, .str.contains）を最優先。 100 万行のデータでも 1 秒未満。

🔬 高度なテクニック — 3 つの実践パターン

① 動的なフィルタ（条件をリストで管理）

1
2
3
4
5
6
7
8

conditions = {
    '消費支出 >= 300000': df['L3221'] >= 300000,
    '高齢化率 < 30': (df['A1303'] / df['A1101'] * 100) < 30,
    '関東': df['Prefecture'].isin(['茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県'])
}
mask = pd.concat(conditions.values(), axis=1).all(axis=1)
df_subset = df[mask]
print(f'条件を満たす県: {len(df_subset)}')

② グループ内フィルタ（groupby + filter）

1
2
3

# 地方ごとに、平均消費支出が 30 万円以上の地方だけ残す
df['region'] = ['北海道'] + ['東北']*6 + ['関東']*7 + ['中部']*9 + ['近畿']*7 + ['中国']*5 + ['四国']*4 + ['九州沖縄']*8
df_filtered = df.groupby('region').filter(lambda g: g['L3221'].mean() >= 300000)

③ 上位 N 件抽出（nlargest / nsmallest）

1
2
3
4
5
6
7
8
9

# 高齢化率トップ 5
top5 = (df.assign(高齢化率=df['A1303'] / df['A1101'] * 100)
          .nlargest(5, '高齢化率')[['Prefecture', '高齢化率']])

# 消費支出ボトム 3
bot3 = df.nsmallest(3, 'L3221')[['Prefecture', 'L3221']]

# ソートしてから head() でも同じ結果
top5_alt = top5.sort_values('高齢化率', ascending=False).head(5)

📊 公的データでの応用例 — 3 つのケース

フィルタリングは EDA の最初の一歩。 「適切に絞り込めるか」が分析の質を決めます。

✅ フィルタリングを書く前のチェックリスト

1. 条件はベクトル化できているか（for ループになっていないか）
2. 複数条件は各々を括弧で囲み、 & / | で結合したか
3. 欠損値を notna() / na=False で安全に除外したか
4. 結果がコピーかビューか意識しているか（書き換えるなら .copy()）
5. 必要なら .reset_index(drop=True) で index を振り直したか
6. 条件式が正しいか、 必ず件数（len）と head() で確認したか
7. 条件のロジック（AND / OR）が要求通りか、 ベン図でイメージできるか
8. 除外ではなく抽出のロジックになっているか確認したか

🔬 数式を言葉で読み解く（拡張ナラティブ）— フィルタは「集合と布の重ね合わせ」

フィルタリングは数学的に書くと $S' = \{x \in S \mid P(x)\}$。 つまり、 元の集合 $S$ から、 述語 $P$ が真である要素だけを取り出す。 pandas では「boolean マスク」と呼ばれる Bool 値の Series（True/False の並び）を使って、 マスクが True の行だけを残す形で実装されます。

記号別の解釈

覚え方: フィルタは「布」（mask）。 DataFrame の上にマスクを被せ、 穴の空いている所（True）だけ落ちてくる。 マスクは何枚でも重ねられる（AND）。 重ねたら別のところを通過する仕組みにもできる（OR）。

🔎 Q5 監査 — フィルタリングでハマる 5 つの質問（SSDSE-B-2026 ベース）

🧮 実データで計算してみる

🧮 もう一段深く — フィルタが返す件数を予測する

分析前に、 フィルタが返す件数を概算できると効率的。 47 都道府県データを例に。

💡 期待件数を立てておくと、 結果が大きく違ったときに「条件式のバグ」に気付きやすい。

🎓 教育的視点 — なぜ「フィルタリング」が最初に学ぶべき操作なのか

データサイエンス教育で最初に学ぶ pandas 操作は read_csv → フィルタリング → 集計 の流れ。 これは「分析対象を絞り込む」という思考が、 探索的データ分析（EDA）の基本だから。 大量データのまま考えるのは人間の脳には無理で、 まず関心のある部分集合に絞るのが鉄則。

1. 第 1 段階: 単一条件で絞る（df[df['x'] > 0]）
2. 第 2 段階: AND/OR を組み合わせる（多次元条件）
3. 第 3 段階: query() / loc[] でメソッドチェーン化
4. 第 4 段階: groupby + filter で「グループ単位の絞り込み」
5. 第 5 段階: 関数化 → パイプライン化 → 設定駆動化

この階段を踏むことで、 「条件を1つ書く」から「分析パイプライン全体を設計する」へとレベルが上がります。 重要なのは、 各段階で同じ思考（boolean マスクの組み合わせ）を使い続けていること。 道具が変わっても本質は変わりません。

フィルタリングは、 SQL、 Excel、 BI ツール、 機械学習の前処理など、 あらゆる場面で出てくる普遍的操作。 ここを丁寧に学ぶと、 後段の学習が格段に楽になります。

🧮 SSDSE-B-2026 でフィルタを 20 パターン書く

フィルタの語彙を 20 パターンに分けて、 SSDSE-B-2026 で実演します。 すべて単独で動くコードです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()

# 1. 単一条件: 人口 100 万人以上
df[df['A1101'] >= 1_000_000]

# 2. 否定: 人口 100 万人未満
df[~(df['A1101'] >= 1_000_000)]
df[df['A1101'] < 1_000_000]  # 同じ意味

# 3. AND: 大都市 かつ 高齢化率 30% 以上
df[(df['A1101'] >= 1_000_000) & (df['A1303']/df['A1101'] >= 0.30)]

# 4. OR: 大都市 または 沖縄
df[(df['A1101'] >= 1_000_000) | (df['Prefecture'] == '沖縄県')]

# 5. isin: 関東 7 都県
kanto = ['茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県']
df[df['Prefecture'].isin(kanto)]

# 6. between: 人口 50万-100万
df[df['A1101'].between(500_000, 1_000_000)]

# 7. 文字列含む: 「県」を含む（東京・大阪・京都府以外）
df[df['Prefecture'].str.contains('県')]

# 8. 文字列で始まる: 「東」で始まる
df[df['Prefecture'].str.startswith('東')]

# 9. 文字列で終わる: 「府」で終わる
df[df['Prefecture'].str.endswith('府')]

# 10. 正規表現: 「北」「南」「東」「西」で始まる
df[df['Prefecture'].str.match(r'^[北南東西]')]

# 11. 欠損 isna: A1101 が欠損の行
df[df['A1101'].isna()]

# 12. 非欠損 notna
df[df['A1101'].notna()]

# 13. query: SQL風
df.query('A1101 >= 1_000_000 and A1303 / A1101 >= 0.30')

# 14. loc 行絞り + 列選択: 大都市の人口・高齢者数だけ
df.loc[df['A1101'] >= 1_000_000, ['Prefecture','A1101','A1303']]

# 15. iloc インデックス絞り（位置で）
df.iloc[0:10]   # 北海道-栃木県

# 16. ランダム抽出
df.sample(n=10, random_state=42)

# 17. 上位 N: 人口上位 5 県
df.nlargest(5, 'A1101')

# 18. 下位 N: 人口下位 5 県
df.nsmallest(5, 'A1101')

# 19. クォンタイル: 中央値以上
df[df['A1101'] >= df['A1101'].median()]

# 20. groupby + filter: 地域内で人口最大の県
df['region'] = ['北海道']+['東北']*6+['関東']*7+['中部']*9+['近畿']*7+['中国']*5+['四国']*4+['九州沖縄']*8
df.loc[df.groupby('region')['A1101'].idxmax()]

🧮 数式に値を入れて手で計算する: 単純移動平均フィルタ

合成時系列にウィンドウ 3 の移動平均を適用してノイズ除去する。

Step 1: 元データ

Step 2: 移動平均

🐍 Python で再現

1
2
3
4

import numpy as np
x = np.array([4, 6, 5, 8, 7, 9, 6])
y = np.convolve(x, np.ones(3)/3, mode='valid')
print(f"移動平均: {y.round(3)}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装

SSDSE-B-2026（47 都道府県・2023 年データ）を題材にした最小コード：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={
    'SSDSE-B-2026': '年', 'Code': '都道府県コード', 'Prefecture': '都道府県',
    'A1101': '総人口', 'A1303': '高齢人口', 'L3221': '消費支出',
    'I5102': '一般診療所数'
})
df['高齢化率'] = df['高齢人口'] / df['総人口'] * 100

high = df[df['消費支出'] >= 300000]
kanto = ['茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県']
df_kanto = df[df['都道府県'].isin(kanto)]
df_q = df.query('消費支出 >= 300000 and 都道府県 == "東京都"')

🐍 Python 実装 — 完全ガイド

フィルタリングは pandas の中核操作です。 5 つの代表的なパターンを SSDSE-B-2026（都道府県別データ）で示します。

パターン 1: 単純な不等号

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={
    'SSDSE-B-2026': '年', 'Prefecture': '都道府県',
    'L3221': '消費支出', 'I5102': '一般診療所数'
})

# 消費支出が 30 万円以上の県
high = df[df['消費支出'] >= 300000].reset_index(drop=True)
print(f'対象県数: {len(high)} / {len(df)}')
print(high[['都道府県', '消費支出']].head())

パターン 2: 複数条件（AND / OR / NOT）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# AND: 関東 7 都県 かつ 2023 年
kanto = ['茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県']
mask_a = df['都道府県'].isin(kanto)
mask_b = df['年'] == 2023
df_subset = df[mask_a & mask_b]

# OR: 消費支出 30 万円以上 または 一般診療所数 5,000 施設以上
df_or = df[(df['消費支出'] >= 300000) | (df['一般診療所数'] >= 5000)]

# NOT: 関東以外
df_not = df[~df['都道府県'].isin(kanto)]

パターン 3: query() で SQL ライク

1
2
3
4
5
6
7
8
9

# query は文字列で条件を書けるので、列名が多いときに可読性が高い
df_q = df.query('消費支出 >= 300000 and 都道府県 == "東京都"')

# 変数参照は @ プレフィックス
threshold = 320000
df_q2 = df.query('消費支出 >= @threshold')

# 範囲指定
df_q3 = df.query('300000 <= 消費支出 <= 350000')

パターン 4: 文字列フィルタと正規表現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 部分一致 ("県" を含む)
df_str = df[df['都道府県'].str.contains('県', na=False)]

# 始まり ("北" で始まる)
df_start = df[df['都道府県'].str.startswith(('北', '東'))]

# 正規表現
df_re = df[df['都道府県'].str.match(r'^(東|大|京).*[都府]$')]

# 表記ゆれを含めた部分一致
df_tokyo = df[df['都道府県'].str.contains('東京', na=False)]

パターン 5: 欠損を扱う安全フィルタ

1
2
3
4
5
6
7
8
9

# NaN との比較は常に False になる罠を回避
df_safe = df[df['消費支出'].notna() & (df['消費支出'] >= 300000)]

# 行に欠損があれば除外
df_complete = df.dropna(subset=['消費支出', '一般診療所数'])

# fillna() で代入してからフィルタ
df_fill = df.fillna({'消費支出': 0})
df_fill_ok = df_fill[df_fill['消費支出'] >= 300000]

🐍 Python フィルタの徹底解説 — SSDSE-B-2026 で学ぶ 6 パターン

パターン 1: マスク変数化で読みやすく

複雑な条件は変数に切り出すと意図が明確になります。 SSDSE-B-2026 を例に。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()

# マスクを変数化
m_big_population = df['A1101'] >= 1_000_000
m_aged_society   = df['A1303'] / df['A1101'] >= 0.30
m_low_birth      = df['A4101'] / df['A1101'] <= 0.005

# 組み合わせ
high_risk = df[m_big_population & m_aged_society & m_low_birth]
print(f'該当: {len(high_risk)} 県')
print(high_risk[['Prefecture','A1101']].head())

パターン 2: query() で SQL 風に書く

1
2
3
4
5
6

threshold = 1_000_000
result = df.query('A1101 >= @threshold and A1303 / A1101 >= 0.30')
print(result[['Prefecture','A1101','A1303']].head())

# @threshold で Python 変数を参照できる
# 列名にスペースや日本語があると `バッククォート` で囲む

パターン 3: 関数化（再利用可能なフィルタ）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

def filter_aged_big(df, min_pop=1_000_000, min_aged=0.30):
    """大都市かつ高齢社会の県を返す."""
    m_big = df['A1101'] >= min_pop
    m_aged = df['A1303'] / df['A1101'] >= min_aged
    return df[m_big & m_aged].copy()

# 異なる閾値で複数回使える
result_30 = filter_aged_big(df, min_aged=0.30)
result_35 = filter_aged_big(df, min_aged=0.35)
print(len(result_30), len(result_35))

パターン 4: メソッドチェーン

1
2
3
4
5
6
7
8
9

result = (df
    .assign(elderly_ratio=lambda d: d['A1303'] / d['A1101'])
    .assign(birth_rate=lambda d: d['A4101'] / d['A1101'] * 1000)
    .query('A1101 >= 1_000_000')
    .query('elderly_ratio >= 0.30')
    .sort_values('birth_rate')
    .loc[:, ['Prefecture','A1101','elderly_ratio','birth_rate']]
)
print(result.head())

パターン 5: 正規表現でテキストフィルタ

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import re

# 漢字 1 文字 + 「県」で終わる 2 文字名
result = df[df['Prefecture'].str.match(r'^.{1}県$')]
print(result['Prefecture'].tolist())
# []  → 該当なし

# 「県」を含む（東京都・大阪府・京都府・北海道以外）
result = df[df['Prefecture'].str.contains('県')]
print(len(result))  # 43

# 東日本（北海道〜静岡）の県を「東」「北」「中」開始など複数パターンで
patt = r'^(北海道|青森|岩手|宮城|秋田|山形|福島|茨城|栃木|群馬|埼玉|千葉|東京|神奈川|新潟|富山|石川|福井|山梨|長野|岐阜|静岡)'
result = df[df['Prefecture'].str.match(patt)]
print(len(result))  # 22

パターン 6: groupby + filter で「グループ単位の絞り込み」

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

df['region'] = ['北海道']+['東北']*6+['関東']*7+['中部']*9+['近畿']*7+['中国']*5+['四国']*4+['九州沖縄']*8

# 地域内の平均人口が 200 万以上の地域だけを取り出す
filtered = df.groupby('region').filter(lambda g: g['A1101'].mean() >= 2_000_000)
print(filtered['region'].unique())  # ['北海道' '関東' '中部' '近畿']

# 地域内で人口最大の県を取り出す
idx = df.groupby('region')['A1101'].idxmax()
top_per_region = df.loc[idx, ['region','Prefecture','A1101']]
print(top_per_region)

⚙️ フィルタリング ベンチマーク — SSDSE-B-2026 を 1000 倍に水増し

同じ条件を 5 つの方法で書いた場合の所要時間を比較。 47,000 行（47 県 ×1000 倍）での結果です。

教訓: ループは避け、 まずベクトル化マスクか loc を使う。 SSDSE-B-2026 単体（47 行）なら差は感じないが、 時系列で積み上げた数十万行ではループだけが急に重くなる。

⚠️ よくある落とし穴

⚠️ よくある落とし穴 — 追加 5 つ

⚠️ もう一段深い落とし穴（5 つ）— SSDSE-B-2026 で発生する事例

📝 レポート・論文でのフィルタリングの書き方

論文の「データ」「方法」セクションでは、 フィルタ条件を明示的に書くことが重要。 SSDSE-B-2026 を使う場合のテンプレート。

🏛️ 応用事例 — SSDSE-B-2026 で書くフィルタ 4 本

❓ よくある質問（FAQ）

Q. df[df['x'] == None] でフィルタできない — なぜ？

pandas/NumPy の世界では None は NaN として保存される。 NaN との == 比較は常に False。 必ず df[df['x'].isna()] を使う。 SSDSE-B-2026 では欠損はほぼ無いが、 結合後のデータでは頻出。

Q. フィルタした結果が空 (0 行) になる — どう調査する？

条件を 1 つずつ外して、 「どの条件が原因で空になったか」を切り分ける。 SSDSE-B-2026 で df[(df['A1101'] >= 1_000_000) & (df['A1303']/df['A1101'] >= 0.40)] が空になるなら、 後者の閾値 0.40 が厳しすぎる（2023 年で最も高齢化率の高い秋田でも約 39.1%）。 各条件のヒット数を m.sum() で確認する習慣を。

Q. str.contains('東京') で「東京都」がヒットしない — なぜ？

99% は文字コードの問題か NaN の存在。 SSDSE-B-2026 を CP932 で読んだ場合、 内部で UTF-8 に変換されるはず。 na=False を指定して NaN 安全化、 regex=False でリテラル比較に。 df['Prefecture'].str.contains('東京', na=False)。

Q. query() で日本語列名を使うには？

列名を `バッククォート` で囲む。 例: df.query('`人口` >= 1000000')。 SSDSE-B-2026 ではカラム名が A1101 のような英数字なので問題は起きないが、 日本語列名を持つデータでは必須。

Q. フィルタリングと slicing の違いは？

フィルタは「条件式の True/False で選ぶ」、 slicing は「位置や Index で選ぶ」。 SSDSE-B-2026 で df.iloc[0:10] は最初の 10 行（北海道〜栃木）。 df[df['A1101'] >= 1_000_000] は条件にマッチする行（順不同）。

🏛 ツール別フィルタリング早見表

同じ「人口 100 万人以上」のフィルタを各ツールで書くと:

🎯 練習問題 — SSDSE-B-2026 で書くフィルタ 10 問

1. 人口 100 万未満 かつ 高齢化率 35% 以上の県を抽出せよ。 期待: 秋田・徳島・高知あたり。
2. 高齢化率 (A1303/A1101) が全国平均以上の県をすべて抽出せよ。 期待: 約 30 県。
3. 出生率 (A4101/A1101) の上位 5 県を抽出せよ。 期待: 沖縄・滋賀・熊本・愛知・福岡あたり。
4. 都道府県名に「島」を含む県を抽出せよ。 期待: 福島・島根・徳島・広島・鹿児島の 5 県。
5. 関東 7 都県 かつ 高齢化率 25% 未満の県を抽出せよ。 期待: 東京・神奈川・埼玉あたり。
6. 9 つの地域（北海道・東北・関東・中部・近畿・中国・四国・九州・沖縄）ごとに人口最大県を抽出せよ。
7. 人口千人あたり婚姻件数 (A9101/A1101*1000) で全国平均の 1.5 倍以上の県を抽出せよ。
8. 2018-2026 の SSDSE-B を縦結合し、 「2020 年以降の東京都」だけ抽出せよ。
9. 総人口 100 万人あたり一般診療所数（I5102/A1101*1_000_000）が上位 10% の県を抽出せよ。
10. 年少人口 / 総人口 が 10% を下回る県を抽出せよ。 期待: 少子化が進む県の健全性チェック。

採点のコツ: 結果の県名・件数を、 期待値と照らし合わせる。 ずれていたら、 マスクを 1 つずつ print(m.sum()) で検証する。

🌍 他分野での類似概念

🎓 フィルタリングマスター 5 段階 — SSDSE-B-2026 を題材に

1. Step 1: df[df['col'] op val] で単一条件フィルタを書く。 SSDSE-B-2026 で「人口 100 万以上」「高齢化率 30% 以上」など 10 種類書く。
2. Step 2: & | ~ で複合条件を書く。 SSDSE-B-2026 で AND/OR/NOT を含む 5 種類の絞り込みを書く。
3. Step 3: isin(), between(), str.contains(), str.match() など特殊メソッドを習得。 SSDSE-B-2026 の地域別分類や正規表現フィルタに使う。
4. Step 4: query() と loc[] でメソッドチェーン化。 SSDSE-B-2026 の派生列生成＋フィルタ＋ソートを 1 行で書く。
5. Step 5: 関数化＋ Pipeline 化。 SSDSE-B-2026 用の「filter_aged_big(df, min_pop, min_aged)」のような再利用可能なフィルタ関数を作る。

📈 SSDSE-B-2026 フィルタの定石レシピ集

よく使うフィルタを「目的→コード」の形でまとめました。 SSDSE-B-2026 の列コード（A1101 など）は統計センター公式を参照してください。

✅ フィルタリング前のチェックリスト（12 項目）

1. 対象列の dtype を確認したか？ （数値 / 文字列 / 日付）
2. 欠損 (NaN) の有無を確認したか？
3. 条件式は & | ~ を使い、 各条件を () で囲んでいるか？
4. 条件式の中で and や or を誤用していないか？
5. SettingWithCopyWarning が出る場合、 .copy() または .loc[] を使っているか？
6. 絞り込み後の行数が期待値に合っているか？
7. chained indexing（df[...][...] = ...）を避けているか？
8. 絞り込み後の Index が必要なら reset_index(drop=True) したか？
9. SSDSE-B-2026 のような既知データでは、 県名と件数を目視で確認したか？
10. 論文・レポートでフィルタ条件を明示したか？ Methods セクションで再現可能か？
11. パフォーマンスが必要なら、 ベクトル化マスク か query() で書いたか？
12. NaN を「除外したい / 残したい / 別扱いしたい」の方針を決めたか？

🕰 フィルタリングの歴史と発展

「フィルタリング」は 50 年以上前の関係代数から続く操作。 道具は変わっても、 「条件式 → 真偽値 → 行選択」の 3 段思考は普遍。

🌐 関連手法・この用語を使う論文

🌐 関連手法 — フィルタリングの拡張

🌐 関連手法・派生（フィルタリングの周辺技術）

🔗 関連用語（前提・並列・発展）

フィルタリングは「条件に合う行だけ残す」操作。 前提は DataFrame / Series 構造と boolean mask、 並列は集約 (groupby) / ピボット / 結合、 発展は SQL WHERE / Power Query / Tableau / polars 等の高速エンジン。 SSDSE-B-2026 で「東京以外」「総人口 100 万以上」「欠損除去」など実務頻出。

🔗 関連用語（前提・並列・発展）— 詳細

📌 前提となる用語

⚖️ 並列・対比となる用語

🚀 発展先

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 用語集トップ — カテゴリ別の一覧から関連用語を辿る
• 🗺️ 概念マップ — 全体の繋がりを俯瞰
• 🧹 データクレンジング — クレンジング・型変換・フィルタリングを体系学習
• 🐼 DataFrame 基礎 — pandas DataFrame 操作の総合演習
• 🔍 探索的データ分析（EDA） — フィルタを使った仮説探索

🔎 深掘り解説 — なぜ「ベクトル化」が速いのか

pandas のフィルタが for ループより 100 倍以上速い理由は、 内部で NumPy の C 実装を呼び出しているから。 Python レベルでは for ループ 1 回ごとにオブジェクト生成・型チェックが走るが、 NumPy は連続メモリ上の値を直接 C 関数で処理する。 これは「ベクトル化（vectorization）」と呼ばれ、 データサイエンスの基本原則の 1 つ。

📊 さらに polars や DuckDB を使えば、 数千万行レベルでも 1 秒未満で完了する世界が広がる。

🎯 ツール別フィルタ早見表 — Excel / SQL / pandas / R / Power Query

💡 道具は違っても考え方は同じ：「条件を boolean に変換し、 True の行だけ残す」。

🧪 練習問題（SSDSE-B-2026 で手を動かす）

1. Q1. 「総人口 100 万人以上 かつ 高齢化率 30%未満」の都道府県を抽出してください。
2. Q2. 「東日本（北海道〜中部）」と「西日本（近畿〜九州）」の 2 グループに分け、 それぞれの一般診療所数平均を比較してください。 ヒント: .isin() と .groupby()。
3. Q3. 都道府県名に「県」が含まれない自治体（東京都・大阪府・京都府・北海道）だけ抽出する正規表現を書いてください。 ヒント: str.contains(r'(?:都|府|道)$')。
4. Q4. 消費支出が欠損していない行に限定し、 消費支出が中央値以上の県を抽出してください。
5. Q5. query() を使い、 消費支出 / 一般診療所数 >= 0.8 となる「貯蓄余力の小さい県」を抽出してください。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={'Prefecture': '都道府県', 'A1101': '総人口', 'I5102': '一般診療所数', 'L3221': '消費支出'})
df['高齢化率'] = df['A1303'] / df['総人口'] * 100

# Q1
df_q1 = df[(df['総人口'] >= 1_000_000) & (df['高齢化率'] < 30)]

# Q2
east = ['北海道','青森県','岩手県','宮城県','秋田県','山形県','福島県',
        '茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県',
        '新潟県','富山県','石川県','福井県','山梨県','長野県','岐阜県','静岡県','愛知県']
df['地方'] = df['都道府県'].apply(lambda x: '東日本' if x in east else '西日本')
print(df.groupby('地方')['一般診療所数'].mean())

# Q3
df_q3 = df[df['都道府県'].str.contains(r'(?:都|府|道)$', regex=True)]

# Q4
med = df['消費支出'].median()
df_q4 = df[df['消費支出'].notna() & (df['消費支出'] >= med)]

# Q5
df_q5 = df.query('消費支出 / 一般診療所数 >= 0.8')

🗺 概念マップ — フィルタリングの位置づけ

フィルタリングは「データクレンジング後、 集計前」のフェーズで最も頻出する操作。 SQL の WHERE 句、 Excel のオートフィルタ、 BI ツールのスライサーなど、 全てのデータ分析ツールに対応する操作がある。

データ取得 (read_csv / SQL)
  │
  ▼
【データクレンジング】
  ├─ 型変換
  ├─ 欠損値処理
  └─ 外れ値検出
  │
  ▼
【フィルタリング】 ★ 本ページ
  ├─ 単一条件マスク
  ├─ 複合条件（AND / OR / NOT）
  ├─ 範囲（between）
  ├─ メンバーシップ（isin）
  ├─ 文字列・正規表現
  └─ groupby + filter
  │
  ▼
【集計（aggregation）】
  ├─ groupby + agg
  ├─ pivot_table
  └─ crosstab
  │
  ▼
【モデリング / 可視化】
  

🧭 フィルタリング深掘り — SSDSE-B-2026 で「見る前と見た後」を徹底比較する

フィルタリングは「データを切る」操作だが、 切り方を誤ると 残った行で計算する平均・分散・相関がすべて偏る。 ここでは SSDSE-B-2026（47 都道府県）を題材に、 同じ列に対して 3 種類のフィルタを掛けた時に分布がどう変化するかを 3 枚の図で並べて観察する。 「フィルタ前」「フィルタ後」「群別」の 3 視点を持つことで、 自分の切り口が「サンプルの代表性」を歪めていないかを毎回チェックする習慣を身につけよう。

図 1: フィルタ前後の散布図（総人口 vs 一般診療所数）

この散布図から読み取れる最大の教訓は、 「外れ値らしい点」をフィルタで切り落とす前に、 それが本当に異常値なのか、 それとも研究対象そのものなのかを判断する必要がある という点だ。 東京都の人口と一般診療所数が突出しているからといって 47 都道府県の分析から外せば、 残った 46 件は「東京を除いた日本」という別の母集団を表すことになる。 SSDSE-B-2026 のような全数調査データでは、 外れ値は誤差ではなく「現実そのもの」であり、 フィルタは慎重に説明可能な根拠でだけ行うべきだ。

図 2: フィルタが生む分布の歪み（ヒストグラム）

ヒストグラムの裾を見ると、 平均というしきい値が「分布の中央」ではないことが一目で分かる。 SSDSE-B-2026 の人口分布のように右に長い裾を持つデータでは、 平均値より大きい都道府県は数えるほどしかなく、 多くは平均より小さい。 こうした分布で「平均以上」「平均以下」というフィルタを掛けると、 残ったサンプル数自体が大きく偏る。 件数の偏りは分析の 統計的検出力 に直結する。 つまり、 残った件数が少なすぎると「差が無いように見える」ことが起こる。

図 3: 群別フィルタの可視化（クラスタ別の箱ひげ図）

フィルタは単に「行を選ぶ」操作のように見えるが、 群別に区切ると 群と他の変数が強く相関している（交絡） ことが露呈する。 「関東に絞って分析する」と言った瞬間、 自動的に「人口規模が大きく一般診療所数も多い都道府県だけ」を分析していることになりやすい。 結果の解釈で「関東だから」と説明できるとは限らず、 「単に人口が大きいから」かもしれない。 こうした交絡の検出には、 図 3 のような群別箱ひげ図が最も実務的に効く。

フィルタ条件の分類表 — 11 パターン

11 パターンを一覧化すると、 ほとんどの実務上のフィルタはこの組み合わせに分解できることが分かる。 自分が書いた条件式が「どのパターンに属するか」を即答できるようになれば、 SQL と pandas を行き来する場面でも翻訳ミスをほぼ防げる。

条件式と件数の早見表（SSDSE-B-2026 47 件で実測）

同じ「人口で絞る」操作でも、 しきい値を 100 万にするか 500 万にするかで残る件数は 37 → 9 と 4 倍以上変わる。 残る件数が少ないほど標準誤差は大きくなり、 統計的検定の検出力は急激に落ちる。 「フィルタを掛けたら必ず残件数を確認する」ことは、 報告書の信頼性を支える基本動作だ。

🐍 Python 実装 — フィルタ前後で統計量がどう変わるか

このコードでやること: SSDSE-B-2026 を読み込み、 「人口 100 万人以上」というフィルタの前後で平均人口・中央値・標準偏差・相関係数がどう変化するかを比較する。 フィルタ操作が単なる行選択ではなく、 統計量を歪める「縮約」であることを実値で体感する。

📥 入力データ（SSDSE-B-2026 抜粋）:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={'Prefecture': '都道府県', 'A1101': '総人口', 'I5102': '一般診療所数'})
df['人口_百万人'] = df['総人口'] / 1_000_000

# フィルタ前
print('--- フィルタ前 (n=47) ---')
print('平均人口(百万人):', round(df['人口_百万人'].mean(), 3))
print('中央値人口      :', round(df['人口_百万人'].median(), 3))
print('標準偏差        :', round(df['人口_百万人'].std(), 3))
print('相関(人口,一般診療所数):', round(df['人口_百万人'].corr(df['一般診療所数']), 4))

# 人口 100 万人以上だけ残す
sub = df[df['総人口'] >= 1_000_000]
print('--- フィルタ後 (n=', len(sub), ') ---', sep='')
print('平均人口(百万人):', round(sub['人口_百万人'].mean(), 3))
print('中央値人口      :', round(sub['人口_百万人'].median(), 3))
print('標準偏差        :', round(sub['人口_百万人'].std(), 3))
print('相関(人口,一般診療所数):', round(sub['人口_百万人'].corr(sub['一般診療所数']), 4))

📤 実行すると次の出力が得られる:

💬 平均人口は 2.646 百万人 → 3.155 百万人と 1.19 倍に上昇し、 中央値も 1.549 → 1.897 百万人に動く。 人口と一般診療所数の相関係数は 0.9717 → 0.9697 とわずかに下がる。 「人口の小さい県を切る」操作は、 単に件数を減らすだけでなく、 残ったサンプルの平均像そのものを「大都市寄り」に歪める。

🐍 Python 実装 — 群別フィルタと交絡の検出

このコードでやること: 都道府県を地域ブロックに分けて、 各群の平均人口と平均一般診療所数を出す。 「関東フィルタ」が「規模フィルタ」と等価になっていないかを数値で示す。

📥 入力データ:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

region_map = {
    '北海道': '北海道',
    '青森県': '東北', '岩手県': '東北', '宮城県': '東北', '秋田県': '東北', '山形県': '東北', '福島県': '東北',
    '茨城県': '関東', '栃木県': '関東', '群馬県': '関東', '埼玉県': '関東', '千葉県': '関東', '東京都': '関東', '神奈川県': '関東',
    '新潟県': '中部', '富山県': '中部', '石川県': '中部', '福井県': '中部', '山梨県': '中部', '長野県': '中部', '岐阜県': '中部', '静岡県': '中部', '愛知県': '中部',
    '三重県': '近畿', '滋賀県': '近畿', '京都府': '近畿', '大阪府': '近畿', '兵庫県': '近畿', '奈良県': '近畿', '和歌山県': '近畿',
    '鳥取県': '中国', '島根県': '中国', '岡山県': '中国', '広島県': '中国', '山口県': '中国',
    '徳島県': '四国', '香川県': '四国', '愛媛県': '四国', '高知県': '四国',
    '福岡県': '九州沖縄', '佐賀県': '九州沖縄', '長崎県': '九州沖縄', '熊本県': '九州沖縄', '大分県': '九州沖縄', '宮崎県': '九州沖縄', '鹿児島県': '九州沖縄', '沖縄県': '九州沖縄',
}
df['地域'] = df['都道府県'].map(region_map)
g = (df.groupby('地域')
       .agg(人口_百万人_mean=('人口_百万人', 'mean'), 人口_count=('人口_百万人', 'count'),
            一般診療所数_mean=('一般診療所数', 'mean'), 一般診療所数_count=('一般診療所数', 'count'))
       .round({'人口_百万人_mean': 3, '一般診療所数_mean': 0}))
print(g)

📤 実行すると次の出力が得られる:

💬 関東の平均人口 6.218 百万人・平均一般診療所数 5,046 施設に対し、 四国は 0.894 百万人・798 施設と大きく低い。 「関東フィルタ」は実質「大規模圏フィルタ」と同じであり、 ここで得られた「関東は他より◯◯」という結論は 地域効果と規模効果を切り分けられていない 危険がある。 群別フィルタを掛ける際は、 必ず 群サイズと群内平均 を一覧表に出して、 何と何を比較しているのかを再確認する。

フィルタ実務 12 個のチェックリスト

1. 条件文を SQL と日本語で同時に書く — 機械可読と人間可読を両立させる。
2. フィルタ前後の件数を必ず print — 想定外の縮約に気付ける。
3. 残ったサンプルの代表性を分布図で確認 — 平均・中央値・四分位を比較。
4. NaN 行が消えていないかを isna().sum() で点検 — > や == の挙動は欠損で False。
5. 境界値 (== か > か >=) を仕様書に明記 — レビュー時に解釈差が出る部分。
6. 文字列の表記揺れを事前に正規化 — 全角半角・空白・大文字小文字。
7. 複合条件は括弧で完全に明示 — pandas の & と | は優先順位が低い。
8. 除外データのサンプル数行を保存 — 後で「何を切ったか」を再確認できる。
9. 逆方向フィルタを使った検算 — A の補集合 ~A を取って件数の合計が元と一致するか。
10. カテゴリ列は categorical 化 — メモリ削減と誤値検出が同時にできる。
11. 時系列はフィルタ前にソート — 期間条件のミスを防ぐ。
12. フィルタ後に再インデックス — reset_index(drop=True) で iloc アクセス事故を防ぐ。

フィルタとサンプリングの違い — 似ているが目的が違う

フィルタリングとサンプリングはどちらも「行数を減らす」操作だが、 目的と統計的性質はまったく違う。 報告書で「データを絞り込んで分析した」と書くときは、 どちらの操作かを必ず明示しないと、 読み手は「無作為に減らした」と誤解してしまう。 SSDSE-B-2026 は 47 件しかないので、 サンプリングよりもフィルタリングの議論が圧倒的に多くなる。

フィルタの再現性 — ノートブックでよくある罠

Jupyter Notebook でフィルタを掛けると、 セルの実行順序によって df 自体が縮約された状態で次のセルに渡ってしまい、 同じノートブックを再実行したときに別の結果が出る、 という再現性事故が起きやすい。 これを防ぐには以下の 4 つのルールを守る。

1. 原本 df を絶対に上書きしない。 sub = df[条件].copy() のように別名・コピーで持つ。
2. セルの先頭で常に元データから読み直す。 df = pd.read_csv(...) をフィルタ前に置く。
3. フィルタの定義を関数化。 def filter_metro(d): return d[d['人口']>=1e6] のように再利用可能にする。
4. 残った件数と条件式の文字列をログ。 print(f'filter: {cond_str} -> n={len(sub)}') を毎回出す。

「フィルタ後の解釈」7 つのテンプレート

1. 「対象は◯件→△件に絞った」と明示する（縮約率を必ず示す）。
2. 「除外した行の特徴」を 1 文で書く（「主に人口 100 万未満の県」など）。
3. 「除外による交絡懸念」を 1 文で書く（「規模効果と地域効果が重なる」など）。
4. 「残った母集団の解釈」を明文化（「ここから先の結論は大都市圏に限定される」など）。
5. 「フィルタ前後で大きく変わった統計量」を表で並べる。
6. 「フィルタを外した場合の結論差」を感度分析として併記する。
7. 「フィルタ条件の閾値根拠」を引用（行政区分・先行研究・データ仕様）。

これら 7 つのテンプレート文を毎回コピペで埋めるだけで、 「分析結果は信頼できるが、 どんな限界があるか」が読み手に伝わるようになる。 フィルタは透明性の問題であり、 何を切ったかを隠さないことが最低条件だ。

フィルタ × データ品質 — 4 つの典型的不具合

上記 4 つは、 実務で最も頻繁に発生するフィルタ起因のバグである。 「件数が 0」「結合後に NaN だらけ」「群が一つ消えた」という症状を見たら、 まず フィルタ条件を疑う 癖をつけよう。 多くの場合、 SQL や pandas のロジック自体ではなく、 入力データの欠損・表記揺れ・順序がフィルタの挙動を変えている。

SSDSE-B-2026 で 47 件すべてを表示 — フィルタの「全件確認」段階

フィルタを掛ける前に、 まず原データの 47 都道府県を一度すべて眼で確認することが重要である。 大規模データではこの全件確認が不可能だが、 SSDSE-B-2026 は 47 件しかないので、 「フィルタ前」の全体像を頭に入れたうえで条件を設計できる。 以下の表は SSDSE-B-2026 の主要列を地域順に並べたもので、 フィルタ条件を考えるときの参照表になる。

この 47 件の全件表を見ると、 「人口 100 万人未満」は鳥取・島根・福井・徳島・高知・佐賀・山梨など分布の左裾に集中していて、 これらを切ると 地方の小規模県の声がデータから消える ことが直観的に分かる。 東京都の高齢化率が 22.8% と全国で最も低く、 沖縄県も 23.8% と低い一方で人口は中規模、 という「両軸で見ないと隠れる特徴」も全件表でしか気付けない。 フィルタを掛ける前にこの 47 行を一度通読することで、 「自分の条件はこれら 47 県のうちどれを残すのか」を地理的・社会的にイメージできるようになる。

フィルタの「逆向き検算」— 補集合を取って件数を合わせる

このコードでやること: フィルタ A の補集合 ~A を取って、 A と ~A の合計件数が元データに一致するかを確認する。 NaN や境界値の扱いミスを発見できる定石の検算手法。

📥 入力データ: SSDSE-B-2026 の 47 都道府県（人口列）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={'A1101': '総人口', 'Prefecture': '都道府県'})

cond = df['総人口'] >= 1_000_000
A = df[cond]
notA = df[~cond]
print('A    :', len(A))
print('~A   :', len(notA))
print('合計 :', len(A) + len(notA), '/ 元:', len(df))
print('NaN件数:', df['総人口'].isna().sum())

📤 実行すると次の出力が得られる:

💬 A + ~A = 47 = 元件数 となり、 NaN も 0 件なので「条件と補条件で行が漏れていない」ことが確認できる。 もし NaN が混入していれば、 >= も < も両方 False になり、 A と ~A の合計が元件数を下回るので即座に異常検出できる。 この検算は習慣化すべき。

「除外行のサンプル保存」テンプレ — フィルタの透明性を担保する

このコードでやること: フィルタで除外された行を別 CSV に書き出し、 後から「何を切ったか」を再確認できるようにする。 監査・再現性のためのテンプレ。

📥 入力データ: SSDSE-B-2026。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import os
os.makedirs('data', exist_ok=True)   # 書き出し先を先に作る
import os
import pandas as pd

# ── この抜粋だけで動くように、日本語の列名で読み込む ──
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
df = df[df['地域コード'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
df['年度'] = pd.to_numeric(df['年度'], errors='coerce')
df = df[df['年度'] == df['年度'].max()]                   # 最新年度の 47 行
df['総人口'] = pd.to_numeric(df['総人口'], errors='coerce')

os.makedirs('data/processed', exist_ok=True)   # 保存先が無いと to_csv は失敗する

cond = df['総人口'] >= 1_000_000
kept = df[cond].copy()
excluded = df[~cond].copy()
kept.to_csv('data/processed/kept_pop_ge1m.csv', index=False)
excluded.to_csv('data/processed/excluded_pop_lt1m.csv', index=False)
print('採用:', len(kept), '件')
print('除外:', len(excluded), '件')
print('除外された県名:', excluded['都道府県'].tolist())

📤 実行すると次の出力が得られる:

💬 除外された 10 県を見ると、 秋田・福井・山梨・和歌山・鳥取・島根・徳島・香川・高知・佐賀という小規模県が並ぶ。 この一覧を別 CSV に保存しておくことで、 数か月後の再分析時にも「人口 100 万未満を切ったらこの 10 県が消えていた」と即座に追跡できる。 また、 「香川を切ったのは妥当か？」というレビュー指摘にも、 「明示的に切った 10 件のうちの 1 つ」として説明可能になる。 フィルタの透明性は、 残ったデータだけでなく 除外したデータも保存・公開する ことで担保される。

フィルタリングの「歴史的経緯」— なぜこんなに種類が多いのか

フィルタリングという操作は、 リレーショナルデータベース理論（Codd 1970 年）の 選択（selection、 σ）演算に源流を持つ。 σ_条件(R) は関係 R から条件を満たすタプルだけを取り出す演算で、 SQL の WHERE 句、 pandas のブール索引、 R の subset()、 Excel のオートフィルタはすべてこの σ 演算の異なる表現に過ぎない。 しかし、 各言語の方言として独自の構文が積み重なった結果、 同じ意味を持つフィルタが df[cond] / df.loc[cond] / df.query('...') / df.filter(items=...) / df.where(cond) など複数の書き方で存在し、 初学者の混乱の元になっている。 ここでは pandas 内部のフィルタ書法を整理し、 「いつどれを使うべきか」を 5 観点で整理する。

この 5 つの書法の中で初学者にまず勧めるのは df.loc[cond, cols] である。 行と列を同じ角括弧内で指定でき、 代入時の SettingWithCopyWarning も出にくいためだ。 df.query() は SQL に慣れた人や、 列名を文字列で動的に組み立てたい場合に便利だが、 列名にスペースや特殊文字があると壊れる脆さがある。 df.where() は「条件外を NaN に置き換えるが行は残す」という独特の動作で、 「行を削減する」フィルタとは目的が異なる点に注意。

SQL における WHERE と HAVING の使い分け

SQL でフィルタを掛ける際、 「集計の前」と「集計の後」で使う構文が異なる。 これは pandas でいうと df[cond].groupby(...) と df.groupby(...).filter(...) の違いに対応する。 SSDSE-B-2026 を例に、 「人口 100 万人以上の都道府県だけを地域別に平均する」と「地域別に平均人口を出した後、 平均が 200 万を超える地域だけ残す」は別物である。 前者は WHERE、 後者は HAVING を使う。

フィルタの「副作用」— 集計値の解釈ミスを生むパターン

フィルタを掛けた後に平均値や相関を計算すると、 解釈ミスが起きやすい。 代表的な 5 パターンを整理する。

1. 選択バイアス: 「人口 100 万以上」だけで分析した結果を「日本の都道府県は…」と一般化してしまう。 → 結論を「100 万人以上の都道府県では」と限定する。
2. レンジ制限による相関減衰: 上位だけを取ると相関が見かけ上弱くなる（分散が縮むため）。 → フィルタ前後の相関を必ず併記する。
3. シンプソンのパラドックス: 全体では正の相関でも、 群別に見ると逆方向、 ということが起きる。 → 群別に層別分析する。
4. 欠損行の暗黙除外: df[df['A']>0] は A が NaN の行を自動で除外する。 → 「欠損は除外したか/補完したか」を明示する。
5. 動的しきい値の循環参照: df[df['人口']>df['人口'].mean()] は元データの平均で切るが、 切った後のサンプルの平均は当然変わる。 → 「平均以上」という条件は注意して文書化する。

フィルタリングと「データのプライバシー」

フィルタは個人情報保護にも関わる重要な操作である。 「人口の少ない地域」や「特定の年齢層・性別の組み合わせ」でフィルタを掛けると、 残ったサンプルが少なすぎて個人特定が可能になる場合がある（K 匿名性の問題）。 SSDSE-B-2026 は都道府県集計値なので個人特定リスクは低いが、 個票データ（マイクロデータ）を扱うときは「フィルタ後の最小集団サイズ」を必ずチェックする習慣をつける。 一般には、 同一属性のサンプルが K = 5 件未満になる粒度のフィルタは避けるべきだ。

フィルタリングと「機械学習の前処理」

機械学習のパイプラインにおいてフィルタリングは 訓練データの定義 そのものになる。 「訓練データから外れ値を除く」「特定期間のデータだけを使う」といったフィルタは、 モデルの汎化性能に直結する。 ここで重要なのは、 訓練データに掛けたフィルタを 検証データ・本番データには掛けない こと。 訓練時のみ外れ値を除いてもモデルは外れ値を学ばないが、 本番では外れ値も到来するので、 性能が大きく落ちる。 SSDSE-B-2026 でいうと、 「東京を外れ値として除いて学習した回帰モデル」を全国予測に使うと、 東京での予測誤差は大きくなる。 こうしたフィルタの「リーク」は実務で頻繁に発生するため、 訓練/検証/本番のフィルタ条件を表で管理することを推奨する。

SQL と pandas の対応表 — 主要 15 パターン

この 15 パターンを暗記すれば、 SQL 経験者が pandas に来たとき、 あるいは逆のときの「翻訳」が瞬時にできるようになる。 とくに IS NULL / df['x'].isna() は等号 == では正しく動かないので要注意。 SSDSE-B-2026 のように都道府県名にスペースが入らない整ったデータでは問題が出にくいが、 自由記述データを扱う場面では str.strip() でトリムしてから isin を使うクセを付ける。

フィルタ条件の「読みやすさ」— 名前付き条件のすすめ

このコードでやること: 複雑な複合条件を、 個別の名前付き Series に分解して可読性を高める。 後でデバッグするときも、 どの条件が効いているかを追跡しやすい。

📥 入力データ: SSDSE-B-2026。

 1
	 2
	 3
	 4
	 5
	 6
	 7
	 8
	 9
	10
	11
	12
	13

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={'Prefecture': '都道府県', 'A1101': '人口'})
df['高齢化率'] = df['A1303'] / df['人口'] * 100

is_metro       = df['人口'] >= 5_000_000
is_young       = df['高齢化率'] < 30
is_pacific_sea = df['都道府県'].isin(['茨城県', '千葉県', '東京都', '神奈川県', '静岡県', '愛知県', '三重県', '和歌山県', '高知県', '宮崎県', '鹿児島県'])
target = df[is_metro & is_young & is_pacific_sea]
print('該当県:', target['都道府県'].tolist())
print('該当件数:', len(target))

📤 実行すると次の出力が得られる:

💬 「大都市圏 かつ 若年層が多い かつ 太平洋側」という 3 条件を満たすのは、 千葉・東京・神奈川・愛知の 4 都県。 条件を名前付き変数に分解すると、 後から is_metro を緩めて 100 万に下げたい、 is_young の閾値を 25% にしたい、 といった調整が 1 行だけの編集 で済む。 一方、 df[(df['人口']>=5e6)&(df['高齢化率']<30)&(df['都道府県'].isin([...]))] と全部一行に書くと、 数か月後の自分やチームメンバーが読み解くのに時間を浪費する。 フィルタは「読みやすさ」を優先して書こう。

フィルタ条件の「テスト駆動」— 件数アサーションのすすめ

本番データのフィルタは、 単体テストのように「事前に期待件数を書く」癖をつけると事故が激減する。 SSDSE-B-2026 で「関東 7 件」「人口上位 10 件」など、 事前に分かっている件数を assert で表明することで、 データ更新時に件数が想定外に変動した場合に即座に検出できる。 これは データの形が変わった ことを知らせる早期警報装置として機能する。

 1
	 2
	 3
	 4
	 5
	 6
	 7
	 8
	 9
	10
	11
	12
	13
	14
	15
	16
	17

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023].copy()
df = df.rename(columns={'Prefecture': '都道府県', 'A1101': '人口'})

kanto_names = ['茨城県', '栃木県', '群馬県', '埼玉県', '千葉県', '東京都', '神奈川県']
kanto = df[df['都道府県'].isin(kanto_names)]
assert len(kanto) == 7, f'関東は7都県のはず: {len(kanto)}'

top10 = df.nlargest(10, '人口')
assert len(top10) == 10, f'上位10件取れていない: {len(top10)}'

over1m = df[df['人口'] >= 1_000_000]
assert 35 <= len(over1m) <= 40, f'人口100万以上は35〜40の想定: {len(over1m)}'

print('全アサーション通過')

📤 実行すると次の出力が得られる:

💬 アサーション付きフィルタは、 例えば都道府県名の表記が変わった時、 あるいは欠損行が増えて関東が 6 件になった時に 即座にエラーを投げて止まる。 これにより、 異常データのまま下流分析が走って誤結論を出すリスクを大幅に減らせる。 業務分析ノートブックの全フィルタにこのテストを 1 行ずつ仕込むのが理想。

フィルタリングと「データ可視化」の連動

フィルタは可視化と組み合わせることで初めて意味を持つ。 SSDSE-B-2026 のような小規模なデータでも、 「人口 100 万人以上」だけを選ぶ前後で散布図を並べると、 残された点群が右上に偏ることが一目で分かる。 図 1 の散布図はフィルタ前、 図 2 のヒストグラムはフィルタの境界線を引く際の参考、 図 3 の箱ひげ図は群別フィルタ前のチェックに使う、 という役割分担を意識すると分析が体系化される。 ダッシュボード設計でも「フィルタ → 集計 → 可視化」の順序を崩さず、 ユーザーがフィルタを変えると統計量と図が同期的に更新される仕組みを必ず作る。 これにより、 利用者は 「条件を変えたらどう結論が動くか」 を体感でき、 過度な単一フィルタへの依存から自由になれる。 Tableau や Power BI の「フィルタアクション」「クロスフィルタ」も、 こうしたインタラクティブ性を実現するための同じ思想に基づいている。 SSDSE-B-2026 で練習しておけば、 実務で 100 万件規模のダッシュボードを設計する場合にも、 フィルタが分析の信頼性に与える影響を直感的に判断できるようになる。

「フィルタの逆」— 補完・代入とのトレードオフ

フィルタは「該当しない行を捨てる」操作だが、 同じ問題に対して「該当しない行を埋める（補完・代入）」というアプローチもある。 たとえば SSDSE-B-2026 の人口列に NaN が混じっていた場合、 NaN 行を削除する（フィルタ）か、 中央値で埋める（補完）か、 多重代入で複数案を作る（imputation）かで分析結果は変わる。 削除は単純だが、 削除した行に系統的な偏りがある場合（例: 小規模県だけ提出が遅れて NaN になりがち）、 残ったサンプルは大都市寄りに歪む。 一方、 補完は件数は保てるが、 補完値そのものに不確実性が乗るので、 推定値の信頼区間が見かけ上狭くなる危険がある。 「どの戦略を選んだか」を必ず分析レポートに明記し、 可能なら両方の戦略で結論が変わらないことを感度分析として示そう。 SSDSE-B-2026 自体は欠損が極めて少ないデータだが、 こうした思考訓練の場として最適である。

最終チェックリスト — 出荷前にこの 5 項目を確認

1. フィルタ前後の件数を併記したか（縮約率を読み手が把握できるか）。
2. 除外行の代表例を 3 件以上提示したか（透明性の担保）。
3. 残ったサンプルで平均・分散・相関がどう変化したかを表で示したか。
4. フィルタ条件と補集合を取って件数の整合性を確認したか（NaN 検出）。
5. フィルタを外した場合の結論差（感度分析）を併記したか。

この 5 項目を満たさないフィルタは「誤読リスクがある」と見なし、 出荷を保留する。 SSDSE-B-2026 を題材に練習を重ねれば、 大規模データに移行した時にも同じチェックが反射的にできるようになる。

まとめ — フィルタを「無自覚に」掛けない

フィルタリングは最も基本的かつ最も誤用されやすい操作である。 SSDSE-B-2026 のような全数調査データを 47 件すべて使う場合でも、 「人口 100 万人以上」「関東のみ」「高齢化率 30% 以上」といった条件を一つ加えるだけで、 平均・分散・相関・回帰係数のすべてが変わる。 重要なのは 「何を切ったか」を常に文章化し、 件数と分布の変化を必ず可視化する ことだ。 図 1 の散布図・図 2 のヒストグラム・図 3 の群別箱ひげ図を常に並べて確認することで、 フィルタが研究設計の中で果たしている役割と、 副作用としての偏りを同時に見える化できる。 フィルタは「データを綺麗にする」便利な道具ではなく、 「分析の境界を定義する」設計判断であることを忘れてはいけない。

🧾 発表前の最終確認

フィルタリングでは、 何を残し何を除外したかを条件式として明示します。 閾値を少し変えると結論が変わる場合は、 感度分析を添え、 除外後の件数や分布が偏っていないかを確認します。

🔗 隣接手法への橋渡し

「フィルタリング」は単独で完結せず、 隣接する手法と接続することで分析パイプラインの一部として機能する。 以下に具体的な接続関係を示す。

• 上流（入力側で必要となる前処理・前提）: データクレンジング・欠損判定・条件式 (WHERE)
• 並列（同じ目的を持つ代替・競合手法）: 集約 (group by)・並び替え・サンプリング・SQL WHERE 句・pandas .query()
• 下流（フィルタリング の結果を活用する後続手法）: 統計量計算・可視化・サブセットでの学習

「フィルタリング」は (1) 条件定義 (閾値 / カテゴリ / 期間) → (2) pandas df.query() or SQL WHERE で実装 → (3) 除外件数ログ → (4) 残存サンプルの選択バイアス確認 → (5) 下流分析へ受け渡し、 の 5 段で運用する。 単独実行で「データ削減」だけにすると選択バイアスを生む。

🌳 手法選択フロー

「フィルタリング」を実際の課題に当てはめるとき、 以下の 3 ステップで判断する。 領域固有の判断基準と組み合わせて使用する。

1. ステップ 1: 条件 (閾値・カテゴリ・期間) を明確化
2. ステップ 2: pandas df.query() または SQL WHERE で実装
3. ステップ 3: 選択バイアスに注意・除外件数を記録

欠損行除外なら listwise / pairwise / 補完を比較、 期間絞り込みなら期間効果と時系列構造、 カテゴリ絞り込みなら除外群との比較を必ず添付し、 「除外前後の分布シフト」を可視化する。

🔬 解説を一段深く — フィルタは「統計量を変える」操作でもある

ここまでの章はフィルタリングの書き方（boolean mask・集合演算・構文の罠）を扱った。 この章は視点を変えて、 フィルタリングがその後に計算する統計量そのものを変えてしまうという統計的な側面を掘り下げる。 「行を減らすだけの無害な操作」と思っていると、 平均も相関も気づかぬうちに別物になる。

🎨 直感 — フィルタ後の数値はすべて「条件付き」

フィルタリングとは「条件を満たす部分集合の世界」へ移動することだ。 移動した後に計算する平均・分散・相関は、 数学的にはすべて条件付き統計量（例: $E[X \mid \phi]$）であって、 元の全体の統計量 $E[X]$ とは別物になる。 SSDSE-B-2026 の実測値で確かめると：

同じ「平均消費支出」でも、 どの条件で絞ったかで約 1.6 万円ずれる。 フィルタ条件は分析結果の前提条件（分母の定義）であり、 レポートでは「何をどう絞った後の値か」を必ず明記する必要がある。

⚠️ 落とし穴（重要）— 絞り込みが相関を減衰させる「範囲制限」

最も見落とされやすいのが範囲制限（restriction of range）：ある変数の範囲を絞ってから相関を計算すると、 相関係数は一般に元より小さく出る。 SSDSE-B-2026（2023 年）の実測：

• 総人口 A1101 × 一般診療所数 I5102 の相関（全 47 都道府県）: r = 0.972
• 同じ 2 列の相関を df[df['A1101'] < 1_000_000]（人口 100 万人未満の 10 県）に絞って計算: r = 0.824

人口と診療所数の関係自体は変わっていないのに、 x 軸の範囲を絞っただけで r が 0.15 下がった。 逆に、 絞り込みによって相関が「生まれる」こともある（選抜された集団内だけで見ると本来無関係な 2 変数に負の相関が現れる選抜効果）。 つまり「フィルタしてから相関・回帰」の結果を、 全体に対する結論として語ってはいけない。 実務の防御策は 2 つ：(1) 絞り込みの各段階で件数を記録する（このデータなら 564 行 → 2023 年で 47 行 → 条件追加で…と減っていくログを残す）、 (2) フィルタ前後の散布図・分布を並べて「何を捨てたのか」を可視化する。 除外した行は「無かったデータ」ではなく「条件により見ないことにしたデータ」だ。

🚀 発展 — 「いつフィルタするか」で意味が変わる

• 行フィルタ vs 集約後フィルタ：SQL の WHERE（集約前）と HAVING（集約後）の区別は pandas にもある。 df[cond].groupby(...) は「条件に合う行だけで集計」、 df.groupby(...).filter(lambda g: ...) は「グループ単位の条件で丸ごと残す/落とす」。 適用タイミングが違えば結果も違う。
• 変数参照付きクエリ：df.query('A1101 >= @threshold') の @ 記法を使うと、 閾値をコード先頭の変数にまとめられ、 フィルタ条件の管理・再現がしやすくなる。
• 述語プッシュダウン：DuckDB / Polars(lazy) / Parquet では、 フィルタ条件を読み込みより前に押し下げて「必要な行しかディスクから読まない」最適化が働く。 大規模データでは「読んでから絞る」のではなく「絞りながら読む」が定石。
• 統計モデルとの接続：フィルタで観測範囲が切られたデータは、 統計学では打ち切り（censoring）・切断（truncation）として扱われ、 補正付きの推定法（トビットモデル等）がある。 「絞った後のデータで普通に推定してよいか」は、 それ自体が研究テーマになるほど深い問題。

🔗 関連ページ

この章の内容と直接つながる用語集ページ：

※ 部分集団で見ると全体と傾向が逆転する現象は「シンプソンのパラドックス」と呼ばれる（本用語集には単独ページなし）。 フィルタ（層別）と集計の順序が結論を反転させ得る代表例として覚えておきたい。