🔖 キーワード索引

「outer join」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「outer join」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「outer join の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む

SSDSE-B-2026 (47 都道府県 × 経済社会指標) と、 別ファイルの SSDSE-D-2023 (一部都道府県のみの観光統計) を 都道府県 列で結合したいとする。 B には 47 件全て、 D には 30 件しかない。 結合の仕方でテーブルの形が劇的に変わる：
・内部結合 (inner join)：両方に存在する 30 件のみ残す。
・左外部結合 (left outer join)：B の 47 件全部残し、 D の値は無ければ NaN。
・右外部結合 (right outer join)：D の 30 件全部残し、 B の値は無ければ NaN。
・完全外部結合 (full outer join)：B にも D にも在る全ての都道府県 (この例なら 47 件) を残し、 片側欠損は NaN。

つまり 外部結合 (outer join)とは「片方にしか無いキーも保持する」結合のこと。 内部結合と違って 結合キーの不一致による情報損失が無いのが最大の特徴で、 欠損行を後で「分析対象から除く／追加調査する」と判断できるのが実務的価値。 SQL では LEFT/RIGHT/FULL OUTER JOIN、 pandas では df.merge(other, how='left'|'right'|'outer')。

初学者がよくミスするのは「外部結合したのに結果が内部結合と同じ件数になる」現象。 これは マージキーの型不一致（str vs int) や、 表記揺れ (北海道 vs 北海道 [全角・半角]) で照合が失敗しているサイン。 後述の落とし穴で詳説する。

📐 定義・数式

LEFT OUTER JOIN は、 INNER JOIN の結果に「左にしか存在しない行を NULL 埋めで追加」したもの。 RIGHT は逆、 FULL は両方追加。

🔬 数式を言葉で読み解く

数式に出てくる記号の意味を 1 つずつ確認しましょう。

INNER JOIN

両方に存在するキーのみ。 マッチしないと消える。

LEFT OUTER

左テーブルを全部残し、 右の不足は NULL。

RIGHT OUTER

右テーブルを全部残す。

FULL OUTER

両方とも全部残す。

🔬 数式を言葉で読み解く（深掘り）

先の「記号を読み解く」を、 外部結合 の固有事情に即して 500 字以上で詳説する。 ここを読めば、 数式 1 行の裏にある設計判断と歴史的経緯が見えるはずだ。

LEFT (左): 左表 $L$ の全行を残し、 右表 $R$ にマッチが無ければ右側列を NULL/NaN。 件数は $|L|$ 以上 (1 対多なら膨張)。 RIGHT (右): 鏡像。 右表 $R$ の全行を残す。 SQL 標準だが、 慣習的に LEFT JOIN を使うほうが読みやすく推奨される。 FULL (完全外部): 両側の全行を残し、 片側欠損は NULL/NaN。 件数は $|L \cup R|$。 INNER: マッチした行のみ。 件数は $|L \cap R|$ で、 outer の特殊形 (NaN 行を捨てる)。 JOIN キーは 1 列でも複数列でもよく、 pandas では on=['都道府県', '年度'] のように複合キーを指定できる。 $L \bowtie_K R$ という関係代数の表記は、 集合論的には「直積 + 選択 + 射影」の合成で、 外部結合はこれに「片側に対応する NULL 行を補う」操作を追加したもの。 つまり外部結合 = 内部結合 + マッチしなかった側を NULL で補完。 この拡張により情報損失なく集合演算を行える設計で、 リレーショナル代数を「現実のデータ統合」に橋渡しする中核演算。

📌 数式は 暗記対象ではなく検算ツール。 「結果が変だ」と感じたとき、 「この記号は本来こういう意味だから、 ここの値はおかしい」と 逆引きできる状態が、 中級者と上級者の差を生む。

🧪 SSDSE-B-2026 ハンズオン

本サイトの標準データ SSDSE-B-2026（47 都道府県 × 約 100 列、 独立行政法人統計センター提供） を使い、 外部結合 の概念を 実コードで体感する。 取得経路は data/raw/SSDSE-B-2026.csv（リポジトリ同梱）。

SSDSE-B-2026 (経済社会指標) と SSDSE-D-2023 (社会生活基本調査) を都道府県名で完全外部結合する。 D には鳥取・島根が含まれない仮想シナリオで、 結果テーブルの「鳥取・島根」行で D 由来の列が NaN になることを確認する。 4 ステップ：(1) 両 CSV 読込 → (2) キー前処理 → (3) how='outer' でマージ → (4) 欠損確認・indicator=True で由来追跡。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# SSDSE-B (経済社会) と SSDSE-D (社会生活) を都道府県名で full outer join する
import pandas as pd
b = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1, encoding='cp932')
d = pd.read_csv('data/raw/SSDSE-D-2023.csv', skiprows=1, encoding='cp932')
# 1 都道府県 1 行にそろえる（B は 12 年度分、D は 総数・男・女 の 3 行ずつあり、
# そのまま結合すると 1 県あたり 12 × 3 = 36 行に膨らむ）
b = b[b['年度'] == 2023][['都道府県', '総人口']]
d = d[d['男女の別'] == '0_総数'][['都道府県', '推定人口（10歳以上）']]
# 仮想シナリオ：D に鳥取県・島根県の行が無いとする
d = d[~d['都道府県'].isin(['鳥取県', '島根県'])]
# キー正規化（前後空白）
b['都道府県'] = b['都道府県'].str.strip()
d['都道府県'] = d['都道府県'].str.strip()
# full outer join + 由来追跡
merged = b.merge(d, on='都道府県', how='outer', indicator=True)
print('shape =', merged.shape)
print(merged['_merge'].value_counts())  # left_only / both / right_only
# どの都道府県が片側だけだったか
print('B にのみ:', merged.loc[merged['_merge']=='left_only', '都道府県'].tolist())
print('D にのみ:', merged.loc[merged['_merge']=='right_only', '都道府県'].tolist())
# 完全マッチ件数と NaN を抱える件数の比較
print('NaN を含む行 =', merged.isna().any(axis=1).sum())
print(merged[merged['_merge'] != 'both'])

💬 結果は 48 行で、both 45・left_only 2・right_only 1。仮想的に D から外した島根県・鳥取県は B 側にだけ残り、推定人口（10 歳以上）が NaN になる。D にだけある「全国」（推定人口 112,462 千人）は集計行なので、県の分析では結合前に落とすべき行だと indicator で気づける。年度と男女の別で 1 県 1 行に絞らずに結合すると、1 県あたり 12 × 3 = 36 行に膨らみ、このコードの条件（D から 2 県を外した状態）では 1,647 行になってしまうので、キーが一意かどうかは結合の前に必ず確かめる。

📌 動かないときは： (1) data/raw/SSDSE-B-2026.csv がリポジトリに存在するか、 (2) skiprows=1 でヘッダーが正しく読めているか、 (3) 列名が SSDSE 公式の最新版と一致しているかを df.columns.tolist() で確認。

🔬 外部結合と関連トピックの統合理解

外部結合を「単独の操作」 として理解するのではなく、 データ分析パイプラインの中での位置づけを意識すると、 その価値が見えてくる。 典型的な分析フローは「データ取得 → 前処理 → 結合 → 集計 → 可視化 → 解釈」 で、 結合はパイプラインの中間に位置する。 結合の前にはキーの正規化・型変換・欠損処理が必要、 結合の後には集計や可視化が続く。 結合だけ最適化しても、 前後の処理が雑だと結果は信頼できない。 SSDSE-B-2026 のような教育用データセットを使って、 結合前後の処理を含めた一連のフローを体得することが学習の本質。

📊 分析パイプラインでの外部結合の位置づけ

→ 結合はパイプラインの中間に位置するが、 前後の処理に影響を与える critical な操作。 雑な結合は、 雑な集計・可視化・解釈を生む。 「結合のためだけに前処理を念入りにする」 という意識が、 データ品質を支える。 SSDSE-B-2026 のような小データでも、 こうしたパイプライン意識を持って取り組むことが、 実務での大規模データへの拡張を可能にする。

📏 結合品質の定量指標

これらの品質指標を結合の都度確認することで、 「気づかないうちにデータが消失」「気づかないうちに行数爆発」 等の事故を防げる。 マッチ率 95% を下回ったら結合キーを疑う、 NULL 率が想定外に高ければデータ欠損を調査する、 重複率が 0% でなければ結合キーの一意性を再確認する、 という判断基準を持つことが、 データエンジニアの基礎力。 SSDSE-B-2026 のような小データで原理を学び、 業務で大規模データに適用する際に、 これらの指標を必ずチェックする習慣が、 品質保証の根幹となる。

🧪 SSDSE-B-2026 を題材にした外部結合のステップバイステップ演習

SSDSE-B-2026 (47 都道府県データ) を題材に、 外部結合の演習を順に進める。 ステップ 1: SSDSE-B-2026 から「都道府県コード, 都道府県名, 総人口」 の 3 列を抽出して左テーブルとする。 ステップ 2: 別途、 e-Stat 等から「都道府県コード, 65 歳以上人口」 を取得して右テーブルとする (一部県のみのデータと仮定)。 ステップ 3: pd.merge(left, right, on='code', how='left', indicator=True) で LEFT OUTER 結合し、 indicator 列で結合状況を記録。 ステップ 4: df['_merge'].value_counts() で「左のみ」「両方」 の行数を確認。 ステップ 5: df['rate_65_plus'] = df['65歳以上人口'] / df['総人口'] で高齢化率を計算 (NULL は無視される)。 ステップ 6: df.dropna(subset=['rate_65_plus']) で欠損行を除いて分析、 または df['rate_65_plus'].fillna(df['rate_65_plus'].mean()) で平均値補完。 ステップ 7: 結果を都道府県別の棒グラフで可視化。 こうした 7 ステップの演習が、 外部結合と pandas の総合理解を体感的に身につけさせる。

この演習の発展として、 (1) FULL OUTER で双方の欠損を確認、 (2) INNER JOIN との結果比較、 (3) 結合品質を indicator 列の集計で定量化、 (4) NULL の集計時の影響 (SUM/AVG が NULL を無視する性質) を体感、 (5) COALESCE 相当の fillna で NULL を 0 に置換した場合の結果との比較、 等を試す。 各ステップで len(df)、 df.isnull().sum()、 df.head() を確認する習慣を身につけることで、 結合のバグを早期発見する基礎力が育つ。 SSDSE のような信頼できる小データだからこそ、 こうした地道な確認作業の重要性を体感できる。 業務で大規模・複雑なデータを扱う際にも、 この基礎が品質保証の根幹となる。 この演習を通じて、 学生諸氏は「結合の本質」 を頭で理解するだけでなく、 「自分の手で動かして体感する」 ことができる。 こうした実践的経験が、 将来の業務・研究で出会う多様なデータ結合の場面で生かされる、 一生ものの基礎技能となる。 SSDSE-B-2026 という公的データを使った地道な演習の積み重ねが、 データサイエンティストとしての成長の核心であり、 統計データ分析コンペティションへの参加準備の最良の方法でもある。 学生諸氏には、 本ページの内容を起点に、 実際にコードを書き、 結果を観察し、 仮説を検証する反復を通じて、 外部結合の本質を体得してほしい。 そうした地道な学びこそが、 将来のあらゆるデータ分析の場面で生きる力となる。 SSDSE のような公的データを使った演習と、 業務での大規模データへの応用を往復することで、 外部結合の理論と実践が一体化し、 真に「使える技能」 として定着していく。

🧮 実値で計算してみる

都道府県マスターと観光統計表を結合する例。

🧮 数式に値を入れて手で計算する: OUTER JOIN 結果行数

合成 2 テーブルで FULL OUTER JOIN の結果行数を計算する。

Step 1: テーブル

Step 2: 各種 JOIN 行数

🐍 Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

A = {1, 2, 3, 4}
B = {3, 4, 5, 6, 7}
inner = len(A & B)
left = len(A)
right = len(B)
full = len(A | B)
print(f"INNER: {inner}")
print(f"LEFT: {left}")
print(f"RIGHT: {right}")
print(f"FULL OUTER: {full}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🧮 実データで行数を手計算する — 高齢化率 33% 以上の県 × 出生数 1 万人以上の県

外部結合の行数は、キーの集合の大きさだけで決まる。キーが両表で重複しない（1 県 1 行）なら、INNER は共通部分 |A∩B|、LEFT は |A|、RIGHT は |B|、FULL OUTER は和集合 |A∪B| = |A| + |B| − |A∩B| になる。2023 年度の SSDSE-B-2026 から 2 つの県の表を作って確かめる。

🎯 このコードでやること：Step 1〜5 と同じ 2 つの表を pandas で作り、how を inner・left・right・outer に変えて行数と _merge の内訳を数える。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023].copy()
d['高齢化率'] = d['A1303'] / d['A1101'] * 100

# A: 高齢化率が 33% 以上の県 / B: 出生数が 1 万人以上の県（どちらも 2023 年度）
A = d.loc[d['高齢化率'] >= 33, ['Prefecture', '高齢化率']]
B = d.loc[d['A4101'] >= 10000, ['Prefecture', 'A4101']]
print('|A| =', len(A), ' |B| =', len(B))

for how in ['inner', 'left', 'right', 'outer']:
    m = A.merge(B, on='Prefecture', how=how, indicator=True)
    print(f'{how:5s}: {len(m):2d} 行', m['_merge'].value_counts().to_dict())

m = A.merge(B, on='Prefecture', how='outer', indicator=True)
print('両方に入る県:', m.loc[m['_merge'] == 'both', 'Prefecture'].tolist())
print('|A∪B| = |A| + |B| - |A∩B| =', len(A), '+', len(B), '-', (m['_merge'] == 'both').sum(), '=', len(m))

💬 手計算どおり、inner 2 行・left 19 行・right 20 行・outer 37 行になり、outer の内訳は left_only 17・right_only 18・both 2 で Step 5 の 35 行（片側だけの行）とも一致する。両方に入るのは北海道と新潟県だけで、高齢化率の高い県の多くは出生数が 1 万人に届かないことが、right_only と left_only の多さに表れている。どの方式でも、キーが重複しない限り行数は集合の計算だけで事前に予想できるので、結合後の len() がこの予想と違えば重複か表記ゆれを疑う。

🐍 Python 実装

最小実装の例。 SSDSE のような実データに対して、 まずはコピペで動かしてみるのが理解の早道です。

1
2
3
4
5

import pandas as pd
master = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1, encoding='cp932')
detail = pd.read_csv('data/raw/tourism.csv')
merged = pd.merge(master, detail, how='left', on='都道府県')
print(merged['観光客数'].isna().sum(), 'rows missing')

🐍 Python 実装（応用編）

先の Python 実装は最小例だった。 ここでは 外部結合 の本格的な実務シナリオに即した、 もう一段難易度を上げたコードを示す。 そのままコピペで動くよう、 SSDSE 系の実データパスを直書きで残してある。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

# ── この抜粋で使うデータを用意します（英字の項目コードで読み込み）──
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=0)
df = df[df['Code'].astype(str).str.match(r'^R\d{5}$', na=False)].copy()
for _c in df.columns[3:]:
    df[_c] = pd.to_numeric(df[_c], errors='coerce')
df = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()]

# ── この抜粋で使う 3 つの表を用意します ──
import pandas as pd

b = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1, encoding='cp932')
b = b[b['年度'] == 2023][['都道府県', '総人口']]
d = pd.read_csv('data/raw/SSDSE-D-2023.csv', skiprows=1, encoding='cp932')
d = d[d['男女の別'] == '0_総数'][['都道府県', '推定人口（10歳以上）']]
e = pd.read_csv('data/raw/SSDSE-E-2026.csv', skiprows=2, encoding='cp932')
e = e[['都道府県', '一般世帯数']]
for _t in (b, d, e):
    _t['都道府県'] = _t['都道府県'].astype(str).str.strip()

# SSDSE-B, SSDSE-D, SSDSE-E の 3 つを都道府県名で full outer join し
# 「どの表に居ない都道府県があるか」を indicator で追跡する例
import pandas as pd

# それぞれ独立に full outer join
step1 = b.merge(d, on='都道府県', how='outer', indicator='in_BD')
step2 = step1.merge(e, on='都道府県', how='outer', indicator='in_BDE')
print('shape =', step2.shape)
print(step2['in_BD'].value_counts())
print(step2['in_BDE'].value_counts())

# 全表にあるのは？ 1 表だけのは？
in_all = step2.query('in_BD == "both" and in_BDE == "both"')['都道府県'].tolist()
print('全表に存在:', len(in_all), '件:', in_all[:5])
only_b = step2.query('in_BD == "left_only"')['都道府県'].tolist()
print('B のみ:', only_b[:5])

💬 3 表の外部結合で 48 行 × 6 列。in_BD の right_only 1 件は D にだけある「全国」で、E にも全国行があるため 2 段目では 48 行すべて both になり、全国行が「全表に存在」と紛れかける。条件を両方 both にした in_all は 47 件で都道府県だけが残る。indicator は結合のたびに列名を変えておかないと、2 段目で 1 段目の由来が上書きされて追跡できなくなる。

📌 このコードのポイント： (1) 引数化せず実データパスを直書きで読みやすさ優先、 (2) 集約・結合・型最適化など 外部結合 関連の典型処理を一気通貫で示す、 (3) print() で各ステップの結果を確認できる。

🐍 県名の表記ゆれを indicator で見つけて直す

SSDSE-B-2026 の県名は「東京都」「大阪府」だが、別の資料では「東京」「大阪」と書かれていることが多い。結合キーの表記がずれると、外部結合は「一致しなかった行」を黙って両側に並べる。indicator=True の _merge 列を数えれば、ずれにすぐ気づける。

🎯 このコードでやること：2023 年度の SSDSE-B-2026 から、県名がそのままの表（総人口）と、県名の末尾の「都・府・県」を落とした表（出生数）を作り、県名で外部結合して一致した行数を数える。そのあと両側のキーを同じ規則でそろえて結合し直す。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023]

master = d[['Code', 'Prefecture', 'A1101']]                     # 県名は「東京都」「大阪府」…
other = d[['Prefecture', 'A4101']].copy()
other['Prefecture'] = other['Prefecture'].str.replace(r'[都府県]$', '', regex=True)  # 別の表では「東京」「大阪」…

m = master.merge(other, on='Prefecture', how='outer', indicator=True)
print('県名のまま結合:', len(m), '行', m['_merge'].value_counts().to_dict())
print('一致したのは:', m.loc[m['_merge'] == 'both', 'Prefecture'].tolist())
print('A4101 が NaN の行:', m['A4101'].isna().sum(), ' A1101 が NaN の行:', m['A1101'].isna().sum())

# 直し方: 両側の県名から末尾の「都・府・県」を落としてそろえる（北海道はそのまま）
key = lambda s: s.str.replace(r'[都府県]$', '', regex=True)
m2 = (master.assign(key=key(master['Prefecture']))
      .merge(other.rename(columns={'Prefecture': 'key'}), on='key', how='outer', indicator=True))
print('キーをそろえて結合:', len(m2), '行', m2['_merge'].value_counts().to_dict())
print('京都府 と 東京都 のキー:', key(pd.Series(['京都府', '東京都'])).tolist())

💬 県名のまま外部結合すると 47 行ではなく 93 行になり、一致したのは末尾に「都・府・県」の付かない北海道の 1 行だけ。残る 46 県は left_only と right_only に 1 行ずつ分かれ、出生数（A4101）も総人口（A1101）も 46 行ずつ NaN になる。このまま出生率を計算すると 46 県が欠損になるが、エラーは出ない。両側のキーを同じ規則（末尾の都・府・県を落とす。京都府 → 京都、東京都 → 東京）でそろえると 47 行すべてが both になる。県名より、表記のぶれない都道府県コード（Code 列）をキーにできるならそのほうが確実。

🐍 年度を入れ忘れた結合を validate で止める

SSDSE-B-2026 は 47 県 × 12 年度の 564 行なので、県コードだけでは行が決まらない。キーに年度を入れ忘れると、外部結合は同じ県の行どうしをすべて掛け合わせる。validate 引数を付けると、キーが一意でない時点で止められる。

🎯 このコードでやること：564 行の総人口の表と 564 行の出生数の表を、①Code だけで外部結合、②Code だけで validate='one_to_one' を付けて結合、③(Code, 年度) で結合、の 3 通りで比べる。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': '年度'})
pop = df[['Code', '年度', 'A1101']]            # 564 行（47 県 × 12 年度）
birth = df[['Code', '年度', 'A4101']]          # 564 行

print('Code の重複: 左', pop['Code'].duplicated().sum(), '/ 右', birth['Code'].duplicated().sum())

m_bad = pop.merge(birth, on='Code', how='outer')                 # 年度をキーに入れ忘れた
print('Code だけで結合:', len(m_bad), '行（1 県あたり', len(m_bad) // 47, '行）')

try:
    pop.merge(birth, on='Code', how='outer', validate='one_to_one')
except pd.errors.MergeError as e:
    print('validate で停止:', e)

m_ok = pop.merge(birth, on=['Code', '年度'], how='outer', validate='one_to_one', indicator=True)
print('(Code, 年度) で結合:', len(m_ok), '行', m_ok['_merge'].value_counts().to_dict())

💬 左右とも Code は 564 行中 517 行が重複しているので、Code だけで結合すると 1 県あたり 12 × 12 = 144 行、全体で 6,768 行に膨らむ。エラーは出ず、合計や平均を取ると 12 倍に数えた値が静かに出てしまう。validate='one_to_one' を付けると「キーが一意でない」という MergeError で止まり、(Code, 年度) をキーにすれば 564 行すべてが both で 1 対 1 に対応する。結合の前に「1 行を決めるキーは何か」を書き出し、validate で機械的に確かめる。

🐍 同じ列名の 2 表を結合するときは suffixes で年度を名前に入れる

同じ CSV から取り出した 2 つの年度の表は列名がすべて同じなので、結合すると pandas が既定の _x・_y を付ける。どちらがどの年度かを列名から読めるように、suffixes に年度を入れておく。

🎯 このコードでやること：SSDSE-B-2026 の 2012 年度と 2023 年度の表（Code・県名・総人口・高齢化率）を Code で外部結合し、既定の列名と suffixes=('_2012', '_2023') を付けた列名を比べる。そのうえで 11 年間の高齢化率の上昇幅と人口増減率を計算し、上昇幅の大きい県・小さい県を並べる。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df['高齢化率'] = df['A1303'] / df['A1101'] * 100
cols = ['Code', 'Prefecture', 'A1101', '高齢化率']
y12 = df.loc[df['SSDSE-B-2026'] == 2012, cols]
y23 = df.loc[df['SSDSE-B-2026'] == 2023, cols]

m_default = y12.merge(y23, on='Code', how='outer')
print('suffixes 既定の列名:', list(m_default.columns))

m = y12.merge(y23.drop(columns='Prefecture'), on='Code', how='outer',
              suffixes=('_2012', '_2023'), indicator=True, validate='one_to_one')
print('行数:', len(m), m['_merge'].value_counts().to_dict())
m['上昇幅'] = m['高齢化率_2023'] - m['高齢化率_2012']
m['人口増減率'] = (m['A1101_2023'] / m['A1101_2012'] - 1) * 100
top = m.sort_values('上昇幅', ascending=False)[['Prefecture', '高齢化率_2012', '高齢化率_2023', '上昇幅', '人口増減率']]
print(top.head(3).round(2).to_string(index=False))
print(top.tail(2).round(2).to_string(index=False, header=False))

💬 既定では Prefecture_x・A1101_y のような列名になり、x と y のどちらが 2012 年度かは結合した順序を覚えていないと分からない。suffixes に年度を入れ、片方の県名を落としておけば、列名だけで意味が読める。47 行すべてが both（validate も通過）なので、比較は 47 県そろっている。高齢化率の上昇幅は秋田県 8.39 ポイント（30.67% → 39.06%）、青森県 8.26 ポイント、徳島県 7.40 ポイントが大きく、いずれも人口が 10〜14% 減った県。小さいのは大阪府 3.97 ポイントと東京都 1.50 ポイントで、東京都は人口が 6.44% 増えている。

⚠️ よくある落とし穴

外部結合は「片方にしか存在しない行」を残す結合で、 INNER JOIN との取り違えと NaN 処理ミスが事故の二大原因。 SSDSE で「都道府県名」と「県名」を結合する際、 表記揺れ (東京 / 東京都) で NaN 量産 → 集計結果が崩壊するパターンが典型。 結合前に必ず両側の unique key を可視化したい。

⚠️ 年度の範囲が違う 2 表の外部結合と fillna(0)

外部結合で生じた NaN は「その表にその年度のデータが無い」という意味で、「値が 0」ではない。年度の範囲が違う 2 つの表を外部結合し、NaN を 0 で埋めてから集計すると、存在しない年度が「出生数 0」に化ける。

🎯 このコードでやること：高齢化率の表 A（2012〜2020 年度）と出生数の表 B（2015〜2023 年度）を (Code, 年度) で外部結合し、全国の出生数を年度別に合計する。NaN のまま sum(min_count=1) で合計した場合と、fillna(0) してから合計した場合、および 1 県 1 年あたりの平均を比べる。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df.rename(columns={'SSDSE-B-2026': '年度'})
df['高齢化率'] = df['A1303'] / df['A1101'] * 100

A = df.loc[df['年度'] <= 2020, ['Code', '年度', '高齢化率']]      # 2012〜2020 年度
B = df.loc[df['年度'] >= 2015, ['Code', '年度', 'A4101']]         # 2015〜2023 年度（出生数）
print('A:', len(A), '行  B:', len(B), '行')

m = A.merge(B, on=['Code', '年度'], how='outer', indicator=True)
print('外部結合:', len(m), '行', m['_merge'].value_counts().to_dict())

# 全国の出生数を年度ごとに合計する
nat = m.groupby('年度')['A4101'].sum(min_count=1)                  # 全県 NaN の年度は NaN のまま
nat0 = m.fillna({'A4101': 0}).groupby('年度')['A4101'].sum()       # NaN を 0 で埋めてから合計
print(pd.DataFrame({'NaN のまま': nat, 'fillna(0)': nat0}).loc[[2013, 2014, 2015, 2023]])

print('1 県 1 年あたりの出生数の平均  NaN を除く:', round(m['A4101'].mean()),
      ' 0 で埋める:', round(m['A4101'].fillna(0).mean()))

💬 外部結合は 564 行で、両方に年度がある 2015〜2020 年度が both 282 行、A だけの 2012〜2014 年度が 141 行、B だけの 2021〜2023 年度が 141 行。NaN のままなら 2013・2014 年度の全国出生数は NaN（データ無し）と正しく出るが、fillna(0) すると 0 人になり、2015 年度の 1,005,668 人から見て「出生数が消えた年」があるかのような系列になる。1 県 1 年あたりの平均も、NaN を除けば 18,589 人なのに 0 で埋めると 13,941 人と 4 分の 3 に下がる。外部結合の NaN は _merge で由来を確かめ、集計では除くか、別のデータで埋める。

🧠 理解度チェック（SSDSE-B-2026 の実データで）

⚠️ NaN を 0 と読んでよい場合 — 「載っていない = 0」の表を LEFT JOIN する

上の節とは逆に、元の表の作り方によっては外部結合の NaN を 0 と読むのが正しいこともある。公表資料では「該当が 1 件以上ある県だけを載せる」表がよくあり、その場合は載っていない県が 0 件という意味になる。どちらなのかはデータではなく、表の作り方（注記）で決まる。

🎯 このコードでやること：2023 年度の保育所等利用待機児童数（J250502）が 1 人以上の県だけを載せた表を作り、47 県のマスタに INNER と LEFT で結合する。LEFT で生じた NaN を 0 にした平均と、INNER の平均と、元の 47 県の列の平均を比べる。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023]
master = d[['Code', 'Prefecture']]                              # 47 県のマスタ
# 公表資料によくある形: 待機児童が 1 人以上いる県だけを載せた表
wait = d.loc[d['J250502'] > 0, ['Code', 'J250502']].rename(columns={'J250502': '待機児童数'})
print('待機児童のいる県だけの表:', len(wait), '行')

inner = master.merge(wait, on='Code', how='inner')
left = master.merge(wait, on='Code', how='left', indicator=True)
print('INNER:', len(inner), '行  LEFT:', len(left), '行', left['_merge'].value_counts().to_dict())

left['待機児童数_0'] = left['待機児童数'].fillna(0)             # この表では「載っていない = 0 人」
print('1 県あたり平均  INNER（載っている県だけ）:', round(inner['待機児童数'].mean(), 1),
      ' LEFT + fillna(0)（47 県）:', round(left['待機児童数_0'].mean(), 1),
      ' 元の 47 県の列:', round(d['J250502'].mean(), 1))
print('待機児童 0 人の県（先頭 5）:', left.loc[left['_merge'] == 'left_only', 'Prefecture'].head().tolist())

💬 待機児童が 1 人以上の県は 32 県で、INNER だと 32 行、LEFT だと 47 行（left_only 15 県は青森県・山形県・栃木県・群馬県・新潟県など）。INNER の平均 83.8 人は「待機児童がいる県の平均」で、全国の県の平均ではない。この表は「載っていない = 0 人」なので、LEFT で残した 15 県の NaN を 0 にした平均 57.0 人が、元の 47 県の列の平均 57.0 人と一致する。前の節（年度の範囲が違う表）では 0 で埋めると誤りになった。NaN を 0 にしてよいかは、右の表が「0 件の行を省いた表」か「その期間のデータが無い表」かで決まる。

🌐 関連手法・派生

この用語を理解したら、 自然と気になる発展トピック・派生手法を紹介します。

🌐 多言語・呼称・略号一覧

英語論文・中国語ドキュメント・他言語チームと協業するときに役立つ、 外部結合 の各言語呼称と関連略号。

📌 国際会議の発表や論文翻訳の際、 微妙な訳語の違いで読者の理解が変わる。 上記の正式名称を押さえておくと安全。

🛠 主要ツール・ライブラリ比較表

外部結合 を実装するときに選択肢になる主要ツール・ライブラリの強み・弱みを 7〜8 件まとめた。

📌 ツール選びは「組織の既存スタック」「予算」「学習曲線」「規模」の 4 軸で決める。 「最新だから」では選ばないこと。

🔗 関連用語 (前提・並列・発展)

この用語と直接結びつく前提・並列・発展用語。 学習順序の参考にどうぞ。

🔗 関連用語 (深掘り 12 件)

「🔗 関連用語」セクションに加えて、 外部結合 から派生的に学ぶと体系が完成する用語を 12 件追加。 すべて当サイト内のページに直リンクするので、 リンク切れ無く周遊できる。

よくある誤解 3 連続

意思決定フレーム：状況別 5 段

🔍 近接概念との比較（深掘り）

先の汎用テーブルに加えて、 外部結合 と 内部結合 (Inner Join) ／ Union を 6 つの観点で具体的に対比する。

📌 使い分けの一行ヒント：本ページ「💡 30 秒で分かる結論」の要件と上の表の 観点 6 つを突き合わせれば、 ほぼ全ての実務シーンで「どちらを選ぶか」即断できる。

📖 体系的解説：外部結合 を 5 つの観点で掘り下げる

ここからは 外部結合 を、 教科書・論文・実務の境界を行き来しながら、 5 つの観点で深く解説する。 中級者以上を想定し、 「30 秒結論」「直感」では触れなかった 設計判断と歴史に踏み込む。

1. リレーショナル代数における結合の位置づけ

Codd のリレーショナル代数では、 結合は 選択 (σ)・射影 (π)・直積 (×)の合成として定義される。 内部結合 (theta-join) $R \bowtie_\theta S = \sigma_\theta (R \times S)$ で、 直積を取って結合条件 $\theta$ で絞る。 結合キーが共通名の自然結合 (natural join) は $R \bowtie S = \pi_{...}(\sigma_{R.k=S.k}(R \times S))$。 これに対し 外部結合は基本演算ではなく、 内部結合の結果に「マッチしなかった行を NULL 列付きで補う」拡張演算として導入される。

数学的には $L \bowtie^\circ_L R = (L \bowtie R) \cup ((L - \pi_K(L \bowtie R)) \times \{\text{NULL}\})$ という構成。 つまり「内部結合に含まれない左側行は NULL で補完して足す」。 RIGHT は鏡像、 FULL は両方適用。 この構造を理解すると、 SQL の LEFT JOIN でも pandas の merge(how='left') でも、 結果のセマンティクスを同じ言葉で説明できる。

2. ハッシュ結合・ソートマージ結合・ネステッドループの選択

DBMS は結合アルゴリズムを 3 種類使い分ける。 ネステッドループ結合：左の各行に対し右を全走査。 $O(|L| \cdot |R|)$。 小規模 or インデックスありで有効。 ソートマージ結合：両側をキーでソートしてからマージ。 $O(|L| \log|L| + |R| \log|R|)$。 ソート済データやレンジ結合に強い。 ハッシュ結合：小さい側をハッシュ化、 大きい側を走査。 $O(|L| + |R|)$ で最速だが等値結合のみ。

外部結合でもアルゴリズムは同じだが、 「マッチしなかった行を NULL で残す」追加処理が入る。 PostgreSQL の EXPLAIN ANALYZE で「Hash Right Join」「Merge Right Join」と表示されるのを見るたびに、 内部で行われている処理を想像する習慣をつけると、 結合性能の最適化が論理的にできるようになる。

3. 多対多結合の落とし穴

左表に同じキーが 3 回、 右表に同じキーが 4 回出てくると、 結合結果はそのキーで 12 行に膨張する。 これを意図せず引き起こす典型例が、 「ユーザー × 購買履歴」の outer join で 履歴側に同一ユーザーが複数行あるケース。 SSDSE-B-2026 でも、 2022 年度と 2023 年度を別々の表に取り出して都道府県をキーに outer join すると 47 行 × 両年度の列がきれいに並ぶ — 一見正しい。 しかし両方に同じ列名（例: A1101）があると suffixes の既定で A1101_x, A1101_y となり、 「どちらが 2023 年度か」が混乱の元になる。 また年度を落とした 564 行の表同士を都道府県だけで結合すると、 1 県あたり 12 × 12 = 144 行に増え、 全体で 6,768 行になる（下の図 B）。

予防策は (i) 結合前にキー一意性確認：df['key'].duplicated().sum() == 0、 (ii) 結合後に件数チェック：len(merged) ≤ len(left) + len(right) 期待値、 (iii) 意味のある suffix：suffixes=('_2022', '_2023')。 pandas なら validate='one_to_one' を付けると、 キーが重複した時点でエラーにできる。

4. NULL の意味論：3 値論理

外部結合が生む NULL/NaN は、 「未知」を意味する特殊値。 SQL の NULL は 2 値論理 (真/偽) ではなく 3 値論理 (真/偽/未知)に従う。 NULL = NULL は False ではなく NULL (未知)を返す。 これが「NULL の値を比較したいときは IS NULL を使え」と言われる理由。

pandas の NaN も同様で、 np.nan == np.nan は False。 比較演算は pd.isna() を使う。 結合結果の NaN を 0 で埋めるのは危険：「未知」と「ゼロ」は意味が違う。 たとえば「2023 年の都道府県消費額が NaN」を 0 で埋めると、 平均が下がり、 標準偏差も歪む。 正しくは「分析対象から除外」か「データ取得を試みる」「多重補完 (MICE)」のいずれか。

5. 現代的なJOIN：MERGE ステートメントと CDC

単純な OUTER JOIN を超えて、 現代の DWH では MERGE INTO 文 (SQL 2003 から正式) が頻用される。 「ターゲット側に同じキーがあれば UPDATE、 なければ INSERT」という upsert を 1 文で書ける。 BigQuery、 Snowflake、 PostgreSQL 15+、 SQL Server、 Oracle 等ほぼ全 DBMS が対応。

さらに CDC (Change Data Capture) パターンでは、 source テーブルの差分ログを FULL OUTER JOIN + indicator で「新規・更新・削除」を識別し、 target テーブルに反映する。 Debezium + Kafka + Iceberg の組合せが標準スタックで、 数秒以内のニアリアルタイム同期を実現する。 つまり 外部結合は単なる学習トピックではなく、 現代データ基盤の中核演算である。

📚 関連グループ教材

📜 歴史年表：外部結合 の系譜

外部結合 がいつ・誰によって・どのように発展してきたかを年表形式でまとめた。 用語の背景を知ると、 「なぜこの設計か」が腑に落ちる。

📌 年表は主要マイルストーンに限定。 詳細は「📚 関連グループ教材」の書籍を参照。

📷 外部結合の補強解説：4 種の結合パターンを図で掴む

外部結合 (OUTER JOIN) は「片方または両方のテーブルに存在するレコードを保持しつつ、 マッチしないレコードには NULL を埋める」 結合演算。 内部結合 (INNER JOIN) と対比される最重要概念で、 実務でデータが「消える」 か「保持される」 かを決定づける選択になる。 SSDSE-B-2026 の都道府県データを片方とし、 もう片方にデータ欠損のある都道府県別人口動態統計を結合する場面で、 外部結合の選択は分析結果を大きく変える。

📋 4 種の結合の比較表

→ 実務では LEFT OUTER JOIN が最頻使用される。 「マスタテーブル + 集計テーブル」 の典型構造で、 マスタ側をすべて保持しつつ集計値を付加する用途に最適。 SSDSE-B-2026 のような都道府県データでは、 47 行を維持しつつ追加データを結合する用途で LEFT OUTER を選ぶのが定石。

🔧 NULL の扱いと集計時の落とし穴

「NULL は集計から無視される」 という SQL の原則を知らないと、 LEFT OUTER で 47 行に拡張した後の AVG が予想と異なって混乱する。 COALESCE で NULL を 0 に置換するか、 COUNT(*) と COUNT(value) を併用して欠損数を確認する習慣が必須。

🐍 pandas の merge を使った外部結合の実装パターン

pandas では pd.merge(left, right, how='left', on='key') が SQL の LEFT OUTER JOIN に相当する。 how パラメータには 'left', 'right', 'outer', 'inner', 'cross' を指定でき、 'outer' は FULL OUTER JOIN に相当する。 indicator=True を指定すると、 結合結果に _merge 列が追加され、 各行が「左のみ」「右のみ」「両方」 のどれだったかを記録する。 これはデータ品質チェックに極めて有用で、 結合前に「期待通りのマッチ率か」 を確認できる。 SSDSE-B-2026 のような小サンプルデータでも、 47 行が結合後に何行残ったかを value_counts() で確認する習慣を身につけたい。

複合キーで結合する場合は on=['code', 'year'] のようにリストで指定する。 左右でキー列名が違う場合は left_on と right_on を使う。 結合後に重複列が生じた場合は suffixes=('_left', '_right') で識別する。 また、 結合前に left['key'].duplicated().sum() でキーの重複を確認しないと、 N:M 結合で行数爆発を起こす危険がある。 SSDSE-B-2026 も都道府県コードだけでは 12 年度分が重なるので、 1 年度に絞るか年度と組にしたキーで結合する。 一般的な業務データでは「キー設計を疑え」 が鉄則。

🏢 外部結合の実世界事例

外部結合は実務で頻繁に使われる。 例えば EC サイトの分析では、 「会員マスタ (全会員) LEFT OUTER JOIN 購入履歴」 で「購入歴のない会員も含めた全会員リスト」 を取得し、 マーケティング施策の対象を抽出する。 医療データでは、 「患者マスタ LEFT OUTER JOIN 検査結果」 で「検査未実施の患者も含めた全患者リスト」 を作り、 検査受診率を計算する。 金融データでは、 「口座マスタ FULL OUTER JOIN 取引履歴」 で、 マスタにない口座 (システム不整合) と取引のない口座 (休眠口座) を同時に検出する。

公的統計でも外部結合は頻用される。 SSDSE-B-2026 と他の e-Stat データを「都道府県コード」 で結合する際、 LEFT OUTER で全 47 県を維持しつつ追加変数を付加する。 政府統計の都道府県別データは一般に 47 県揃っているが、 市町村別になると合併・消滅で欠損が生じる。 そうした場面では結合方法の選択が分析結果に直結する。 外部結合を正しく使いこなすことは、 データ分析者の基本技能であり、 SQL でも pandas でも同じ概念が通用する。

📋 外部結合のベストプラクティス

外部結合を使うときの推奨手順は以下のとおり。 (1) 結合前に左右の行数とキーの重複を確認する。 (2) 結合キーの型と表現 (大文字小文字、 半角全角、 ゼロパディング) を統一する。 (3) LEFT OUTER と FULL OUTER のどちらが目的に合うかを明示的に選ぶ。 (4) 結合後に indicator=True または COUNT(*) で結合品質を確認する。 (5) NULL の扱い (集計時の無視、 COALESCE での置換) を意識する。 (6) 結合結果のサンプル行を head() で目視確認する。 これらを守るだけで、 結合に起因するバグの 9 割は防げる。

SSDSE-B-2026 のような教育用データセットで外部結合を練習するときは、 まず全 47 県の都道府県マスタを左テーブルとし、 任意の集計テーブル (例: 高齢化率データ) を右テーブルとして LEFT OUTER で結合する。 結合後の行数が 47 か、 NULL がどの県に出るか、 を確認する。 次に同じ操作を INNER JOIN で行い、 行数が減ることを体感する。 さらに FULL OUTER で実施し、 右テーブルにしかない行 (例: 過去存在した自治体) が出るかを確認する。 こうした 3 種の比較を体験することで、 外部結合の本質と使い分けが身体感覚として定着する。 関連項目として 内部結合、 データ結合、 リレーショナルデータベース、 欠損値 を併せて学ぶと、 結合操作の全体像が立体的に把握できる。

⚡ 外部結合のパフォーマンス最適化

大規模データで外部結合を行うとき、 パフォーマンスが課題になる。 SQL では結合キーにインデックスを張ることで、 結合速度が桁違いに改善する。 PostgreSQL や MySQL では Hash Join, Merge Join, Nested Loop Join の 3 種のアルゴリズムが状況に応じて選ばれ、 EXPLAIN で実行計画を確認できる。 pandas では小データなら merge() で十分だが、 数百万行を超える場合は Dask や Polars といったライブラリで分散処理を検討する。 SSDSE-B-2026 のような 47 行のデータでは性能は問題にならないが、 全国の市町村データ (約 1,700 行) や事業所データ (数百万件) に拡張すると、 結合戦略が結果を大きく左右する。

結合パフォーマンスを上げる古典的テクニックとして、 (1) 結合キーを事前にソートし Merge Join に誘導する、 (2) 不要な列を結合前に SELECT で絞り込みデータ量を減らす、 (3) WHERE 条件を結合前に適用し対象行を絞り込む、 がある。 pandas でも同じ原則で、 merge 前に df[['key', 'value']] で必要列のみ抽出し、 query() で行を絞ると速度と省メモリが両立する。 こうした最適化は実務で必須の技能であり、 SSDSE-B-2026 のような小データで原理を学んだ後、 大規模データに展開していくのが王道。

📚 外部結合の深掘り解説と SSDSE-B-2026 演習

外部結合の本質を体得するには、 SSDSE-B-2026 の都道府県データと別の都道府県別データセット (例: e-Stat の年齢別人口、 厚生労働省の医療機関数、 文部科学省の学校数) を実際に結合してみるのが最良。 ここでは典型的な演習課題と、 その解法の流れを整理する。 外部結合の選択がデータ解釈に与える影響を、 実データで体感することが学習の到達点。

📝 演習 1: 都道府県マスタと欠損データの結合

SSDSE-B-2026 全 47 都道府県のリストを左テーブルとし、 任意の集計データ (例: 「東京・大阪・愛知のみ集計済み」 の架空データ) を右テーブルとして LEFT OUTER 結合する。 結果は 47 行で、 集計データのない 44 県は NULL になる。 ここで df.isnull().sum() を実行すると、 集計列の NULL 数が 44 になることを確認できる。 次に同じ操作を INNER JOIN で行うと、 結果は 3 行になり、 「データが揃った 3 県だけ」 を抽出できる。 この比較が、 外部結合と内部結合の違いを最も明確に体感できる演習。

さらに発展として、 (1) FULL OUTER JOIN を試して両テーブルの欠損を確認、 (2) indicator=True で結合結果に _merge 列を追加し、 各行がどの結合パスを辿ったかを記録、 (3) COALESCE(value, 0) または pandas の fillna(0) で NULL を 0 に置換し集計に進む、 という手順を順に試す。 各段階で行数と NULL 数を print(len(df)) と print(df.isnull().sum()) で確認する習慣が、 結合操作のバグを早期発見する基礎力を育む。

📝 演習 2: 複合キー結合と重複処理

SSDSE-B-2026 の都道府県 × 年度データを想定した複合キー結合の演習。 左テーブルは「都道府県コード × 年度」 で 47 × 12 年度 = 564 行、 右テーブルは「都道府県コード × 年度」 で集計データを保持。 pd.merge(left, right, on=['code', 'year'], how='left') で複合キー結合する。 結合キーに重複があると行数爆発するので、 結合前に left.duplicated(['code', 'year']).sum() で重複チェックを行うのが定石。

演習の発展として、 (1) 左テーブルの一部年度を欠損させた状態で結合し、 LEFT/RIGHT/INNER/FULL の各結合の結果行数を比較、 (2) 結合後の _merge 列を value_counts() で集計し、 「左のみ」「右のみ」「両方」 の分布を可視化、 (3) 結合品質を「右テーブル全行のうち左テーブルにマッチした割合」 として定量化、 という手順を試す。 こうした品質指標を意識することで、 結合結果の信頼性を客観的に評価できる。

⚠️ 外部結合のアンチパターン集

これら 8 つのアンチパターンは、 ほぼすべての結合バグの根本原因。 一つでも当てはまる症状があれば、 結合結果を再検証する必要がある。 SSDSE-B-2026 のような小データで原理を学び、 業務で大規模データに展開する際にこれらを必ずチェックする習慣が、 データエンジニアの基礎力を形作る。

🔬 SQL と pandas での外部結合の対応関係

SQL と pandas は、 外部結合の発想を同じくしている。 SQL 経験者は pandas を「メモリ上の SQL エンジン」 として理解すると習得が早い。 逆に pandas に慣れた人は SQL の JOIN 句を「pandas.merge() の SQL 版」 と捉えると違和感が少ない。 両者を行き来できると、 業務での選択肢が広がる。 SSDSE-B-2026 のような小データなら pandas で完結するが、 業務では SQL を併用するのが現実的。

🎯 外部結合の発展的トピック

外部結合の発展的トピックとして、 (1) Time-Series Join (時間軸での結合): タイムスタンプが完全一致しない場合に、 直前または直後の値を結合する手法。 pandas の merge_asof()、 SQL の RANGE BETWEEN。 (2) Fuzzy Join (曖昧結合): キーの完全一致でなく、 編集距離・コサイン類似度等で結合する。 株式銘柄名の表記揺らぎ吸収等に使う。 (3) Spatial Join (空間結合): 緯度経度の空間的包含・近接で結合。 PostGIS の ST_Intersects、 GeoPandas の sjoin()。 (4) Hash Join のメモリ最適化: 小さい方をハッシュ化、 結合前に冗長列を削除、 等の技法。 SSDSE-B-2026 のような小データでは不要だが、 業務では必須の知識。

関連項目として 内部結合、 データ結合、 リレーショナルデータベース、 欠損値、 主キー、 外部キー を併せて学ぶと、 結合操作の全体像が立体的に把握できる。 結合は単独で意味を持つ操作ではなく、 「データ設計 → 結合 → 集計 → 可視化」 の中で位置づけられる中間処理。 結合だけ深掘りするより、 前後の処理と合わせて理解することで、 データ分析パイプラインの全貌が見えてくる。 SSDSE-B-2026 を題材に、 結合操作とそれ以外の処理を組み合わせた総合演習を行うことで、 実践的なスキルが身につく。

⏱️ 時系列データへの外部結合の応用

時系列データに外部結合を適用する場面では、 「キー完全一致」 ではなく「直前または直後の値」 を結合する必要がある。 pandas の merge_asof() は時系列での近似結合をサポートし、 「左テーブルの各行のタイムスタンプ直前の右テーブルの行」 を結合する。 これは金融データで「株価と為替の同期化」、 IoT データで「異種センサーの統合」、 EC データで「ユーザ行動とキャンペーン期間の対応付け」 等に必須。 SSDSE-B-2026 のような年次データではこの機能は不要だが、 高頻度時系列を扱う業務では日常的に使う技術。

merge_asof() の引数として、 (1) direction='backward'/'forward'/'nearest': 直前・直後・最近接の選択。 (2) tolerance=pd.Timedelta('1H'): 最大時間差の制限。 (3) by='symbol': グループ別の独立結合 (株価銘柄別等)。 (4) allow_exact_matches=True: 完全一致を許可するか。 等がある。 これらを組み合わせることで、 複雑な時系列結合が 1 行で書ける。 SQL では PostgreSQL の LATERAL JOIN や Snowflake の QUALIFY 句でも類似機能が提供されているが、 pandas の方が記述が簡潔。 時系列分析・金融工学・IoT 分析では merge_asof() 知識が必須スキル。

🌐 分散システムでの外部結合

数百 GB〜数 TB の大規模データに外部結合を適用する場合、 単一マシンの pandas では処理不能で、 分散システム (Spark, Dask, Polars, DuckDB) が必要。 Spark では結合戦略を (1) Broadcast Join (小さい方を全ノードに配布)、 (2) Sort-Merge Join (両方をソートしてマージ)、 (3) Shuffle Hash Join (キーでパーティション再配置後にハッシュ結合) から自動選択する。 結合キーが偏っていると「データ歪み (data skew)」 が発生し、 一部のノードに処理が集中して全体性能が悪化する。 これに対処するため、 (1) Salt 技術 (キーに乱数を付加して分散)、 (2) Skew Join Hint (Spark の hint で偏りを宣言)、 (3) Bucketed Table (事前パーティション) 等のテクニックが使われる。

DuckDB は組み込み型分析 DB で、 ローカルマシンで数 GB の Parquet ファイルを SQL で高速に結合できる。 duckdb.sql("SELECT * FROM 'a.parquet' a LEFT JOIN 'b.parquet' b ON a.key=b.key") と書くだけで、 数百万行の結合が秒単位で完了する。 Polars は Rust 実装の DataFrame で、 並列処理と Lazy Evaluation により大きな表の結合が速くなりやすい（速度差はデータと環境で変わる）。 これらの新世代ツールは、 SSDSE-B-2026 のような小データでも快適に動き、 大規模データへの拡張も容易。 「pandas 一辺倒」 から「pandas + DuckDB + Polars」 の使い分けへと、 2026 年のデータエンジニアリングのトレンドは進化している。

🗺 概念マップ

本サイト全体の 概念マップ の中で、 外部結合 がどの位置にあるかをテキストツリーで表現する。 視覚的なグラフは 概念マップページ を参照。

[ データエンジニアリング ]
  ├─ 外部結合 (本ページ)
  ├─ 関連手法・派生 → 「🌐 関連手法・派生」セクション
  ├─ 前提概念 → 「🔬 数式を言葉で読み解く」セクション
  └─ 派生・応用 → Anti / Semi / ASOF Join、時系列の merge_asof、分散結合
  

📌 全用語の俯瞰には 概念マップ を、 全用語一覧には 用語集トップ を参照してください。

🔢 数値例による手計算ウォークスルー

外部結合 を「コード任せ」にせず、 一度は手計算してみることで理解が定着する。 ここでは最小サイズのデータで、 値の動きを 1 ステップずつ追う。

数値例：47 vs 30 件の都道府県表を full outer join

SSDSE-B-2026 (47 都道府県) と仮想 D 表 (30 都道府県のみ、 鳥取・島根・福井・山梨・佐賀・宮崎・大分・愛媛・徳島・高知・福島・岩手・秋田・新潟・富山・石川・岐阜 の 17 県を欠く) を都道府県名で結合した結果を 4 方式で比較。

D が完全に B の部分集合の場合、 RIGHT JOIN と INNER JOIN は同じ結果になる。 D に B にないキー (たとえば D に「東北地方」のような集約名が混じる) があると RIGHT JOIN は 30 行を超え、 FULL は 47 を超える。 つまり 結合方式の選び方は「B と D のどちらが部分集合か、 あるいは交差状態か」で決まる。 まず set(B.key) - set(D.key) と set(D.key) - set(B.key) の両方を確認するのが、 結合事故ゼロへの第一歩。

❓ よくある質問（用語固有 10 連発）

外部結合 でよく出る質問 10 件を Q&A 形式でまとめた。 自分の状況に近いものから読んでほしい。

🏋️ 演習問題（5 問）

学習の定着には、 自分の手を動かすのが一番。 SSDSE-B-2026 や実ログを題材に、 外部結合 を実践する 5 問を用意した。 答えは Python 実装セクションと数値例セクションを参考に組み合わせれば導ける。

1. 演習 1：SSDSE-B と SSDSE-D を都道府県名で full outer join し、 NaN 行数を indicator で集計せよ。
2. 演習 2：結合前に str.strip().str.normalize('NFKC') でキー正規化、 表記揺れがマッチ率に与える影響を測れ。
3. 演習 3：LEFT JOIN と RIGHT JOIN を入れ替えて結果が鏡像になることを確認せよ。
4. 演習 4：3 つの SSDSE 表 (B, D, E) を full outer join し、 全表にあるキー・1 表のみのキー数を求めよ。
5. 演習 5：suffixes を意味のあるラベルにして、 結合後に重複列名を分かりやすく区別せよ。

📌 演習を解いて疑問が残ったら、 「よくある質問」セクションに戻るか、 リポジトリの「論文一覧」から類似研究を探して、 実コード (本サイトには 159 本の再現論文) を読むのが最速の理解への道。

🍳 コード・クックブック（外部結合 編）

外部結合 を実務で使う際の頻出パターンを、 動くコードのレシピ集としてまとめた。 必要な料理 (タスク) だけを取り出して使ってほしい。

1
2
3
4
5
6

import pandas as pd
a = pd.DataFrame({'k': ['x','y','z'], 'v_a':[1,2,3]})
b = pd.DataFrame({'k': ['y','z','w'], 'v_b':[20,30,40]})
for how in ('inner','left','right','outer'):
    m = a.merge(b, on='k', how=how, indicator=True)
    print(how, '\n', m, '\n')

1
2
3
4
5
6
7

import pandas as pd
a = pd.DataFrame({'pref':['東京','大阪'], 'year':[2023, 2023], 'v_a':[1,2]})
b = pd.DataFrame({'pref':['東京', '大阪', '京都'], 'year':[2023.0, 2024.0, 2023.0], 'v_b':[10,20,30]})
# year が int と float で型不一致 → 結合失敗の可能性
b['year'] = b['year'].astype(int)
m = a.merge(b, on=['pref','year'], how='outer', indicator=True)
print(m)

1
2
3
4
5
6
7
8

# from pyspark.sql import SparkSession
# from pyspark.sql.functions import broadcast
# spark = SparkSession.builder.appName('outer-join').getOrCreate()
# big = spark.read.parquet('data/processed/big_transactions.parquet')
# small = spark.read.parquet('data/processed/master.parquet')
# joined = big.join(broadcast(small), on='id', how='left_outer')
# print(joined.count())
# 上記疑似コード（Spark 環境で実行）。 broadcast hint で小表を全ノードに配布、 巨大表との外部結合を高速化。

📌 すべてのレシピは「実データ前提・引数なし直書き」スタイル。 そのままコピペで動くよう設計したので、 まずは動かしてから読むのを推奨する。

🙋 著者・教材設計について

本教材は、 広島工業大学 統計・データ解析コンペティション参加学生向けに、 松本伸平 (s.matsumoto.gk@cc.it-hiroshima.ac.jp) が監修・執筆した。 「論文を読む過程で出てきた専門用語を、 その場で 5 分で補完して論文に戻る」というジャストインタイム型の学習体験を目的に、 514 用語ページを統一フォーマットで整備している。

本ページ「外部結合」は データエンジニアリング カテゴリに属し、 同カテゴリ内の他用語と相互リンクされている。 用語間の関係性は 概念マップ でも俯瞰できる。

本サイトは SSDSE (教育用標準データセット, 独立行政法人統計センター) を主データとして使い、 「合成データ ではなく実公的データを使う」 を方針に据えている。 ハンズオン教材の質を最大化するための判断である。

🔗 隣接手法への橋渡し

「外部結合」は単独で完結せず、 前後の手法と組み合わさって価値が発揮される。 入力データの準備 (上流)・同目的の代替手法との比較 (並列)・結果の活用 (下流) という 3 軸で隣接領域を整理する。

• 上流 (入力の準備): 主キー・外部キー の確認、 結合キーの一意性検査、 データクリーニング
• 並列 (同目的の代替): 内部結合 (INNER JOIN)、 LEFT JOIN・RIGHT JOIN・FULL OUTER JOIN、 CROSS JOIN が結合パターン
• 下流 (結果の活用): 結合後の 欠損値 処理、 集約 による多重行の解決、 データパイプライン での統合

この上流・並列・下流の対応を地図化することで、 「外部結合」を中核に据えた分析パイプライン (データ準備 → 手法選択 → 結果の検証と展開) の全体像が見えてくる。

🌳 手法選択フロー

「外部結合」を実際に使うとき、 何をどう選ぶかを順に判断する。 上から順に答えていくと、 使うべき手法と評価の仕方が決まる。

1. 片方にしか無い行をどう扱うか
   残すなら外部結合、 落とすなら内部結合。 「落としたつもりが無い」まま内部結合すると、 行が静かに減る。 結合前後で行数を必ず数える。
2. どちら側を残すか
   左を全部残すなら LEFT、 両方なら FULL OUTER。 「マスタに無いコードが来ていないか」を調べたいなら、 あえて外部結合して欠測を見る。
3. キーは一意か
   結合キーが重複していると、 行数が掛け算で増える。 SSDSE-B-2026 を地域コードだけで結合すると、 12 年分が掛かって 12 倍になる。 結合前に duplicated() で確認する。
4. 欠測をどう埋めるか
   外部結合で生じた NaN は「値が無い」であって 0 ではない。 0 で埋めてよいかは、 その列が件数なのか金額なのか比率なのかで変わる。

外部結合は「合わなかった行」を可視化する道具でもある。 結合してから欠測を数えると、 データの不整合が見つかることが多い。