🔖 キーワード索引

「TF-IDF」を取り巻く中核キーワード群です。 検索やインデックス作成で参照する際の手がかりにしてください。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になります。

🎨 直感で掴む

10 件のレシピがあり、 そのうち 1 件のレシピに「ターメリック」が 5 回出てくるとします。

• TF＝5/全単語数（その文書での頻度） → 大きい
• IDF＝log(10 / ターメリックを含む文書数 1) ≈ log(10) → 大きい
• TF×IDF ＝ 大きな値 → 「このレシピを特徴づける単語」と判定

一方「塩」は全 10 件に出てくるので IDF ≈ log(10/10) = 0。 TF×IDF も 0 → 全体共通の単語は自動的に重み 0 に。

🎨 概念図で押さえる — TF-IDF の3つの視点

TF-IDF の理解には、 (1) 単語頻度の分布形 (Zipf 則の確認)、 (2) 文書間の類似度パターン (散布図)、 (3) 用語-文書行列のヒートマップ表現 の 3 点を同時に把握する必要があります。 ここでは SSDSE-B-2026 から作った 2 種類の小さなコーパス (指標名 109 個、 47 都道府県のプロフィール文書) で、 この 3 点を実際に描いてみます。

読み取るポイント:

• 分布が右下がり → Zipf 則に近い、 少数の高頻度語 (ここでは「数」) の重みを IDF が下げる
• 裾の長さで stopwords の影響を判定
• 頻度上位の単語を確認すると、 ドメイン固有の偏りに気づける

読み取るポイント:

• クラスタが分離 → トピックモデリングが有効
• 線形に並ぶ → 単一軸 (都市規模など) で説明可能
• 多数の点が 1 か所に重なる → 文書どうしが語を共有していない。 トークン化 (数値のビン化など) を見直す

読み取るポイント:

• 赤いセル → 同じ文書に一緒に出やすい語 (ここでは「大都市」を表す語どうし)
• 青いセル → 一緒に出にくい語、 文書分類の手がかり
• ブロックが不明瞭 → コーパスが均質、 別の特徴量が必要

この 3 枚を順に追うと、 「単語分布の確認 → 文書構造の可視化 → 共起パターンの抽出」 という TF-IDF 解析の標準フローが体系化される。 関連用語 コサイン類似度 / 情報エントロピー / エンベディング へ進むと、 各図の理論背景を深掘りできる。

📝 理解度チェック（練習問題）

TF-IDF の核を本当に掴めたかを 6 問で確認する。 すべて 1 分以内で答えられる粒度。 「自分で」答えを口に出して言える状態を目指したい。

Q1. TF と IDF それぞれの役割を一言で

Q2. 「は」「の」「で」のような助詞が TF-IDF で重みが低くなる理由

Q3. 文書 D に「人口」が 10 回、 全 47 文書中 5 文書に「人口」が出る。 TF-IDF は

Q4. TF-IDF と単語頻度 (Bag-of-Words) の最大の違い

Q5. TF-IDF と Word2Vec / BERT、 どう使い分けるか

Q6. SSDSE-B-2026 の県別データに TF-IDF はどう適用できるか

これらの問題に詰まった項目があれば、 「TF と IDF の定義」「単語分布の可視化」セクションへ戻ろう。 TF-IDF は古典的だが、 現代の NLP パイプラインでも前処理や検索エンジン (Elasticsearch) で現役の道具である。

📐 定義・数式

🔬 記号・要素の読み解き

🔬 数式を言葉で読み解く（詳細版）

「TF-IDF」は 文書中の単語の重要度を測る古典的指標。頻出だがどの文書にも出る単語にはペナルティ。 です。 ここでは定義式の各記号、 直感的意味、 SSDSE-B-2026 への当てはめを段階的に解きほぐします。

① TF-IDF の定義式

② TF の各種定義

③ IDF の各種定義

④ TF-IDF ベクトル化と類似度

⑤ BM25 への発展

TF-IDF の現代版が BM25 (Best Match 25)。 単語頻度の飽和 (saturation) と文書長正規化を導入。 検索エンジン (Elasticsearch・Lucene) のデフォルト。 $\text{BM25}(t, d) = \text{IDF}(t) \cdot \frac{f_{t,d}(k_1 + 1)}{f_{t,d} + k_1(1 - b + b \cdot |d|/\text{avgdl})}$ で $k_1 \approx 1.2, b \approx 0.75$。

SSDSE-B-2026 で「TF-IDF」を体感する

SSDSE-B-2026 で「都道府県プロフィール文書」を TF-IDF 化。 入力は 47 都道府県を文書、 各都道府県の上位指標名（人口・出生・経済等）を単語に、 出力は scikit-learn TfidfVectorizer で重要指標を抽出。 47 都道府県 × 複数年の実データで具体計算を実施します。

🏭 産業界での活用事例（6 件）

⚖️ 関連手法との比較表

💥 失敗例から学ぶ

📝 演習問題（5 問・解答付き）

1. 問題 1：SSDSE-B-2026 から「都道府県プロフィール文書」を作り、 TF-IDF で重要指標を抽出せよ。
   ▼ 解答

   📥 入力例（SSDSE-B-2026 の 2023 年・47 都道府県から 3 行） 都道府県 A1101(総人口) A4101(出生数) 北海道 5,092,000 24,430 東京都 14,086,000 86,348 沖縄県 1,468,000 12,549 …（全 47 行）

   📋 コピー

   1 2 3 4 5 6 7 8 9 10 11 12

   import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]) d = df[df['SSDSE-B-2026']==2023].copy() # 「都道府県プロフィール」を作成 docs = [] for _, row in d.iterrows(): doc = f"{row['Prefecture']} 人口{row['A1101']//10000}万 出生{row['A4101']//100}百" docs.append(doc) v = TfidfVectorizer() M = v.fit_transform(docs) print(M.shape)

   📤 実行例（実測） (47, 134)

   💬 47 県それぞれに「県名・人口◯万・出生◯百」の 3 語の文書を作ったので、語の延べ数は 141 だが、語彙は 134 語になった。重複したのは「人口129万」「出生69百」など 6 語だけで、ほとんどの語が 1 つの県にしか出てこない。数値をそのまま語にすると値が 1 つ違うだけで別の語になるため、TF-IDF の「共通する語で文書を比べる」仕組みがほとんど働かない行列になっていることを、この 134 という数が示している。

2. 問題 2：「東京都」の TF-IDF ベクトルから値が最大の単語を取り出せ。
   ▼ 解答

   📋 コピー

   1 2 3 4 5

   import numpy as np idx = list(d['Prefecture']).index('東京都') row = M[idx].toarray().flatten() top = row.argsort()[-3:][::-1] print([v.get_feature_names_out()[i] for i in top])

   📤 実行例（実測） ['東京都', '出生863百', '人口1408万']

   💬 東京都の上位 3 語は「東京都」「出生863百」「人口1408万」で、東京都の文書の 3 語すべてが並んだ。3 語ともほかの県に出てこないので IDF はどれも ln(48/2)＋1≈4.18 と同じになり、正規化後の重みはそろって 1/√3≈0.577 になる。表示順は同点のなかでの argsort の並びにすぎず、「県名が最も特徴的」という意味は無い。

3. 問題 3：コサイン類似度で「東京都」に最も似た都道府県 TOP 3 を求めよ。
   ▼ 解答

   📋 コピー

   1 2 3 4 5 6 7 8 9 10

   from sklearn.metrics.pairwise import cosine_similarity idx = list(d['Prefecture']).index('東京都') sims = cosine_similarity(M[idx], M).flatten() sims[idx] = -1 # 自分自身を除く order = sims.argsort()[::-1] # 類似度 0 の県を「似ている順」に並べても意味が無いので、語を共有する県だけを出す shared = [i for i in order if sims[i] > 0] print('東京都と語を 1 つでも共有する県:', len(shared), '県') for i in shared[:4]: print(d.iloc[i]['Prefecture'], round(sims[i], 3))

   📤 実行例（実測） 東京都と語を 1 つでも共有する県: 0 県

   💬 東京都の 3 語は他のどの県の文書にも出てこないため、コサイン類似度は 46 県すべてで 0 になり、語を共有する県は 0 県だった。類似度で並べ替えて上位 4 県を表示すると、類似度 0.0 の沖縄県・千葉県などが「似ている県」のように出てしまうが、それは同点の中の並び順にすぎないので、ここでは類似度が 0 より大きい県だけを数えている。数値を語として扱うなら「人口100万台」のように幅でまとめ、語を共有させてから類似度を測る必要がある。

   実測では東京都との類似度は全て 0.000 になります。 既定 tokenizer が「人口1408万」等を丸ごと 1 トークン化し、 東京都は他県と共有語を持たないためです（各県が独自語彙）。 意味ある TOP 3 を得るには数値を分割・ビン化してトークンを共有させる前処理が必要。

4. 問題 4：TF-IDF と BM25 の違いを 3 つ述べよ。
   ▼ 解答

   (1) BM25 は単語頻度を飽和させる (高頻度を抑制)。 (2) BM25 は文書長正規化 (b パラメータ) を明示。 (3) BM25 は確率的検索モデル由来、 TF-IDF はヒューリスティック。 検索エンジンの実用標準は BM25。
5. 問題 5：TfidfVectorizer のパラメータ min_df, max_df, ngram_range の意味を述べよ。
   ▼ 解答

   min_df: この回数未満の単語を除去 (typo除外)。 max_df: この割合超で出現する単語を除去 (汎用語除外)。 ngram_range=(1,2): unigram + bigram も使う。

📖 関連用語辞典（10 語）

TF

Term Frequency。 文書内の単語出現頻度。

IDF

Inverse Document Frequency。 単語の希少性。 $\log(N/df)$。

TF-IDF

TF × IDF。 「文書 d でその単語がどれくらい特徴的か」。

BM25

TF-IDF の改良版。 単語頻度を飽和し文書長正規化。 検索エンジン標準。

ストップワード

「の」「は」など意味の薄い高頻度語。 通常除去。

コサイン類似度

ベクトル間の角度の cos。 TF-IDF 類似度の標準。

文書

テキストの 1 単位。 ニュース記事・FAQ 回答・都道府県プロフィール等。

コーパス

文書集合 (corpus)。

ベクトル空間モデル

文書を語彙次元のベクトルとして表現するモデル。 TF-IDF はその実装。

LSA / LSI

TF-IDF + SVD で潜在意味次元を抽出。 TF-IDF の拡張。

🧮 実値で計算してみる

3 文書のミニコーパス：

• d1: 「猫 は 魚 が 好き」
• d2: 「犬 は 肉 が 好き」
• d3: 「猫 と 犬 は 動物」

「猫」の TF-IDF を計算：

• TF(猫, d1) = 1/5 = 0.20
• IDF(猫) = log(3/2) ≈ 0.405（d1, d3 に出現）
• TF-IDF(猫, d1) = 0.20 × 0.405 ≈ 0.081

「は」は全 3 文書に出るので IDF = log(3/3) = 0、 TF-IDF も 0。 「魚」は d1 にしか出ないので IDF = log(3/1) ≈ 1.10 と大きく、 d1 で重要な単語と判定されます。

🧮 数式に値を入れて手で計算する: TF-IDF

合成 3 文書で単語 "data" の TF-IDF を計算する。

Step 1: 統計

Step 2: IDF と TF-IDF

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
tf = np.array([0.05, 0.02, 0])
N = 3; df = 2
idf = np.log(N/df)
tfidf = tf * idf
print(f"IDF: {idf:.3f}")
print(f"TF-IDF: {tfidf.round(4)}")

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python での扱い

最小再現コード。 SSDSE-B のような実データを前提に、 4〜8 行で動く例です：

1
2
3
4
5
6

from sklearn.feature_extraction.text import TfidfVectorizer
docs = ['猫 は 魚 が 好き', '犬 は 肉 が 好き', '猫 と 犬 は 動物']
vec = TfidfVectorizer(token_pattern=r'\S+')
X = vec.fit_transform(docs)
print(vec.get_feature_names_out())
print(X.toarray().round(3))

💬 3 文すべてに出てくる「は」は IDF が ln(4/4)＋1＝1 と最小で、1 文目の重みは 0.336 にとどまる。1 文目にしか出ない「魚」は IDF が ln(4/2)＋1≈1.69 と最大で、重みも 0.569 と文中で最も高い。2 文に出る「が」「好き」「猫」は 0.433 で、その間に入る。各行は長さ 1 に正規化されているので、1 文にしか出ない語（「と」「動物」、各 0.534）を 2 つ含む 3 文目では、「犬」「猫」の重みが 0.406 と 1・2 文目の 0.433 より小さくなる点も読み取れる。

補足：ライブラリのバージョンや前処理状態によって出力は変わります。 自分の環境で動かすときは pip list でバージョンを確認し、 入力 CSV のパス・列名を実態に合わせてください。

🐍 Python 完全コード（4 要素ナレーション付き）

コード 1：SSDSE-B-2026 で「都道府県プロフィール文書」を TF-IDF 化

🎯 このコードでやること：47 都道府県の主要指標を文字列化して文書集合とし、 TF-IDF ベクトル化する。

📥 入力データ：SSDSE-B-2026 から 2023 年データ。 都道府県名 + 主要指標カテゴリで文書を作成。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
d  = df[df['年度']==2023].copy()
d['高齢化率'] = (d['65歳以上人口']/d['総人口']*100).astype(int)

# 都道府県プロフィール文書を作成
def make_doc(row):
    return (f"{row['都道府県']} "
            f"人口{row['総人口']//10000}万 "
            f"出生{row['出生数']//100}百 "
            f"死亡{row['死亡数']//100}百 "
            f"高齢化{row['高齢化率']}")

docs = [make_doc(r) for _, r in d.iterrows()]

v = TfidfVectorizer()
M = v.fit_transform(docs)

print(f"文書数 : {M.shape[0]}")
print(f"語彙数 : {M.shape[1]}")
print(f"非ゼロ : {M.nnz}")
print(f"\nサンプル文書:")
print(f"  {docs[12]}")  # 東京都

📤 実行結果：

💬 結果の読み方：47 都道府県 × 191 語彙のスパース TF-IDF 行列（非ゼロ 235＝各文書ちょうど 5 トークン × 47 文書）。 各都道府県の特徴的な単語（東京なら「人口1408万」「出生863百」など）が高 TF-IDF 値を持つ。 47×191 でも疎で、 巨大コーパスでも省メモリ。 なお既定の TfidfVectorizer は空白・記号区切りのため「人口1408万」がそのまま 1 トークン化し、 数値ごと語彙が分かれる点に注意（後述の類似度に影響）。

コード 2：「東京都」に最も似た都道府県を TF-IDF + コサイン類似度で発見

🎯 このコードでやること：東京都の TF-IDF ベクトルと他 46 都道府県のベクトルとのコサイン類似度を計算し TOP 3 を表示。

📥 入力データ：前のコードで M (47×191) を取得済み。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.metrics.pairwise import cosine_similarity

idx = list(d['都道府県']).index('東京都')
sims = cosine_similarity(M[idx], M).flatten()

# 自分自身を除外
sims[idx] = -1

top = sims.argsort()[-5:][::-1]
print("東京都に類似する都道府県 TOP 5:")
for i in top:
    print(f"  {d.iloc[i]['都道府県']:<6s} : {sims[i]:.4f}")

📤 実行結果：

💬 結果の読み方（重要な落とし穴）：実際に走らせると東京都との類似度は全て 0.0000。 これは失敗ではなく、 既定 TfidfVectorizer の tokenizer の性質そのものを可視化した結果です。 「人口1408万」「出生863百」のように数値がまるごと 1 トークンになるため、 東京都の 5 語（県名＋4 指標値）は他県と 1 語も共有せず、 コサイン類似度が 0 になります。 実際、 東京都は高齢化率 22（全国最小・固有値）を含むため共有語がゼロでした。 一方で高齢化率などの階級値が一致する地方県同士だけは僅かに類似（47 県 1081 ペア中 95 ペアのみ非ゼロ、 最大は奈良県×愛媛県の 0.3808）。 教訓：数値をそのままトークン化すると各県が「独自語彙の孤島」になり、 意味ある類似度が測れない。 実運用では数値をビン化・単位語に分割するか、 tokenizer を差し替える必要があります（→ FAQ「日本語 TF-IDF」）。

コード 3：TF-IDF の上位語を都道府県別に抽出

🎯 このコードでやること：各都道府県の TF-IDF 値が最大の単語 (= 最も特徴的な単語) を抽出する。

📥 入力データ：前述 v, M, d を使用。

1
2
3
4
5
6
7
8
9

import numpy as np
features = v.get_feature_names_out()

print("各都道府県の最特徴語 (TF-IDF 最大):")
for i in range(0, 47, 5):  # 5 件刻みで表示
    row = M[i].toarray().flatten()
    top_idx = row.argsort()[-3:][::-1]
    top_words = [features[j] for j in top_idx]
    print(f"  {d.iloc[i]['都道府県']:<6s}: {', '.join(top_words)}")

📤 実行結果：

💬 結果の読み方：各都道府県の数値情報がそのまま「最特徴語」として浮上。 IDF 大 (他に出ない数値)、 TF 大 (自身の文書に出る) で TF-IDF 最大値。 TF-IDF は「数値の指紋」も検出できる。 実際のテキスト分析でも、 ユニークな専門用語が高 TF-IDF で表面化する。

コード 4：TF-IDF + KMeans でクラスタリング

🎯 このコードでやること：TF-IDF ベクトルで 47 都道府県を 4 クラスタに分け、 「特徴の似た都道府県群」を発見。

📥 入力データ：M (47, 191) を KMeans に入力。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.cluster import KMeans
from collections import defaultdict

km = KMeans(n_clusters=4, random_state=0, n_init=10).fit(M)

groups = defaultdict(list)
for i, c in enumerate(km.labels_):
    groups[c].append(d.iloc[i]['都道府県'])

for c, prefs in sorted(groups.items()):
    print(f"\nクラスタ {c} ({len(prefs)}県):")
    print("  " + ", ".join(prefs[:10]) + ("..." if len(prefs)>10 else ""))

📤 実行結果：

💬 結果の読み方（退化に注意）：seed 固定（random_state=0, n_init=10）で実行すると 7/28/5/7 県という大きく偏ったクラスタになります。 前のコードで見たとおり数値がトークン化され県間の共有語がほぼ無いため、 ベクトルはほぼ直交し、 クラスタ分けは主に高齢化率の階級値が一致する少数ペアに引きずられます（28 県の巨大クラスタは「他とほぼ無関係＝寄せ集め」に近い）。 「大都市圏／小規模県」のようなきれいな分離にはなりません。 教訓：特徴設計（数値のビン化・正規化）を怠ると、 KMeans は意味あるクラスタを作れない。 数値テキストをそのまま使う限界を体験できる好例です。

❓ FAQ 20 問

📖 TF-IDF の包括ガイド（追補編）

🔍 TF-IDF の多角的解釈

TF-IDF の情報理論的解釈

IDF $= -\log P(t)$ = 単語の自己情報量。 TF と掛け合わせ「情報量加重頻度」。

BM25 の確率モデル由来

BM25 は Probability Ranking Principle から導出。 「関連文書である確率」を推定。

文書ベクトル空間の幾何

コサイン類似度 = 単位球面上の角度。 高次元疎では距離より角度が安定。

Spärck Jones の貢献

1972 年に IDF を提案、 「珍しさが識別力に直結」を示した。 IR の基礎。

Salton のベクトル空間モデル

1975 年に文書をベクトル化する枠組を確立。 現代 IR の礎。

📓 「TF-IDF」をさらに深掘り — 実データ実践ノート

SSDSE-B-2026 を使った段階的ハンズオン。 初学者→中級→上級と順に深めるシナリオ構成です。

ステップ 1: コーパス準備

SSDSE-B-2026 から 2023 年 47 都道府県の指標を文字列化。

ステップ 2: Vectorizer 作成

TfidfVectorizer(min_df=1)。 47 文書なので min_df 緩めに。

ステップ 3: 学習・変換

M = v.fit_transform(docs)。 形状 (47, ~200)。

ステップ 4: 語彙確認

v.get_feature_names_out()[:20] で最初の 20 語。

ステップ 5: IDF 確認

v.idf_。 大 IDF = レア語 = 識別力大。

ステップ 6: 類似度計算

cosine_similarity(M[0], M) で 1 都道府県 vs 全 46 県。

ステップ 7: TOP K 検索

argsort() で上位 5 件を抽出。

ステップ 8: 分類モデル

ラベル列 (例：人口減少率) を作り LogisticRegression で予測。

ステップ 9: クラスタリング

KMeans(n_clusters=4).fit(M) で類似都道府県群を発見。

ステップ 10: BM25 と比較

BM25Okapi でランキングを TF-IDF と比較。

📋 TF-IDF チートシート

実務で頻用するコード・概念・公式を 1 ページにまとめた早見表。 印刷して机に貼っておくと便利です。

🐍 SSDSE-B-2026 × TF-IDF 追加コード集 (4 要素ナレーション)

本編のコードに加え、 さらに 4 種の発展的コード例を 4 要素 (🎯/📥/📤/💬) 付きで提示。 段階的に「読む→動かす→改造する」を体験できます。

追加コード 1：BM25 と TF-IDF のランキング比較

🎯 このコードでやること：同じクエリで BM25 と TF-IDF のランキングを比較。

📥 入力データ：SSDSE-B-2026 の関連カラム。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

from rank_bm25 import BM25Okapi
docs = [r['都道府県']+' '+str(r['総人口']//10000)+'万' for _, r in d.iterrows()]
tokenized = [doc.split() for doc in docs]
bm25 = BM25Okapi(tokenized)

query = '1000 万人'.split()
bm25_scores = bm25.get_scores(query)

tfidf_q = v.transform([' '.join(query)])
tfidf_scores = (M @ tfidf_q.T).toarray().flatten()

import pandas as pd
result = pd.DataFrame({
    '都道府県': d['都道府県'].values,
    'BM25': bm25_scores,
    'TF-IDF': tfidf_scores
}).sort_values('BM25', ascending=False).head(5)
print(result)

📤 実行結果：

💬 結果の読み方（クエリ側も同じ落とし穴）：クエリ '1000 万人'.split() は ['1000', '万人'] になりますが、 文書側のトークンは「924万」「509万」のように数値と単位が一体で、 「1000」も「万人」も語彙に存在しません。 結果、 BM25・TF-IDF とも全県スコア 0（並び順は元の県順のまま）。 これは前述の tokenizer 退化がクエリ照合でも同様に起きることを示します。 意味あるランキングを得るには、 文書とクエリでトークン化の粒度を揃える（例：数値を「1000」「万」に分割）必要があります。 BM25 の理論的利点（頻度飽和・文書長正規化）を体感するには、 まず語彙が噛み合う前処理が前提です。

追加コード 2：TF-IDF + LinearSVC でテキスト分類

🎯 このコードでやること：都道府県プロフィール文書を「人口 100 万以上か否か」で 2 値分類。

📥 入力データ：SSDSE-B-2026 の関連カラム。

1
2
3
4
5
6
7

from sklearn.svm import LinearSVC
from sklearn.metrics import classification_report

labels = (d['総人口'] > 1_000_000).astype(int).values
clf = LinearSVC().fit(M, labels)
pred = clf.predict(M)
print(classification_report(labels, pred))

📤 実行結果：

💬 結果の読み方（＝リーク気味の満点）：ラベルは「総人口 > 100 万」（該当 37 県／非該当 10 県）で定義。 実行すると学習データ上で Accuracy 1.00（support は 10／37）になります。 これは分類器が優秀というより、 各文書に「人口○○万」という人口そのものを表すトークンが入っているため、 高次元疎な線形 SVM がほぼ暗記してしまうから。 訓練データで評価している点も含め過学習・情報リークの典型で、 汎化性能の指標にはなりません。 正しく評価するなら人口関連トークンを除く、 または train/test 分割が必須です。

追加コード 3：Truncated SVD で次元削減 (LSA)

🎯 このコードでやること：TF-IDF 行列を SVD で 5 次元に圧縮し、 潜在意味次元を抽出。

📥 入力データ：SSDSE-B-2026 の関連カラム。

1
2
3
4
5
6
7
8
9

from sklearn.decomposition import TruncatedSVD
svd = TruncatedSVD(n_components=5, random_state=0).fit(M)
print(f"説明分散比: {svd.explained_variance_ratio_}")
print(f"累積:       {svd.explained_variance_ratio_.cumsum()}")

# 5 次元埋め込み
emb = svd.transform(M)
print(f"\n5 次元埋め込み shape: {emb.shape}")
print(f"東京都の埋め込み: {emb[12]}")

📤 実行結果：

💬 結果の読み方（低い分散＝ここでも退化）：191 次元 → 5 次元に圧縮しても累積寄与率はわずか 15.4%（各成分 2〜4%）。 これも tokenizer 退化の帰結で、 ベクトルがほぼ直交しているため少数の潜在次元では説明しきれません（意味ある LSA では上位数次元で数十%に達するのが普通）。 東京都の埋め込みも全成分が 0 近傍で、 5 次元では都道府県を十分表現できていません。 LSA の威力を出すには、 まず語彙が共有される前処理が必要という点まで含めて教材化できます。

追加コード 4：都道府県別 TOP 5 特徴語の一覧

🎯 このコードでやること：47 都道府県全てについて TF-IDF 上位 5 語を表示。

📥 入力データ：SSDSE-B-2026 の関連カラム。

1
2
3
4
5
6
7
8

import numpy as np
features = v.get_feature_names_out()
print("都道府県別 TOP 5 特徴語:\n" + "="*60)
for i in range(47):
    row = M[i].toarray().flatten()
    top_idx = row.argsort()[-5:][::-1]
    words = [features[j] for j in top_idx]
    print(f"{d.iloc[i]['都道府県']:<6s}: {', '.join(words)}")

📤 実行結果：

💬 結果の読み方：47 県すべてに固有の特徴語が抽出される。 数値の桁が各県のサイズを反映、 県名自体も 1 文書にしか出ないため高 TF-IDF。

🧪 実データで確かめる：SSDSE-B-2026 の「指標名」109 個を本物の文書として TF-IDF 検索する

ここまでのコードは数値を文字列にした「プロフィール文書」でしたが、SSDSE-B-2026 には本物の日本語テキストも入っています。2 行目の列名（「65歳以上人口」「一般病院数」など、年度・地域コード・都道府県を除く 109 個）です。1 つの指標名を 1 文書とみなし、形態素解析（janome）で名詞に分けてから TF-IDF にかけ、IDF の大小と、検索語に近い指標名を調べます。

🎯 このコードでやること：SSDSE-B-2026 の指標名 109 個を janome で名詞に分けて TF-IDF 行列を作り、文書頻度 df と IDF の上位語を表にし、「65歳以上人口（女）」に近い指標名をコサイン類似度で 5 件探す。

📥 入力データ：SSDSE-B-2026.csv の 2 行目（日本語の列名）のうち 4 列目以降の 109 個。例：「65歳以上人口」→「65 歳 以上 人口」。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import numpy as np
import pandas as pd
from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import TfidfVectorizer

names = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=2, header=None).iloc[1, 3:].tolist()
tok = Tokenizer()
def words(s):                                     # 名詞（数字を含む）だけを残し、助詞・記号は捨てる
    return [t.surface for t in tok.tokenize(s) if t.part_of_speech.startswith('名詞')]
docs = [' '.join(words(s)) for s in names]
print(len(docs), '個の指標名。例:', names[12], '→', docs[12])

vec = TfidfVectorizer(tokenizer=str.split, token_pattern=None, lowercase=False)
X = vec.fit_transform(docs)
idf = pd.Series(vec.idf_, index=vec.get_feature_names_out())
df_count = pd.Series(np.asarray((X > 0).sum(0)).ravel(), index=idf.index)
tab = pd.DataFrame({'df': df_count, 'IDF': idf.round(3)}).sort_values('df', ascending=False)
print(tab.head(6).to_string())
print('IDF 最大（df=1）の語の例:', ', '.join(tab[tab.df == 1].index[:6]))

q = vec.transform([' '.join(words('65歳以上人口（女）'))])
sim = (X @ q.T).toarray().ravel()
top = np.argsort(-sim)[:5]
print('クエリ「65歳以上人口（女）」に近い指標名:')
for i in top:
    print(f'  {sim[i]:.3f}  {names[i]}')

📤 実行結果：

💬 結果の読み方：最も多くの指標名に出る語は「数」（出生数・死亡数・病院数など 61 個）で、IDF は ln((1+109)/(1+61)) + 1 = 1.573 と最小です。逆に「食料」「病院」のように 1 つの指標名にしか出ない語は IDF が最大になります。検索では「65歳以上人口（女）」自身が 1.000、「65歳以上人口」が 0.897、男性版が 0.805 と、共有する語が多い順に並び、「総人口（女）」（0.583）は「人口」と「女」だけを共有するので下がります。TF-IDF が「どの語を共有しているか」と「その語がどれだけ珍しいか」だけで近さを決めていることが、実際の列名で確かめられます。

🧪 実データで確かめる：IDF が無いと「数」で終わる 60 個の指標名が同点で並ぶ

IDF の効き目を確かめるため、「病院数」で検索したときの結果を、出現回数だけのベクトル（TF）と TF-IDF で比べます。どちらも長さ 1 に正規化したうえで余弦類似度を計算します。

🎯 このコードでやること：指標名 109 個について、出現回数だけのベクトルと TF-IDF ベクトルで「病院数」を検索し、類似度が 0 より大きい指標名の数と上位 4 件を比べる。

📥 入力データ：上と同じ 109 個の指標名（janome で名詞に分割）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

import numpy as np
import pandas as pd
from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import normalize

names = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=2, header=None).iloc[1, 3:].tolist()
tok = Tokenizer()
def words(s):
    return [t.surface for t in tok.tokenize(s) if t.part_of_speech.startswith('名詞')]
docs = [' '.join(words(s)) for s in names]
opt = dict(tokenizer=str.split, token_pattern=None, lowercase=False)
query = ' '.join(words('病院数'))
for name, v in [('出現回数のみ (TF)', CountVectorizer(**opt)), ('TF-IDF', TfidfVectorizer(**opt))]:
    X = normalize(v.fit_transform(docs).astype(float))      # どちらも長さ 1 に揃えて余弦類似度
    q = normalize(v.transform([query]).astype(float))
    sim = (X @ q.T).toarray().ravel()
    order = np.argsort(-sim, kind='stable')
    print(f'{name}: 類似度 > 0 の指標 {int((sim > 0).sum())} 個 / 上位 4 位')
    for i in order[:4]:
        print(f'   {sim[i]:.3f}  {names[i]}')

📤 実行結果：

💬 結果の読み方：どちらも 1 位は「病院」を含む唯一の指標名「一般病院数」ですが、2 位以下が違います。出現回数だけでは「数」を共有するだけの出生数・死亡数・幼稚園数などが類似度 0.500 で同点に並び、検索語と関係の薄い指標名が上位を埋めます。TF-IDF では「数」の重みが IDF 1.573 に抑えられるので、2 位以下は 0.112 以下に下がり、1 位との差がはっきりします。類似度が 0 より大きい指標名は 61 個で変わらないので、IDF は「どれがヒットするか」ではなく「ヒットした文書の並び方」を変えていることが分かります。

⚠️ よくある落とし穴

TF-IDF を実務で扱うとき、 多くの分析者が同じところでつまずきます。 代表的な失敗パターンを先回りで押さえておくと、 後工程のトラブルを大幅に減らせます。

※ 上記は文献調査・現場経験で報告される頻度の高い注意点。 ドメインや手法のバージョンによって追加の落とし穴がある場合があります。

⚠️ さらに踏み込んだ失敗パターン 10 連

初学者を超えた中級者がハマる「2 周目の失敗例」を集めました。 本編の 5 件と合わせて 15 件のチェックリストとして活用してください。

📖 TF-IDF 関連語拡張辞典（20 語）

本編の 10 語に加え、 さらに専門用語 20 個を整理。 文献を読むときの「分からない単語チェッカー」として使えます。

ベクトル空間モデル

文書を語彙次元のベクトル化。 TF-IDF が実装。

情報検索 (IR)

クエリと文書のマッチング学問。

BM25

TF-IDF 改良版。 検索エンジン標準。

LSA / LSI

TF-IDF + SVD で潜在次元抽出。

LDA

確率的トピックモデル。 文書を分布で表現。

Word2Vec

単語分散表現。 類似性捕捉。

GloVe

共起行列ベース埋め込み。

FastText

サブワード対応埋め込み (Facebook)。

BERT

Transformer 文脈埋め込み。 SOTA。

Sentence-BERT

文埋め込み専用 BERT。 高速類似度。

Cosine Similarity

ベクトル角度の cos。 IR で標準。

Jaccard Similarity

集合の |A∩B|/|A∪B|。 二値文書。

MinHash / LSH

近似類似度検索。 大規模対応。

Inverted Index

単語 → 文書 ID リストの索引。

Stemming

語幹抽出 (英語)。 Porter Stemmer。

Lemmatization

原形化。 語形変化を統一。

Stop Words

意味の薄い高頻度語。 通常除去。

N-gram

連続 N 単語。 bigram, trigram が典型。

Document Frequency

単語が出る文書数。 IDF の元。

Term Frequency

文書内単語頻度。 TF。

❓ FAQ 追補 20 問（中〜上級者向け）

🌟 SSDSE-B-2026 で「TF-IDF」の総合演習

47 都道府県 × 12 年分のデータを使い、 TF-IDF を多角的に体験する総合演習。 単発の操作ではなく、 一連の分析フローを通して理解を深めます。

ハンズオン 1: SSDSE-B-2026 を TF-IDF で類似県発見

🎯 このコードでやること：SSDSE-B-2026 を TF-IDF で類似県発見

📥 入力：SSDSE-B-2026.csv の 47 都道府県データ。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
d  = df[df['年度']==2023].reset_index(drop=True)
d['高齢化率'] = (d['65歳以上人口']/d['総人口']*100).astype(int)

docs = []
for _, r in d.iterrows():
    docs.append(f"{r['都道府県']} 人口{r['総人口']//10000}万 出生{r['出生数']//100}百 高齢{r['高齢化率']}")

v = TfidfVectorizer()
M = v.fit_transform(docs)
sim = cosine_similarity(M)

# 各県の TOP3 類似県
for i in range(47):
    s = sim[i].copy()
    s[i] = -1
    top3 = s.argsort()[-3:][::-1]
    cs = ', '.join([d.iloc[j]['都道府県'] for j in top3])
    if i < 5:
        print(f"{d.iloc[i]['都道府県']:<6s} ~ {cs}")

📤 実行結果：

💬 結果の読み方（退化に注意）：類似度はほぼ全ペアで 0 か極小で、 上位に出るのは「高齢◯◯」の階級値がたまたま一致した県だけ（例：北海道と宮崎・鹿児島は cos≈0.13、 秋田は非ゼロの相手が無く同率 0 の並びに意味なし）。 「東北は東北と似る」のような地理的近縁性は再現されない点に注意。 本編コード 2 で見た tokenizer 退化（数値が丸ごと 1 トークン化され県間の共有語がほぼ無い）がここでも起きている。 意味のある類似県探索には数値のビン化・トークン分割などの特徴設計が必須。

❌ 誤解「TF-IDF は意味で検索できる」— 言い換えと語順の実測

TF-IDF は語の一致しか見ないので、同じ意味でも違う言葉で書かれた文書は見つけられません。上の指標名コーパスで、言い換えた検索語と語順を入れ替えた検索語を試します。

🎯 このコードでやること：指標名 109 個の TF-IDF 行列に対して「高齢者の人口」「65歳以上人口」「お年寄り」「女 人口」「人口 女」を検索し、語彙に含まれた語と上位 3 件を表示する。

📥 入力データ：上と同じ 109 個の指標名（janome で名詞に分割）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import numpy as np
import pandas as pd
from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import TfidfVectorizer

names = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', nrows=2, header=None).iloc[1, 3:].tolist()
tok = Tokenizer()
def words(s):
    return [t.surface for t in tok.tokenize(s) if t.part_of_speech.startswith('名詞')]
docs = [' '.join(words(s)) for s in names]
vec = TfidfVectorizer(tokenizer=str.split, token_pattern=None, lowercase=False)
X = vec.fit_transform(docs)

def search(query, k=3):
    q = vec.transform([' '.join(words(query))])
    sim = (X @ q.T).toarray().ravel()
    known = [w for w in words(query) if w in vec.vocabulary_]
    hits = [f'{names[i]}({sim[i]:.2f})' for i in np.argsort(-sim)[:k] if sim[i] > 0]
    print(f'「{query}」 語彙にある語 {known} → {hits if hits else "一致なし"}')

search('高齢者の人口')          # 「高齢者」は指標名に無い言い方
search('65歳以上人口')
search('お年寄り')
search('女 人口')               # 語順を入れ替えても
search('人口 女')               # 同じベクトルになる

📤 実行結果：

💬 結果の読み方：「高齢者の人口」は、指標名に「高齢」という語が無いため、一致するのは「者」と「人口」だけで、1 位は「総人口」（0.73）になり、目的の「65歳以上人口」は上位に来ません。指標名と同じ言い方の「65歳以上人口」なら 1.00 で一致します。「お年寄り」は語彙に 1 語も無いので一致なしです。また「女 人口」と「人口 女」は結果が完全に同じで、語順の情報は使われていません。言い換えに対応するには、同義語辞書でクエリを展開するか、単語や文の意味をベクトルにする埋め込み（Word2Vec・BERT 系）を使います。

✅ 理解度チェック（指標名コーパスの実測値で答える）

Q1. 109 個の指標名のうち「数」を含むのは 61 個。sklearn の既定（smooth_idf=True）で「数」の IDF を手で計算せよ。
→ 解答：ln((1+109)/(1+61)) + 1 = ln(1.774) + 1 ≈ 0.573 + 1 = 1.573。コードの出力と一致する。

Q2. 「病院数」で検索すると、TF でも TF-IDF でも類似度が 0 より大きい指標名は 61 個だった。なぜ同じ数になるのか。
→ 解答：類似度が 0 より大きくなる条件は「クエリと共有する語が 1 つでもある」ことで、IDF は語の重みを変えるだけで 0 にはしない（smooth_idf では最小でも 1）。したがってヒットする文書の集合は同じで、並び順だけが変わる。

Q3. 「高齢者の人口」で「65歳以上人口」が見つからなかった。TF-IDF のままで見つけられるようにするには、どこを変えればよいか。
→ 解答：クエリ側で「高齢者」を「65 歳 以上」に展開する同義語辞書を入れる。文書とクエリで同じ語が使われて初めて TF-IDF の類似度が生じるので、語彙をそろえる前処理が必要になる。

🌐 関連手法・派生

• BM25：TF-IDF を改良した検索ランキング標準（Elasticsearch 等で利用）。
• Word2Vec / GloVe：単語を密ベクトルに（文脈を考慮）。
• BERT / SBERT：文脈依存の埋め込み。 現代 NLP の主流。
• LSA / LDA：TF-IDF を次元削減してトピック抽出。
• Sublinear TF：TF に log(1 + tf) を適用し、 頻出語の影響を緩和。

❓ よくある質問

🔗 関連用語 — 前提・並列・発展

「TF-IDF」をより深く理解するには、 周辺の用語を セットで 押さえるのが効率的です。 以下は前提（先に知っておくべき）、 並列（兄弟概念）、 発展（次に学ぶべき）の関係にある用語群：

クリックで各用語の詳細ページへ移動します。 全用語の体系は 用語集トップ または 概念マップ から俯瞰できます。

📚 関連グループ教材

「TF-IDF」は単独で完結する概念ではなく、 より大きな分野の一部です。 上位カテゴリの教材を読むことで、 この用語の 位置づけ が立体的に見えてきます：

• 📚 データ処理 — このカテゴリの体系的解説
• 📚 機械学習の基礎 — このカテゴリの体系的解説

📚 参考文献・出典

• Sparck Jones, K. (1972). A Statistical Interpretation of Term Specificity. Journal of Documentation. (IDF 原典)
• Salton, G. & McGill, M. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.
• Manning, C. et al. (2008). Introduction to Information Retrieval. Cambridge.
• Robertson, S. & Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval.
• scikit-learn TfidfVectorizer 公式 ドキュメント
• Elasticsearch BM25 解説 https://www.elastic.co/
• 独立行政法人統計センター. SSDSE-B-2026 (CC BY 4.0). https://www.nstac.go.jp/use/literacy/ssdse/

🌟 拡張ハンドブック

📜 TF-IDF の歴史

TF (単語頻度) と IDF (逆文書頻度) はそれぞれ Luhn (1957)、 Spärck Jones (1972) が提案。 1980 年代に Salton らが TF と IDF を掛け合わせる「ベクトル空間モデル」として体系化。 1990 年代の Web 検索エンジン (AltaVista、 初期 Google) で大規模に実装され、 検索ランキングの礎に。 2009 年に BM25 が改良版として確立、 Elasticsearch・Solr のデフォルト指標になる。 2010 年代に Word2Vec・BERT 等の埋め込みが台頭したが、 TF-IDF/BM25 は今でも軽量・解釈容易性で現役。

📐 TF-IDF の数学的位置づけ

⚙️ TF-IDF を超える表現学習

💼 TF-IDF を実務で使う 5 つの場面

• 全文検索エンジン：Elasticsearch・Solr の BM25 (TF-IDF 拡張) が標準。
• 文書分類：スパム・トピック分類で SVM/LogReg の特徴量。
• 類似文書検索：FAQ マッチ、 重複記事検出。
• キーワード抽出：文書代表語の自動抽出。
• レコメンド：コンテンツベース推薦の基礎ベクトル。

📚 50 連発レシピ集（TF-IDF × Python）

SSDSE-B-2026 を題材に、 TF-IDF の実装を 50 ミニコードで一気に俯瞰します。

1. from sklearn.feature_extraction.text import TfidfVectorizer
2. v = TfidfVectorizer()
3. M = v.fit_transform(['hello world', 'world peace'])
4. print(v.get_feature_names_out())
5. print(M.toarray())
6. v = TfidfVectorizer(min_df=2) — 2 文書未満の語を除去
7. v = TfidfVectorizer(max_df=0.95) — 95% 超出現語を除去
8. v = TfidfVectorizer(ngram_range=(1,2)) — unigram+bigram
9. v = TfidfVectorizer(stop_words='english')
10. v = TfidfVectorizer(max_features=10000)
11. v = TfidfVectorizer(sublinear_tf=True) — log(1+tf)
12. v = TfidfVectorizer(norm='l2') — L2 正規化
13. v = TfidfVectorizer(smooth_idf=True)
14. v = TfidfVectorizer(use_idf=True)
15. v.vocabulary_
16. v.idf_
17. import pandas as pd; df=pd.read_csv('data/raw/SSDSE-B-2026.csv',encoding='cp932',skiprows=[1])
18. d = df[df['年度']==2023]
19. docs = [f"{r['都道府県']} 人口{r['総人口']//10000} 出生{r['出生数']//100}" for _,r in d.iterrows()]
20. M = v.fit_transform(docs)
21. M.shape — (47, 単語数)
22. from sklearn.metrics.pairwise import cosine_similarity
23. cosine_similarity(M[0], M[1])
24. cs = cosine_similarity(M) — 全 47×47 類似度行列
25. cs.argsort(axis=1)[:,-5:] — 各文書の TOP 5 類似
26. from sklearn.naive_bayes import MultinomialNB; nb = MultinomialNB().fit(M, labels)
27. from sklearn.svm import LinearSVC; svm = LinearSVC().fit(M, labels)
28. from sklearn.cluster import KMeans; km = KMeans(n_clusters=4).fit(M)
29. from sklearn.decomposition import TruncatedSVD; svd = TruncatedSVD(n_components=10).fit(M)
30. print(svd.explained_variance_ratio_)
31. from rank_bm25 import BM25Okapi; bm = BM25Okapi([d.split() for d in docs])
32. bm.get_scores('東京'.split())
33. import MeCab; t = MeCab.Tagger('-Owakati')
34. t.parse('東京都の人口').strip().split()
35. from janome.tokenizer import Tokenizer; tk = Tokenizer(); list(tk.tokenize('東京都'))
36. v = TfidfVectorizer(tokenizer=lambda s: t.parse(s).strip().split())
37. print('IDF 上位 5 = レアな語')
38. import numpy as np; top_idf = np.argsort(v.idf_)[-5:]
39. print([v.get_feature_names_out()[i] for i in top_idf])
40. print('IDF 下位 5 = 全文書頻出')
41. low_idf = np.argsort(v.idf_)[:5]
42. row = M[0].toarray().flatten(); top_words = row.argsort()[-3:]
43. print([v.get_feature_names_out()[i] for i in top_words])
44. v.transform(['新文書のテキスト'])
45. import joblib; joblib.dump(v, 'tfidf.pkl')
46. v2 = joblib.load('tfidf.pkl')
47. print('TF-IDF はスパース行列、 .toarray() で密化可')
48. print('M.nnz =', M.nnz, '個の非ゼロ要素')
49. print('密度 =', M.nnz / (M.shape[0]*M.shape[1]))
50. print('🎓 TF-IDF の本質：局所頻度 × 全体希少度 = 識別力')

🗺 概念マップ

TF-IDF を中心に、 単語頻度 (TF) × 逆文書頻度 (IDF) という掛け算が、 BoW・コサイン類似度・文書分類・検索ランキングへどう派生するかを整理。

中心の「TF-IDF」から、 上に BoW (基礎)、 右上に コサイン類似度 (組合せ)、 右下に Word2Vec / BERT (発展)、 下に LSA / LDA (応用)、 左下に Sublinear TF (拡張)、 左上に「落とし穴 (語順無視・OOV)」が並ぶ。 SSDSE-B-2026 の都道府県統計を「文書」、 47 県を「コーパス」と見立てて TF-IDF を計算すると、 各県の特徴語 (北海道なら「畑」「酪農」、 沖縄なら「観光」) を抽出できる。

🔗 隣接手法への橋渡し

TF-IDF は「テキスト → 数値ベクトル」の橋渡し役で、 前処理・後段の手法と直結する。

• 上流: トークン化 (MeCab / spaCy) → ストップワード除去 → 語幹化 でクリーンな語彙を作る
• 並列: BoW は単純頻度、 BM25 は TF を飽和関数化した検索用版、 Word2Vec / Doc2Vec は文脈を埋め込みで捉える代替
• 下流: ベクトル化後は コサイン類似度 で類似文書検索、 k-means でクラスタリング、 ロジスティック回帰 で文書分類につなぐ

SSDSE-B-2026 の県別記述文を corpus とした場合、 TF-IDF 行列 (47 県 × 語彙数) を SVD で 50 次元に圧縮 → コサイン類似度 で「東京 ≈ 大阪 ≈ 愛知」を確認、 という pipeline が典型。

🌳 手法選択フロー

テキスト解析で TF-IDF を使うか、 別の表現を選ぶかは 4 つの分岐で決まる。

1. 語順を考慮したい? Yes → BERT / Transformer 埋め込み、 No → TF-IDF か BoW
2. 長文文書を比較する? Yes → TF-IDF + L2 正規化、 短文 (検索クエリ vs 文書) → BM25 の方が高精度
3. 未知語が多い (Twitter ノイズなど)? Yes → subword や FastText、 No → TF-IDF (語彙固定 OK)
4. 説明性が必要? Yes → TF-IDF (「IDF=4.2 の重み」と語ごとに説明可)、 No → 埋め込み でも可

SSDSE-B-2026 の県別統計コメントのように 定型語彙が多い (n=47, 語彙 ~500) ケースでは TF-IDF が最適。 BERT は overkill で計算コストが過大。

🎮 触って理解する

下のスライダーで 3 つの文書 (A / B / C) における各単語の出現回数を変えると、 TF（語頻度）・ IDF（レア度 ln(N/df)）・ TF-IDF = TF × IDF が右の表とバーにリアルタイムで反映されます。 「人口」を 3 文書すべてに入れると IDF が 0 に潰れ、 特定文書に偏る「経済」「高齢」ほどバーが伸びる —— この重み付けを指で体感してください。

🔍 解説深化 — IDF は「文章専用」ではない：構造化データで観る TF-IDF の本質

本編では都道府県データを「プロフィール文書」に変換して TF-IDF を適用しました。 ここでは逆向きの角度から掘り下げます。 文章を一切使わずに、 SSDSE-B-2026 の数値そのものから「トークン」を作り、 IDF という考え方の正体（＝珍しさの対数）と、 文章では見えにくい弱点を露出させます。

💡 直感 — IDF の正体は「驚きの対数」

IDF(t) = log(N / df(t)) は、 「N 文書から 1 つ引いたとき、 語 t を含む文書を引き当てる確率 df/N」の逆数の対数、 つまり情報理論でいう 自己情報量（サプライザル）−log(df/N) そのものです。 「みんなが持っている語は驚きゼロ、 少数派だけが持つ語は驚き大」。 この見方に立つと、 トークンは単語である必要がない ことに気づきます。 「ある性質を持つ／持たない」という 0/1 のメンバーシップさえ定義できれば、 どんなデータにも IDF は計算できます。

実験：SSDSE-B-2026 の 2023 年・47 都道府県 × 数値 109 列で、 「変数 X が全国平均を上回る」ことを 1 トークンとみなします（47 文書 × 109 語彙の 0/1 行列）。 以下は Python で実際に計算した 実測値 です（IDF は自然対数）。

「外国人延べ宿泊者数が平均超え」なのは北海道・千葉・東京・神奈川・京都・大阪・福岡・沖縄の 8 道都府県だけ。 このトークンを持つことは県の性格を強く語る（IDF 高）のに対し、 「消費支出が平均超え」は 28 県が持つため、 ほとんど個性を語りません（IDF 低）。 ストップワードが自動的に軽くなる仕組みと完全に同型です。

⚠️ 落とし穴（重要） — 文章では気づきにくい IDF の 3 つの弱点

① 小さいコーパスでは IDF のダイナミックレンジが潰れる。 N=47 のとき IDF の理論上の最大値は ln(47/1) = 3.85、 上の実測でも 0.52〜1.77 の幅しかありません。 数千〜数百万文書を前提に設計された IDF は、 文書数が少ないと「レア語ボーナス」がわずかしか付かず、 重み付けの効果が薄れます。 小規模データで TF-IDF の効きが悪いのは実装ミスではなく数学的必然です。

② トークン化（離散化）の設計ひとつで IDF は崩壊する。 上の実験でしきい値を「平均」から「中央値」に変えると、 df は必ず半数近く（実測で 21〜23 県）になり、 IDF は 0.715〜0.806 の狭い帯に 全 109 変数が押し込まれて しまいます。 珍しさの情報が消え、 全語が同じ重みに。 テキストでも同じで、 形態素解析の粒度・ストップワード辞書・n-gram の切り方という「トークン化の設計」が、 数式より先に結果を決めます。

③ 「長い文書」問題は構造化データにも現れる。 平均超えトークンの保有数を数えると、 東京都は 109 変数中 102 個、 福岡県 101 個、 神奈川県・愛知県 99 個。 一方で愛媛県はわずか 3 個（合計特殊出生率・年平均気温・最低気温）、 青森県 4 個、 秋田県 5 個でした。 SSDSE-B の多くが人口規模に比例する「総量」変数のため、 大きな県が何でも持つ「長文書」になるのです。 長い文書ほどあらゆる語を含んでしまい類似度計算を支配する——TF の文書長正規化や BM25 のパラメータ b が解決しようとしているのは、 まさにこの規模効果です。 都道府県分析なら「人口あたり」に直してから比較するのが定石です。

🚀 発展 — IDF 的発想が再登場する場所

• サプライザルの平均はエントロピー：−log p を語彙全体で平均するとエントロピーになり、 TF-IDF は情報理論の入口と地続きです。 「珍しさ＝情報量」という発想は決定木の情報利得にも通じます。
• 推薦システムのアイテム重み：「みんなが買う商品はユーザーの好みを語らない」として、 購買履歴の共起に IDF 型の減衰を掛ける手法は協調フィルタリングの定番テクニックです。
• 異常検知・特徴語抽出以外への転用：地理データで「その市区町村にだけある施設」を強調する、 ログ分析で「特定サーバにだけ出るエラー」を浮かび上がらせるなど、 「集合のメンバーシップ × 珍しさ」の枠組みは広く再利用できます。
• BM25 の思想：本編で触れた BM25 は「TF の飽和」と「文書長正規化」という上記③への処方箋そのもの。 数式の背後にある動機をこの実験で体感してから読み直すと理解が速いはずです。

🔗 関連ページ

• コサイン類似度 — TF-IDF ベクトル同士の比較に標準で使う距離。 長文書問題と正規化の関係もここで。
• 標準化 — 「平均超え」より情報を保つ連続的なスケーリング。 本節②の離散化問題への処方箋。
• 特徴量エンジニアリング — 「総量を人口あたりに直す」など、 本節③の規模効果への実務的対処。
• 形態素解析 — 日本語テキストでトークン化の設計を担う前処理。
• 自然言語処理 — TF-IDF が位置づく分野の全体地図。
• 埋め込み表現 — 疎な TF-IDF から密ベクトルへの発展。
• Bag-of-Words・BM25・Word2Vec は本ページ内の各節を参照（専用ページなし）。

※ 本節の数値はすべて SSDSE-B-2026（2023 年・47 都道府県・数値 109 列）からの実測値です（IDF は自然対数）。 合成データ・仮想例は使用していません。