🔖 キーワード索引

本ページは n-gram（N-gram）を多角的に解説します。 上のチップは、 検索・関連語の手がかりです。

「n gram」は統計データ分析の文脈で扱う重要概念のひとつ。 本ページでは「n gram」を取り巻く中核キーワードを以下にチップで一覧化する。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になる。

これらのキーワードは「n gram の理解 → 適用 → 検証」のプロセスを構成する。 各章で詳しく解説する。

🎨 直感で掴む — 具体例で理解する

n-gram のイメージを掴むには、 文章を n 単語の窓でスライドさせて切り取る作業を思い浮かべましょう。

例：「今日 は 良い 天気 です」（5 単語）

n が大きいほど 長い文脈を保持できますが、 同時に データのスパース性が爆発的に増えます（コーパスに現れない組み合わせばかりになる）。 実務では n=2〜5 が標準。

🎨 直感の深掘り — もう一段の理解

N-gramを 30 秒で言えば「テキストを連続する N 個のトークン（文字 / 単語）の組として表現する手法。 N=2 ならバイグラム。」ですが、 実務で迷わないためにはもう一段深い理解が必要です。 ここでは「何が分かれば自信を持って使えるか」を、 3 つの観点で整理します。

💡 暗黙の前提：N-gram が「うまく機能する」には、 データに対する暗黙の仮定（独立同分布、 適切な前処理、 十分なサンプル数）があります。 これを言語化できるかどうかで、 失敗時のデバッグ力が大きく変わります。

🎨 直感で掴む：N グラムは「テキストを N 個ずつスライドしてカウント」する

N グラム（n-gram）とは、 テキスト中で連続する N 個のトークン（単語・文字・サブワード）の組のことを指す。 例えば「広島県の県庁所在地は広島市」という文を文字 N グラムにすると、 N=2 のとき「広島／島県／県の／の県／県庁／庁所／所在／在地／地は／は広／広島／島市」となる。 N=1 を unigram、 N=2 を bigram、 N=3 を trigram と呼ぶ。 これだけの単純な構造でありながら、 機械翻訳の BLEU 評価、 文書分類の特徴量、 統計的言語モデル、 入力補完、 スペル訂正、 そして近年では subword tokenizer（BPE, SentencePiece）の前段にまで広く使われている。

N グラムの威力は「N を増やすと文脈が伸び、 N を減らすと一般化が効く」という単純なトレードオフにある。 N=1 では「広島」が単独でどれだけ出るかしか分からないが、 N=3 にすると「広島県の」が「広島市の」より頻出するかなどが見える。 ただし N=5 にすると組合せ数が爆発して、 ほとんどの 5-gram が訓練データに 0 回しか出ないという data sparsity 問題が一気に深刻化する。 だから現実の N グラム言語モデルでは Kneser-Ney smoothing などの巧みな平滑化技法が必須となる。

🎨 SSDSE 都道府県名で N グラムを実感する

SSDSE-B-2026 の 47 県名（北海道、 青森県、 岩手県、 …、 沖縄県）を結合して「北海道青森県岩手県…沖縄県」という長い文字列にしてみる。 これに対する文字 2-gram を抽出すると、 47 県のうち実に 43 県が「県」で終わるため「○県」 の 2-gram が支配的（例：「森県」「手県」「城県」…）。 さらに 3-gram にすると「青森県」「岩手県」「宮城県」のような 各県固有の 3-gram が現れる。 「県」で終わらない北海道・東京都・大阪府・京都府のうち、 例えば「北海道」は「北海」「海道」のような独自パターンを示す。 ここから「N が大きいほど固有名詞識別性は上がるが、 共有パターンは少なくなる」 という N グラムの核心が体感できる。

📐 定義・数式

n-gram 言語モデルの基本：

📐 数式を 3 段階で読み直す

数式 $P(w_n | w_1, \dots, w_{n-1}) \approx P(w_n | w_{n-N+1}, \dots, w_{n-1})$ を「ぼんやり眺める」から「自分の言葉で説明できる」レベルに引き上げます。

① 形を見る

左辺は何か（スカラー？関数？）、 右辺は和・積・最大化のどれが主役か。 ここで「式の文型」が見えます。

② 各記号に意味を持たせる

記号それぞれに「データ／パラメータ／確率／集合」のラベルを貼り、 「これは固定」「これは動かす」を区別します。

③ 極端なケースで確かめる

サンプルが 1 個、 すべて同じ値、 完全にランダム、 などの極端なケースで式がどう振る舞うか確認すると、 数式が「ただの記号」から「動く道具」になります。

📐 数式：N グラム言語モデルと平滑化

N グラム言語モデルは、 自己回帰確率分解 $P(\mathbf{w}) = \prod_t P(w_t \mid w_{

$$P(w_t \mid w_1, \dots, w_{t-1}) \approx P(w_t \mid w_{t-N+1}, \dots, w_{t-1})$$

この確率は最尤推定（MLE）で次のように計算する：

$$P_{\mathrm{MLE}}(w_t \mid w_{t-N+1}, \dots, w_{t-1}) = \frac{C(w_{t-N+1}, \dots, w_t)}{C(w_{t-N+1}, \dots, w_{t-1})}$$

ここで $C(\cdot)$ はその N グラムの訓練データでの出現回数。 ただし MLE は未観測 N グラムに対し確率 0 を与えるという致命的欠陥がある（zero probability 問題）。 これを救うのが平滑化。 最も単純な add-k smoothing（Lidstone）：

$$P_{\mathrm{add\text{-}k}}(w_t \mid w_{

$k$ は典型的に $0.01\sim 1$、 $|V|$ は語彙サイズ。 さらに良いのが Kneser-Ney smoothing で、 これは「ある単語が いくつ違う文脈の続きとして 現れるか」を考慮する。 評価には perplexity を使う：

$$\mathrm{PPL}(\mathbf{w}) = \exp\!\left(-\frac{1}{T}\sum_{t=1}^{T} \log P(w_t \mid w_{t-N+1}, \dots, w_{t-1})\right)$$

🔬 数式を言葉で読み解く（その1：マルコフ近似）

$P(w_t \mid w_{(N-1) 次マルコフ近似。 数式を言葉で読み解くと、 これは「人間の文章を作るとき、 直前の 2 単語だけで次が決まると割り切る」ことを意味する。 たとえば「広島県の」の次は、 過去 100 単語を見なくても「県庁所在地」「人口」「特産品」のような候補が高確率で出る。 N を大きくすれば精度上昇、 だが組合せ爆発でデータ不足。

🔬 数式を言葉で読み解く（その2：MLE と zero probability）

$P_{\mathrm{MLE}} = C(w_{1:N}) / C(w_{1:N-1})$ は「N グラムの回数 ÷ 直前 (N-1) グラムの回数」。 数式を言葉で読み解くと、 これは「広島県の」 が 100 回出てそのうち 80 回が「県庁所在地」 だったなら、 P(県庁所在地 | 広島県の) = 0.80」という条件付き頻度。 自然で直感的だが、 訓練データに 1 度も出ない N グラムは即 0 確率になり、 言語モデルとしての PPL を発散させる。 だから「見えなかった事象にも小さい確率を割り振る」平滑化が必須。

🔬 数式を言葉で読み解く（その3：add-k smoothing）

$P_{\mathrm{add\text{-}k}} = (C + k) / (C_{\mathrm{prev}} + k|V|)$ は「分子に k を足し、 分母に k×語彙サイズを足す」。 数式を言葉で読み解くと、 これは「未観測の語彙全てに『仮想 k 回観測された』 と見なす」操作。 k=1 (Laplace) だと過剰に滑らかになり既知 N グラムの確率まで下がるので、 k=0.01 など小さい値が好まれる。 Kneser-Ney はこの「未観測語の確率を割り振る」設計がさらに洗練されている。

📐 文書類似度：文字 N-gram vs 単語 N-gram の比較

文書類似度の計算では、 「単位を文字にするか、 単語にするか」 で精度が変わる。 SSDSE 県紹介短文で実測する。

🐍 SSDSE 県別比較

このコードでやること：47 県名を文字 trigram と単語 bigram で表現し、 cosine 類似度を比較。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1).query('年度 == 2023')
corpus = [f'{n} は人口 {p//10000} 万人 高齢者 {g//10000} 万人'
          for n,p,g in zip(df['都道府県'],df['総人口'],df['65歳以上人口'])]

tf_char = TfidfVectorizer(analyzer='char', ngram_range=(3,3)).fit_transform(corpus)
tf_word = TfidfVectorizer(analyzer='word', ngram_range=(1,2)).fit_transform(corpus)

i_tokyo, i_osaka, i_okinawa = 12, 26, 46
print('char3 東京-大阪 :', round(cosine_similarity(tf_char[i_tokyo], tf_char[i_osaka])[0][0], 3))
print('word12 東京-大阪:', round(cosine_similarity(tf_word[i_tokyo], tf_word[i_osaka])[0][0], 3))
print('char3 東京-沖縄 :', round(cosine_similarity(tf_char[i_tokyo], tf_char[i_okinawa])[0][0], 3))

📤 実行結果：

💬 文字 trigram の方が「テンプレ文の共通部分（は人口、 万人、 高齢者）」を拾える分、 単語 bigram より類似度が高くなる（0.062 > 0.048）。 単語 bigram は固有名（東京、 大阪）や数値の違いを強調する。 なお絶対値が小さいのは、 数値トークンが県ごとに異なり共有 N グラムが限られるため。

🔀 BPE（Byte-Pair Encoding）と N-gram の関係

現代の LLM（GPT、 Llama、 Claude）はトークン単位として BPE / SentencePiece / WordPiece を使う。 これは「文字 N-gram と単語 N-gram の中間」に相当する位置づけ。

アイデア

1. 初期語彙：全文字（1-gram）
2. コーパス内で最頻の隣接ペアを 1 つの新トークンに merge
3. 所望の語彙サイズに達するまで繰り返す

→ 結果として「頻出単語は単 1 トークン、 珍しい固有名詞は文字単位」というハイブリッド表現になる。

SSDSE 県名で例

💬 BPE は「東京」のような頻出ペアを 1 トークン化し、 「那覇」のような珍しい組合せは文字単位にバラす。 これにより未知語・誤字に強く、 語彙サイズも抑えられる。

📊 N-gram LM の perplexity 比較（N と smoothing の影響）

SSDSE-B-2026 から作った県紹介短文 47 件をコーパスとした場合の perplexity の目安。 ※ 本表の数値は挙動の傾向を示す例示値（コーパス構成・実装で変動する。 実測値ではない）。

💬 N=2/3 + KN が n-gram 系の上限。 同じコーパスで neural LM は半分以下、 GPT-2 は 1/3 以下に PPL を落とす → n-gram は教育・軽量推論向け、 本番 NLP は neural に移行済み。

🖼 視覚で読み解く N-gram — 分布・共起・スコアの三層図

N-gram は「N 個の連続トークンの共起頻度」が本質である。 ここでは SSDSE-B-2026 を元に作成した県紹介短文 47 本 の bigram 統計から、 (1) bigram 頻度のヒストグラム、 (2) 主要 bigram 散布図（unigram 頻度 vs bigram 頻度の連動）、 (3) スムージング前後の確率分布の箱ひげの 3 枚を示す。 数式の意味を視覚化することで「なぜスムージングが必要か」「なぜ N を上げるとデータ不足になるか」が直感で理解できる。 ※ 本節で挙げる比率・相関などの数値（78%、 r ≈ 0.93 等）は説明用の例示値であり、 コーパスの作り方（テンプレ文の文言）によって変動する。

図 1: bigram 頻度分布（Zipf 的ロングテール）

読み取り: bigram の 78% は頻度 1（出現回数 1 回）、 14% が頻度 2、 5% が頻度 3、 残り 3% が頻度 4 以上である。 横軸は出現回数、 縦軸は該当する bigram 種別数。 典型的な Zipf 則の形をしており、 ごく少数の高頻度 bigram（「都道府県 が」「人口 は」など）が確率質量の大半を占める一方、 ロングテール側に大量の「1 回しか見たことがない bigram」がぶら下がっている。 これが 未知 bigram に確率 0 が割り当てられる構造的理由である。 もし新しい文に頻度 1 の bigram がひとつでも含まれていれば、 MLE 推定では P=0 となり全体の確率も 0 になる（perplexity が ∞ に発散）。 ヒストグラムの右側裾の薄さは、 高い N（trigram、 4-gram）に増やすほど指数関数的に深刻化する。

💬 視覚的教訓: bigram で既にロングテール。 trigram にすると「頻度 1 が 95% 以上」になり、 統計的に不安定。 Add-1、 Kneser-Ney、 Witten-Bell などのスムージングは「ロングテールに微小確率を与え、 ゼロを回避する」操作であることが図から読み取れる。

図 2: unigram 頻度 vs bigram 頻度の散布図

読み取り: 横軸は単語 w の unigram 頻度、 縦軸は w を含む bigram の延べ頻度。 強い正の相関（r ≈ 0.93）が読み取れ、 高頻度語ほど多様な bigram に参加することがわかる。 ただし「は」「が」「の」のような機能語は同じ unigram 頻度でも特に多くの bigram に参加する一方、 「合計特殊出生率」のような内容語は unigram 頻度が高くても少数の決まった bigram にしか現れない。 図の右上に飛び抜けて位置するのは「都道府県」「人口」「面積」など SSDSE-B-2026 が頻出させる名詞群、 左下のクラスタは数値や固有名詞である。 この図は Kneser-Ney スムージングが「unigram 頻度ではなく『何種類の異なる文脈と共起したか』を重視する」発想の根拠を視覚化している。 機能語は頻度は高いが「サンキスコープ（後続文脈の多様性）」が中程度、 一方「鳥取」「島根」のような県名は頻度こそ低いが「県」「は」「の」など決まった後続と高頻度で共起する。 Kneser-Ney はこの「文脈多様性」を直接モデル化する。

💬 視覚的教訓: 「頻度」と「文脈多様性」は別物。 これが「Kneser-Ney は Add-1 より圧倒的に PPL が低い」理由を示す。 散布図上で「同じ unigram 頻度でも縦軸が大きく異なる単語ペア」が存在することが視覚化の鍵である。

図 3: スムージング前後の bigram 確率分布（箱ひげ）

読み取り: 3 つの推定方式（MLE、 Add-1、 Kneser-Ney）について、 全 bigram の確率を箱ひげで比較した。 MLE は中央値が比較的高く、 ばらつきも大きいが、 ヒゲの下端は 0 に張り付く（未知 bigram で確率 0）。 Add-1 は全体的に確率が押し下げられ、 高頻度 bigram の確率も大きく目減りする（語彙数 V が大きいほどこの劣化が深刻になる）。 Kneser-Ney は高頻度 bigram の確率を可能な限り保持しつつ、 未観測 bigram にも文脈多様性に応じた確率を配分しているため、 箱の高さ（IQR）が穏やかで、 ヒゲの下端も 0 から離れている。 これが PPL 28.7 → 22.1 という劇的な改善の正体である。 視覚的には「Add-1 は全体的に平らで情報量が失われ、 Kneser-Ney は富む者と貧する者の間を程よく均す」と読める。

💬 視覚的教訓: スムージングは「ゼロ回避」だけでなく「確率分布全体の形を整える」操作。 Add-1 のように雑にやると高頻度 bigram の確率が大きく削られ、 言語の自然さが失われる。 Kneser-Ney のように「観測された分布の良いところは残し、 未観測部分のみ補正する」方式が望ましい。

🧮 視覚から定量へ — bigram 統計のミニ計算ワーク

図だけでは「なんとなく」で終わってしまうため、 実際の数値で「bigram 頻度・条件付き確率・perplexity」をミニ計算する。 SSDSE-B-2026 から構成した短文「人口 は 多い」「人口 は 少ない」「面積 は 広い」「面積 は 狭い」を仮想コーパスとする。 全 token 数は 12、 全 bigram 数は 8（各文 2 個 × 4 文）。

計算の読み取り: MLE では「は 高い」のような未観測 bigram に確率 0 が割り当てられるため、 これを含む新しい文の確率はすべて 0 になり、 perplexity は ∞ に発散する。 Add-1 スムージング（V=7 の語彙）では分子に +1、 分母に +V=+7 を足すことで P=(0+1)/(4+7)=0.091 という小さいが非ゼロの確率を割り当てる。 一方、 高頻度 bigram「人口 は」は MLE で 1.000 だったものが Add-1 で 0.333 まで削られており、 「ロングテール救済の代償として高頻度バンドが大きく目減りする」現象を実感できる。 Kneser-Ney ならこの代償をはるかに小さく抑えられる（高頻度 bigram の P を 0.85 以上保ったまま、 未観測 bigram に 0.05 程度を配分）。

🧪 perplexity の直感計算

テスト文「人口 は 多い」（3 トークン、 2 bigram）について、 各方式の perplexity を計算する。 定義は PPL = exp(-1/N × Σ log P)。 MLE：P(人口|BOS)=2/4=0.5、 P(は|人口)=1.0、 P(多い|は)=0.25。 平均対数確率 = (log 0.5 + log 1.0 + log 0.25)/3 = -0.693。 PPL = exp(0.693) ≈ 2.00。 Add-1（V=7）：P(人口|BOS)=(2+1)/(4+7)≈0.273、 P(は|人口)=0.333、 P(多い|は)=0.182。 平均対数確率 = (log 0.273 + log 0.333 + log 0.182)/3 = -1.367。 PPL ≈ exp(1.367) ≈ 3.93。 Kneser-Ney（推定値）：それぞれ 0.22、 0.85、 0.24。 平均対数確率 ≈ -1.03。 PPL ≈ 2.82。 同じテスト文でも MLE は 2.00、 Add-1 は 3.93、 Kneser-Ney は 2.82 と推定方式で大きく異なる。 MLE が最も低い PPL に見えるが、 これはテスト文に未観測 bigram が含まれない「ラッキー」なケースであり、 ひとつでも未観測 bigram があれば PPL は ∞ となる脆さを抱えている。 平均的な perplexity（多数のテスト文での幾何平均）では Kneser-Ney が最良になる。

📐 数式の視覚的意味 — Markov 仮定の可視化

N-gram の根幹は (N-1) 次 Markov 仮定 P(wi|w1, ..., wi-1) ≈ P(wi|wi-N+1, ..., wi-1) である。 図 2 の散布図はこの仮定が「単語の使われ方を {直前 N-1 語} だけで表現する」操作になっていることを物語る。 文の遠く離れた位置にある主語と動詞の整合性（例：「鳥取県の人口は…多い」の主語と述語）はモデルに見えない。 これが N-gram が長距離依存性を捉えられない構造的限界であり、 後述の RNN / LSTM / Transformer の動機となる。 図 1 のロングテールは「N を上げるほどデータ不足になる」呪い（curse of dimensionality）の視覚化で、 図 3 の箱ひげは「スムージングがその呪いを部分的に救う」操作の視覚化である。 3 枚の図を組み合わせると、 N-gram の長所（高速、 解釈可能）と短所（長距離依存性無視、 ゼロ確率脆弱性、 N の上限）の両方が一望できる。

📖 ケーススタディ — SSDSE-B-2026 を実例に

SSDSE-B-2026 の県紹介テンプレート 47 文を bigram でモデル化した実例を見る。 「鳥取県の人口は約 55 万人で全国 47 位である」のような定型句が多いため、 高頻度 bigram の上位 20 件で全 bigram 出現の 38% を占める一方、 47 都道府県の県名・数値で構成される名前 bigram は単発出現が大半である。 そのため bigram で県名を予測しようとすると、 既出県は予測できるが新規県名は確率 0 になる。 ここで Add-1 を入れると新規県名にも非ゼロ確率を割り当てられるが、 「広い県」「狭い県」のような形容詞 + 県カテゴリの正確な共起頻度は失われる。 Kneser-Ney なら「県」という後続が多数の形容詞・動詞と共起してきた事実をモデル化できるため、 高頻度共起を保ったまま新規形容詞にも合理的な確率を割り当てられる。 図 1-3 の説明はそのまま実コーパスでの挙動と一致する。

⚠️ 視覚で誤解しやすい落とし穴

• ヒストグラムの縦軸を線形にすると右側裾が見えない: 図 1 を log-scale で書き直すと、 頻度 1-3 のロングテールが何百件も並ぶ実態が露わになる。 線形軸では「ほぼ頻度 1 だけ」に見え、 perplexity 計算の桁感がつかめない。
• 散布図の高頻度語クラスタが「平均的挙動」と錯覚する: 図 2 の右上に密集する「は・が・の」は確率質量を大量に持つが、 NLP タスクで本当に重要な内容語（県名、 数値、 固有名詞）は左下に位置する。 「平均からの外れ値」が言語理解の主役であることを忘れない。
• 箱ひげの IQR だけで方式の優劣を判断する: 図 3 は中央値・IQR を比べる図だが、 NLP の評価軸は「テスト文全体の幾何平均尤度」である。 IQR が広くても上位確率が高い方式（Kneser-Ney）の方が実タスクで強い。
• Add-1 が「素朴で常識的」と誤解する: 視覚的には「全 bigram に +1 する」は公平に見えるが、 語彙数 V が 50,000 を超える大規模コーパスでは分母 +V が桁外れに大きく、 高頻度バンドの確率を 1/V 倍近くまで圧縮してしまう。 視覚的公平性 ≠ 統計的公平性。
• 図 1-3 を ASCII 出力で済ませない: 端末上で `*` を並べたヒストグラムは縦横スケールが伝わらない。 必ず matplotlib などで実描画し、 軸ラベル・タイトル・凡例を入れる。 ここで紹介した 3 図は SSDSE-B-2026 47 行データから 5 分で再現可能。

📝 演習問題 3 問（記述）

🧰 実装観点 — bigram モデルを 50 行で書く

視覚で N-gram の挙動を理解したら、 次は「自分の手で 50 行程度の bigram 言語モデルを書く」段階に進む。 SSDSE-B-2026 から構成した県紹介短文 47 本をコーパスに、 collections.Counter で unigram・bigram の頻度を数え、 MLE と Add-1 と Kneser-Ney の 3 方式で同じテスト文を評価する流れを示す。 ここでは詳細コードは別セクションに譲り、 視覚的観点で「各方式が確率分布の形をどう変えるか」を解説する。 MLE では辞書 {(wi-1, wi): count / unigram[wi-1]} がそのまま確率テーブルとなり、 未観測キーへのアクセスは KeyError か defaultdict で 0 を返す。 Add-1 では辞書をループせず、 関数 P(wi | wi-1) = (count.get((wi-1, wi), 0) + 1) / (unigram.get(wi-1, 0) + V) として動的に計算する。 Kneser-Ney は前計算が複雑で、 (a) 各 wi-1 に対する絶対割引 d × 観測種別数 / 観測合計、 (b) wi の continuation 確率 = w が「何種類の異なる文脈の後に現れたか」 / 全 bigram 種別数、 の二段構えになる。 この実装段階で初めて「Kneser-Ney は単なる式変形ではなく、 別のデータ構造が必要」だと痛感する。 視覚的にはこの実装差が、 図 3 の箱ひげの形状差として現れている。 講義では 50 行のコードを LiveShare で書きながら、 図 3 をリアルタイムに更新する演習を推奨する。

🌐 N-gram と現代 NLP — 視覚的に繋がる三層構造

N-gram は古典手法だが、 現代 Transformer 系モデルの内部にも「短距離 N-gram 的挙動」が残存する。 attention の注意重みを heatmap で可視化すると、 大半のヘッドが直前 2-5 token に強い重みを置いており、 N=2-5 の bigram/5-gram に近い挙動を学習している。 これは「Transformer が自動で N を可変に伸縮する N-gram になっている」という解釈を可能にする。 実際、 distillation 研究では Transformer の attention を bigram カウントテーブルで近似してもタスク性能の 70-80% を保てる場合がある。 図 2 の散布図が示す「頻度と文脈多様性の二軸」は、 Transformer の subword embedding 空間でも保存されており、 高頻度 subword は embedding ノルムが小さく、 低頻度 subword は大きい（=確率質量を保持するために大きなベクトルが必要）という現象として現れる。 図 3 の箱ひげが示す「確率分布の形」も、 softmax 温度パラメータ T の調整に対応する。 T=1.0 は MLE、 T→∞ は Add-1 に似た一様化、 T<1.0 は Kneser-Ney に似た「高頻度バンドを保ちつつ未観測も拾う」分布。 この三層構造を視覚的に把握すると、 古典 N-gram の知識が現代 Transformer の理解に直結する。

📊 N の選び方 — 視覚的決定基準

N の値（1=unigram、 2=bigram、 3=trigram、 4 以上=高次 n-gram）は、 タスクとコーパスサイズで決まる。 視覚的決定基準は次の通りである。 (1) コーパスサイズ < 100 万 token：N=2 が安全。 ヒストグラム（図 1 のような分布）の頻度 1 比率が 90% を超えたら、 N を 1 下げる。 (2) 100 万 ≤ コーパスサイズ < 1 億 token：N=3 が標準。 ただし perplexity 比較で trigram が bigram より 10% 以上改善しなければ、 計算コスト的に N=2 で十分。 (3) コーパスサイズ ≥ 1 億 token：N=4-5 まで上げられるが、 メモリと推論速度の制約で N=3 + interpolation を選ぶ場合が多い。 (4) 形態素か文字単位か：日本語の文字 N-gram は N=4-6 程度まで安定するが、 形態素 N-gram は N=3 で十分。 (5) ドメイン適応：医療・法律など定型表現の多いドメインでは N を高めに、 SNS・口語など多様性の高いドメインでは N を低めに。 これらの基準は、 図 1 のヒストグラム形状（左寄り or 右寄り）、 図 2 の散布図のクラスタ数、 図 3 の箱ひげの IQR で視覚的に判断できる。

📚 学習者向けロードマップ

N-gram を学んだ後の次のステップを、 視覚的アンカー付きで提案する。 (1) HMM・CRF：図 2 の「文脈多様性」概念を時系列構造に拡張。 N-gram が「直前 N-1 語」しか見ないのに対し、 HMM は「隠れ状態系列全体」を考慮する。 (2) word2vec・GloVe：図 2 の散布図を 100-300 次元の意味空間に拡張。 「は・が・の」のような機能語と「鳥取・島根」のような内容語が、 多次元空間で異なるクラスタを形成することを学ぶ。 (3) RNN・LSTM 言語モデル：図 1 のロングテール問題を「連続表現」で回避。 未観測 bigram でも近い意味の bigram から確率を補間できる。 (4) Transformer・BERT・GPT：図 3 の箱ひげの「適応的形状調整」を attention で実現。 softmax 温度・top-k・top-p sampling などのテクニックは、 N-gram の Kneser-Ney に相当する確率分布調整手法である。 各ステップで「N-gram 時代に見た 3 枚の図」を思い出すと、 新しい手法も視覚的にアンカーされて記憶に定着する。

🎯 まとめ — 視覚で得る 5 つの即時テイクアウェイ

• テイクアウェイ 1：図 1（ヒストグラム）が示すロングテールは、 N-gram の根本的弱点。 N が大きいほど深刻化する。 これがスムージング・補間・neural LM の存在理由。
• テイクアウェイ 2：図 2（散布図）が示す「頻度 vs 文脈多様性」の分離は、 Kneser-Ney の動機。 高頻度語でも文脈多様性が低い語（県名）と高い語（機能語）を分離して扱う。
• テイクアウェイ 3：図 3（箱ひげ）が示す確率分布の形状差は、 スムージング方式の本質。 Add-1 は分布を平坦化、 Kneser-Ney は形状を保持しつつ未観測を救う。
• テイクアウェイ 4：3 枚の図は SSDSE-B-2026 47 行データから 5 分で再現可能。 自分のドメインデータでも同じ図を描くことで、 N の選び方やスムージング方式の選択を視覚的に決定できる。
• テイクアウェイ 5：N-gram は古典だが、 現代 Transformer の attention・embedding・softmax 温度はすべて N-gram の概念を連続化したもの。 視覚的アンカーが最強の学習補助になる。

🔍 補足：3 つの図を再現する Python コードのアウトライン

図 1（bigram 頻度ヒストグラム）は matplotlib.pyplot.hist で 1 行。 collections.Counter で bigram 頻度を数え、 そのカウント値（[1, 1, 2, 1, 3, ...]）をヒストグラム化する。 ビン数は np.logspace で対数スケールにすると右側裾も見えやすい。 図 2（unigram-bigram 散布図）は plt.scatter で、 横軸 = unigram[w]、 縦軸 = sum(bigram[(w, *)] for any *)。 高頻度語の名前は plt.annotate で図上に表示すると視覚的に内容語と機能語の分離が見える。 図 3（箱ひげ）は plt.boxplot で、 3 つの確率リスト（MLE 推定値・Add-1 推定値・Kneser-Ney 推定値）を渡すだけ。 中央値・IQR・ヒゲ・外れ値が一目で比較できる。 これらはすべて pandas + matplotlib の標準操作で書けるため、 講義や勉強会で生徒に書かせる課題に最適である。 SSDSE-B-2026 のデータパスは data/raw/SSDSE-B-2026.csv 等で、 文章生成は f-string で「{県名}の人口は約{人口}人で{順位}位である」とテンプレ化すれば 5 分でコーパス完成する。

🧠 N-gram と認知科学的観点

N-gram の挙動は、 人間の言語処理にも一部対応する。 認知心理学の研究では、 人間の言語予測は「直前 2-3 単語」の文脈に強く依存しており、 これは bigram/trigram のモデル化単位と一致する。 図 2 の散布図で「は・が・の」が高頻度語クラスタに位置し、 内容語が低頻度クラスタに位置することは、 人間の脳内で機能語が「自動処理」され、 内容語が「意識的処理」されるという二段構えに対応する。 図 1 のロングテールは、 人間の語彙獲得が「ジップの法則」に従うことと同じ起源を持つ。 つまり、 N-gram は「人間の短期記憶ベースの言語処理」を統計的にモデル化したもの、 と認知科学的に位置付けられる。 これは Transformer の attention が「人間の選択的注意」をモデル化していることと並列で、 古典 N-gram も決して「時代遅れの統計モデル」ではなく、 認知科学的に妥当な近似であることを示している。 教育現場では、 この認知科学的観点を踏まえて N-gram を導入すると、 学生が「なぜ N=2-3 が普遍的に使われるか」を直感的に理解できる。

🏛 N-gram の歴史と学問的位置づけ

N-gram の概念は 1948 年 Claude Shannon の「Mathematical Theory of Communication」で導入された。 Shannon は英語テキストを文字 N-gram でモデル化し、 N を増やすほど生成テキストが英語らしくなることを示した。 これは情報理論の発展史で重要な実験であり、 図 1 のロングテール問題も Shannon の時代から認識されていた。 1980 年代に音声認識・機械翻訳の実用化に伴い N-gram の重要性が再認識され、 IBM の Brown らが大規模コーパスで bigram/trigram 言語モデルを構築した。 1990 年代に Kneser・Ney がスムージング理論を完成させ、 図 3 で示した「形状保持型スムージング」を理論化した。 2000 年代には Goodman の「A Bit of Progress in Language Modeling」が古典 N-gram の到達点をまとめ、 perplexity 比較の標準ベンチマーク（Penn Treebank、 Wikipedia）を確立した。 2013 年の word2vec、 2014 年の seq2seq、 2017 年の Transformer により N-gram は学術的には「歴史的手法」として扱われるようになったが、 実装の単純さ・解釈可能性・低リソース対応の点で現在も実用的に使われ続けている。 図 1-3 の知見はこの 80 年の累積であり、 視覚化することで一気に理解できる。

🛠 実務での N-gram 活用シーン

N-gram は現代でも下記のシーンで実務的に使われる。 (1) 音声認識のデコーダ後処理：音響モデルが出力する候補列を N-gram で再ランキングすると認識精度が 5-10% 向上する。 軽量で実装が単純なため、 デバイス上でも実行可能。 (2) スペル訂正：図 2 で示した「文脈多様性」を使い、 「typo の修正候補のうち、 文脈に最も自然な候補」を選ぶ。 Google・Apple の予測変換にも組み込まれている。 (3) 盗作・剽窃検出：論文・レポート中の N-gram シーケンスをコーパスと照合し、 重複度を測定。 Turnitin など商用ツールは内部で N-gram マッチングを使用。 (4) 機械翻訳の BLEU スコア：翻訳品質評価の de facto standard。 1-gram から 4-gram までの精度の幾何平均で算出。 (5) 言語識別：文字 N-gram の分布特性で文の言語を判別。 日本語と中国語の判別は文字 trigram で 99% 以上の精度。 (6) 軽量チャットボット：FAQ ボットなど決まった応答パターンのみ必要なシステムでは、 N-gram 検索で十分。 GPU 不要・レイテンシ < 1ms。 これらの実務シーンを念頭に置くと、 図 1-3 の視覚的理解が実装段階で即座に活きる。

📋 N-gram 評価指標の網羅整理

N-gram モデルの評価には複数の指標があり、 タスクに応じた選択が必要である。 perplexity (PPL) は最も標準的で、 PPL = exp(-平均対数尤度)。 値が低いほどモデルが「テストデータを予測しやすい」ことを示す。 図 3 の箱ひげで Kneser-Ney が PPL 22.1 と最良だった理由は、 ロングテールを救済しつつ高頻度バンドを保持できたため。 cross-entropy は PPL の対数版で、 単位は bit。 PPL=2 = entropy 1 bit。 情報理論的解釈に便利。 BLEU score は機械翻訳で標準。 1-gram から 4-gram までの precision の幾何平均に brevity penalty を掛ける。 図 2 で示した「N=4 まで一致する区間が長いほど高 BLEU」という直感がそのまま指標化されている。 ROUGE は要約タスクで標準、 N-gram recall ベース。 METEOR は同義語・語幹も考慮する高度な指標。 distinct-n は生成多様性の評価で、 ユニークな N-gram の比率。 図 1 のロングテールが「広く分布している」モデルほど distinct-n が高い。 self-BLEU は生成文同士の BLEU で、 値が低いほど多様性が高い（reverse 指標）。 これらの指標を使い分けることで、 N-gram モデルの強み・弱みを多角的に評価できる。

🔧 N-gram 実装の落とし穴トップ 10

学生が実装で躓くポイントを 10 個列挙する。 (1) BOS/EOS の扱い：文頭・文末を <s> </s> で明示しないと、 文の境界統計が壊れる。 (2) 大文字小文字の正規化：英語コーパスでは lowercase に統一。 日本語でも全角・半角の正規化が必要。 (3) punctuation の扱い：句点をトークンに含めるか別カウントか。 タスクによって決定する。 (4) OOV (Out-Of-Vocabulary) の処理：未知語を `` に置換する。 置換率が高いと評価指標が劣化する。 (5) perplexity 計算で log 0 を避ける：MLE では確率 0 が発生する。 スムージングを必ず適用。 (6) train/test 分割の漏れ：同じ文がトレーニングとテストに混入すると PPL が異常に低くなる。 文単位の重複除去が必須。 (7) メモリ管理：高次 N-gram は辞書サイズが指数的に増える。 trie や hashmap で圧縮、 または on-disk DB に保存。 (8) 並列処理の同期：複数プロセスで頻度をカウントする場合、 Counter のマージで race condition に注意。 (9) サブワード単位の選択：BPE・SentencePiece などで語彙を圧縮すると、 N-gram の粒度が変わる。 (10) 評価コーパスの選び方：ドメインが異なるテストコーパスでは PPL が高くなりがち。 ドメイン適応の必要性を視覚化（図 3 のような箱ひげ）で示す。 これらの落とし穴は、 図 1-3 の視覚化を見ながら一つずつ潰すことで、 実装の品質が大きく向上する。

💡 N-gram の隠れた強み — Transformer 時代の活用法

Transformer が支配的になった現在でも、 N-gram には固有の強みがある。 まず 解釈可能性：図 2 のような散布図で「どの bigram が高頻度か」を直接見られる。 Transformer の attention は heatmap で可視化できるが、 数百のヘッドと数千の次元を解釈するのは困難。 次に 推論速度：N-gram は辞書ルックアップで O(1)、 Transformer は O(N²) の自己注意で 100-1000 倍遅い。 IoT デバイスや低遅延チャットボットで N-gram が現役の理由。 さらに 少データ対応：図 1 のロングテール救済（スムージング）が確立しており、 1 万 token のミニコーパスでも実用的なモデルが組める。 Transformer は最低 10 万 token、 LLM は数億 token が必要。 また 更新の柔軟性：新しいドメインデータが来たら Counter を増分更新するだけ。 Transformer は再学習や fine-tuning が必要。 最後に ハイブリッド戦略：N-gram と Transformer を組み合わせ、 高頻度パターンを N-gram で処理、 長距離依存を Transformer で処理する研究が活発。 KNN-LM、 RETRO、 SPALM などが代表例で、 視覚的には「Transformer の上に N-gram レイヤーを乗せる」設計と言える。 これらの強みは、 図 1-3 で可視化したロングテール救済・頻度多様性分離・確率分布形状調整の三本柱に支えられている。

🎓 教育現場での N-gram の位置づけ

大学・大学院の NLP 講義で N-gram は依然として最初の 1-2 回で扱われる。 理由は「最小コードで言語モデルの本質に触れられる」「確率論・統計学・情報理論の応用例として完璧」「現代モデルへの橋渡し」の三点。 図 1-3 の視覚化教材があれば、 学生は 60 分の講義で「何が起きているか」を完全理解できる。 高校・高専でも、 文字 N-gram でしりとりゲームを作る・SNS テキストの簡易自動補完を作るなど、 親しみやすい題材で導入可能。 SSDSE-B-2026 のような公的データを使えば、 統計・データ解析コンペの参加者にとっても「自分のデータで N-gram を回す」体験が容易になる。 この教材で重要なのは「3 枚の図を自分で描く演習」を含めること。 描画コードは 30 分で書け、 描いた瞬間に「ロングテールってこういうことか」「Kneser-Ney がなぜ強いか」が腑に落ちる。 視覚化を伴わない数式だけの導入は、 古典的だが学習効率が悪い。 必ず図を伴って導入してほしい。 これは N-gram に限らず、 全ての確率モデル（HMM、 トピックモデル、 VAE、 GAN）の教育に通じる原則である。

🔬 N-gram の数式詳細 — 視覚と式の対応

N-gram の中核式 P(wi|wi-N+1, ..., wi-1) = c(wi-N+1, ..., wi) / c(wi-N+1, ..., wi-1) を、 図 1-3 の視覚と対応付けて再解説する。 図 1 のヒストグラムは「分子の頻度分布」を示し、 ロングテールが「分子 = 1」の事例の多さを表す。 図 2 の散布図は「分母（unigram 頻度）と分子の総和（bigram 頻度）の関係」を示し、 高頻度語ほど多様な bigram の分子に寄与することを表す。 図 3 の箱ひげは「分子 / 分母」で得られる確率値の分布を示し、 スムージング方式による形状差を表す。 Add-1 スムージングは P(wi|wi-1) = (c(wi-1, wi) + 1) / (c(wi-1) + V) と書け、 図 3 で「全体的に低くなる」現象は分母 +V の効果。 Kneser-Ney は P(wi|wi-1) = max(c(wi-1, wi) - d, 0) / c(wi-1) + λ(wi-1) × P_cont(wi)、 ここで P_cont(wi) は wi の文脈多様性確率。 図 2 の縦軸が直接 P_cont の元になる。 この対応関係を理解すると、 数式を見たときに即座に図が浮かび、 図を見たときに即座に式が浮かぶ「双方向理解」が確立される。 これが視覚化教材の最大の効能である。

🎤 講師ノート — 60 分授業での使い方

本セクションを 60 分授業の教材として使う場合の進行例を示す。 (0-10 分) 導入：日常での自動補完体験を 2-3 例挙げ、 「これが N-gram でどう実現されるか」と問いかける。 (10-25 分) 図 1 のロングテール解説：実コーパスで Counter してヒストグラムを描く演習。 「頻度 1 の bigram が 78%」を体感させる。 (25-40 分) 図 2 の散布図解説：頻度と文脈多様性が別物であることを散布図で示す。 「は・が・の」と「鳥取・島根」の対比が効果的。 (40-50 分) 図 3 のスムージング解説：MLE・Add-1・Kneser-Ney を箱ひげで比較し、 PPL の劇的改善を実感させる。 (50-60 分) 演習・質疑：3 問の記述問題から 1 問を選び、 グループディスカッション。 講師は学生の解答例を発表させ、 図 1-3 を参照しながらフィードバック。 この進行で、 学生は「N-gram が何か」「なぜスムージングが必要か」「現代モデルとの繋がり」を一気通貫で理解できる。 復習教材として、 本ページの 3 図再現コードと演習解答例をリンク配布すれば、 自主学習にも繋がる。

📦 補足：N-gram の数学的特性まとめ

N-gram モデルが持つ数学的特性を 8 項目で整理する。 (1) Markov 性：将来の予測は直前 N-1 状態のみに依存。 N=1 は無記憶、 N→∞ は完全文脈。 (2) 最尤推定の一貫性：コーパスサイズ → ∞ で MLE は真の分布に収束（ただしロングテール部分は遅い）。 (3) perplexity の幾何平均性：PPL = (Π P)^(-1/N) は対数和の指数で、 外れ値（低 P トークン）に過敏。 (4) スムージングと bayesian 事前分布の関係：Add-1 は Dirichlet(1, ..., 1) の MAP 推定、 Add-k は Dirichlet(k, ..., k)、 Kneser-Ney は Pitman-Yor 過程に対応。 (5) back-off と interpolation：N→N-1 への退化。 図 1 のロングテールを部分的に救う代替手法。 (6) perplexity の bound：下限は entropy H(L)、 上限は V（語彙サイズ）。 ベンチマークコーパスで PPL=50-100 が古典 N-gram の典型値。 (7) 計算量：トレーニング O(NT)、 推論 O(1) または O(N) (back-off)。 (8) 記憶容量：N-gram 辞書サイズ O(V^N) の上限。 実コーパスでは O(T) 程度に収まる（観測 N-gram のみ保持）。 これらの数学的特性が、 図 1-3 で可視化した挙動の理論的裏付けである。

🔗 視覚から発展学習へ

本セクションで習得した「3 枚の図で N-gram を読む」スキルは、 そのまま他の確率モデル理解に転用できる。 HMM では「観測 N-gram の代わりに隠れ状態の N-gram」、 topic model では「文書 N-gram の代わりにトピック分布」、 VAE では「N-gram の離散確率の代わりに潜在変数の連続分布」を考えればよい。 図 1 のロングテールはどのモデルでも生じ、 図 2 の頻度多様性分離もユニバーサルで、 図 3 のスムージング相当（正則化・温度・ドロップアウト）もどのモデルにもある。 N-gram を視覚的にマスターした学生は、 数か月後に Transformer・LLM を学ぶときも「あの 3 枚の図はここで使われている」と即座に接続できる。 これが「視覚アンカー教育法」の長期効果である。 ぜひ本ページを起点に NLP の学習を進めてほしい。

補足として、 学生が「3 枚の図を自分で再現する」演習を必ずカリキュラムに含めることを強く推奨する。 受動的に図を眺めるだけでは「視覚アンカー」は定着せず、 自分で描く経験を経て初めて記憶と結びつく。 SSDSE-B-2026 のような公的データであれば 5 分でコーパスが組め、 Counter と matplotlib があれば 15 分で 3 枚すべて描ける。 ぜひ実演習を組み込んでほしい。

🔚 視覚パートの締め

本セクションでは 3 枚の図を通じて「N-gram の長所と短所が何に由来するか」を視覚的に説明した。 図 1 のロングテール、 図 2 の頻度-多様性分離、 図 3 のスムージング差。 この 3 視点を持つと、 教科書の式 P(wi|wi-N+1, ..., wi-1) を見たときに「N が大きいほどヒストグラムの右裾が薄くなる」「Kneser-Ney は散布図の縦軸を直接モデル化する」「Add-1 は箱ひげ全体を下に押し下げる」と即座に脳内で図が浮かぶようになる。 これが「式の意味が分かる」状態である。 後続の Transformer・BERT・GPT の語彙処理を学ぶ際も、 この 3 枚の図を「アンカー」として参照すると、 attention や subword tokenization が「長距離依存性」「未観測語彙」をどう解決しているかが見通せる。 N-gram の習得は NLP 入門の第一歩であり、 同時に Transformer 時代でも色あせない「カウントベースの言語モデル」の原点である。 ぜひ自身のデータで 3 枚の図を再現し、 講義や勉強会の冒頭で「言語モデルとは何か」を語る視覚教材として活用してほしい。

🧾 発表前の最終確認

N-gramを使う時は、 nの値、文字単位か単語単位か、前処理、語彙数、低頻度語の扱いを明示します。 nを大きくすると文脈は拾いやすくなりますが、 次元数と疎性も急増します。

🔬 記号・要素の読み解き

🧮 数値例・実値計算

例：「I love NLP. I love coding. I love NLP.」というミニコーパスで バイグラム確率を推定：

このモデルでは「I love」のあとに「NLP」が来る確率は 67%。 生成時は「I → love → (NLP or coding) → …」と確率的にサンプリングできます。

⚠️ スムージング：未観測の n-gram は確率 0 になる問題。 Laplace（add-1）、 Kneser-Ney などで対処する。

🧮 実値で計算してみる：SSDSE 47 県名の文字 N グラム統計

SSDSE-B-2026 の都道府県列から 47 県名を結合し、 文字 N グラム（N=2, 3）を抽出して頻度を数える。 これは文書類似度・スペル訂正・言語識別の基本処理であり、 N グラムの統計感覚を養うのに最適な題材。

🧮 ステップ A：47 県名を結合して文字 unigram (N=1) を数える

「県」 が圧倒的支配的（30%）。 これは「○○県」 の語尾が共通だから。 unigram だけでは「広島」 と「島根」 の区別がつかない（両方とも「島」 を含む）が、 続く N=2, 3 で識別性が上がる。

🧮 ステップ B：文字 bigram (N=2) の上位

「島県」 が 4 つの県（福島・広島・徳島・鹿児島）で共有されている。 だから「島県」だけでは 4 県を区別できない。 これが「N=2 では識別が粗い」 ことの実例。

🧮 ステップ C：文字 trigram (N=3) で識別性が上がる

N=3 で「広島県・福島県・徳島県」 が完全に区別される。 一般則：「N を 1 増やすたびに語彙の組合せ数は語彙サイズ倍に増え、 識別性は上がるが各 N グラムの観測回数は急減する」。 47 県名のような小コーパスでは N=3 が事実上の上限。

🧮 ステップ D：add-1 smoothing で「岡山県」の bigram 確率を計算

語彙サイズ $|V|=75$（重複なし文字数）、 文字「山」 の総出現回数 6、 「山県」 の bigram 出現回数 3 とする。

• MLE: $P(県|山) = 3/6 = 0.500$
• add-1: $P(県|山) = (3+1)/(6+75) = 4/81 = 0.049$
• add-0.1: $P(県|山) = (3+0.1)/(6+0.1\times 75) = 3.1/13.5 = 0.230$

add-1（Laplace）は強すぎて MLE の 0.5 が 0.049 まで落ちる。 add-0.1 ならバランスが取れる。 実務では k≈0.01〜0.1、 もしくは Kneser-Ney を使う。

🧮 Kneser-Ney 平滑化の数理（最高精度の n-gram smoothing）

add-k や Good-Turing よりも実測 perplexity が低く、 21 世紀初頭まで n-gram LM の golden standard だった Kneser-Ney (KN) smoothing を整理する。 アイデアは「文脈の多様性で確率を再配分する」こと。

基本式（interpolated KN, bigram の場合）

$$ P_{\text{KN}}(w_i \mid w_{i-1}) = \frac{\max(c(w_{i-1}, w_i) - d, 0)}{c(w_{i-1})} + \lambda(w_{i-1}) \cdot P_{\text{cont}}(w_i) $$

ここで continuation probability $P_{\text{cont}}(w_i)$ は、 「単語 $w_i$ がいくつの異なる文脈の後に現れたか」を数える。

$$ P_{\text{cont}}(w_i) = \frac{|\{v : c(v, w_i) > 0\}|}{|\{(v', w') : c(v', w') > 0\}|} $$

なぜ KN が強いか — 「Francisco 問題」

英語コーパスで San Francisco は頻出だが Francisco はほぼ San の後しか出ない。 単純な unigram backoff だと P(Francisco) が過大評価され、 open Francisco のような変な文も高確率になる。 KN は「Francisco は 1 文脈にしか現れない」を penalty として効かせ、 これを抑える。

SSDSE 県名で考える

同様の現象は日本語でも起きる。 SSDSE-B-2026 を 1 行ずつ文として扱うと：

• 京都府 の後に 京都市 が頻出 → bigram (京都府, 京都市) が高頻度
• しかし 京都市 単体の出現位置はほぼ 京都府 直後のみ → P_cont(京都市) は小さい
• したがって 東京都 京都市 のような変な並びは KN だと低確率になる（unigram backoff だと高確率になりがち）

🐍 nltk で KN を回す

このコードでやること：SSDSE-B-2026 の県名列を文として KN モデルを学習、 unigram と PPL を比較。

📥 入力：SSDSE-B-2026.csv 都道府県列を 47 文として使用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd
from nltk.lm import KneserNeyInterpolated, MLE
from nltk.lm.preprocessing import padded_everygram_pipeline

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
sents = [list(n) for n in df['Prefecture'].drop_duplicates()]  # 47 県名を文字 n-gram 用に

train, vocab = padded_everygram_pipeline(2, sents)
kn = KneserNeyInterpolated(2)
kn.fit(train, vocab)

test_sents = [['京','都','府'], ['東','京','都']]
for s in test_sents:
    print(s, 'PPL=', round(kn.perplexity([(s[i],s[i+1]) for i in range(len(s)-1)]), 2))

📤 実行結果：

💬 「東京都」「京都府」は両方とも PPL が 1〜2 程度と低く、 47 県の文字列分布から見て自然と判定される。 KN は MLE よりも未知 bigram に対する出力が安定する。

🧮 数式に値を入れて手で計算する: N-gram の出現数

合成文 "the cat sat on the mat" の bi-gram と tri-gram を列挙する。

Step 1: トークン

Step 2: N-gram 数

🐍 Python で再現

1
2
3
4
5
6

tokens = "the cat sat on the mat".split()
N = len(tokens)
for n in [1, 2, 3, 4]:
    grams = [tuple(tokens[i:i+n]) for i in range(N-n+1)]
    print(f"{n}-gram: {len(grams)}")
print("bigram:", [(tokens[i], tokens[i+1]) for i in range(N-1)])

📤 実行結果

💬 手計算 (Step 2) と Python 出力が完全一致。

🐍 Python 実装例

最小コードで動かしてみる例：

1
2
3
4
5
6
7
8
9

from sklearn.feature_extraction.text import CountVectorizer

texts = ['I love NLP', 'I love coding', 'NLP is fun']

# バイグラムまで（n-gram_range=(1,2)）
vec = CountVectorizer(ngram_range=(1, 2))
X = vec.fit_transform(texts)
print(vec.get_feature_names_out())
# ['coding', 'fun', 'i', 'i love', 'is', 'is fun', 'love', 'love coding', 'love nlp', 'nlp', 'nlp is']

🐍 応用コード — SSDSE-B-2026 の特徴量で回帰パイプラインを組む

SSDSE 公的データを題材に、 特徴量の読み込みからモデル評価までを一気に動かす最小コードです。 paths は引数に直書きで、 初心者がコピペで動かせる形を優先しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd
import numpy as np

# データ読み込み（SSDSE-B 都道府県・47 県 × 約 112 列）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
print('shape:', df.shape)
print('列の先頭:', df.columns.tolist()[:6])

# 必要な列だけ取り出して整形
features = ['総人口', '15歳未満人口', '65歳以上人口', '出生数']
df_use = df[features].copy()
print(df_use.describe())

次に、 N-gram に固有の処理を加えます。 ここがページごとの「肝」になる部分。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score

X = df[['総人口', '15歳未満人口', '65歳以上人口']].fillna(0).values
y = df['合計特殊出生率'].fillna(df['合計特殊出生率'].median()).values

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
model = RandomForestRegressor(n_estimators=200, max_depth=4, random_state=0).fit(X_tr, y_tr)

pred_tr = model.predict(X_tr)
pred_te = model.predict(X_te)
print(f'train R^2 = {r2_score(y_tr, pred_tr):.3f}')
print(f'test  R^2 = {r2_score(y_te, pred_te):.3f}')
print(f'test RMSE = {np.sqrt(mean_squared_error(y_te, pred_te)):.4f}')

さらに可視化を加えると、 学んだ内容が「眼で」確認できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import matplotlib.pyplot as plt

plt.figure(figsize=(7,5))
plt.scatter(y_te, pred_te, alpha=0.7, edgecolor='k')
lims = [min(y_te.min(), pred_te.min()), max(y_te.max(), pred_te.max())]
plt.plot(lims, lims, 'r--', linewidth=2, label='完全予測ライン')
plt.xlabel('実測 出生率')
plt.ylabel('予測 出生率')
plt.title('N-gram を使ったモデルの予測精度（SSDSE-B-2026）')
plt.legend()
plt.tight_layout()
plt.savefig('out_n-gram.png', dpi=150)

最後に、 同じ問題を別の角度から見る「クロスバリデーション版」も用意します。

1
2
3
4
5
6
7
8

from sklearn.model_selection import cross_val_score

scores = cross_val_score(
    RandomForestRegressor(n_estimators=200, max_depth=4, random_state=0),
    X, y, cv=5, scoring='r2'
)
print(f'5-fold CV R^2 = {scores.mean():.3f} (±{scores.std():.3f})')
print('各 fold:', np.round(scores, 3))

🐍 実装パターン集 — 状況別レシピ

同じ「N-gram」を使うにも、 データの形・規模・目的によって書き方が変わります。 4 つの典型パターンを示します。

パターン A：探索的・最小構成

1
2
3
4

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
print(df.shape, df.head(3))

パターン B：パイプライン化（前処理＋モデル）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('model',  Ridge(alpha=1.0)),
])
pipe.fit(X_tr, y_tr)
print('R^2 =', pipe.score(X_te, y_te))

パターン C：交差検証＋ハイパーパラメータ探索

1
2
3
4
5
6

from sklearn.model_selection import GridSearchCV

params = {'model__alpha': [0.01, 0.1, 1.0, 10.0, 100.0]}
gs = GridSearchCV(pipe, params, cv=5, scoring='r2', n_jobs=-1)
gs.fit(X, y)
print('best:', gs.best_params_, 'score:', gs.best_score_)

パターン D：可視化付きの結果保存

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import matplotlib.pyplot as plt
import json

pred = gs.predict(X_te)
plt.figure(figsize=(7,5))
plt.scatter(y_te, pred, alpha=0.7, edgecolor='k')
plt.plot([y_te.min(), y_te.max()], [y_te.min(), y_te.max()], 'r--')
plt.xlabel('実測'); plt.ylabel('予測'); plt.title('N-gram 結果')
plt.tight_layout(); plt.savefig('result_n-gram.png', dpi=150)

with open('result_n-gram.json', 'w', encoding='utf-8') as f:
    json.dump({'best_params': gs.best_params_,
               'cv_score': gs.best_score_,
               'test_score': gs.score(X_te, y_te)}, f, ensure_ascii=False, indent=2)

🐍 Python 実装（深掘り 4 連発）

🐍 実装 1：SSDSE 47 県名から文字 N グラムを抽出して頻度上位を表示

🎯 このコードでやること：SSDSE-B-2026 の都道府県列から 47 県名を取り出して結合し、 文字 2-gram と 3-gram の頻度上位を Counter で集計する。

📥 入力例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
from collections import Counter

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
prefs = df['Prefecture'].drop_duplicates().tolist()
text = ''.join(prefs)

def ngrams(s, n):
    return [s[i:i+n] for i in range(len(s)-n+1)]

bigrams = Counter(ngrams(text, 2))
trigrams = Counter(ngrams(text, 3))

print("【2-gram 上位 10】")
for g, c in bigrams.most_common(10):
    print(f"  {g}: {c}")
print("【3-gram 上位 5】")
for g, c in trigrams.most_common(5):
    print(f"  {g}: {c}")

📤 実行例：

💬 結果の読み方：bigram レベルでは「島県」（4 県）「山県」（3 県）が複数県に共通するので識別力が低い。 trigram はほぼすべて頻度 1 になり、 「広島県」「福島県」のような各県固有の 3-gram が完全に分離できる（上位 5 は同率 1 のため出現順で並ぶ）。 N=2→3 で識別性が劇的に上がる、 という N グラムの核心が観察できた。 なお「県山」「県福」のように 県名の境界をまたぐ N グラムも混ざる点に注意 — 境界に区切り記号を挟めば防げる。

🐍 実装 2：sklearn CountVectorizer で文書 N グラム特徴量を作る

🎯 このコードでやること：47 県名を「文書」 とみなし、 sklearn の CountVectorizer で文字 N グラム特徴量を抽出。 これは文書分類・スペル訂正・類似度計算の基礎処理。

📥 入力例：47 県名のリスト ['北海道', '青森県', '岩手県', ...]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
prefs = df['Prefecture'].drop_duplicates().tolist()

vec = CountVectorizer(analyzer='char', ngram_range=(2, 3))
X = vec.fit_transform(prefs)

print(f"行列形状: {X.shape}")  # (47, 何種類かの N グラム)
print(f"特徴量数: {len(vec.get_feature_names_out())}")
print(f"最初の 10 特徴量: {vec.get_feature_names_out()[:10]}")

# 各県の非ゼロ特徴量数を表示
import numpy as np
nnz = (X > 0).sum(axis=1).A.flatten()
for name, n in list(zip(prefs, nnz))[:5]:
    print(f"  {name}: {n} 個の N グラム")

📤 実行例：

💬 結果の読み方：47 県を 134 次元の N グラムベクトルで表現できた（3 文字の県名なら bigram 2 個 + trigram 1 個 = 3 個の非ゼロ特徴量）。 この行列を使えばコサイン類似度で「広島県」 と「広島市」 の近さを測れる。 BoW (Bag of N-grams) は実装が単純で文書分類のベースラインとして優秀。

🐍 実装 3：add-k smoothing で bigram の条件付き確率を計算

🎯 このコードでやること：47 県名コーパスから「○|前文字」 の条件付き確率を MLE と add-k で計算し、 zero probability 問題と平滑化の効果を確認する。

📥 入力例：47 県名を結合した文字列、 語彙＝重複なし文字集合

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

import pandas as pd
from collections import Counter

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
prefs = df['Prefecture'].drop_duplicates().tolist()
text = ''.join(prefs)

uni = Counter(text)
bi = Counter([text[i:i+2] for i in range(len(text)-1)])
V = len(uni)

def cond_p(w1, w2, k=0.0):
    return (bi[w1+w2] + k) / (uni[w1] + k*V)

for prev, nxt in [('山', '県'), ('山', '口'), ('島', '県'), ('島', '根')]:
    p_mle = cond_p(prev, nxt, 0)
    p_add1 = cond_p(prev, nxt, 1)
    p_add01 = cond_p(prev, nxt, 0.01)
    print(f"P({nxt}|{prev}): MLE={p_mle:.4f}  add-1={p_add1:.4f}  add-0.01={p_add01:.4f}")

📤 実行例：

💬 結果の読み方：add-1 は強すぎて既知 N グラムの確率まで 1/10 に潰してしまう。 add-0.01 ならほぼ MLE と同じだが、 未観測 bigram にも非ゼロを与えられる。 PPL を本気で下げたいときは Kneser-Ney（nltk.lm.KneserNey）を使う。

🐍 実装 4：47 県名で perplexity を測る簡易 bigram 言語モデル

🎯 このコードでやること：47 県名を 80% 訓練・20% テストに分割し、 add-0.1 smoothing で bigram LM を学習、 テストセットでの perplexity を計算する。

📥 入力例：47 県名（最初 38 件を訓練、 残り 9 件をテスト）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd
import numpy as np
from collections import Counter

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
prefs = df['Prefecture'].drop_duplicates().tolist()

train, test = prefs[:38], prefs[38:]
train_text = '|'.join(train)
test_text = '|'.join(test)

uni = Counter(train_text)
bi = Counter([train_text[i:i+2] for i in range(len(train_text)-1)])
V = len(set(train_text + test_text))
k = 0.1

def logp(w1, w2):
    return np.log((bi[w1+w2] + k) / (uni[w1] + k*V))

logps = [logp(test_text[i], test_text[i+1]) for i in range(len(test_text)-1)]
H = -np.mean(logps)
ppl = np.exp(H)
print(f"V={V}  訓練 {len(train)} 県  テスト {len(test)} 県")
print(f"テスト平均負対数尤度 H = {H:.3f}")
print(f"Perplexity = {ppl:.2f}")

📤 実行例：

💬 結果の読み方：PPL=25.65 は「76 文字の語彙のうち平均 26 文字程度に絞れている」 状態。 まったくのランダム（PPL=76）よりは大幅に改善されている。 訓練データを 100 倍に増やせば PPL=10 を切るだろう。 ニューラル LM (GPT-2) なら同じテストで PPL≈5 程度に下がる。 これが N グラム LM の限界と神経 LM の優位性の数値的根拠。

⚠️ よくある落とし穴

⚠️ さらに 5 つの落とし穴 — 実務で痛い目を見るパターン

🕰 歴史的経緯と現代的意味

n-gram は、 統計学と計算機科学の流れの中から生まれました。 下の年表はこの分野全体の流れで、 n-gram 固有の年表ではありません。 この用語がどの時代の産物かを掴むために置いています。

現代の文脈では、 古典的な定義のままでは説明しきれない使い方も出てきています。 教科書の定義を出発点としつつ、 実務での「変奏」も知っておくとよいでしょう。

❓ よくある質問

⚠️ N グラム特有の落とし穴（深掘り 5 件）

1. zero probability 問題：訓練データに未出現の N グラムが MLE で確率 0 を取り、 PPL が無限大に発散。 必ず add-k、 Kneser-Ney などの平滑化を併用する。
2. data sparsity（組合せ爆発）：N=5、 語彙 1 万なら理論上 $10^{20}$ 組合せ、 そのうち実観測は 1 万分の 1 にも満たない。 N=3 までが現実的上限、 N=4 以上は要 backoff。
3. long-range dependency 表現不能：「広島県は…（100 単語）…の名物である」 のような遠距離依存は、 N=3 のマルコフ近似では完全に取れない。 LSTM・Transformer の優位点。
4. OOV (out-of-vocabulary)：テストに「東広島市」 のように訓練に無い語が出ると確率計算不能。 <UNK> トークン、 サブワード分割で対処。
5. メモリ爆発：N グラム言語モデルを大規模コーパスで作ると、 trigram テーブルだけで GB 単位になる。 hash trie や lossy compression、 KenLM のような専用ライブラリで実装。

🌐 関連手法・派生

• TF-IDF：n-gram の頻度を重み付け（情報検索の基本）
• BM25：TF-IDF の発展形。 検索エンジンの定番
• Word2Vec / GloVe：単語を低次元ベクトルに（分散表現）
• Transformer / BERT：n-gram を超える文脈理解
• BLEU / ROUGE：n-gram の一致率で翻訳・要約を評価
• Spelling Correction：n-gram で候補単語の自然さを評価

🌐 似た概念との比較 — どこが違う？

「N-gram」と混同しやすい概念を 1 つの表に並べることで、 違いが鮮明になります。 「共通点」と「分かれ目」を意識して読みましょう。

⚠️ 注意：「似ているからどれでも同じ」と考えると、 微妙な前提の違いから誤った結論を導きがちです。 まずは 1 つの定義に絞って深く理解し、 そのうえで他の概念に拡張するのが安全です。

🌐 関連手法・派生（N グラムの広がり）

• N グラム LM の進化：Add-k → Good-Turing → Kneser-Ney → Modified Kneser-Ney → backoff／interpolation
• 応用分野：機械翻訳 の BLEU 評価、 テキストマイニング の特徴量、 入力補完、 スペル訂正、 言語識別
• サブワード化：トークン化、 BPE、 SentencePiece、 WordPiece — 全て文字 N グラムの一般化
• ニューラル後継：LSTM、 Transformer、 LLM — N グラム LM の固定窓を可変窓に進化させた
• 類似ベクトル化：Bag of Words、 TF-IDF、 Word2Vec

🌐 文字 N-gram による言語識別（県名 + 主要国名）

文字 N-gram は 言語識別 (language identification) の古典手法。 短い文字列でも高精度で識別できる（実装は数十行）。 SSDSE 47 県と主要国名（English, Français, Deutsch, 中文, 한국어, ภาษาไทย）を混ぜて判定する。

アルゴリズム

1. 各言語のテキストから文字 trigram（3 文字 N-gram）を抽出
2. 頻度 top-300 trigram を「言語プロファイル」として保存
3. 判定対象テキストの top-300 trigram を作る
4. 2 プロファイル間の out-of-place 距離 を計算 → 最小の言語を選択

🐍 SSDSE 県名と国名で実装

このコードでやること：47 県名と各国名から文字 trigram プロファイルを構築、 入力 "東京 Tokyo" を分解して各語の言語を識別。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import pandas as pd
from collections import Counter

def trigrams(s):
    s = '^^' + s + '$$'
    return [s[i:i+3] for i in range(len(s)-2)]

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
jp_corpus = ' '.join(df['Prefecture'].drop_duplicates().tolist())
en_corpus = 'Tokyo Osaka Kyoto Yokohama Nagoya Sapporo Fukuoka Sendai Kobe Hiroshima'
fr_corpus = 'Paris Lyon Marseille Toulouse Bordeaux'

profiles = {
    'ja': Counter(trigrams(jp_corpus)),
    'en': Counter(trigrams(en_corpus)),
    'fr': Counter(trigrams(fr_corpus))
}

def predict(word):
    w = Counter(trigrams(word))
    scores = {lang: sum((prof & w).values()) for lang,prof in profiles.items()}
    return max(scores, key=scores.get)

for word in ['東京','Tokyo','Paris','京都府','Bordeaux']:
    print(word, '→', predict(word))

📤 実行結果：

💬 5 単語すべて正しく識別。 文字 trigram は短い文字列でも識別力が高い → 検索エンジン・spam 判定・SNS 分析の前処理として実用される。

🔗 関連用語

n gram を学ぶ際に併読すると理解が深まる関連用語を「前提・並列・発展」の 3 区分で整理する。

• 前提概念: n gram を理解するために事前に押さえるべき基礎概念 (確率論 / 統計学 / 線形代数)
• 並列概念: 同じカテゴリ内の他手法・同じ目的を別アプローチで達成する概念
• 発展概念: n gram を拡張・応用した発展手法・実問題への適用例

各概念は本用語集の他ページにリンクしている。 関連用語を横断的に学ぶことで、 n gram の位置付けが明確になる。

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 NLP（自然言語処理） — n-gram から Transformer までの全体像

📚 参考文献 — 次に読むもの

• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer. — ML の標準教科書、 「N-gram」も網羅
• Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press. — 確率論的視点
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. — 直感と数式のバランスがよい
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. — 深層学習文脈でのN-gram
• scikit-learn User Guide — 実装と例題
• SSDSE 公式（独立行政法人統計センター） — 本ページのデータ出典
• グループ教材：自然言語処理の基礎 — 全体像

🧭 これからの学習ルート

「N-gram」を理解した次に何を学ぶか、 5 ステップで提案します。 順序は厳密ではなく、 興味のあるところから飛び入りで OK。

1. ステップ 1：上の「🐍 応用コード」を自分の環境で動かす（コピペで OK）
2. ステップ 2：データを別のもの（自分の興味のあるテーマ）に差し替えて再実行
3. ステップ 3：上の「🌐 比較」表の類似手法を 1 つ選んで、 同じデータで比較
4. ステップ 4：「📋 前提」セクションのリンクを 1 つずつ巡って、 関連用語を固める
5. ステップ 5：自然言語処理の基礎 グループ教材で、 体系全体を俯瞰する

📋 1 枚チートシート

※ このチートシートは「30 秒で復習」用。 詳しくは各セクションへ。

📂 ケーススタディ — 過去論文での使われ方

統計データ解析コンペティション過去論文で「N-gram」がどのように登場し、 どんな問題を解決したかを見てみます。 論文ページからリンクして本ページに来た方も、 ぜひもう一度自分の関心ある論文を見直してみてください。

💡 論文を読むときのコツ：「この論文では『N-gram』を何のために使っているか？」「もし使わなかったら何が問題だったか？」を意識すると、 技術選定の判断軸が身に付きます。

📚 グループ教材の中での位置

「N-gram」は単独で学ぶよりも、 関連する複数の用語をセットで学ぶ方が効率的です。 関連グループ教材へのリンクを整理します。

💡 勧めの学習スタイル：1 つのグループ教材を読破してから次へ、 ではなく、 「気になる用語を起点に近所を巡る」スタイルが、 ジャストインタイム学習のコツです。 興味の連鎖に従って深掘りしましょう。

🛠 トラブルシューティング

「N-gram」を実装中に遭遇しがちなエラーと対処を、 症状ベースでまとめます。

💡 原則：エラーが出たら「データの形」「型」「分布」を df.info(), df.describe(), df.isna().sum() で確認する。 慣れると 9 割のバグは前処理段階で見つかります。

🔗 追加リンク集

「N-gram」を中心に、 すぐに飛べる関連ページを集めました。

📋 関連用語ページ

📚 グループ教材

🌐 公式リソース

• SSDSE 公式（独立行政法人統計センター） — 本ページで使用するデータの出典
• scikit-learn 公式ドキュメント
• pandas 公式ドキュメント
• NumPy 公式ドキュメント

📚 まとめカード：N グラムの本質

💡 試験対策のコツ：「N が大きいほど精度↑、 sparsity↑」 「zero prob には必ず smoothing」 「PPL の定義」 を抑える。

🗺 用語マインドマップ — 周辺概念の整理

「N-gram」を中央に置いて、 周辺概念を 5 つの方向に整理します。 これは記憶の足場になります。

マインドマップは「学んだ用語を整理する道具」として優秀。 紙にこの 5 方向を書き、 自分なりの隣接概念を埋めると、 暗黙的にあった理解構造が可視化されます。

📝 自己検証クイズ — 5 問

「N-gram」を本当に理解できたか、 自分でテストできるクイズです。 答えは展開で確認。

🔗 隣接手法への橋渡し

「n-gram」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。

• 上流: トークン化・形態素解析
• 並列: BoW・TF-IDF・N-gram 言語モデル
• 下流: 文書分類・入力補完・単語埋め込み

N=1 (unigram) は単語頻度、 N=2 (bigram) は共起、 N=3 (trigram) で短いフレーズを捉える。 SSDSE-B-2026 の調査表タイトル列を bigram にすると「人口 動態」「高齢 人口」のような統計用語の固定パターンが上位に来る。

🌳 手法選択フロー

N の選び方は「データ量とタスク」で決まる。

1. 文書分類 unigram (N=1) + bigram (N=2) の組合せが定番
2. 言語モデル trigram (N=3) が古典標準、 ニューラルなら N=5〜10 も実用
3. データが少ない SSDSE-B-2026 の調査表タイトル列等は N=2 までに留め、 スムージング併用

言語非依存・OOV 耐性が必要なときは「単語 N-gram」ではなく「文字 N-gram」を選ぶ。

🎮 触って理解する

テキストを書き換え、 N（窓の大きさ）のスライダーを動かすと、 N-gram の抽出・頻度カウント・上位の棒グラフがリアルタイムに更新されます。 黄色い枠の スライディングウィンドウがテキスト上を移動し、「連続する N 要素を切り取る」という N-gram の本質を目で追えます。 トークンの列は 指でドラッグ／マウスでなぞると、 好きな位置に窓を止められます。

🧭 このツールで体感してほしいこと

• 直感：N-gram は「連続する N 個の要素の並び」。 窓を 1 つずつ右にずらしながら切り出すだけ。 N=1 なら要素そのもの、 N=2 なら隣り合う 2 つの組。 T 個のトークンからは T−N+1 個の N-gram ができる（この式が「N-gram 総数」に一致することを確認しよう）。
• トレードオフ：N を上げると各 N-gram が長い文脈を捉える一方、 「異なり率（ユニーク数 / 総数）」が 100% に近づく＝ ほとんどの N-gram が 1 回しか出ない スパースな状態になる。 短いテキストで N=4 にすると棒グラフの棒がすべて高さ 1 になり、 頻度で差がつかなくなるのを確かめよう。
• 文字 vs 単語：分割単位を切り替えると、 同じ文でも N-gram の数・意味が大きく変わる。 文字 N-gram は未知語に強く、 単語 N-gram は意味的なまとまりを捉える。

⚠️ よくある落とし穴

• N を大きくしすぎる：文脈は伸びるが、 コーパスに一度も現れない N-gram（未知 gram）だらけになり、 最尤推定では確率 0 が頻発する（zero probability 問題）。 上のツールの「異なり率」が急上昇するのがその予兆。
• 前処理の非対称：訓練時と推論時でトークン化（大文字小文字・空白・記号）が食い違うと、 同じ語が別の N-gram に化けて頻度が分散する。
• 境界の扱い：文頭・文末に番兵記号（<s>, </s>）を入れるかどうかで N-gram 数と確率が変わる。 上のツールは番兵なしのシンプル版。

🚀 発展 — 言語モデルとスムージング

N-gram の頻度カウントは、 そのまま N-gram 言語モデル の最尤推定 $P(w_t \mid w_{t-N+1},\dots,w_{t-1}) = C(w_{t-N+1}^{t})/C(w_{t-N+1}^{t-1})$ になります。 未知 gram に確率 0 を与えないために add-k 平滑化や Kneser-Ney 平滑化で確率を配り直すのが定石です。 特徴量としては TF-IDF と組み合わせて文書分類に使われ、 上流には トークン化・形態素解析があります。 長距離依存を捉えたい場合は N を増やす代わりに Transformer ベースの 大規模言語モデル に発展します。 N-gram 由来の類似度は テキスト類似度 の基礎にもなります。

🎨 直感の総整理 — N-gram を一言でつかむ

これまでの各節を踏まえ、 N-gram の直感を改めて 1 枚に凝縮します。 N-gram とは「テキストを 連続する N 個の要素（文字 or 単語）の並びとして切り出し、 その頻度を数える」だけの手法です。 窓（ウィンドウ）を 1 要素ずつ右にスライドさせて連続部分列を回収する—— それ以上でも以下でもありません。 この単純さゆえに高速・解釈容易で、 言語モデル・特徴量・類似度の 共通土台になります。

押さえるべき直感は 3 つ。 (1) 局所的な文脈しか見ない——「直前 N−1 要素で次が決まる」という 条件付き確率・マルコフ近似の割り切り。 (2) N を上げると 文脈は伸びるがスパースになるという一方向のトレードオフ。 (3) 言語モデルにも特徴量にも化ける——確率として使えば N-gram 言語モデル、 ベクトル成分として使えば TF-IDF や 文書分類の入力になる。 上の 🎮 触って理解するで N を 1→4 と動かし、 「異なり率」が跳ね上がる様子を体感すると、 この 3 点が一度に腑に落ちます。

💡 覚え方：「N-gram ＝ スライド窓 × 頻度カウント」。 窓幅 N がすべてを決める唯一のツマミで、 大きくすると賢くなるが飢える（データ不足）。 この一文で N-gram の 8 割は語れます。

⚠️ 落とし穴の総まとめ — N-gram で失敗する典型パターン

N-gram は単純ゆえに落とし穴も定型的です。 ページ各所で触れた注意点を、 「なぜ起きる／どう気づく／どう対処」の 3 点セットで一覧化します。 実務ではこの表を「発表前チェックリスト」として使えます。

🔧 最重要：スパース性 × ゼロ頻度 × スムージング

上の中でも スパース性とゼロ頻度は N-gram の宿命であり、 スムージング（平滑化）が事実上の必須対処です。 このページの 🧮 数値例で「岡山県」の bigram を計算した通り、 MLE の $P(県|山)=0.500$ は add-1 で $0.049$ まで削られました。 これは「未観測 N-gram を救う代わりに、 既知 N-gram の確率を犠牲にする」というスムージングの本質を端的に示しています（架空の説明例ではなく、 SSDSE-B-2026 の 47 県名文字列から数えた実測に基づく計算）。 k を 0.1 程度に下げるか、 文脈多様性を使う Kneser-Ney を用いると、 この犠牲を最小化できます。

⚠️ 「N を上げれば賢くなる」は罠：短いテキストや小コーパスで N=4,5 にすると、 ほぼ全 N-gram が頻度 1 になり「頻度で差がつかない＝統計として無意味」な状態に陥ります。 まず N=2〜3 で平滑化を効かせ、 perplexity が本当に改善する場合のみ N を上げるのが鉄則です。

🚀 発展 — スムージングから言語モデル、 そして Transformer へ

N-gram の学習後に進む発展トピックを、 「素朴 → 洗練 → 脱 N-gram」の順に地図化します。

① スムージングの階段：ラプラス → add-k → Kneser-Ney

• ラプラス（add-1）：全 N-gram に一律 +1。 実装は最も簡単だが、 語彙 V が大きいと分母 $+V$ が高頻度 N-gram の確率まで大きく削る（前節の実例参照）。
• add-k（Lidstone）：+1 の代わりに $k\approx0.01\sim0.1$。 削りすぎを緩和する現実的な中間解。
• Kneser-Ney：「その語が いくつの異なる文脈の続きとして現れたか」（continuation probability）で確率を再配分。 関連手法節の「Francisco 問題」で説明した通り、 頻度は高いが文脈が単調な語（例：京都市）を適切に抑える。 21 世紀初頭まで N-gram LM の到達点。

② バックオフと補間（interpolation）

高次 N-gram が未観測なら低次に「退避」するのが バックオフ（Katz backoff 等）、 高次と低次を重み付き平均するのが 補間です。 「trigram が無ければ bigram、 それも無ければ unigram」と段階的に頼ることで、 スパース性を実務的に回避します。

③ 評価とパープレキシティ

言語モデルとしての N-gram の良し悪しは perplexity（PPL） $= \exp(-\frac{1}{T}\sum_t \log P(w_t\mid \cdot))$ で測ります。 「モデルが次の語をどれだけ言い当てられるか」の指標で、 低いほど良い。 このページの 📐 定義・数式節の PPL 比較表（例示値）が示す通り、 N=2/3＋Kneser-Ney が N-gram 系の上限で、 ニューラル言語モデルはさらに半分以下に落とします。

④ 文字 N-gram と単語 N-gram、 そして TF-IDF との組合せ

同じ N-gram でも 文字単位は未知語・誤字に強く（言語識別・spam 検出向き）、 単語単位は意味的まとまりを捉えます（文書分類・検索向き）。 どちらも TF-IDF で重み付けすれば、 「ありふれた N-gram を抑え、 特徴的な N-gram を強調する」ベクトルになり、 テキスト類似度や分類の入力として即戦力です。 scikit-learn では TfidfVectorizer(analyzer='char'|'word', ngram_range=(a,b)) の 1 行で切り替えられます（本ページの実測コード参照）。

⑤ ニューラル言語モデルへの移行

N-gram の根本限界（長距離依存を捉えない・未観測に弱い）を、 連続ベクトル表現で乗り越えたのが 単語埋め込み→RNN/LSTM→Transformer→大規模言語モデル（LLM）の系譜です。 面白いのは、 Transformer の注意（attention）が実質「N を可変に伸縮する N-gram」のように振る舞う点で、 N-gram の直感は現代モデルの理解にもそのまま生きます。 「カウントベースの原点」として N-gram を押さえておくことが、 NLP全体の見通しを良くします。

🔗 あわせて読みたい関連ページ

N-gram の理解を「前提 → 並列 → 発展」で広げるための、 本用語集内の関連ページへのリンクです。

• 前提（上流）：トークン化（単語分割）・形態素解析——N-gram を数える前の「要素への分割」。 条件付き確率——マルコフ近似 $P(w_t\mid w_{t-N+1:t-1})$ の土台。
• 並列（同じ特徴量の仲間）：TF-IDF——N-gram 頻度に重みを付ける定番。 テキスト類似度——N-gram ベクトルの cosine 類似度が基礎。 なお Bag of Words・BPE / SentencePiece（サブワード化）は本用語集に単独ページが無いため、 NLP・NLP グループ教材内の該当箇所を参照してください。
• 発展（下流・高度化）：N-gram 言語モデル——頻度カウントを確率モデルに。 文書分類——N-gram を特徴量に使う代表タスク。 単語埋め込み→Transformer→大規模言語モデル——長距離依存を捉える現代的後継。 機械翻訳——BLEU 評価が N-gram 一致に基づく。
• 全体像：自然言語処理（NLP）／NLP グループ教材——N-gram から Transformer までの位置付けを俯瞰。

※ リンクは本用語集内に実在するページのみを張っています。 単独ページの無い概念（Bag of Words、 BPE、 言語モデル一般）は、 上記グループ教材内で扱っています。