🔖 キーワード索引

このページ内のセクションへ素早く飛べます（クリックで該当箇所へジャンプ）：

🔖 キーワード索引（深掘り）

コサイン類似度 (Cosine Similarity) は 2 つのベクトルの角度の余弦で類似度を測る指標。 値域 $-1$〜$1$、 ベクトルの長さに依存せず方向だけを比べるので、 TF-IDF や埋め込みベクトルの類似度測定に最適です。

🎨 直感で掴む — コサイン類似度とは何者か

コサイン類似度は「2 つのベクトルがどれだけ 同じ方向を向いているかを -1〜+1 で表す指標」。 ベクトルの長さ (規模) は無視し、 角度の近さだけを見るため、 「大都市と地方都市で人口の絶対値は違うが、 総人口・出生数・高齢化率の パターン は似ているか」を比較できる。 47 都道府県を $z$-スコアでベクトル化したとき、 cos が 1 に近い県ペアは「規模を除けば似たプロファイル」を持つ。

コサイン類似度（Cosine Similarity）は、 ベクトル空間で「方向の近さ」を測る道具。 たとえば SSDSE-B-2026 で 47 都道府県を $z$-スコアベクトル化（総人口・出生数・高齢化率…）すると、 「東京と大阪は方向が近い」「沖縄は特異な方向」といったプロファイル比較が直感的にできる。 文書検索・推薦システム・word2vec/BERT 埋め込みの基盤指標。

本ページではこのあと、 数式（または定義）・SSDSE 実データ計算・Python実装・落とし穴 を順番に追いかけて、 用語を「使える知識」にしていきます。

🎨 直感で掴む（要点）

「2 つのベクトルの向きが同じか」を判定する道具です。 長さ (規模) を割り消すため、 「東京 (人口 1400 万) と高知 (約 70 万)」のように規模が違う対象どうしでも、 プロファイルの形だけ取り出して比較できます。

以下では、 内積とノルムによる定義 $\cos\theta = \mathbf{a}\cdot\mathbf{b} / (\|\mathbf{a}\|\|\mathbf{b}\|)$ を確認したあと、 SSDSE-B-2026 の 47 都道府県の年齢構成ベクトルで「東京と沖縄の向きはどれだけ近いか」を実値計算し、 階層クラスタリングや TF-IDF 推薦への接続、 「すべて正のベクトルでは類似度が下がりにくい」「ノルム情報を捨てるため大小は表現できない」といった落とし穴まで順に辿ります。

🎨 直感で掴む（深掘り）

2 次元平面で 2 本の矢印を頭に描いてください。 ベクトル $\mathbf{a}$ と $\mathbf{b}$ のなす角度を $\theta$ とすると、 内積 $\mathbf{a}\cdot\mathbf{b} = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta$。 この式を「長さの積」で割れば、 残るのは $\cos\theta$ だけ —— これがコサイン類似度の本体です。 このとき:

• $\cos\theta = 1$ (角度 0°) = 完全に同じ方向。 SSDSE で言えば「総人口・出生数・高齢化率すべてのプロファイルが同形」
• $\cos\theta = 0$ (角度 90°) = 直交。 SSDSE で言えば「総人口は多いが 出生数 は少ない」のように軸ごとの相関が無い
• $\cos\theta = -1$ (角度 180°) = 真逆。 $z$-スコア化すると「高齢化率が +2σ の県」と「-2σ の県」のように極性が逆

$z$-スコア化したベクトル同士の cos は、 実はピアソン相関係数 $r$ と一致します ($r = \cos\theta$ when centered)。 つまりコサイン類似度は、 中心化を省いた一般化 (規模に左右されない) と理解できます。 高次元 (TF-IDF で 1 万次元、 BERT で 768 次元) になっても定義はそのまま使え、 計算量は $O(n)$ で軽い。

実務的なメタファー: 「電車の進行方向が同じか」を測る感覚。 速度 (ベクトル長) は無視し、 方角だけ比較する。 文書検索で「短い質問文と長い記事を同じ尺度で比べたい」場面に最適で、 これがコサイン類似度が情報検索の主流になった理由です。

🎮 触って理解する

下の図で、 2 本の矢印（ベクトル $\mathbf{a}$・$\mathbf{b}$）の先端の丸をドラッグ（スマホは指でスワイプ）してみてください。 なす角 $\theta$ と コサイン類似度 $\cos\theta = (\mathbf{a}\cdot\mathbf{b})/(\|\mathbf{a}\|\,\|\mathbf{b}\|)$ がリアルタイムに計算されます。 同じ向き=1、 直交=0、 逆向き=-1 を手で確かめられます。

🔍 この体験から読み取れること

• 直感（向きの近さ）：2 本の矢印を重ねる（角度 0°）と cos は最大の 1。 90° まで開くと 0、 反対向き（180°）で -1。 コサイン類似度は「角度そのもの」を $[-1,1]$ に写した量だと分かります。
• よくある落とし穴（大きさを無視・スパースで有効）：a を伸縮しても cos が動かないのは長所であり弱点でもあります。 「量の大小」を区別したい場面（売上規模・アクセス数の絶対量など）ではコサインは不向きで、 ユークリッド距離 の方が適切。 逆に、 多くの成分が 0 のスパースな高次元ベクトル（TF-IDF など）では、 長さの影響を消せるコサインが安定して働きます。
• 発展（文書ベクトル・推薦）：この 2 次元の矢印を数千〜数万次元に拡張したものが、 TF-IDF の文書ベクトルや 埋め込み ベクトルです。 「クエリと文書」「ユーザーと商品」の向きの近さをコサインで測るのが、 全文検索や 推薦システム の基本骨格。 定義は $O(n)$ で軽く、 高次元でもそのまま使えます。 数式そのものは次の 数式・定義 と 内積・ノルム のページで確認できます。

📐 数式・定義

2 つのベクトル $\mathbf{a}, \mathbf{b}$ のコサイン類似度：

$$ \cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \, \|\mathbf{b}\|} = \frac{\sum_{i=1}^n a_i b_i}{\sqrt{\sum_{i=1}^n a_i^2} \sqrt{\sum_{i=1}^n b_i^2}} $$

分子は内積、 分母はベクトル長（ユークリッドノルム）の積。 値域は $-1 \le \cos\theta \le 1$。 $1$ は同方向、 $0$ は直交、 $-1$ は反対方向。 コサイン距離は $1 - \cos\theta$ で定義され、 距離指標として使う。

📐 定義

2 つのベクトル $\mathbf{a}, \mathbf{b}$ の方向の近さを、 内積を 2 本の長さの積で正規化して -1〜+1 に押し込めた指標。

英語名 Cosine Similarity。 同義・関連語：Cosine distance ($1 - \cos\theta$)、 角度距離、 中心化すればピアソン相関係数 $r$ と一致する。

🎯 いつ・どこで使うか

• テキスト検索 (TF-IDF + コサイン類似度)・推薦システム (協調フィルタリング)・埋め込み空間でのクエリ近傍探索の事実上の標準です。
• 📚 TF-IDF と組み合わせた文書類似度計算が、 もっとも代表的な使い方です。
• 長さで割って方向のみを比較するため、 ベクトルの大小に依存しない比較ができる点が、 ユークリッド距離との大きな違いです。

📋 前提条件・適用範囲

この用語を理解・使用するときは、 次のような前提を意識してください：

• データの性質：尺度（名義/順序/間隔/比例）と分布を確認
• サンプル数：手法によって最低限のサンプル数が異なります
• 独立性：観測が独立であるかを確認（時系列・パネル等では別の手法が必要）
• 欠損・外れ値：前処理の方針を明確に

📐 数式・定義（深掘り）

2 つのベクトル $\mathbf{a} = (a_1, ..., a_n)$ と $\mathbf{b} = (b_1, ..., b_n)$ について、 内積を 2 本のノルムの積で正規化した値がコサイン類似度です:

$$\cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|} = \frac{\sum_{i=1}^n a_i b_i}{\sqrt{\sum_{i=1}^n a_i^2}\,\sqrt{\sum_{i=1}^n b_i^2}}$$

コサイン距離は類似度を距離に変換したもの ($1 - \cos\theta \in [0, 2]$):

$$d_{\cos}(\mathbf{a}, \mathbf{b}) = 1 - \cos\theta$$

ベクトルを中心化 (平均を引く) すると、 cosine 類似度はピアソン相関係数 $r$ と一致します:

$$r = \frac{\sum_i (a_i - \bar{a})(b_i - \bar{b})}{\sqrt{\sum_i (a_i - \bar{a})^2}\,\sqrt{\sum_i (b_i - \bar{b})^2}} = \cos\theta_{\text{centered}}$$

単位ベクトル化 ($\hat{\mathbf{a}} = \mathbf{a}/\|\mathbf{a}\|$) すれば、 cosine 類似度とユークリッド距離は単調変換で結ばれます:

$$\|\hat{\mathbf{a}} - \hat{\mathbf{b}}\|^2 = 2(1 - \cos\theta)$$

📐 コサイン類似度 vs Euclidean 距離 — 「向き」と「大きさ」のどちらを見るか

2 つの都道府県を「総人口」と「65 歳以上人口」の 2 次元ベクトルとみなすと、 大都市と小規模県は Euclidean 距離では大きく離れる（規模が桁違い）一方で、 高齢化のプロファイル（構成比）が近ければ 原点からの方向 (角度) はほぼ同じになる。 コサイン類似度は後者の「向き」だけを測る:

$$\cos\theta = \dfrac{\mathbf{x}\cdot \mathbf{y}}{\|\mathbf{x}\|\,\|\mathbf{y}\|}, \qquad d_E(\mathbf{x},\mathbf{y}) = \|\mathbf{x}-\mathbf{y}\|$$

使い分けの原則: 文書ベクトル (単語頻度) や利用者プロファイル (好み比率) のように絶対量より構成比が重要な場面 → cosine。 物理座標・人口の絶対値そのものを比較したい → Euclidean。 都道府県データでは「規模を捨てて構成比の似ている県を探す」用途に cosine が最適。

このコードでやること: 3 つの特徴ベクトルを用意し、 cosine 類似度と Euclidean 距離の両方を計算して、 「最も近い相手」が指標によって入れ替わる様子を確認する。 SSDSE のような実データに移す前に、 小さな合成ベクトルで挙動を掴むのが狙い。

📥 入力データ: 3 語の出現回数とみなした 3 次元ベクトル 3 本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity, euclidean_distances

# 3 つの特徴ベクトル（例: 3 語の出現回数）
A = np.array([10, 20, 30])   # 基準
B = np.array([ 1,  2,  3])   # A と同じ「向き」・規模だけ小さい
C = np.array([30, 20, 10])   # A と規模は同程度・「向き」が違う

M = np.vstack([A, B, C]).astype(float)
cos = cosine_similarity(M)     # コサイン類似度（向き）
euc = euclidean_distances(M)   # ユークリッド距離（規模込み）

print(f"cos(A,B)={cos[0,1]:.3f}  cos(A,C)={cos[0,2]:.3f}")
print(f"Euc(A,B)={euc[0,1]:.1f}   Euc(A,C)={euc[0,2]:.1f}")

📤 実行結果:

💬 結果の読み方: cosine では A に最も近いのは B（向きが完全に一致し 1.000）。 ところが Euclidean では A に最も近いのは C（28.3 < 33.7）。 同じ 3 本のベクトルでも、 「向き」を見るか「規模」を見るかで最近傍が入れ替わる — これが cosine 類似度と距離指標の本質的な違いです。

🔬 数式・定義を「言葉」で読み解く

コサイン類似度の式 $\cos\theta = \dfrac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|} = \dfrac{\sum_{i=1}^n a_i b_i}{\sqrt{\sum_{i=1}^n a_i^2}\sqrt{\sum_{i=1}^n b_i^2}}$ に登場する記号を 1 つずつ確認します。 ここでは 2 本の 3 次元ベクトル $\mathbf{a}=(2,3,6)$, $\mathbf{b}=(6,3,2)$ を例に具体化します。

コサイン類似度の文脈では、 とくに $\mathbf{a}\cdot\mathbf{b}$ (内積) と $\mathbf{a}\times\mathbf{b}$ (外積) の混同に注意。 また内積はスカラー値であり、 ベクトルではない。 ノルム $\|\cdot\|$ は通常 L2 (ユークリッドノルム) を指すが、 L1 (マンハッタン) を採用すれば別の類似度になる。

🔬 数式を言葉で読み解く

分子 $\mathbf{a}\cdot\mathbf{b} = \sum_i a_i b_i$ の読み方: 「2 本のベクトルの同じ成分どうしを掛けて足し合わせた値」。 両方が大きい (両方が小さい) 成分があれば内積は増え、 一方が正で他方が負なら内積は減る。 すべての成分が非負 (頻度・人口など) なら内積は必ず非負。

分母 $\|\mathbf{a}\|\,\|\mathbf{b}\|$ の読み方: 「2 本のベクトルの長さ (大きさ) の積」。 これで割ることで規模 (絶対値) の影響を打ち消し、 純粋に「向き」だけを取り出す。 一方のベクトルが他方の 2 倍の長さでも、 各成分の比率が同じなら cos は 1 になる。

$\cos\theta$ の値の読み方: 内積を長さの積で割った量は、 ベクトル間の角度の余弦と一致する (これが「コサイン」類似度の名の由来)。 $\cos 0° = 1$ (完全一致)、 $\cos 90° = 0$ (直交=無関係)、 $\cos 180° = -1$ (反対)。 文書ベクトル (非負成分) では値域は $[0, 1]$ に限定される。

中心化後の cos = ピアソン相関: $\mathbf{a}, \mathbf{b}$ から平均を引いてからコサイン類似度を取ると、 ピアソン相関係数 $r$ に一致する ($\cos(\mathbf{a}-\bar{a},\, \mathbf{b}-\bar{b}) = r$)。 つまり相関係数はコサイン類似度の特殊形。 これが「相関とコサインは双子の指標」と呼ばれる理由です。

🧮 SSDSE-B 実値で計算してみる

SSDSE-B-2026（47都道府県・2023 年・112 項目）を題材に、 コサイン類似度 に関係する変数を実値で確認します。 とくに東京・大阪・沖縄・秋田 など特徴ある県を比較すると、 用語の重みが体感できます。

これらの値を コサイン類似度 の観点で読み解くと、 都道府県間の格差・特徴・関係性が浮かび上がります。 具体的な計算手順は次の「🐍 Python 実装」セクションで実演します。

🧮 数式に値を入れて手で計算する

合成ベクトル $\mathbf{A}=[2,3,4]$, $\mathbf{B}=[1,5,2]$ をコサイン類似度の数式に代入し、 内積・ノルム・cos 値の順に Step 1〜3 で手計算する。 同じ計算を Python (numpy / sklearn) で再現し、 結果が一致することを確認する。

📐 コサイン類似度 (再掲)

$$ \cos\theta = \frac{\mathbf{A} \cdot \mathbf{B}}{\|\mathbf{A}\|\,\|\mathbf{B}\|} = \frac{\sum_{i=1}^{n} A_i B_i}{\sqrt{\sum_{i=1}^{n} A_i^2}\,\sqrt{\sum_{i=1}^{n} B_i^2}} $$

Step 1: データ準備 (合成、 多様な整数)

Step 2: 内積とノルム

Step 3: コサイン類似度

🐍 同じ計算を Python で再現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# Step 1: 合成ベクトル (多様な整数)
A = np.array([2, 3, 4])
B = np.array([1, 5, 2])

# Step 2: 内積とノルム
dot = np.dot(A, B)
norm_A = np.linalg.norm(A)
norm_B = np.linalg.norm(B)

# Step 3: コサイン類似度 (手計算式) と sklearn 版
cos_manual = dot / (norm_A * norm_B)
cos_sklearn = cosine_similarity(A.reshape(1, -1), B.reshape(1, -1))[0, 0]

print(f"内積 A.B       = {dot}")
print(f"||A||          = {norm_A:.4f}")
print(f"||B||          = {norm_B:.4f}")
print(f"cos (手計算式) = {cos_manual:.4f}")
print(f"cos (sklearn)  = {cos_sklearn:.4f}")
print(f"コサイン距離   = {1 - cos_manual:.4f}")

📤 実行結果

💬 手計算 (Step 3 の 0.8475) と Python 出力 (numpy 手計算式・sklearn のいずれも 0.8475) が完全一致。 コサイン類似度 0.8475 は「向きがかなり揃っている (角度約 32°)」ことを示し、 2 ベクトルは同じ傾向にある成分構成と読める。

🧮 3 次元プロファイルで手計算してみる

説明用の合成データとして、 2 つの対象を 3 指標でベクトル化し、 コサイン類似度を 1 ステップずつ手計算します。 数値の絶対値ではなく 3 指標のバランスがどれだけ似ているかを測る用途です。

対象 2 つの 3 次元ベクトル（規模の大きい対象 T と中規模の対象 O）:

Step 1〜3 で内積・ノルム・cos を求める:

→ cos ≈ 0.995 は「2 つの対象の 3 指標バランスが極めて近い」ことを意味します。 規模 (ノルム) は T が O の約 2.6 倍ですが、 構成比は同形。 さらに小規模な対象 R = (0.55, 1.9, 0.55) を加えると ‖R‖ ≈ 2.06、 T·R = 7.7+209+10.45 ≈ 227.15、 cos(T,R) ≈ 227.15 / (112.50×2.06) ≈ 0.980。 規模が桁違いでも cos は 1 に近く、 「向きの類似」を測る指標であることが直感できます。

🐍 Python 実装

以下は コサイン類似度 を SSDSE-B-2026 で扱うときの典型コード。 encoding='cp932' は政府統計の Shift-JIS 対応。 skiprows=[1] は 2 行目の日本語ヘッダ行だけをスキップして列コード（A1101 等）を列名に使う定石（skiprows=1 だと 1 行目の列コード行が消え、 日本語ラベルが列名になる）。

① 基本パターン（読み込み・確認・主要列抽出）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

# コサイン類似度 に関連する SSDSE-B-2026 分析の基本パターン
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1).query('年度 == 2023')   # 日本語読みなので列名は 年度
print(df.shape)            # (47, 112)
print(df.dtypes.head(10))
print(df.describe().T.head(10))

# 主要列にエイリアス
df['総人口']   = df.iloc[:, 3]
df['65歳以上'] = df.iloc[:, 15]
df['高齢化率'] = df['65歳以上'] / df['総人口'] * 100
print(df[['都道府県','総人口','高齢化率']].head())   # 日本語読みなので '都道府県'

② 可視化テンプレ（matplotlib / seaborn）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# コサイン類似度 の探索的データ分析（EDA）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1).query('年度 == 2023')

# 主要変数を取り出して名前を分かりやすく
df['総人口']    = df.iloc[:, 3]
df['65歳以上']  = df.iloc[:, 15]
df['高齢化率']  = df['65歳以上'] / df['総人口'] * 100
df['TFR']      = df.iloc[:, 21]

# ヒストグラム
fig, axes = plt.subplots(1, 2, figsize=(12, 4))
sns.histplot(df['高齢化率'], kde=True, ax=axes[0])
axes[0].set_title('高齢化率の分布（47都道府県）')
sns.histplot(df['TFR'], kde=True, ax=axes[1])
axes[1].set_title('TFRの分布')
plt.tight_layout()
plt.savefig('eda_distribution.png', dpi=120)

③ 前処理：欠損・外れ値・型変換

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import pandas as pd
import numpy as np

# コサイン類似度 に関わる前処理の典型パターン
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

# ① 欠損値の確認
print('欠損数:')
print(df.isna().sum().sort_values(ascending=False).head(10))

# ② 数値変換（カンマ・%除去 など。 変換できない文字列はそのまま返す）
def to_num(s):
    if isinstance(s, str):
        try:
            return float(s.replace(',', '').replace('%', ''))
        except ValueError:
            return s
    return s
df = df.applymap(to_num)

# ③ 外れ値検出（IQR、 数値列のみ対象）
num = df.select_dtypes(include='number')
q1 = num.quantile(0.25)
q3 = num.quantile(0.75)
iqr = q3 - q1
outlier_mask = ((num < q1 - 1.5*iqr) | (num > q3 + 1.5*iqr)).any(axis=1)
print('外れ値を含む行数:', outlier_mask.sum())

④ 検定・推定の最小例（scipy.stats）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
from scipy import stats

# コサイン類似度 文脈での基本的な仮説検定
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')
df['aging']  = df['A1303'] / df['A1101'] * 100
df['region'] = df['Prefecture'].apply(lambda p: '東日本' if p in ['北海道','青森県','岩手県','宮城県','秋田県','山形県','福島県','茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県','新潟県','富山県','石川県','福井県','山梨県','長野県','岐阜県','静岡県','愛知県'] else '西日本')

east = df.loc[df['region']=='東日本', 'aging']
west = df.loc[df['region']=='西日本', 'aging']

t, p = stats.ttest_ind(east, west, equal_var=False)
print(f'東日本 平均高齢化率: {east.mean():.2f}%')
print(f'西日本 平均高齢化率: {west.mean():.2f}%')
print(f't = {t:.3f}, p = {p:.4f}')
print('判定:', '有意差あり' if p < 0.05 else '有意差なし')

※ より高度な例（クロス集計、 機械学習、 ベイズ推定）は text-similarity のグループ教材を参照。

🐍 Python での扱い

SSDSE-B-2026 のような公的統計データを Python で扱う際の基本パターン：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
import numpy as np

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
print(df.shape)
print(df.dtypes)
print(df.describe())

# 「コサイン類似度」の文脈で扱う場合の例：
# 分野: 類似度・距離指標
# 関連手法は同カテゴリの他用語を参照してください。

具体的なコードは テキスト類似度グループ教材 を参照してください。

📝 レポートでの報告

分析結果を報告するときに含めるべき情報：

• 使ったデータ：出典・期間・サンプル数
• 適用条件の確認：前提が満たされているか
• 計算結果：数値だけでなく不確実性（CI・SE）も
• 解釈：何を意味するか、 何を意味しないか
• 限界：適用範囲外への拡張は避ける

✅ チェックリスト

• □ 「コサイン類似度」を使う場面か再確認したか
• □ データの尺度・分布・サンプル数を確認したか
• □ 前提条件を満たしているか
• □ 計算した値だけでなく不確実性も把握したか
• □ 解釈と限界を区別したか
• □ 関連グループ教材で全体像を確認したか

🔗 同カテゴリの他用語

🐍 Python 実装（深掘り） — コサイン類似度に固有の論点

① SSDSE-B-2026 で 47 県を「人口プロファイル」ベクトル化して類似度を測る

🎯 このコードでやること：各県を「総人口・出生数・65 歳以上人口」の 3 次元ベクトルとして表現し、 全 47 県ペアのコサイン類似度行列を構築する。 人口構成 (構成比) が近い県ほど cos が 1 に近づく。

📥 入力データ：SSDSE-B-2026 の実在列コード 3 本。 規模 (絶対人数) ではなく「方向 (構成比)」を測る点が cos の本質。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# skiprows=[1] で日本語見出し行を飛ばし、 列コードをそのまま使う
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')
# 各県を「総人口 A1101・出生数 A4101・65歳以上人口 A1303」の 3 次元プロファイルに
X = df[['A1101', 'A4101', 'A1303']].values.astype(float)
sim = cosine_similarity(X)                 # 全 47 県ペアの cos
print('類似度行列 shape =', sim.shape)      # (47, 47)
print('自己類似度(対角) =', round(sim[0, 0], 4))

📤 実行すると次の出力が得られる：

💬 結果の読み方：出力は 47×47 の行列で、 対角成分は必ず 1.0（自分自身とは同方向）。 3 指標がすべて非負なので値は 0〜1 に収まり、 人口構成の近い県ペアほど 1 に近づく。 具体的な県ペアの cos は手元のデータで実行して確かめよう。 規模差そのものを見たい場合は cos ではなくユークリッド距離を使う。

② L2 正規化 → 内積 = cos の同値性を確認

🎯 このコードでやること：ベクトルを L2 正規化（単位ベクトル化）してから内積を取ると、 cosine_similarity と一致することを示す。 大規模検索 (FAISS 等) ではこの等価性を利用して内積検索だけを実装する。

📥 入力データ：① の 47 県 × 3 指標の行列 X。

1
2
3
4
5
6
7

from sklearn.preprocessing import normalize

Xn = normalize(X, norm='l2')          # 各行を単位ベクトルへ
sim_dot = Xn @ Xn.T                  # 単純な内積
sim_cos = cosine_similarity(X)          # scikit-learn
diff = np.abs(sim_dot - sim_cos).max()
print(f'最大差分 = {diff:.2e}  (≒0 で同値)')

📤 実行すると次の出力が得られる：

💬 結果の読み方：差分は浮動小数の丸め誤差レベル ($10^{-16}$)。 「L2 正規化 → 内積」と「コサイン類似度」は数学的に同一であることが実証された。 検索エンジン・推薦システムが「Inner Product Search」と「Cosine Search」を同列に扱える理由がここにある。

③ ピアソン相関 = 中心化したベクトルのコサイン類似度

🎯 このコードでやること：ベクトルから平均を引いて中心化したあとに cos を計算すると、 ピアソン相関係数 $r$ と一致することを示す。 cos と相関の橋渡し。

📥 入力データ：説明用の合成データ（2 指標 × 5 サンプル）。 実データでは総人口 (A1101) と出生数 (A4101) のような 2 列を渡せばよい。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import numpy as np
from scipy.stats import pearsonr

# 説明用の合成データ（2 指標 × 5 サンプル）
x = np.array([2.0, 4.0, 6.0, 8.0, 11.0])
y = np.array([1.0, 3.0, 2.0, 5.0, 4.0])
xc, yc = x - x.mean(), y - y.mean()        # 中心化（平均を引く）
cos_centered = (xc @ yc) / (np.linalg.norm(xc) * np.linalg.norm(yc))
r, _ = pearsonr(x, y)
print(f'cos(中心化) = {cos_centered:.4f}   ピアソン r = {r:.4f}')

📤 実行すると次の出力が得られる：

💬 結果の読み方：両者は完全に一致。 これは「ピアソン相関 = 平均を抜いたあとのコサイン類似度」という関係を示す。 cos を中心化すると相関、 中心化しないと「方向の一致」になる。 推薦システムでユーザー平均評価を引いてから cos を取ると、 「絶対値の高低」ではなく「相対的な好み」が捉えられる理由。

④ 高次元の呪い — 次元数を上げたときの cos 分布

🎯 このコードでやること：SSDSE-B-2026 の連続列を $d$ = 3, 10, 30, 80 と段階的に増やしたとき、 全 47 県ペアの cos の中央値・最大値・最小値がどう動くかを観察する。 生の非負・規模列では、 どの $d$ でも大半のペアが cos ≈ 1 に張り付き、 判別力が乏しい（標準化が要る）ことが確認できる。

📥 入力データ：SSDSE-B-2026 の数値列を昇順に切り出した行列。

1
2
3
4
5
6
7
8
9

num_df = df.select_dtypes(include='number').dropna(axis=1)
for d in [3, 10, 30, 80]:
    Xd = num_df.iloc[:, :d].values
    if Xd.shape[1] < d: continue
    S = cosine_similarity(Xd)
    off = S[~np.eye(47, dtype=bool)]      # 対角線除去
    print(f'd={d:2}  median={np.median(off):.3f}  min={off.min():.3f}  max={off.max():.3f}')

📤 実行すると次の出力が得られる：

💬 結果の読み方：総人口・出生数のような SSDSE の生の非負・規模列は、 3〜80 次元のいずれでも cos の中央値が 0.98〜1.00 とほぼ 1 に張り付く（大きい成分が内積を支配するため）。 列を増やすと一部ペアで値が下がり始める（$d$=80 で min が 0.429 まで低下）が、 中央値は依然 1 近くで、 全体として似すぎて判別力が乏しい。 実務では z-スコア標準化や TF-IDF / IDF 重み付け、 PCA / Truncated SVD による次元削減を挟んでから cos を測るのが定石。

⚠️ よくある落とし穴（7 件）

コサイン類似度 に取り組むときに、 学生・実務者・研究者がよく踏むワナをまとめました。 該当しそうな項目があれば、 自分の分析を見直してみてください。

🧭 詳細解説 — コサイン類似度 を一段深く掘り下げる

歴史的背景

コサイン類似度（Cosine Similarity）は、 1960 年代の情報検索分野で Gerard Salton らがベクトル空間モデル（VSM）を提案した際に文書類似度の標準的指標として確立されました。 1970 年代に SMART システム（Salton, 1971）で TF-IDF と組み合わされて以降、 文書クラスタリング・検索ランキング・テキスト分類の基盤となり、 2010 年代に Word2Vec / GloVe / BERT などの単語・文埋め込みが登場すると、 ベクトル空間内の意味的近接性を測る事実上の標準として再注目されました。 現在は推薦システム（協調フィルタリング）、 画像検索（CLIP embeddings）、 RAG（Retrieval-Augmented Generation）の文脈でも中核的役割を果たしています。

日本では総務省・経産省・内閣府の各種計画（Society 5.0、 デジタル田園都市国家構想、 統計改革基本計画）で繰り返し言及される基幹概念。 SSDSE（教育用標準データセット）も、 これらの教育普及を目的に整備されたデータです。

国際的な位置付け

OECD、 国連、 ISO、 IEC などの国際機関が、 コサイン類似度 に類する概念・標準を整備してきました。 たとえば：

• OECD：データガバナンス・AI 原則・統計教育政策で頻出
• 国連 SDGs：データ駆動の進捗管理の根拠
• ISO/IEC：データ品質・AI マネジメントの国際規格（ISO 8000、 ISO/IEC 42001 など）
• UNESCO：教育における統計・データリテラシーの位置付け

日本の文脈での意味

コサイン類似度 を含むデータ分析の手法は、 日本では次の場面で使われています。 下の表は分野ごとの登場場面で、 この用語だけの話ではなくデータサイエンス全体の広がりを示します：

よく混同される概念

コサイン類似度 は、 隣接概念と混同されやすい用語の代表でもあります。 ここで違いを明確にしておきましょう：

学習・教材としての位置付け

本サイト（用語解説）は「ジャストインタイム型データサイエンス教育」のリソースです。 つまり、 論文・実務・授業で その用語に出会ったタイミングで必要最低限の説明を得る、 という使い方を想定しています。 コサイン類似度 もその一例。

体系的に学びたい場合は、 まずグループ教材（text-similarity）から始め、 そこから コサイン類似度 のような個別用語にドリルダウンしていくのが効率的です。

参考文献・標準

• 独立行政法人統計センター『SSDSE（教育用標準データセット）』
  https://www.nstac.go.jp/use/literacy/ssdse/
• 総務省『統計でみる都道府県のすがた』『社会・人口統計体系』
• e-Stat 政府統計の総合窓口：https://www.e-stat.go.jp/
• OECD Data Portal：https://data.oecd.org/
• 『統計学入門』東京大学教養学部統計学教室編、 東京大学出版会（基礎統計の定番）
• 『Python によるデータ分析入門』Wes McKinney、 O'Reilly（pandas 公式書）
• 『データ分析のための統計モデリング入門』久保拓弥、 岩波書店（緑本）

⚠️ よくある落とし穴（コサイン類似度 固有）

⚠️ 落とし穴（コサイン類似度 5 件、 各 80-150 字）

1. ゼロベクトルでのゼロ除算：いずれかのベクトルのノルムが 0 だと分母が 0 になり NaN。 sklearn の cosine_similarity は 0 を返すが、 numpy 自作実装は要チェック。 前処理で zero-norm 行を除外する。
2. 高次元での「ほぼ全ペアが直交」：1000 次元以上の埋め込みではランダム 2 ベクトルの cos がほぼ 0 に集中する (次元の呪い)。 cos=0.1 でも統計的には十分高い可能性があるので、 絶対値より分布での順位を見る。
3. 負値の混在で cos が負になる：z-score 化したベクトル同士の cos は -1〜1 に分布。 「類似度 = 高いほど近い」と思って negative を「正反対」と解釈すると、 単に平均からのズレ方が逆だったケースを見落とす。
4. TF-IDF の重み付けを忘れる：raw count での cos は出現頻度の高い stop words が支配的に。 TF-IDF や BM25 で重み付け後に cos を取らないと「全文書が似ている」結果に。
5. BERT 埋め込みでの cos 解釈：BERT の CLS token は cosine 類似度に最適化されていない。 SBERT (Sentence-BERT) や Contriever のように対照学習で cos 用に fine-tune したモデルを使う。 素の BERT は cos 計算には不向き。

🌐 関連手法・派生

コサイン類似度 と同じ「類似度・距離指標」カテゴリ、 または直接の上位・派生となる用語：

📊 類似度・距離指標の比較表（計算量・前提・適用例）

並列指標の使い分けは、 ベクトルの「大きさを意味として扱うか」「データ型（連続・集合・テキスト）」「次元数」で決まる。 以下は主要 5 指標を 3 列で比較した早見表。

🌳 いつコサイン類似度を選ぶか（判断基準）

並列指標が多くて迷うときは、 次の 3 ステップで絞り込める。

1. データ型を確認：連続ベクトルなら cosine / Euclidean / Pearson、 集合なら Jaccard、 順序データなら Spearman 相関を検討。
2. 「大きさ」を意味として残すか判断：文書長やスケールの差を無視したい → cosine。 物理量や絶対量の差を活かしたい → Euclidean。
3. 次元数とスパース性：高次元かつスパース（TF-IDF、 埋め込み）なら cosine が安定。 低次元（数〜数十次元）なら Euclidean でも問題なし。 外れ値が多いなら Manhattan を検討。

補足：cosine は「中心化していない Pearson 相関」と数学的に等価なので、 各ベクトルから平均を引けば自動的に Pearson 相関に変換できる。 推薦システムでユーザーの「甘い採点／辛い採点」を補正したいなら、 cosine ではなく Pearson 相関を使うのが定石。

📑 論文・実務での登場パターン

コサイン類似度 は、 統計データ解析コンペティション系の論文・教材で次のような場面に登場します：

論文一覧から該当キーワードで検索すると、 本サイト内の再現論文ハンズオン教材に直接ジャンプできます。 ⇒ 論文一覧に戻る

🔗 関連用語（前提・並列・発展）

コサイン類似度は 2 つのベクトルがなす角度の余弦を用い、 向きの近さを [-1, 1] で測る。 前提としてベクトル空間と内積・ノルムの数学的基盤が必要で、 並列指標としては大きさを含めた ユークリッド距離 や、 平均除去版に相当する ピアソン相関、 集合用の Jaccard 係数などがある。 発展側では 埋め込み (Embedding) でのテキスト・画像のベクトル化、 レコメンデーション でのユーザー類似度、 大規模言語モデルの RAG 検索 での文書類似度、 クラスタリング での距離指標として実装されている。

前提：ベクトル空間と距離・内積の理解

並列：他の類似度指標 (使い分け対象)

発展：ベクトル化技術と実応用

📚 関連グループ教材（全体像）

コサイン類似度 は「類似度・距離指標」分野の代表例で、 NLP・推薦・情報検索の中核技術です。 同じグループに属する関連用語：

• 🎯 距離指標 全般（このグループの総合ページ） — 全体像を学びたいときはここから
• テキスト類似度 — 文書比較への応用
• ピアソン相関 — 平均除去版コサインとして読める
• ノルム (L2) — 分母として cosine を構成
• ベクトル計算 — 内積・ノルム計算の前提
• 行列計算 — 多次元での一括 cosine
• 埋め込み — cosine が距離尺度として有効な空間
• レコメンデーション — 協調フィルタリング応用
• クラスタリング — cosine による文書グループ化
• RAG — LLM のベクトル検索の中核

グループ教材は横断的な視点を提供します。 個別用語だけでなくグループ全体を 1 周しておくと、 各用語の関係性が立体的に見えてきます。

✅ コサイン類似度 自己チェックリスト

レポート・論文・分析プロジェクトを終える前に、 以下を一通り確認するとつまずきが減ります。

• □ コサイン類似度 を使う必然性・必要条件を 1 行で説明できるか
• □ データの出典・期間・サンプル数・単位を本文 or 脚注で明示したか
• □ 前提条件（正規性、 独立性、 等分散性、 線形性 ほか）を確認・記録したか
• □ 欠損と外れ値の処理方針を明文化したか
• □ 結果に不確実性（標準誤差、 信頼区間、 効果量）を併記したか
• □ ベクトル成分が非負か正負混在かを確認し、 cos の値域 ([0,1] か [-1,1] か) を理解したか
• □ ノルム 0 ベクトル（全成分 0）を除外、 または例外処理したか
• □ 規模差を測りたい場合はユークリッド距離等の併用を検討したか
• □ similarity-measure グループ教材で他の類似度指標との位置づけを確認したか
• □ 限界（適用範囲外、 因果なら別手法、 外挿不可など）を明示したか
• □ 図表のキャプションで「単位・期間・出典」を 3 点セットで書いたか
• □ 再現性のため、 使用したコード・データ・乱数シードを共有可能にしたか

❓ よくある質問（FAQ）

📌 早見表 — コサイン類似度

📚 関連グループ教材

サイト内グループ教材と、 コサイン類似度を扱う公式ドキュメント・標準書・公開データを併用すると効果的です。

• 📚 距離・類似度グループ — Euclid・Manhattan・cosine の使い分け
• 📚 埋め込み・ベクトル空間グループ — word2vec / BERT / OpenAI embedding
• 📚 推薦システムグループ — 協調フィルタリング・コンテンツベース
• 📚 RAG / 情報検索グループ — LLM × ベクトル検索の中核

• scikit-learn 公式: cosine_similarity（https://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.cosine_similarity.html）— API リファレンスと計算式
• scipy.spatial.distance.cosine（https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cosine.html）— 1 − cosine 類似度（距離）の実装
• FAISS (Facebook AI Similarity Search)（https://github.com/facebookresearch/faiss/wiki）— 大規模 cosine 類似検索（IVF / HNSW）
• SSDSE-B-2026 公開データ（https://www.nstac.go.jp/use/literacy/ssdse/）— 47 都道府県 × 112 項目で cosine を実演
• Manning『Introduction to Information Retrieval』6.3 章（https://nlp.stanford.edu/IR-book/html/htmledition/dot-products-1.html）— 文書ベクトル空間モデルでの cosine 解説（無料公開）

🗺 概念マップ

「cosine similarity」を中心に、 前提となる内積・ノルム・ベクトル空間モデル、 並列の類似尺度 (ユークリッド距離・ピアソン相関・Jaccard 類似度)、 派生形 (ソフトコサイン・角距離)、 そして応用先 (TF-IDF 文書類似度・推薦システム・k-NN 検索) を放射状に整理した。

コサイン類似度は、 ベクトル間の「向き」のみを比較する尺度で、 大きさ (norm) の影響を受けない点が特徴。 この概念マップは、 前提となる内積・ノルム・ベクトル空間モデルから、 並列のユークリッド距離・ピアソン相関・Jaccard 類似度、 発展形の重み付けコサイン・ソフトコサイン・角距離までを位置づける。 TF-IDF と組み合わせた文書類似度や、 word2vec 埋め込みの意味類似度算出での実用例が中心軸となる。

コサイン類似度の周辺には、 (a) 内積・ノルムというベクトル空間の前提、 (b) ユークリッド距離・ピアソン相関・Jaccard 類似度といった並列の類似尺度、 (c) ソフトコサイン (同義語反映)・重み付けコサイン・角距離などの派生形、 (d) TF-IDF・word2vec・BERT 等の埋め込み手法 (前段)、 (e) k-NN による近傍検索・クラスタリング・レコメンドエンジン (後段) が並ぶ。

文書類似度・推薦システム・検索ランキング・異常検知のいずれでも、 「ベクトル化の方法」と「コサインの解釈 (向きが何を意味するか)」を一対で押さえることが、 結果の妥当性を担保する鍵となる。

🔗 隣接手法への橋渡し

コサイン類似度は「ベクトルの方向のみ」を比較する性質ゆえ、 前処理で大きさ情報をどう扱うかで結果が大きく変わる。 本章では「接続 (どう繋がるか)」「統合 (どう組み合わせるか)」「比較 (どう使い分けるか)」の 3 視点で隣接手法を整理し、 実務での切替判断材料を提供する。

① 接続: コサイン類似度を駆動する周辺技術

コサイン類似度を活かすには、 入力ベクトル化と検索効率化の周辺技術が不可欠。 以下 5 件は実装上ほぼ必ず併用される。

• TF-IDF — テキストを単語頻度ベクトルに変換。 IDF 重みでよくある単語を抑制。 適用シーン: 文書類似度 (ニュース記事のクラスタリング) でコサインを計算する前段。
• 単語埋め込み (word2vec/BERT) — 単語を密ベクトル化。 意味的類似度がコサインで測れる。 適用シーン: 「東京」と「首都」のような同義性を捉えたい時。
• k-NN (近傍検索) — 全候補とのコサイン計算は重いため、 大規模時は近似 k-NN (FAISS、 Annoy) で高速化。 適用シーン: 100 万文書から類似 10 件を取得。
• クラスタリング (球面 k-means) — コサイン類似度を距離としたクラスタリング。 適用シーン: ユーザの興味タグから類似ユーザ群を抽出。
• 協調フィルタリング — ユーザ × アイテム評価行列でコサイン計算。 適用シーン: Netflix 風レコメンド (見た作品が似ている人のおすすめを提示)。

② 統合: コサイン類似度を組み込んだワークフロー

コサインは単独で完結せず、 検索・推薦・分類パイプラインの中核ステップとして機能する。

③ 比較: コサイン類似度 vs 隣接指標の使い分け判断

「ユークリッド距離やピアソン相関ではダメなのか」の判断基準。 実務で迷うポイントを整理。

原則: 「ベクトルの長さに意味がない / 方向だけ知りたい」→ コサイン、 「物理的距離 / 大きさも考慮」→ ユークリッド、 「個人差バイアスを除去したい」→ ピアソン。 テキストや埋め込みではほぼコサイン一択。

🌳 手法選択フロー

コサイン類似度は方向の一致度を測る。 ベクトル化方式と検索規模に応じて使い分ける。

1. ベクトルの大きさを無視したいか？ Yes → コサイン類似度、 No → ユークリッド距離 を先に確認
2. テキスト・高次元疎ベクトルか？ Yes → TF-IDF、 No → 埋め込み を先に確認
3. 最近傍検索で大規模化したいか？ Yes → k-NN、 No → クラスタリング を先に確認

高次元疎データなら TF-IDF + コサイン、 密埋め込みなら内積、 大きさを比較したいならユークリッド距離、 と「無視したい情報」で選ぶ。

🧩 解説深化 — 直感・落とし穴・発展をもう一段

ここまでのセクションを踏まえ、 コサイン類似度の核心（向きだけを見る＝スケール不変）と、 実務で必ずつまずく「大きさを捨てる副作用」を、 SSDSE-B-2026 の実測値で締めくくります。 既存セクションと重複しない補足として、 直感・落とし穴・発展の 3 つに分けて掘り下げます。

🎨 直感（一言で）— 内積を両ノルムで正規化した「向きメーター」

コサイン類似度は、 2 つのベクトルのなす角 $\theta$ の余弦そのものです。 定義 $\cos\theta = \dfrac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\,\|\mathbf{b}\|}$ は「内積を 2 本のノルムの積で割って正規化する」操作。 ノルムで割った瞬間に長さ（大きさ）の情報が消え、 向きだけが残るため、 スケールを 2 倍・10 倍しても値は動きません（スケール不変）。 これが「🎮 触って理解する」の "a を伸ばしても cos は変わらない" の正体です。

• 値域：一般には $-1 \le \cos\theta \le 1$（$1$=同方向、 $0$=直交、 $-1$=真逆）。
• 非負データ（頻度・人口・面積など）：全成分が $\ge 0$ なら内積も分母も非負なので、 値域は$0$〜$1$ に限定される（負にならない）。 TF-IDF や生の SSDSE 列がこれに当たります。
• ユークリッド距離との対比：距離は「位置の隔たり（大きさ込み）」、 コサインは「向きのズレ」。 別物なので、 距離指標ページと合わせて使い分けを押さえます。

⚠️ 落とし穴（核心）— 大きさを捨てる副作用を SSDSE で体感する

コサイン最大の利点「スケール不変」は、 裏を返すと規模・頻度の差が丸ごと消えるという副作用です。 生の非負データではこれが致命的に効き、 まるで全県がそっくりに見えてしまいます。 下表は SSDSE-B-2026（2023 年・47 県）の 3 指標ベクトルを、 生データと列ごと z-スコア標準化の 2 通りで計算した実測コサイン類似度です。

読み方：生データでは 3 ペアとも cos ≈ 0.99〜1.00 で、 東京・沖縄・秋田がすべて「そっくり」に見える。 これは 3 指標がどれも総人口の大小に強く連動し、 一番大きい成分が内積を支配するため。 頻度・規模の差（＝各県の個性）が向きに埋もれて消えているのが、 まさに「大きさを捨てる副作用」です。 列ごとに z-スコア化して規模を揃えると、 東京-沖縄が $-0.885$、 東京-秋田が $-0.999$ と負値に転じ、 人口構成プロファイルがむしろ逆方向だと分かります。

• 負値データの解釈：z-スコア化すると成分に負が混じり cos は $-1$〜$1$ に広がる。 $\cos<0$ は「無関係」ではなく「平均からのズレ方が逆」を意味する。 「類似度が高いほど近い」の直感で負値を放置すると誤読します。
• 中心化するとピアソン相関と一致：各ベクトルから平均を引いて（中心化して）コサインを取ると、 値はピアソン相関 $r$ に一致します（$r = \cos\theta_{\text{centered}}$）。 「甘い/辛い採点」を補正したい推薦システムで cos ではなく相関を使うのはこのため。
• 疎・高次元での挙動：TF-IDF のような疎な高次元では、 ランダムなベクトル同士がほぼ直交（cos ≈ 0）に集中する。 絶対値ではなく上位 $k$ 近傍の順位で判断し、 IDF 重みや次元削減を挟むのが定石。
• ゼロベクトルは未定義：$\|\mathbf{a}\|=0$ だと分母が $0$ になり cos は定義できない。 全項がストップワードの文書などで実際に発生するので、 計算前に norm < eps の行を除外します。
• ユークリッド距離との使い分け：規模そのもの（売上・人口の絶対量）を比べたいなら cos ではなくユークリッド距離。 構成比・向きだけを見たいなら cos。

再現コード（上表を出力）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity
from scipy.stats import zscore

# 47 県 × 3 指標（総人口 A1101・出生数 A4101・65歳以上人口 A1303）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1]).query('`SSDSE-B-2026` == 2023')
X = df[['A1101', 'A4101', 'A1303']].astype(float).values

raw = cosine_similarity(X)                  # 生データ（非負）→ 値域 0〜1
z   = cosine_similarity(zscore(X, axis=0))  # 列ごとに z-スコア化 → 値域 -1〜1

# Prefecture の並び順で東京=12, 大阪=26, 秋田=4, 沖縄=46
print('raw 東京-沖縄 =', round(raw[12, 46], 4))
print('z   東京-沖縄 =', round(z[12, 46], 4))

📤 実行結果:

🚀 発展 — コサイン距離・正規化・ソフトコサイン・近似最近傍

• コサイン距離 $= 1 - \cos\theta$：類似度を距離に変換したもので値域は $[0, 2]$。 上表の z-スコア化で言えば、 東京-大阪は $1-0.9949 = 0.0051$（極めて近い）、 東京-沖縄は $1-(-0.8851) = 1.8851$（真逆に近い）。 クラスタリングや近傍検索では類似度ではなくこの距離を使います（クラスタリング）。
• 正規化するとユークリッドと等価：各ベクトルを単位ベクトル化（$\hat{\mathbf{a}}=\mathbf{a}/\|\mathbf{a}\|$）すれば $\|\hat{\mathbf{a}}-\hat{\mathbf{b}}\|^2 = 2(1-\cos\theta)$ が成り立ち、 コサインと L2 距離が単調変換で結ばれます。 FAISS などが「内積検索」と「コサイン検索」を同一視できる根拠。
• ピアソン相関 = 中心化コサイン（厳密）：中心化（平均を引く）した後のコサインは相関係数 $r$ と厳密に一致します。 「コサインは中心化を省いた相関」「相関はコサインの特殊形」と捉えられます（相関）。
• ソフトコサイン（Soft Cosine）：通常のコサインは異なる次元（別単語）を完全に無関係（直交）とみなすが、 ソフトコサインは単語間の意味的近さ（同義語）を行列 $S$ で織り込み $\dfrac{\mathbf{a}^\top S\, \mathbf{b}}{\sqrt{\mathbf{a}^\top S\mathbf{a}}\sqrt{\mathbf{b}^\top S\mathbf{b}}}$ で測る。 「自動車」と「クルマ」を別語として切り捨てない拡張です（埋め込みと相性がよい）。
• 近似最近傍探索（ANN）：数百万ベクトルから類似上位を取るとき、 全ペアの $O(n^2 d)$ は非現実的。 HNSW・IVF（FAISS）・Annoy などの近似最近傍で、 コサイン（＝正規化後の内積）検索を高速化します（k-NN・RAG ベクトル検索）。

より広い文脈は テキスト類似度、 前提の数学は ベクトル計算・内積・ノルム、 応用は 推薦システム の各ページへ。