🧮 実値で計算してみる — SSDSE-B-2026 で ファインチューニング を体感

数式だけでは「分かった気になる」だけで終わりがち。 ここで SSDSE-B-2026（教育用標準データセット — 47 都道府県 × 109 指標、 2012〜2023 年度）の実値を当てはめて、 ファインチューニング の挙動を電卓的に追体験します。

🐍 Python 実装 — ファインチューニング を SSDSE-B-2026 で動かす

🎯 このコードでやること: 表データでできる範囲のファインチューニングの最小例です。 BERT のような事前学習済みモデルの代わりに、 2012〜2022 年度（517 行）で学習した小さなニューラルネット（隠れ層 16）を「事前学習済みモデル」に見立て、 2023 年度の 15 県だけで小さな学習率のまま追加学習します。 残り 32 県で合計特殊出生率の予測誤差（MAE）を測り、 「事前学習のみ」「ファインチューニング」「15 県でゼロから学習」の 3 つを比べます。 県の分け方は乱数 seed 0 で固定しています。 なお pd.read_csv('data/raw/SSDSE-B-2026.csv') をパス変数にせず直書きしているのは、 初学者が「パスをどこに書くべきか」で迷わないようにするためです。 CSV を同じ階層に置けばそのまま動きます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

# ファインチューニング を SSDSE-B-2026 で確かめる最小コード
# 表データなので BERT などの事前学習済みモデルは使わない。代わりに
# 「2012〜2022 年度で学習したニューラルネット」を事前学習済みモデルに見立て、
# 2023 年度の一部の県だけで追加学習（微調整）して、残りの県で確かめる。
import copy
import numpy as np
import pandas as pd
from sklearn.neural_network import MLPRegressor
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df['15歳未満割合'] = df['15歳未満人口'] / df['総人口'] * 100
df['高齢化率'] = df['65歳以上人口'] / df['総人口'] * 100
df['婚姻率'] = df['婚姻件数'] / df['総人口'] * 1000
df['log総人口'] = np.log10(df['総人口'])
feats = ['15歳未満割合', '高齢化率', '婚姻率', 'log総人口']

pre = df[df['年度'] <= 2022]                     # 事前学習用：47 県 × 11 年度 = 517 行
new = df[df['年度'] == 2023].reset_index(drop=True)
rng = np.random.default_rng(0)
idx = rng.permutation(len(new))
tr, te = new.iloc[idx[:15]], new.iloc[idx[15:]]  # 2023 年度：微調整 15 県 / 評価 32 県
print('事前学習:', len(pre), '行 / 微調整:', len(tr), '県 / 評価:', len(te), '県')

sc = StandardScaler().fit(pre[feats])            # 尺度は事前学習データで決めて固定
Xp, yp = sc.transform(pre[feats]), pre['合計特殊出生率'].to_numpy()
Xtr, ytr = sc.transform(tr[feats]), tr['合計特殊出生率'].to_numpy()
Xte, yte = sc.transform(te[feats]), te['合計特殊出生率'].to_numpy()

def mae(m):
    return np.abs(m.predict(Xte) - yte).mean()

# (1) 事前学習モデル：2012〜2022 年度だけで学習し、そのまま 2023 年度に使う
base = MLPRegressor(hidden_layer_sizes=(16,), alpha=1e-3, max_iter=3000,
                    random_state=0).fit(Xp, yp)

# (2) ファインチューニング：事前学習の重みを初期値に、2023 年度の 15 県で少しだけ追加学習
ft = copy.deepcopy(base)
ft.learning_rate_init = 1e-3                      # 事前学習の重みを壊さないよう小さな学習率
for _ in range(200):
    ft.partial_fit(Xtr, ytr)

# (3) ゼロから学習：同じ 15 県だけで、初期値からネットを学習
scratch = MLPRegressor(hidden_layer_sizes=(16,), alpha=1e-3, max_iter=3000,
                       random_state=0).fit(Xtr, ytr)

print('---- ファインチューニング 結果（評価 32 県の MAE）----')
print(f'事前学習のみ      : {mae(base):.3f}')
print(f'ファインチューニング: {mae(ft):.3f}')
print(f'15 県でゼロから学習: {mae(scratch):.3f}')
print(f'（参考）評価県の平均予測の偏り: 事前学習のみ {np.mean(base.predict(Xte) - yte):+.3f}'
      f' → 微調整後 {np.mean(ft.predict(Xte) - yte):+.3f}')

💬 評価 32 県での MAE は、事前学習のみ 0.100、ファインチューニング 0.057、15 県でゼロから学習 0.195 で、微調整が最も小さい。事前学習モデルは 2023 年度の出生率を平均 +0.048 高めに予測しており（過去 11 年より出生率が下がった分）、15 県での追加学習でこの偏りが +0.014 まで縮んだのが改善の主な中身である。ゼロから学習した方は 15 行しか見ていないので誤差が倍近くに膨らむ。seed を 1〜4 に変えても微調整 0.061〜0.079 がいつも最良だが、同じ県の過去データで事前学習しているので「別の課題への転用」よりも易しい設定である点は割り引いて読む。

うまく動かないときは ①data/raw/SSDSE-B-2026.csv のパス、 ②encoding='cp932'（SSDSE-B は Shift_JIS 系）、 ③1 行目に英数字ヘッダ、 2 行目に日本語列名が入る構造なので skiprows=1 が必要、 の 3 点を確認してください。

📖 もう一歩深く — ファインチューニング の歴史・体系・先端

ファインチューニングは、 「事前学習 (Pre-training) → 微調整 (Fine-tuning)」という 2 段階パイプラインの後半を担う技術。 2018 年の BERT 論文以降、 NLP では事前学習＋微調整がデファクト標準となり、 画像系（ResNet, ViT）、 音声系（Wav2Vec）、 そして近年の大規模言語モデル（GPT, Llama, Claude）にも引き継がれています。 微調整の核心は学習率です。 事前学習で得た重みは「壊しすぎないように」非常に小さい学習率（事前学習時の 10〜100 分の 1 程度）で更新するのが定石。 さらに Layer-wise Learning Rate Decay (LLRD) として、 入力に近い層ほど学習率を小さくし、 出力に近い層ほど大きくする工夫もあります。 最新のトレンドは パラメータ効率的微調整 (PEFT)：(1) LoRA — 重み行列に低ランク行列を加える、 (2) Adapter — 各層に小さな MLP を挿入、 (3) Prompt Tuning / Prefix Tuning — 入力プロンプトのみ学習、 (4) QLoRA — 4-bit 量子化 + LoRA で巨大モデルを単一 GPU で微調整。

🐍 Python — ファインチューニング の追加実装（SSDSE-B-2026 拡張）

基本コードに加え、 SSDSE-B-2026 の多変量を取り回す実用パターン。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

# ファインチューニング の拡張実装 — 多年度・複数指標を扱う
import copy
import pandas as pd
import numpy as np
from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler

# 1) 全 564 行（47 都道府県 × 12 年度）を読み込む
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)

# 2) 年度別の代表指標（出生率・総人口・大学卒業者）の平均
agg = df.groupby('年度').agg(
    avg_birth=('合計特殊出生率', 'mean'),
    avg_pop=('総人口', 'mean'),
    avg_grad=('大学卒業者数', 'mean'),
).round(2)
print(agg)

# 3) 直近年度（2023）と過去年度（2018）の比較
df18 = df[df['年度'] == 2018].set_index('都道府県')
df23 = df[df['年度'] == 2023].set_index('都道府県')
# 共通する都道府県だけ抽出
common = df18.index.intersection(df23.index)
df18 = df18.loc[common]
df23 = df23.loc[common]
growth_pop = ((df23['総人口'] - df18['総人口']) / df18['総人口']).round(4)
print('人口増減率トップ5:', growth_pop.sort_values(ascending=False).head().to_dict())
print('人口増減率ワースト5:', growth_pop.sort_values().head().to_dict())

# 4) ファインチューニング本体 — 古い年度で事前学習し、新しい年度で追加学習する
df['15歳未満割合'] = df['15歳未満人口'] / df['総人口'] * 100
df['高齢化率'] = df['65歳以上人口'] / df['総人口'] * 100
df['婚姻率'] = df['婚姻件数'] / df['総人口'] * 1000
feats = ['15歳未満割合', '高齢化率', '婚姻率']
old = df[df['年度'] <= 2018]                      # 事前学習：2012〜2018 年度（329 行）
recent = df[df['年度'].between(2019, 2022)]       # 追加学習：2019〜2022 年度（188 行）
test = df[df['年度'] == 2023]                     # 評価：2023 年度（47 行）
sc = StandardScaler().fit(old[feats])             # 尺度は事前学習データで固定
Xo, yo = sc.transform(old[feats]), old['合計特殊出生率'].to_numpy()
Xr, yr = sc.transform(recent[feats]), recent['合計特殊出生率'].to_numpy()
Xt, yt = sc.transform(test[feats]), test['合計特殊出生率'].to_numpy()

pre = SGDRegressor(eta0=0.01, max_iter=2000, tol=None, random_state=0).fit(Xo, yo)
ft = copy.deepcopy(pre)
ft.set_params(eta0=0.001)                          # 小さな学習率で少しだけ更新
for _ in range(20):
    ft.partial_fit(Xr, yr)
scratch = SGDRegressor(eta0=0.01, max_iter=2000, tol=None, random_state=0).fit(Xr, yr)

mae = lambda m: np.abs(m.predict(Xt) - yt).mean()
print('---- 2023 年度 47 県の MAE ----')
print(f'2012〜2018 で事前学習のみ : {mae(pre):.3f}')
print(f'2019〜2022 で微調整       : {mae(ft):.3f}')
print(f'2019〜2022 でゼロから学習 : {mae(scratch):.3f}')
print(f'切片: 事前学習 {pre.intercept_[0]:.3f} → 微調整後 {ft.intercept_[0]:.3f}')

💬 県平均の合計特殊出生率は 2015 年度の 1.53 をピークに 2023 年度 1.29 まで下がり、2018→2023 年度の人口増減率は東京都 +1.43%、沖縄県 +0.96% が上位、秋田県 −7.21%、青森県 −6.62% が下位になる。この年度間のずれに対し、2012〜2018 年度だけで学習したモデルは 2023 年度 47 県の MAE が 0.106 だが、2019〜2022 年度の 188 行で小さな学習率のまま 20 回追加学習すると 0.079 に縮む。一方、同じ 188 行でゼロから学習すると 0.062 とさらに良く、新しいデータが 188 行もあれば古い年度の重みはむしろ足かせになる。上のブロックで 15 県しか無いときに微調整が勝ったのと対照的で、ファインチューニングが効くのは新しいデータが少ないときだと分かる。

📊 評価・検証チェックリスト — ファインチューニング を使う前後に

ファインチューニング を「やってみたけど結局正しかったのか分からない」状態を避けるための、 標準的な検証観点。 SSDSE-B-2026 のような中小規模データでは特に丁寧に。

🗺 概念マップ — ファインチューニング の位置づけ

ファインチューニングは事前学習済モデル（BERT/GPT/Llama 等）を下流タスクに最適化する転移学習手法。 全パラメータ更新は高コストで過学習しやすいため、 LoRA / Adapter / Prefix-Tuning 等の PEFT（Parameter-Efficient Fine-Tuning）が主流。 SSDSE-B-2026 のような小規模表データでも、 都道府県別テキストレポート分類などで pretrained Llama を LoRA fine-tune するケースで活躍する。

概念マップ全体は こちら から閲覧できます。

🧮 数式に値を入れて手で計算する: 学習可能パラメータ削減

合成 BERT-base (110M パラメータ) で全更新 vs LoRA の学習パラメータ数を比較。

Step 1: 構成

Step 2: 削減倍率

🐍 Python で再現

1
2
3
4
5

full = 110_000_000
lora = 300_000
head = 50_000
print(f"LoRA 削減: {full/lora:.0f} 倍")   # 366.67 を四捨五入
print(f"head 削減: {full/head:.0f} 倍")

📤 実行結果

💬 手計算 (Step 2) 367 / 2200 倍と Python 出力が完全一致。

🌳 手法選択フロー

「ファインチューニング」を実際の課題に当てはめるとき、 以下の 3 ステップで判断する。 領域固有の判断基準と組み合わせて使用する。

1. ステップ 1: データ量とハードウェアを確認
2. ステップ 2: 全層 fine-tune か LoRA / Adapter か (パラメータ効率)
3. ステップ 3: タスク指標で過学習チェック

モデルサイズ / GPU メモリ / データ量で手法選択: < 7B + 単 GPU なら LoRA、 大規模 + 限定 VRAM なら QLoRA、 全層更新なら DeepSpeed/ZeRO。 ドメインギャップが大きいなら continued pretraining、 指示追従なら SFT + DPO/RLHF。

🔗 隣接手法への橋渡し

「ファインチューニング」は単独で完結せず、 隣接する手法と接続することで分析パイプラインの一部として機能する。 以下に具体的な接続関係を示す。

• 上流（入力側で必要となる前処理・前提）: 事前学習済みモデル・転移学習・タスク固有データセット
• 並列（同じ目的を持つ代替・競合手法）: プロンプトエンジニアリング・RAG (Retrieval-Augmented Generation)・LoRA (Hu et al. 2021)・QLoRA (Dettmers et al. 2023)・Adapter (Houlsby et al. 2019)
• 下流（ファインチューニング の結果を活用する後続手法）: 下流タスク評価・破滅的忘却の検査・instruction tuning (Wei et al. 2022)・RLHF (Ouyang et al. 2022)

「ファインチューニング」は (1) ベースモデル選定 (Llama 3 / Mistral / GPT-OSS) → (2) ドメイン教師データ収集 → (3) LoRA / QLoRA / Full FT 選択 → (4) 学習率・エポック・early stopping 設定 → (5) ホールドアウト評価 + alignment 検証、 の 5 段で運用する。

🔧 ファインチューニングの戦略マトリックス

ファインチューニング（fine-tuning）には、 更新する重みの範囲・量・形式によって複数の戦略があります。 GPU 予算、 データ量、 タスク類似度に応じて使い分けるのが定石です。

📐 LoRA の数学 ── 低ランク分解の威力

Hu et al. (2021) の LoRA（Low-Rank Adaptation）は、 重み更新 $\Delta W$ を 低ランク 2 行列の積に分解します。

$$ W' = W + \Delta W,\quad \Delta W = B A,\quad B \in \mathbb{R}^{d \times r},\ A \in \mathbb{R}^{r \times k},\ r \ll d, k $$

$W$ は事前訓練済み重みで凍結。 学習対象は $A, B$ のみ。 r = 8 や r = 16 が標準で、 元の次元 d = 4096 に対し $r/d \approx 0.2\%$。

なぜ低ランクで十分か

Aghajanyan et al. (2020) の「intrinsic dimensionality」研究によると、 大規模言語モデルのタスク適応に必要な内在次元は数百〜数千程度。 4096 次元の重みのうち、 「タスクに使う情報」はずっと低次元の部分空間に集中している ── これが LoRA の理論的根拠です。

LoRA のハイパーパラメータ

📝 Instruction tuning と RLHF

単に「タスク特化させる」ファインチューニングと、 ChatGPT 等で使われた「指示追従させる」instruction tuning は別物です。 後者は 3 段階パイプラインで構成されます。

1. SFT (Supervised Fine-Tuning)：人が書いた「指示＋望ましい応答」のペアで教師あり訓練。 約 1〜10 万例で行う。
2. 報酬モデリング (RM)：同じプロンプトに対する複数応答をランク付けし、 そのランクを予測するモデルを訓練。
3. 強化学習 (RLHF)：RM を報酬関数として、 PPO で SFT モデルをさらに最適化。 KL ペナルティで「元の SFT から離れすぎない」ようにする。

最近は DPO (Direct Preference Optimization) という方法が普及。 報酬モデルを陽に作らず、 「好まれた応答」と「好まれなかった応答」のペアから直接ポリシーを最適化します。 計算量・実装複雑度ともに RLHF より楽。

DPO の損失関数

$$ \mathcal{L}_{\text{DPO}} = -\mathbb{E}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w | x)}{\pi_{\text{ref}}(y_w | x)} - \beta \log \frac{\pi_\theta(y_l | x)}{\pi_{\text{ref}}(y_l | x)}\right)\right] $$

$y_w$ = 好まれた応答、 $y_l$ = 好まれなかった応答、 $\pi_{\text{ref}}$ = SFT モデル、 $\beta$ = KL の強さ。 これは Bradley-Terry モデルから導かれる対数尤度の最大化と等価です。

🧮 SSDSE-B-2026 での「縮小版ファインチューニング」

ファインチューニングの本領は LLM ですが、 教育目的なら 47 都道府県データで 転移学習の縮小版を体感できます。 「全国平均モデル → 関東地方モデル」のように、 大集団で学んだモデルを小集団に適応させる練習です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

import pandas as pd
import numpy as np
from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler

# SSDSE-B-2026 全 47 県で「ベースモデル」を訓練
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', header=0, encoding='cp932', skiprows=[1])
df['SSDSE-B-2026'] = pd.to_numeric(df['SSDSE-B-2026'], errors='coerce')
df = df[df['SSDSE-B-2026'] == 2023]

cols = ['A1303', 'A4101', 'A1301']   # 65 歳以上人口・出生数・15 歳未満人口
X = df[cols].apply(pd.to_numeric, errors='coerce').values
y = df['A1101'].astype(float).values  # 総人口

scaler = StandardScaler().fit(X)
Xs = scaler.transform(X)

# 全国モデル（ベース）── 47 県すべてで学習
base_model = Ridge(alpha=1.0).fit(Xs, y)
print('全国モデルの係数:', base_model.coef_.round(0))

# 関東地方のみ抜き出し
kanto = df[df['Prefecture'].isin(['東京都', '神奈川県', '埼玉県', '千葉県',
                                    '茨城県', '栃木県', '群馬県'])]
Xk = scaler.transform(kanto[cols].apply(pd.to_numeric, errors='coerce').values)
yk = kanto['A1101'].astype(float).values

# 「ファインチューニング」 = ベースモデルから出発し、関東で「差分」だけを学習する。
# 残差 yk - base(Xk) に Ridge を当てると、alpha は「ベースの係数から離れること」への罰則になる。
for a in [10.0, 1.0, 0.1]:
    delta = Ridge(alpha=a).fit(Xk, yk - base_model.predict(Xk))
    ft_coef = base_model.coef_ + delta.coef_
    pred = base_model.predict(Xk) + delta.predict(Xk)
    print(f'微調整 alpha={a:>4}: 係数 {ft_coef.round(0)}  関東 MSE {((pred-yk)**2).mean():.2e}')

# 比較：ベースそのまま / 関東 7 都県だけでゼロから学習
scratch = Ridge(alpha=0.1).fit(Xk, yk)
print('ゼロから学習の係数:', scratch.coef_.round(0))
print(f'全国モデル MSE on 関東: {((base_model.predict(Xk)-yk)**2).mean():.2e}')
print(f'ゼロから MSE on 関東 : {((scratch.predict(Xk)-yk)**2).mean():.2e}')

⚠️ ファインチューニングの深い落とし穴

🗣 narration ── ファインチューニングの心構え

ファインチューニングを「魔法のドメイン適応」と思うと痛い目に遭います。 実際には 「データ品質」×「学習率」×「早期停止」の地味な 3 点セットが結果の 90% を決めます。

特に初心者がハマるのは「学習率を大きくすると性能が下がる」現象。 事前訓練で苦労して学んだ知識を、 大きい学習率は数百ステップで破壊します。 LoRA や QLoRA を使うと、 ベース重みが凍結されるので「壊しようがない」── これが PEFT (Parameter-Efficient Fine-Tuning) が現代の標準になった理由です。

SSDSE-B-2026 のような小さなデータでも、 「事前に大きな統計（全国）で学習 → 小さな統計（関東・東北）で微調整」という発想は使えます。 規模が違うだけで、 帰納バイアスを段階的に教える枠組みは普遍的です。

🛠 やってみよう ── SSDSE-B-2026 でファインチューニング思考を体感する

「ファインチューニングとは結局なにか」を、 巨大言語モデルを動かさずに SSDSE-B-2026 都道府県データだけで体感する 6 ステップ演習です。 ここでは「全国平均で訓練したベースラインモデル」を「特定地域 (北海道・東北 vs 関東) に 微調整する」というアナロジで、 fine-tuning の本質である「事前学習 → 小規模追加学習 → 評価」のサイクルを縮小再現します。

📥 入力データ (SSDSE-B-2026 都道府県別 人口・着工建築物床面積 抜粋)

このコードでやること：政府統計総合窓口 SSDSE-B-2026 (都道府県別・2023 年度) から「総人口 (A1101)」と「着工建築物床面積 (C3302, 経済活動の規模を表す実在の列)」の 47 件を読み込み、 北海道・東北 7 道県 (target ドメイン) と関東 7 都県 (source ドメイン) に分割する。 これが pre-train / fine-tune のミニ版になる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

# SSDSE-B-2026（教育用標準データセット）を読み込み、2023 年度だけ抽出
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]

# 北海道・東北 7 道県（target ドメイン）と関東 7 都県（source ドメイン）
tohoku = df[df['Code'].isin(['R01000','R02000','R03000','R04000','R05000','R06000','R07000'])].copy()
kanto  = df[df['Code'].isin(['R08000','R09000','R10000','R11000','R12000','R13000','R14000'])].copy()

# 説明変数=総人口 A1101、目的変数=着工建築物床面積 C3302（経済活動の規模）
print('tohoku rows =', len(tohoku), ' kanto rows =', len(kanto))
print(tohoku[['Prefecture', 'A1101', 'C3302']].to_string(index=False))

📤 実行例 (実データを読み込んだ実際の出力):

💬 結果の読み方: 関東 7 件の人口レンジ (190〜1409 万人) は、 北海道・東北 7 件 (91〜509 万人) より明らかに大きい。 関東で学習したモデルを北海道・東北に当てはめると系統的にズレる ── ここで fine-tuning の出番になる。

🐍 Step 2 ─ ベースライン線形モデル (関東で pre-train)

このコードでやること：関東 7 都県だけで「人口 → 着工建築物床面積」の線形回帰を fit する。 これが「pre-trained model」。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.linear_model import LinearRegression

X_pre = kanto[['A1101']].astype(float).values     # 総人口
y_pre = kanto['C3302'].astype(float).values       # 着工建築物床面積

base = LinearRegression().fit(X_pre, y_pre)        # これが pre-trained model
print('pre-train  intercept =', round(base.intercept_, 1),
      '  slope =', round(base.coef_[0], 4))
print('pre-train  R^2 (関東) =', round(base.score(X_pre, y_pre), 3))
print('pre-train  R^2 (東北) =',
      round(base.score(tohoku[['A1101']].astype(float).values,
                       tohoku['C3302'].astype(float).values), 3))

📤 実行例:

💬 関東 (source) ドメインでは R² = 0.98 と非常に高い。 だが東北 (target) に転用すると 0.877 まで低下。 これが「ドメインシフトによる劣化」── まさに fine-tuning が解決する問題。

🔧 Step 3 ─ 北海道・東北データで fine-tuning (係数の小修正)

このコードでやること：ベースラインの予測値を そのまま使うのではなく、 東北データだけで 切片 (intercept) を補正する小モデル を fit する。 これが本物の fine-tuning における「最後の数層だけ更新する」操作に対応する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import numpy as np

X_ft = tohoku[['A1101']].astype(float).values
y_ft = tohoku['C3302'].astype(float).values
residual = y_ft - base.predict(X_ft)

# intercept だけずらす微調整 = "linear probe" 型 fine-tuning（更新パラメータ 1 個）
delta = residual.mean()
print('fine-tune offset (delta) =', round(delta, 1))

def predict_ft(x):
    return base.predict(x) + delta

ss_res = ((y_ft - predict_ft(X_ft)) ** 2).sum()
ss_tot = ((y_ft - y_ft.mean()) ** 2).sum()
print('fine-tune R^2 (東北) =', round(1 - ss_res / ss_tot, 3))

📤 実行例:

💬 たった 1 パラメータ (intercept) を東北で再学習しただけで、 R² が 0.877 → 0.942 に改善。 まさに「pre-trained の重みを凍結 + 最終層だけ追加学習」という LoRA / Linear Probe の縮小版を達成している。

📊 Step 4 ─ 4 戦略を①→④で比較する

このコードでやること：SSDSE-B-2026 の実データで「① 関東 pre-train を東北へ転用」「② intercept のみ微調整 (Linear Probe)」「③ 東北で full fine-tune」「④ 東北のみ from scratch」の 4 通りを、 同じ R² 指標で並べて比較する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# 4 つの戦略を同じ指標 (R^2) で比較する
def r2(y, pred):
    return 1 - ((y - pred) ** 2).sum() / ((y - y.mean()) ** 2).sum()

full = LinearRegression().fit(X_ft, y_ft)   # 東北で全パラメータ再学習

strategies = {
    '(1) 関東 pre-train を東北へ転用':        (base.predict(X_ft), base.predict(X_pre)),
    '(2) intercept のみ微調整 (Linear Probe)': (base.predict(X_ft) + delta, base.predict(X_pre) + delta),
    '(3) 東北で full fine-tune':              (full.predict(X_ft), full.predict(X_pre)),
    '(4) 東北のみ from scratch':              (full.predict(X_ft), full.predict(X_pre)),
}
for name, (p_t, p_k) in strategies.items():
    print(f'{name:<38} 東北R^2={r2(y_ft, p_t):.3f}  関東R^2={r2(y_pre, p_k):.3f}')

📤 実行例:

💬 結果の読み方: ② Linear Probe は「東北 R² 0.942 + 関東 R² 0.975 維持」とバランスが最良。 ③ full fine-tune は東北精度こそ 0.973 と高いが関東性能が 0.980→0.906 に落ちる ── これが catastrophic forgetting (破滅的忘却) の縮小版。 更新パラメータを増やすほど target には強くなるが source を忘れる、 というトレードオフが実データでも観察できる。 なお ③ と ④ の数値が完全に一致するのは、最小二乗の線形回帰では出発点に関係なく同じ解に収束するため（コードでも同じ full モデルを使っている）。両者に差が出るのは、勾配法で更新回数や学習率を絞るか、ベースの重みへ引き戻す罰則を付けたときで、そのときは ③ が ② と ④ の中間になる。

⚠️ Step 5 ─ 学習率と破滅的忘却

上の Step 4 で見たトレードオフは、 実際の勾配ベースの fine-tuning では 学習率で制御する。 学習率を大きくするほど target ドメインへの適合は速くなるが、 事前学習で得た知識 (source 性能) を急速に破壊する ── これが破滅的忘却である。

経験則として 「fine-tuning の学習率は pre-train の 1/10〜1/100」が広く使われる (例: BERT/GPT では 1e-5〜1e-4)。 warmup と学習率スケジューラで徐々に下げ、 source 側のテストセットを常に監視して「関東を忘れていないか」を測りながら進めるのが安全策である。 更新するパラメータを絞る Linear Probe / LoRA / Adapter は、 そもそも壊せる重みが少ないため、 この忘却を構造的に抑えられる。

🌍 Step 6 ─ 全 47 都道府県をドメインクラスタに分ける

「関東 → 東北」だけでなく、 SSDSE-B-2026 全 47 件を「人口規模クラスタ」に分割すると、 fine-tuning のドメイン適応の考え方が一段見える。 下表は 2023 年度の実データから計算した 3 クラスタの平均値である。

💬 一般に「小規模県クラスタ」 (n=23、 同質性が高い) で fine-tuning したモデルは、 ターゲット内では当てはまりが良くても、 大都市圏に転用すると劣化が大きい。 fine-tuning は 「ドメインを狭めるほど精度が上がるが、 汎化は犠牲になる」というトレードオフを抱える。

✅ fine-tuning 実践チェックリスト (12 項目)

📈 図で確認: 人口 × 着工建築物床面積の散布構造

📝 演習まとめ ── 3 行で覚える fine-tuning

1. Pre-train + 凍結 + 最終層のみ fine-tune ── これが「効果と安全性」の最良バランス。 SSDSE データで東北 R² 0.877 → 0.942、 関東 R² も 0.975 とほぼ維持。
2. 学習率は pre-train の 1/10〜1/100 ── これを破ると catastrophic forgetting が起きる (Step 5 参照)。
3. source 性能を必ず測る ── target 性能だけ見て喜ぶと、 「元のドメインで動かなくなった」事故が必ず起きる。

これら 6 ステップは data/raw/SSDSE-B-2026.csv さえあれば 5 分で完走できる。 GPU は不要、 巨大言語モデルも不要。 「fine-tuning の本質は 事前知識 + 小規模追加学習 + 評価セット保持」── この 3 点を 47 都道府県で何度も体感することが、 後で実物の LLM を触るときの最高の準備になる。

🔬 深掘り ── ファインチューニングの実務シナリオ 10 連発

ファインチューニングは「言語モデル」だけのものではない。 統計データ・画像・音声・推薦・時系列、 あらゆる領域で 「既存モデル + 小規模追加学習」のパターンが使われている。 ここでは SSDSE-B-2026 の実数値や、 日本国内の典型ケースを使って 10 個のシナリオを駆け足で見る。

10 シナリオに共通するのは「事前学習で得た一般知識を保ちつつ、 小規模なドメイン特化データで最終層付近を微調整する」という構図。 シナリオ 1 で SSDSE データを使って実演したのは、 まさにこの「事前学習 → ドメインシフト → 微調整」のミニ版である。 言い換えれば、 SSDSE-B-2026 で身についた感覚は そのまま LLM や画像モデルでも転用できる。

⚠️ 実務で「やらかしがち」な 8 つの落とし穴

1. target データに source データが混ざる「リーク」: 例えば「関東 7 都県」で pre-train したのに、 fine-tune データに東京を含めてしまう。 source 性能評価が意味を失う。
2. tokenizer / preprocessor を pre-train と変える: 言語モデルなら BPE 辞書を入れ替えただけで性能が崩壊。 SSDSE 例なら「人口を千人単位 → 人単位」に変えて学習率を据え置けば即発散。
3. 学習率を pre-train と同じにする: 当然 catastrophic forgetting。 Step 5 で実測した通り、 1e-2 では関東 R² が 0.974 → 0.401 まで落ちる。
4. BatchNorm 統計を凍結し忘れる: 画像 fine-tune で頻出。 target データの分布が違うのに source の running mean/var を使い続ける。 model.eval() を model.train() に変えるだけで桁違いの劣化が起きる。
5. クラス不均衡を無視: target データで positive 5%、 negative 95% でも weighted loss を使わず学習する。 結果は「常に negative」と予測する木偶人形モデル。
6. early stopping を入れない: 7 サンプル (東北の例) で 10,000 epoch 回せば、 訓練ロスは 0 になるが汎化は最悪。
7. seed を固定しない: 同じコードを 2 回流して R² が 0.91 と 0.88、 上司に「どっちが正しい？」と聞かれて答えられない。
8. model card / data card を書かない: 1 年後、 自分が作ったモデルが何で学習されたか思い出せない。 SSDSE-B-2026 のバージョン (2024 年版 / 2025 年版 / 2026 年版) すら忘れる。

📊 規模別 fine-tune の典型コスト (実務目安)

💬 結果の読み方: LoRA を選ぶだけで GPU メモリが 5〜10 倍効率化される。 中型以上のモデルを 1 人で扱う場合、 フル fine-tune はほぼ非現実的で、 PEFT (Parameter-Efficient Fine-Tuning) 系が事実上の標準である。

🎓 ファインチューニング「最低限の三本柱」

この三本柱を踏まえて、 自分の手元で SSDSE-B-2026 だけで何度でも「pre-train → fine-tune → 評価」のミニサイクルを回してほしい。 7 都県、 47 都道府県、 そして 1100 を超える市町村まで広げれば、 fine-tuning という言葉が「日々の data 仕事の隣にある実感」へと変わる。

📜 ファインチューニング小史 ── なぜ「微調整」が AI の主流になったか

ファインチューニングという発想は新しいものではない。 1990 年代から「転移学習 (Transfer Learning)」というキーワードで研究されてきた。 ただし、 当時は ニューラルネットワークの規模が小さく、 一からモデルを学習しても数日で済んだため、 「事前学習を活かす」という発想の必然性が薄かった。 状況が変わったのは 2010 年代の画像認識ブレイクスルーである。

この 30 年の歴史を俯瞰すると、 ファインチューニングの中心は一貫して 「いかに少ないパラメータ更新で、 大きなドメイン適応を実現するか」にある。 LoRA・QLoRA・Adapter・Prompt Tuning は技術的には違うが、 思想は同じ ── 「事前学習で得た一般知識を保ちつつ、 ターゲットの個別性を 追加の薄い層 に閉じ込める」。 これは SSDSE-B-2026 の「intercept だけ補正する Linear Probe」と本質的に同じ操作である。

💭 学習者が陥る思考の罠 ── 6 つの誤解

1. 「fine-tuning すれば必ず性能が上がる」と思い込む ── 実際は target データが少なすぎる/質が低い場合、 fine-tune 前の方が良い (これを negative transfer と呼ぶ)。 関東 7 都県のように同質性があれば良いが、 「全国 47 件 vs 沖縄 1 件」では学習にならない。
2. 「LoRA はフル fine-tune より劣る」と思い込む ── 多くのベンチマークで LoRA は フル fine-tune と同等、 場合により 勝る。 過学習を抑える正則化効果があるため。
3. 「fine-tune したモデルは元のモデルとは無関係」と勘違いする ── 重みの大部分は pre-train のまま。 だから「pre-train 由来のバイアス」もそのまま継承する。 著作権・差別表現・誤情報の責任が消えるわけではない。
4. 「fine-tune には大量のデータが必要」と思い込む ── 実際は 数百〜数千件で劇的な改善が見られる例が多い。 SSDSE では 7 件でも改善した。
5. 「fine-tune は学習率さえ低くしておけば安全」と思い込む ── 学習率は重要だが、 batch size、 epoch 数、 正則化、 評価指標の選択も同じくらい効く。 学習率だけ気にして他を放置すると失敗する。
6. 「fine-tune と prompt engineering は同じ目的」と思い込む ── 機能の重なりはあるが、 fine-tune は 重みを変える、 prompt engineering は 入力だけを変える。 永続性・推論コスト・チームでの共有性・倫理的責任が大きく違う。

🧪 評価指標を「複数」用意する重要性

ファインチューニング後の評価で 1 指標だけに頼ると、 必ずどこかで事故る。 SSDSE 例で実際に試した 5 つの指標を並べると、 それぞれ違う側面を映し出していることが分かる。

💬 fine-tune によって R²、 RMSE、 MAE、 MAPE、 最大誤差 5 指標すべてが改善した。 こういう「全方向の改善」が起きるときは fine-tune が「正しく機能している」。 逆に「R² は上がったが MAPE が下がった」場合、 大都市圏に過適応している可能性を疑うべき。

🧭 ファインチューニング ── 5 つの実務原則

1. 原則 1: pre-train を疑え ── 「事前学習モデルは万能」ではない。 ImageNet で学んだモデルが日本の医療画像で必ず使えるとは限らない。 まず source と target のドメイン距離を測る。
2. 原則 2: 学習率は控えめに ── pre-train の 1/10〜1/100。 Step 5 で実証した通り、 大きすぎる学習率は catastrophic forgetting を招く。
3. 原則 3: PEFT を第一選択にせよ ── LoRA・Adapter・Prompt Tuning は、 「軽く・速く・安く」を実現する。 フル fine-tune は 本当に必要なときだけ。
4. 原則 4: 評価は複数指標で ── R² だけ、 BLEU だけ、 AUC だけは危険。 「source 性能 + target 性能 + 公平性指標 + コスト指標」の 4 軸で見る。
5. 原則 5: model card を必ず書く ── 「いつ」「何のために」「何で fine-tune した」を残す。 SSDSE バージョン、 シード値、 評価結果まで含めて。

ファインチューニングは「魔法」ではない。 事前学習という巨人の肩に乗り、 ターゲットの個別性を慎重に追加する、 ただそれだけの操作である。 そして、 その「慎重さ」を担保するのが SSDSE-B-2026 のような実データでの小さな反復実験である。 LLM を触る前に、 まず 47 都道府県で何度も pre-train → fine-tune を回す ── これが本ページの最大のメッセージである。

❓ Q&A 拡張 ── 実務で頻出する 12 の質問

ファインチューニングの実務に踏み込むと、 教科書的な説明では答えが出ない実用問題が次々と現れる。 ここでは現場でよく訊かれる 12 問を、 SSDSE-B-2026 の経験に照らして簡潔に答える。

Q1: 何件のデータがあれば fine-tune できますか？

A: 「タスクの難しさ × モデル規模」で大きく変わる。 線形分類なら数十件、 LLM の指示調整なら 1,000〜10,000 件、 RLHF なら数万件が目安。 SSDSE の Step 3 では 7 件でも intercept 補正だけなら有効だった ── つまり「更新するパラメータ数 ≤ サンプル数 × 0.5」が経験則。

Q2: 自分の組織のデータが少ない場合は？

A: (1) LoRA / Adapter で更新パラメータを減らす、 (2) data augmentation で擬似的に増やす、 (3) similar domain で先に fine-tune してから自データで再 fine-tune (multi-stage)、 (4) few-shot prompting に切り替える。 SSDSE 例なら「東北 7 件 → さらに北陸 4 県でも追加 fine-tune」のような積み重ねが有効。

Q3: pre-train モデルはどう選ぶ？

A: (1) ライセンス (商用利用可能か、 改変公開義務はあるか)、 (2) ドメイン近さ (日本語タスクなら日本語コーパスを多く含むモデル)、 (3) サイズ (推論コストと精度のバランス)、 (4) コミュニティ (Hugging Face のスター数、 issue 対応の活発さ) の 4 軸で評価する。

Q4: fine-tune と RAG (検索拡張) はどちらを選ぶ？

A: 「知識が変わる速度」で決める。 月単位で変わる FAQ・商品情報は RAG。 文体・トーン・固有の推論パターンは fine-tune。 両方を組み合わせる「fine-tune した base + RAG の context」が現在の事実上の標準。

Q5: fine-tune したモデルを評価する hold-out はどう作る？

A: (1) 時系列で分割 (新しい日付を hold-out)、 (2) クラスタで分割 (例: ある業種だけ hold-out)、 (3) ランダム分割 (最後の手段)。 SSDSE なら「2024 年分を train、 2026 年分を hold-out」のような時系列分割が公正。

Q6: 学習が止まらない (loss が下がり続ける) のは正常？

A: 訓練 loss が下がっても、 検証 loss が止まる/上がるなら過学習。 early stopping で検証 loss が patience 5〜10 改善しないと停止。 SSDSE 例 (n=7) なら 2,000 epoch で十分。

Q7: 法律・規約面で気をつけることは？

A: (1) base model のライセンス (LLaMA は商用利用に制限あり)、 (2) target データの著作権・個人情報、 (3) 出力の表現規制 (誹謗中傷・差別の生成)、 (4) GDPR / 個人情報保護法 (target データに個人識別情報があれば適用)。 SSDSE は公開データなので問題ないが、 自社データなら社内法務との確認が必須。

Q8: fine-tune したモデルを公開すべき？

A: 公開する場合は model card と data card を必ず添付。 「どんなデータで、 どんな目的で、 どんな限界があるか」を明文化する。 公開しなくても社内利用のときは同等の文書を作成しておく。 1 年後の自分への手紙だと思って書く。

Q9: fine-tune を「やり直す」べきタイミングは？

A: (1) base model がアップデートされた (例: LLaMA-2 → 3)、 (2) target データが大きく変わった (新規地域追加、 新商品追加)、 (3) 評価指標で許容できない劣化が見えた、 (4) 法律・規約の変更で再学習が必要になった、 のいずれか。 6 ヶ月ごとの定期見直しが推奨される。

Q10: fine-tune と RLHF / DPO はどう違う？

A: 通常の supervised fine-tune は「正解」で学ぶ。 RLHF / DPO は「人間の選好 (A の方が良い)」で学ぶ。 両者は順番に適用するのが一般的: SFT (supervised fine-tune) → RLHF / DPO。 ChatGPT の学習も同じ流れ。

Q11: 個人が GPU なしで fine-tune するには？

A: (1) Google Colab の無料 T4、 (2) Kaggle Kernel の P100、 (3) Hugging Face Inference Endpoints、 (4) AWS / GCP のスポットインスタンスを 1 時間だけ借りる。 LoRA + 8bit 量子化なら 7B クラスのモデルでも Colab T4 で fine-tune 可能。

Q12: 最終的に「成功した」と判断する基準は？

A: (1) target 性能が pre-train 比で意味のある幅で改善 (effect size を計算)、 (2) source 性能の劣化が許容範囲内、 (3) コスト (時間・GPU・人) が事業目的に見合う、 (4) 法律・倫理面の問題がない、 の 4 つすべて。 1 つでも欠ければ「やり直し」または「prompt engineering に切り替え」。

12 問の答えはどれも、 SSDSE-B-2026 で経験できる小さな実験の延長線上にある。 「7 都県で intercept を補正する」ことと「数億パラメータの LLM を 1,000 件で fine-tune する」ことは 規模が違うだけで本質的に同じ。 だからこそ、 47 都道府県という具体的な単位で何度も練習することに大きな意味がある。

📝 12 Q&A の総括 ── 三段階の判断ツリー

12 問を統合すると、 ファインチューニングを始める前の判断は 3 段階のツリーで整理できる。 (1) そもそも fine-tune が必要か (RAG / prompt engineering で済まないか)、 (2) 必要ならどの戦略を取るか (フル fine-tune / PEFT / RLHF)、 (3) 評価と運用をどう設計するか (hold-out、 model card、 再学習のサイクル)。 SSDSE-B-2026 の練習はこのツリーの (1)〜(3) すべてを縮小再現できる。 「LLM が出てきたから、 とりあえず fine-tune」ではなく、 「pre-train を疑い、 PEFT を第一選択にし、 複数指標で評価し、 model card を残す」── これがジャストインタイム型データサイエンス教育における ファインチューニング の作法である。

✅ 最終チェック (5 項目) ── ローンチ前に必ず確認

1. source 性能が pre-train から劣化していないか (相対 5% 以内に収まっているか)
2. target 性能が pre-train から有意に改善しているか (effect size 0.5 以上)
3. 公平性指標 (性別・地域・年齢別の性能差) に偏りが生じていないか
4. 推論コストが許容範囲か (LoRA なら推論時にマージしておく)
5. model card に「いつ」「何で」「どこまで保証」を書き切ったか

この 5 項目が「全部チェック」になって初めて、 fine-tune したモデルを本番に出してよい。 SSDSE-B-2026 のような小規模データで何度も繰り返せば、 この 5 項目はやがて 反射的に確認する習慣になる。 ファインチューニングを「魔法」ではなく「日常の道具」にする最後のピースは、 この習慣化である。

🎓 学びの最終地点 ── ファインチューニングを「文化」にする

ファインチューニングは個人の技術にとどまらず、 チームの文化として根付かせる必要がある。 「base model はどれを使うか」「LoRA か フル fine-tune か」「target データの倫理レビューは誰が行うか」「model card のフォーマットは何か」── これらは個人の判断だけで決められない。 SSDSE-B-2026 の演習を新人研修に組み込み、 全員が「pre-train → fine-tune → 評価 → model card」のサイクルを 1 度は手で回す ── この共通体験こそが、 組織として ファインチューニング を扱う土台になる。 47 都道府県という共通言語が、 抽象的な機械学習用語を「みんなの言葉」に変えてくれる。

最後に再度強調する。 ファインチューニングの三本柱は 事前学習の尊重・少ない更新・厳しい評価。 この 3 つを忘れなければ、 LLM の世界がどう進化しても、 あなたは正しい判断を下せる。 SSDSE-B-2026 を題材にしたこの長い章を読み終えたとき、 ファインチューニングが「巨人の肩の上で、 自分の小さな景色を描き加える行為」だと体に染みていれば、 本ページの役目は果たされている。 47 都道府県から始め、 やがて 1,000 を超える市町村、 そして数十億パラメータの LLM へと、 同じ思想を持って渡り歩いてほしい。

📊 図で見るファインチューニングの動作 — SSDSE-B-2026 を題材に

ファインチューニングの効果は、 「数値だけ」で見るより「分布の形」で見たほうが直感的に理解できます。 ここでは SSDSE-B-2026 の都道府県データを題材に、 訓練前後でモデルが学んだ「特徴の分布変化」を 3 種類の代表的な可視化で確認します。 これらの図は、 「事前学習済みモデルがファインチューニング前にすでに何を知っているか」と「ファインチューニング後に何が新しく加わったか」を切り分けて読むのが鉄則です。

図 R476-1 の読み方：散布図上で「右上の外れ値 (東京、 続いて愛知・神奈川・大阪)」をどう扱うかが、 ファインチューニングの腕の見せ所です。 事前学習モデルは「線形回帰の延長」として扱いがちですが、 ファインチューニング後は「日本固有の地域構造」として再解釈できるようになります。 学習率を小さく (2e-5 程度) すれば事前学習で得た知識を保ちつつ、 新しいラベル (県を「人口流入型 / 流出型」で 2 値分類) に適応できます。 47 サンプルという制約は厳しいものの、 事前学習で獲得した汎用表現の「下駄」を借りることで、 単純な線形回帰や決定木より高い精度を狙えるのが本手法の真価です。

図 R476-2 の読み方：分類タスクのファインチューニングでは、 「予測スコアの分布形状」がモデルの自信を可視化します。 訓練前のスコア分布が中央 (0.5 付近) に集中している場合、 モデルは「どちらにも判定できない」状態です。 この図の「前」はそれとは逆に、 11 年分の分布のずれ (高齢化率の上昇など) で全県のスコアが 0 付近に偏り、 転入超過型を 1 県も陽性と判定できない状態です。 微調整でスコアが陽性側へ広がり、 「自信のある分類」が増えます。 ただし外した県で見ると埼玉 0.34・千葉 0.23・大阪 0.45・福岡 0.14 はまだ 0.5 未満で、 転出超過型の愛知が 0.65 と誤って陽性側に来ます。 ただし、 過学習が起きると訓練データだけ両端に分かれ、 評価データは依然中央集中という典型パターンが現れます。

図 R476-3 の読み方：訓練曲線 (loss vs epoch の折れ線) は平均値しか見せませんが、 箱ひげ図で「バッチ単位の損失分布」を見ると、 平均が下がっていても「外れ値バッチ」(特定の県で大失敗) が増えていないかを診断できます。 この図でも、 ステップ 0 の損失最大は千葉 (5.05)、 ステップ 200 でも福岡 (1.67) など転入超過型の数県が上のひげの外に残る。 例えば「東京・大阪を含むバッチだけ損失が極端に大きい」場合、 都市部の特殊性に対応できていない可能性があり、 サンプル重み付けやデータ拡張で補正します。 箱ひげの上ひげが伸び続けるなら早期停止のシグナルです。

🎯 理解度チェック — ファインチューニング を自分の言葉で説明できるか

以下の 6 問は、 ファインチューニング を「使える知識」として身につけるための自己診断です。 各問題に対して「30 秒以内で要点を答える」訓練が、 理解定着の最短ルートです。 答え合わせは本文の該当セクションを再読してください。 これは「学んだ気になる」と「使える」の橋渡しになる理解度チェックです。

6 問中 4 問以上に「自分の言葉で 30 秒以内」に答えられたら、 ファインチューニングを「使える知識」として身につけたと言えます。 答えに詰まった項目は本文の該当セクションを再読し、 SSDSE-B-2026 の実データで手を動かして確認してください。 理解度チェックは「答えの暗記」ではなく「他人に説明できるか」で測ります。

🎮 触って理解する — 少数データで「新タスクに適応」する様子を2次元で体感

ファインチューニングの核心は「事前学習済みの特徴を再利用し、 少ないデータで新しいタスクに適応する（＝転移学習）」ことです。 ここでは、 事前学習済みモデル（※このデモ用の架空モデル。 大量データで「丸い決定境界」を学んだ体で用意しています）を土台に、 わずかな学習サンプルだけで新タスク（少しズレた楕円形の境界）へ適応する過程を、 実際に動く 2 次元の決定境界で観察します。 スクラッチ学習（ゼロから学習＝少数だと過学習・不安定）と ファインチューニング（下地を活かす＝少数でも安定）を左右で対比し、 さらに 全層更新 vs ヘッドのみ更新（凍結） と 学習率 の効き方も体感できます。 全ての学習は乱数シード付きで決定的（同じ設定なら必ず同じ結果）です。

💡 n を小さく（例 6〜10）してみてください。 左（スクラッチ）は訓練データは丸暗記できても汎化テスト精度が低く、 境界がグニャグニャに歪みます（過学習）。 右（FT）は事前学習済みの「丸い特徴」を再利用するので少数でも安定して緑破線に近づきます。 「🎲 スクラッチを再初期化」で左の乱数初期値を変えると、 少数データでは境界が大きく暴れる＝不安定さも体感できます。 グラフを指でなぞる／クリックすると、 その地点の予測確率が読めます。

🔍 このデモが示していること

⚠️ 落とし穴（デモで再現できるもの）

🚀 発展 — 凍結戦略の広がり

📎 深掘り: ファインチューニングは「ベイズ更新／縮小推定」だった

— このページ既出の LoRA・破滅的忘却・RLHF とは別角度。統計の目でファインチューニングを1本の式に畳み込む節。

🎨 直感

事前学習済みモデルの重み θ_pre は、無数のデータから得た「事前平均(prior)」だと思ってよい。新タスクの少数データは、その prior をちょっとだけ引っ張る証拠にすぎない。統計でこれをやるのがベイズ更新／縮小推定(shrinkage)で、最終推定値は
θ_後 = (1−α)·θ_pre  +  α·(新データの当てはめ)   （α = 実効的な学習の強さ）
という「prior と新データの加重平均」になる。ファインチューニングの学習率×ステップ数は、この α（prior からどれだけ離れるか＝縮小の緩め具合）をそのまま担っている。α→0 なら prior 据え置き、α→1 なら prior を捨てて新データに全振り。

⚠️ 落とし穴（重要）

• α を大きくしすぎる＝prior を捨てる。上表 α=1 なら更新後は東北平均 138.6万人そのもの＝全国の知識を消去。これが破滅的忘却／過学習の統計的正体で、「学習率を下げる・LoRA で更新を絞る・早期停止する」はすべて α を小さく保つ手段。新データが少ない(n小)ほど α は小さくすべき、という縮小推定の教えと完全に一致する。
• prior が新タスクにとって悪いと縮小も害になる。ベイズ更新は「prior が概ね妥当」を前提にする。ドメインが遠い（＝負の転移）と、prior に引き戻すほど誤差が増える。縮小＝万能ではなく、縮小先(＝事前学習モデル)の適切さが命。
• 縮小はタダではない ── バイアスと分散のトレードオフ。α を下げると推定の分散は減るが、prior 方向へのバイアスが乗る。「安定したから正しい」ではない。検証データで α（学習率・ステップ数・LoRA ランク）を選ぶ工程を省くと、都合よく縮んだだけの偽の安定を掴む。
• 「1回の当てはめ＝真の最適」ではない。上式の「新データの当てはめ」自体が n=6 のノイジーな推定。少数データではその点推定を信じすぎないこと（信頼区間を持って更新するのがベイズの作法）。

🚀 発展

ガウス近似では、上の θ_後 は損失 L(θ) = (新データの誤差) + λ‖θ − θ_pre‖² の最小化とちょうど一致する。つまり事前学習重みへの L2 正則化（文献では L2-SP、フィッシャー情報で重み付けすると EWC＝弾性重み統合）そのもの。λ が大きいほど prior に縮む＝α が小さい。経験ベイズで κ（＝λ）をデータから推定すれば、縮小量を手で決めずに済む。さらに LoRA は「事後分布を低ランク部分空間に制限した近似更新」と読め、学習率スケジュール（warmup→decay）は α を時間方向に変化させる操作にあたる。ファインチューニングの実務ノブが、そっくり縮小推定の1つの式に落ちる。

🔗 関連ページ

• 転移学習 ── ファインチューニングの上位概念。prior をどこから借りるかの話。
• 正則化 ── 上式の λ‖θ−θ_pre‖² がまさに正則化項。縮小＝正則化。
• 過学習 ── α を上げすぎた縮小＝prior を捨てた結果としての過学習。
• 学習率 ── 本節の α（縮小の強さ）を実装レベルで握るノブ。
• ベイズ更新 / 縮小推定(James–Stein) / 事前学習モデル ── 独立ページは未整備（本節内で解説）。