🔖 キーワード索引

この用語と一緒に検索・参照されやすいタグ。 関連ページに飛ぶときの手がかりにも使えます。

このページの節への目次です。

🎨 直感で掴む

• 「探偵」と「翻訳者」のハイブリッド：データから手がかりを集め（探偵）、 ビジネスや行政の言葉に直す（翻訳者）。
• EDA→モデル→検証の往復が中核。 1 回でビシッと決まることは稀で、 仮説修正のループが本質。
• 扱う問いのレベル：①記述（何が起きた？）②診断（なぜ？）③予測（次はどうなる？）④処方（どう動くべき？）。 順に難しくなる。

📐 定義・数式

📐 数式で押さえるデータサイエンス 5 公式

データサイエンスの中核は最終的に少数の式に収束します。 5 つだけ覚えれば 8 割の現場仕事に対応できます。

1. OLS 解：$\hat{\beta} = (X^\top X)^{-1} X^\top y$ — 線形回帰の閉形式解。 多重共線性で $X^\top X$ が特異なら破綻 → Ridge を導入。
2. Ridge 解：$\hat{\beta}_{\text{ridge}} = (X^\top X + \lambda I)^{-1} X^\top y$ — $\lambda$ で正則化、 多重共線性を回避。
3. ロジット：$\log\frac{p}{1-p} = X\beta$ — 二値分類の標準。 $p$ が確率になる。
4. 交差検証誤差：$\mathrm{CV}_K = \frac{1}{K}\sum_{k=1}^K L(\hat{f}^{(-k)}, D_k)$ — 過学習を検出する黄金律。
5. 情報量基準：$\mathrm{AIC} = -2 \log L + 2k$ — モデル選択の数学的根拠。 小さい方が良い。

これら 5 式を SSDSE-B-2026 で何度も書き直していくのが、 データサイエンスの「素振り」 です。 OLS の解は線形代数の逆行列で書け、 Ridge は固有値を平行移動するという幾何的解釈が、 ロジットはオッズ比の対数線形性という確率的解釈が背景にあります。 CV と AIC は「汎化誤差をどう近似するか」 という共通テーマの異なる回答であり、 K と $\lambda$ の決め方は経験則 (K=5 や 10 が多い、 $\lambda$ は対数等間隔グリッド) です。

上段の 3 式 (OLS / Ridge / Logit) が「モデル」、 下段の 2 式 (CV / AIC) が「評価」 を担います。 矢印は「モデルの性能をどの評価で測るか」 の対応です。

データサイエンスのよくある質問 (FAQ)

データサイエンス職能図

3 円の交差にあたるのが本物のデータサイエンティスト。 統計・ML だけ強くてもドメインが弱ければ仮説が立たず、 コミュニケーションが弱ければ意思決定に繋がりません。 SSDSE-B のような公的データは「ドメイン (地域経済・人口動態)」 の素振り に最適です。

失敗事例から学ぶ「悪いデータサイエンス」

実務で繰り返し見られる悪いデータサイエンス事例を 8 つ、 SSDSE-B の文脈に置き換えて整理します。 これらを「自分はやらない」 リストとして頭に入れておくと、 多くの落とし穴を回避できます。

データサイエンスのコード品質チェックリスト

分析ノートブックを後で再利用可能にするための、 コード品質チェック 15 項目。

1. セル順序を上から下に再実行しても結果が再現すること (「Restart and Run All」 が通る)
2. 絶対パスでなく相対パス、 または config から読む
3. マジック数 (47 都道府県、 8 ブロック等) を変数化して上部に集約
4. import は冒頭セル、 順序は標準 → サードパーティ → 自作
5. 関数化されている (10 行以上は def に切り出す)
6. docstring を 3 行で書く (目的 / 入力 / 出力)
7. print 文に変数名を必ず添える (f"mean={mean}")
8. 図には title / xlabel / ylabel / 出典を必ず記載
9. seed 固定 (random_state=42) で再現性確保
10. SSDSE-B 列名は変数 col_pop = 'A1101' のように記号定数化
11. 欠損処理を分岐ではなく明示的に dropna / fillna で行う
12. 例外処理 (try/except) は最小限、 想定外を握りつぶさない
13. 大きな処理はキャッシュ (joblib.Memory) で再計算を避ける
14. ノートブック末尾に「結論 + 次のアクション」 セクションを入れる
15. git にコミット (出力セルは clear してから)

用語の関連ネットワーク

本ページの上位・並列・発展用語へのリンクを再掲。

• 機械学習
• AI
• 探索的データ分析
• 相関
• 線形回帰
• 交差検証
• 過学習
• 特徴量エンジニアリング
• 欠損値処理
• 標準化
• バイアス・バリアンス
• 混同行列
• ビッグデータ
• アノテーション
• BI ツール

データサイエンスのキャリアパス 5 類型

同じ「データサイエンティスト」 でも、 組織内では 5 つのロールに分岐します。 SSDSE-B のような公的データで素振りする際にも、 どのロールを目指しているかで重点が変わります。

初学者はアナリスト → モデラー → どちらかに分岐するキャリアが標準。 SSDSE-B-2026 を 1 周回すと、 アナリストの素養はほぼ身につきます。

データサイエンスの倫理 5 原則

SSDSE-B-2026 は公開データなのでプライバシー問題は少ないが、 派生的なシナリオで倫理問題はすぐ発生する。 5 つの原則を覚えておくこと。

1. 透明性：手法 / データ / コードを公開する。 SSDSE-B の出典明示、 ノートブック公開。
2. 説明可能性：意思決定の根拠を人間に説明できる。 SHAP, LIME, 部分依存図。
3. 公平性：地域 / 性別 / 年齢で結果が偏らない。 評価指標を群別に出す。
4. プライバシー：個人特定リスクを最小化。 SSDSE-B は集計値だが、 小さい自治体や少数群では再特定リスクあり。
5. 説明責任：誤りに対する是正経路を確保。 監査ログ、 訂正手順。

データサイエンスのまとめ Q&A 8 連発

本ページのまとめ

このページで押さえたい要点を 8 行で振り返ります。 SSDSE-B-2026 を使う限り、 以下を常に頭に置いておくこと:

1. データサイエンスは EDA → 仮説 → モデル化 → 評価 → 意思決定の循環。
2. SSDSE-B-2026 は 47 都道府県 × 約 100 指標、 ローカル変数で扱う。
3. 記述統計 → 推測統計 → 機械学習 → AI と段階的に発展する。
4. OLS, Ridge, Logit, CV, AIC の 5 公式で 8 割の現場に対応できる。
5. 東京・大阪・愛知は外れ値扱いで、 除外時の解析を必ず添える。
6. Pearson と Spearman を併記、 残差図と QQ プロットで前提確認。
7. 意思決定者には「事実 → 解釈 → 提案」 の 3 段で伝える。
8. 倫理 5 原則 (透明性 / 説明可能性 / 公平性 / プライバシー / 説明責任) を常に意識。

これでデータサイエンスの基礎用語ページは完了です。 次は関連用語の 機械学習、 探索的データ分析、 交差検証 へ進んでください。

SSDSE-B-2026 で頻出する 10 指標 (列名) チートシート

本ページの全コード例で使う SSDSE-B-2026 の主要列名をまとめておきます。 暗記する必要は無いが、 ふと参照できると EDA が速くなります。

列名はバージョンで変わる可能性があるので、 実際のデータの先頭行を必ず確認してください。

用語の歴史 — データサイエンスはいつ生まれたか

「データサイエンス」 の源流の 1 つとされるのは、 1962 年の John Tukey の論文「The Future of Data Analysis」 です（この論文自体は「データ分析」 という言葉を使っている）。 1974 年に Peter Naur が著書『Concise Survey of Computer Methods』 で「data science」 という語を使い、 これが書籍での早い用例の 1 つです。 2001 年に William Cleveland が「Data Science: An Action Plan」 で計算科学・統計学・データ分析の融合を提案。 2012 年に Davenport と Patil が Harvard Business Review の記事で「データサイエンティストは 21 世紀で最もセクシーな職業」 と書いたことで、 職業名として一般に広まりました（Google の Hal Varian が 2009 年に「これから 10 年でセクシーな仕事は統計家だ」 と述べた発言と混同されやすい）。 SSDSE-B のような公的データオープン化と歩調を合わせて、 日本では 2017 年滋賀大学にデータサイエンス学部が設置され、 全国の大学に拡がっています。 統計学が「推定と検定」 を磨いていた時代から、 データサイエンスは「意思決定と実装」 を担う領域として再定義されたといえます。

データサイエンス学習者向けの公的データ 8 選

SSDSE-B-2026 以外にも、 国内で使える公的データは多数あります。 SSDSE-B が「都道府県・年次」 軸なのに対し、 以下は別軸を補完します。

SSDSE-B-2026 を主軸に、 e-Stat や RESAS で深掘り、 OECD で国際比較するというルートが最も学習効果が高いです。

終わりに — データサイエンスを 1 行で言うと

「測りたい現象を数えやすい形にして、 過去から未来へ橋を架け、 意思決定の不確実性を下げる仕事」 — これが私たちの考えるデータサイエンスの定義です。 SSDSE-B-2026 で素振りを続け、 4 ステップ循環を 100 回回せば、 自然と現場感覚が身につきます。 焦らず、 1 つずつ確かめながら進んでください。 次のページでは、 機械学習・統計学・AI といった隣接領域に踏み込み、 それぞれが何を担うのかをもう一段深く扱います。 1 つのページで全部を学ぶ必要はありません。 まずは目の前の SSDSE-B-2026 を 1 列 1 列読み、 ヒストグラムと散布図を 30 枚描いてみることから始めてください。 それが最良の「データサイエンスを学ぶ最初の一歩」 です。 表面的に「機械学習が流行っているから機械学習」 と飛びつくよりも、 まず観察し、 仮説を立て、 単純な指標で確かめる。 この素朴さこそがデータサイエンスの本質であり、 現場で 10 年生き残るデータサイエンティストはみな、 この基本動作を毎回欠かさず行います。 SSDSE-B-2026 をその素振り台に使い、 47 都道府県のストーリーを 47 通り書ける状態を目指しましょう。 北海道の広さに起因する人口密度の低さが医療アクセスをどう変えるのか、 東京一極集中が人口あたり指標の比較を歪めるとき何を補正するのか、 沖縄の出生率の高さが他県のどの指標と連動しているのか — こうした 47 通りの問いに、 数値・図・コードの 3 点セットで答えられるようになれば、 もうあなたは立派なデータサイエンスの現場人です。 そして、 それを支える基礎は「SSDSE-B-2026 を 100 回読み返す」 という地味な反復にあります。 反復こそ最強の学習法。 SSDSE-B-2026 を 100 回読むと、 同じ列を 100 通りの切り口で見られるようになり、 「データを愛する」 感覚が育ちます。 これがプロフェッショナルとアマチュアを分ける見えない分水嶺です。 焦らず、 楽しんで、 一歩ずつ。 47 都道府県の物語をあなたの手で紡いでください。 SSDSE-B-2026 は、 そのための最良の素材です。 さあ、 ノートブックを開きましょう。 今日から、 あなたもデータサイエンティストです。

🔬 数式を言葉で読み解く — 数式を「言葉」に翻訳

Business Understanding

問い・目的の明確化。 ここがブレると後段が全て狂う

Data Understanding

データの収集・概観・品質確認

Data Preparation

欠損補完・型変換・特徴量設計

Modeling

回帰・分類・クラスタリング等のアルゴリズム適用

Evaluation

目的に照らした有用性の評価（精度だけでなく解釈性も）

Deployment

レポート・ダッシュボード・API として組織に届ける

🔬 数式を言葉で読み解く（データサイエンス入門）

1. データサイエンスを支える 3 つの方法論フレームワーク

データサイエンスの現場では、 「とりあえずコードを書く」 のではなく、 必ず方法論フレームワークに沿ってプロジェクトを進めます。 代表的なのが CRISP-DM、 OSEMN、 PPDAC の 3 つです。 CRISP-DM (Cross-Industry Standard Process for Data Mining) は、 1996 年に IBM・Daimler・NCR・OHRA の共同プロジェクトで策定された企業向けの 6 段階モデル — Business Understanding (業務理解) → Data Understanding (データ理解) → Data Preparation (データ準備) → Modeling (モデリング) → Evaluation (評価) → Deployment (展開) を循環します。 ポイントは「業務理解」 から始まること。 SSDSE-B-2026 で「47 都道府県の人口減少を分析したい」 という依頼を受けたとき、 すぐにモデリングへ飛びつかず、 「何が決定されれば成功か」 「どの指標で評価するか」 を最初に確定させます。 これを怠ると、 後工程で「結局このモデルは何を解決したのか」 という根本問題に立ち戻ることになります。

OSEMN (Obtain → Scrub → Explore → Model → iNterpret) は、 Hilary Mason と Chris Wiggins が 2010 年に提唱したデータサイエンティスト視点の 5 段階。 Obtain (取得) は SSDSE-B-2026 を pandas で読み込む工程、 Scrub (整形) は欠損値処理・型変換・外れ値検出、 Explore (探索) はヒストグラム・散布図・記述統計、 Model (モデリング) は scikit-learn での回帰・分類、 iNterpret (解釈) はステークホルダーへの説明資料作成。 OSEMN の特徴は「Scrub に全工程の 60-80% の時間がかかる」 と明示している点です。 実務でも、 SSDSE-B-2026 のように整形済みデータは稀で、 大半は名寄せ・単位統一・欠損補完に時間を費やします。 PPDAC (Problem → Plan → Data → Analysis → Conclusion) はニュージーランド統計学会が学校教育向けに考案した 5 段階で、 高校生でも実行できる素朴な枠組み。 「人口と出生数は関係するか？」 という Problem に対し、 SSDSE-B-2026 を Data として用意し、 散布図・相関係数で Analysis、 「強い正の相関がある」 と Conclusion を出します。 PPDAC は教育用ですが、 実務でも「最初の素振り」 として極めて有効です。

2. 統計学・機械学習・可視化の役割分担

データサイエンスは「統計学」 「機械学習」 「可視化」 という 3 つの柱で成り立ちます。 統計学は「不確実性の定量化」 を担います。 SSDSE-B-2026 で「東京と大阪の人口密度は有意に異なるか」 を問うとき、 t 検定や信頼区間で答えるのが統計学の仕事。 p 値だけに頼らず、 効果量 (Cohen's d、 Hedges' g) や信頼区間の幅も併記するのが現代的作法です。 機械学習は「予測精度の最大化」 を担います。 SSDSE-B-2026 で「出生数から人口を予測する」 タスクに対し、 線形回帰・ランダムフォレスト・勾配ブースティング (XGBoost、 LightGBM) を試し、 交差検証 (5-fold CV) で RMSE や MAE を比較します。 統計学が「なぜそうなるか」 を説明するのに対し、 機械学習は「どれくらい正確に予測できるか」 を競うという棲み分けです。

可視化は「人間の認知に橋を架ける」 役割。 ヒストグラムは分布の形状 (正規・歪み・多峰)、 散布図は 2 変数の関係 (線形・非線形・外れ値)、 箱ひげ図はグループ間比較 (中央値・四分位範囲・外れ値) を瞬時に伝えます。 SSDSE-B-2026 の 47 都道府県データに対し、 まず matplotlib で 30 種類の図を描き、 「東京の人口は外れ値」 「沖縄の年少人口比率は突出」 など事前知識を蓄積するのがデータサイエンスの定石。 これを怠ると、 後の機械学習モデルが東京 1 県に引きずられて精度を出せない、 という典型的失敗を踏みます。 この 3 つの柱は対立するものではなく、 統計学で仮説検証 → 機械学習で予測 → 可視化で説明、 という流れで補完し合います。

3. データサイエンスの倫理 — FAIR 原則・データプライバシー・説明可能性

データサイエンスは技術だけでなく倫理が極めて重要です。 FAIR 原則 (Findable・Accessible・Interoperable・Reusable) は、 2016 年に Scientific Data 誌で提唱されたデータ管理の国際標準。 Findable は「データセットに永続識別子 (DOI) を付与し検索可能にする」、 Accessible は「認証手続きを経て誰でもアクセスできる」、 Interoperable は「標準形式 (CSV・JSON・RDF) で他システムと連携可能」、 Reusable は「ライセンス・メタデータが明示され再利用可能」 を意味します。 SSDSE-B-2026 はこの 4 原則をすべて満たすため、 教育・研究の素材として理想的です。

データプライバシーでは、 EU の GDPR (General Data Protection Regulation、 2018 年施行) と日本の 個人情報保護法 (2022 年改正) が中核。 個人を特定可能な情報 (氏名・住所・電話番号・マイナンバー) は匿名化または仮名化 (k-匿名性・l-多様性・差分プライバシー) を施した上で使用します。 SSDSE-B-2026 は都道府県集計値なので個人特定リスクは皆無ですが、 実務では顧客 ID を含むデータを扱うため、 必ず匿名化処理を経て分析します。 説明可能性 (Explainability) では、 SHAP (SHapley Additive exPlanations) や LIME (Local Interpretable Model-agnostic Explanations) で「なぜこの予測になったか」 を可視化します。 銀行融資・医療診断・採用判定など、 人の人生に影響する意思決定では、 ブラックボックスモデルではなく説明可能なモデルが法的にも倫理的にも求められます。 EU AI 法 (2024 年) では「ハイリスク AI システム」 に説明責任が義務付けられました。

4. データサイエンティストに求められる 3 つの能力

Drew Conway が 2010 年に提示した「データサイエンスのベン図」 では、 (1) ハッキングスキル (プログラミング・データ処理)、 (2) 数学・統計学の知識、 (3) ドメイン知識 (業務理解) の 3 つの交点にデータサイエンティストが位置すると定義されました。 SSDSE-B-2026 で人口分析を行う場合、 (1) pandas で CSV を読み込み欠損値を処理する技術、 (2) 相関係数・回帰分析・仮説検定の数学的理解、 (3) 「日本の人口減少の歴史的背景」 「47 都道府県の地理的特徴」 のドメイン知識が必要です。 (1)+(2) だけで (3) が欠けると「数値は出せるが、 業務上意味のある分析ができない」 という典型的失敗を踏みます。 一方 (2)+(3) だけで (1) が欠けると「アイデアはあるが実装できない」、 (1)+(3) だけで (2) が欠けると「集計はできるが、 不確実性を定量化できない」 という偏った人材になります。 3 つの能力を均等に育てるのが、 データサイエンティストの王道です。

✅ 理解度チェック (3 問)

1. Q1: CRISP-DM の最初のステップは何か？ → A: Business Understanding (業務理解)。 何を解決すれば成功かを最初に確定させる。
2. Q2: OSEMN の中で最も時間がかかる工程は？ → A: Scrub (整形)。 全工程の 60-80% を占める。 欠損値処理・型変換・外れ値検出が中心。
3. Q3: FAIR 原則の F・A・I・R は何の頭文字か？ → A: Findable (検索可能)・Accessible (アクセス可能)・Interoperable (相互運用可能)・Reusable (再利用可能)。 2016 年に Scientific Data 誌で提唱されたデータ管理の国際標準。

まとめ: データサイエンスは CRISP-DM・OSEMN・PPDAC のいずれかの方法論に沿って進める。 統計学・機械学習・可視化の 3 つの柱を均等に使い、 FAIR 原則と個人情報保護を守りながら、 ハッキング・数学・ドメインの 3 能力を磨くこと。 SSDSE-B-2026 を素振り台に、 47 都道府県の物語を 47 通り書ける状態を目指しましょう。

🧮 実値で計算してみる

SSDSE-B-2026（47都道府県・12年分）を例に、 データサイエンスの典型的な最初の一歩を踏みます。

「分析」より「前処理 + 解釈」が時間の 7-8 割という現実は、 実務でも論文再現でも変わりません。

🧮 数式に値を入れて手で計算する: DS 案件の ROI 計算

合成データで DS プロジェクトのコストと収益から ROI を計算する。

Step 1: 案件別データ [万円]

Step 2: 平均 ROI と最良案件

🐍 Python で再現

1
2
3
4
5
6
7

import numpy as np
inv = np.array([500, 300, 800, 400, 200])
rev = np.array([800, 900, 1500, 600, 250])
roi = (rev - inv) / inv
print(f"ROI: {roi.round(3)}")
print(f"平均: {roi.mean():.3f}")
print(f"最良 index: {roi.argmax()} ({roi.max()})")

📤 実行結果

💬 手計算 (Step 2) 平均 0.845, 最良 index=1 と Python 出力が完全一致。

🐍 Python 実装

公的統計（SSDSE-B-2026）を題材に、 最小限の Python コードで動作させます。 ファイルパス（data/raw/SSDSE-B-2026.csv）は自分の環境に合わせて変更してください。 まずはこのまま動かすことが理解の最短ルートです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

# 公的統計を読み込み、 概要を把握
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df.columns = ['Year'] + list(df.columns[1:])
print(df.shape, df['Year'].unique())
print(df.describe(include='all').T.head())

# 1 ステップで「データサイエンスの第一歩」
d23 = df[df['Year'] == 2023].copy()
d23['高齢化率'] = d23['A1303'] / d23['A1101']
d23['死亡率']   = d23['A4200'] / d23['A1101']
print(d23[['高齢化率','死亡率']].corr())

💬 564 行は 2023 年度から 2012 年度までの 12 年度分で、Code と Prefecture の unique がどちらも 47 なので、各県が 12 回ずつ現れる縦持ちの表だと describe から確認できる。2023 年度の 47 県で高齢化率と死亡率（人口あたり死亡数）の相関は 0.972 と非常に強く、死亡率は東京都の千人あたり 9.7 から秋田県の 19.2 まで約 2 倍の開きがある。これは「高齢者が多い県ほど亡くなる人が多い」という年齢構成の違いを見ているもので、年齢を揃えた年齢調整死亡率で比べないと、県の健康状態の差とは読めない。

▶ 実行 を押せばこのページの中でそのまま動きます（ライブラリもデータも同梱済みで、 準備は要りません）。 手元の Python に移して動かすときは pip install matplotlib numpy pandas scikit-learn scipy seaborn statsmodels が必要です。 読んでいるデータは data/raw/SSDSE-B-2026.csv。 日本語を含むので encoding='cp932' の指定を落とさないでください。

🐍 データサイエンスを実データで体感する Python 4 連発

🔬 数式を言葉で読み解く

データサイエンスを 1 本の式で書くとすれば、 「予測モデル $\hat{y} = f(X; \theta)$ の汎化誤差 $\mathbb{E}_{(X,y) \sim \mathcal{D}}[L(y, \hat{y})]$ を最小化する」ことになります。 学習データ $X_{\text{train}}$ で $\theta$ を推定し、 未知データに対する誤差を交差検証で評価する、 これがデータサイエンス全体の骨格です。 ここでは SSDSE-B-2026（47 都道府県 × 約 100 指標）を題材に、 探索的分析 → 仮説生成 → モデル化 → 評価という 4 ステップを実装し、 各ステップが何を答えているかを 1 つずつ確認します。

① このコードでやること：SSDSE-B-2026 を読み込み、 人口 (A1101) と出生数 (A4101) の概要統計を出力します。 探索的データ分析 (EDA) の入口です。

📥 入力データ（SSDSE-B-2026 抜粋）：

1
2
3
4

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df = df[df['SSDSE-B-2026'] == 2023]  # 2023 年の 47 都道府県に絞る
print(df[['A1101', 'A4101']].describe().round(1))

📤 実行例：

💬 総人口の平均 2,645,808.5 人は中央値（50%）1,549,000 人の約 1.7 倍、 出生数も平均 15,473.8 に対し中央値 9,524 と、 どちらも平均が中央値より大きく上にずれた右に裾の長い分布。 最大の東京都（総人口 14,086,000・出生数 86,348）が平均を引き上げており、 75% 点（2,636,500 人）が平均とほぼ同じ位置にある。 これだけで「単純平均で議論するのは危険」という仮説が立つ。

② このコードでやること：人口と出生数のピアソン相関と Spearman 順位相関を比較し、 線形性の有無を判定します。 EDA から仮説生成へ進む段階です。

📥 入力データ：直前の df。

1
2
3
4
5

from scipy import stats
r_p, p_p = stats.pearsonr(df['A1101'], df['A4101'])
r_s, p_s = stats.spearmanr(df['A1101'], df['A4101'])
print(f'Pearson  r = {r_p:.3f}  p = {p_p:.2e}')
print(f'Spearman r = {r_s:.3f}  p = {p_s:.2e}')

📤 実行例：

💬 両者とも 0.96 以上で強い正の相関。 Pearson の方が若干高い → 線形関係が支配的、 ただし Spearman も高いので「単調増加」の関係性は揺るぎない。 仮説「人口が出生数の主要説明変数」が定量化されました。

③ このコードでやること：単回帰モデル $\hat{y} = \beta_0 + \beta_1 x$ を最小二乗で推定し、 交差検証で汎化性能を確認します。 仮説 → モデル化のステップです。

📥 入力データ：df の A1101 (人口) と A4101 (出生数)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
X = df[['A1101']].values
y = df['A4101'].values
m = LinearRegression().fit(X, y)
print(f'beta_0 = {m.intercept_:,.0f}')
print(f'beta_1 = {m.coef_[0]:.4f}')
print(f'R^2 train = {m.score(X, y):.4f}')
cv = cross_val_score(LinearRegression(), X, y, cv=5, scoring='r2')
print(f'R^2 CV   = {cv.mean():.4f} ± {cv.std():.4f}')

📤 実行例：

💬 train R^2 = 0.991 / CV R^2 = 0.944 と過学習はほぼなし。 β₁ = 0.0061 は「人口が 1,000 人増えると出生数が約 6.1 件増える」と読める。 切片が負の意味（人口 0 で出生数が負）は外挿のため無視可。

④ このコードでやること：residual を可視化し、 線形仮定の妥当性 (homoscedasticity, normality) を点検します。 モデル化 → 評価 → 反省のループ。

📥 入力データ：m, X, y（直前のスコープ）。

1
2
3
4
5
6
7
8
9

import numpy as np
resid = y - m.predict(X)
print(f'residual mean = {resid.mean():,.1f}')
print(f'residual std  = {resid.std(ddof=1):,.0f}')
sw_stat, sw_p = stats.shapiro(resid)
print(f'Shapiro-Wilk W = {sw_stat:.4f}  p = {sw_p:.4f}')
top3 = np.argsort(np.abs(resid))[-3:][::-1]
for i in top3:
    print(f'  {df.iloc[i]["Prefecture"]:<6}  residual = {resid[i]:+,.0f}')

📤 実行例：

💬 残差は北海道・沖縄・福岡で大きく、 Shapiro-Wilk p < 0.01 で正規性はやや棄却 → 線形回帰の前提が破綻気味。 「外れ値県の除外」「対数変換」「重回帰へ拡張」 等の反省が次サイクルへ。 ここまでがデータサイエンスの 1 周回です。

⚠️ よくある落とし穴

データサイエンスのプロジェクトで頻出する失敗は、 (1) 問いを後付けで作り都合の良い結果だけ拾う HARKing、 (2) 前処理の軽視 (欠損・桁区切り・単位の混在)、 (3) 「相関があった」を「因果」と短絡する、 の 3 つに集約されます。 EDA → 仮説 → モデル → 検証 → 反省 という反復ループを守れば、 これらは大幅に減らせます。

⚠️ DS プロジェクトの落とし穴 (拡張 12 件)

1. 業務 KPI を定めずに ML を始める — モデル R²=0.9 でも「これで何が良くなった?」に答えられず破棄。 開始前に必ず数値目標を設定。
2. データリーケージ — 未来の情報が訓練に紛れ、 テスト R²=0.99 が出るが本番 0.4。 時系列なら必ず TimeSeriesSplit。
3. サンプルバイアス — SSDSE-B は 47 県全数だが、 通常の業務データは「自社契約済顧客のみ」等の自己選択バイアスを含む。 母集団との乖離を明示。
4. Simpson のパラドックス — 全体では負相関でも層別では正相関、 という逆転が起きる。 必ず層別 (年齢・性別・地域) で確認。
5. p ハッキング — 100 通り検定して 5 件 p<0.05 を出して「発見」と報告。 多重比較補正 (Bonferroni / BH) を必ず適用。
6. ドメイン無視 — 「人口と病床数の相関 r=0.92」を「病床が人口を生む」と誤解釈。 因果方向はドメイン専門家確認。
7. 再現性なし — random_state 未指定、 conda env 未保存。 結果が翌週再現できず信頼失墜。 必ず seed 固定 + requirements.txt 保存。
8. 過剰なモデル複雑さ — 47 行で XGBoost を 100 木使う等。 データ量に対し過剰なモデルは過適合の典型。
9. Deployment 不在 — Jupyter で完璧でも本番化されず塩漬け。 最初から Docker + REST API を視野に。
10. 監視不在 (data drift) — 2024 の人口分布が 2023 と違っても気づかず精度低下。 月次 KS 検定で監視。
11. ステークホルダー不在 — 「現場が使わない」最大要因。 要件定義から PO / 業務担当を参加させる。
12. 倫理 / プライバシ無視 — 個票結合で個人特定リスク。 k-匿名化 / 差分プライバシ / IRB レビューを忘れない。

❓ Deep FAQ — 現場で本当に聞かれる 14 問

📋 DS ツールチェイン早見表 (2026 年版)

各フェーズで「実務でよく使われるツール / ライブラリ」を、 SSDSE-B-2026 を題材に「これを 1 つ覚えれば困らない」基準で 1 つ太字にした。 新人 DS が 6 ヶ月で習得すべき道具一式。

🐍 ツール 5 つを束ねた「最小実用 DS スタック」

このコードでやること：pandas + matplotlib + statsmodels + LightGBM + SHAP の 5 ライブラリを連携させ、 SSDSE-B-2026 の 47 県データで「人口を出生数+転入から予測」モデルを作り、 SHAP 値で各特徴の寄与を可視化する。

📥 入力データ:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import statsmodels.api as sm
import lightgbm as lgb
import shap

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df.columns = ['Year'] + list(df.columns[1:])
d23 = df[(df['Year']==2023) & (df['Code']!='R00000')]

X = d23[['A4101','A5101','A5102']]
y = d23['A1101']

# 1) statsmodels で OLS
ols = sm.OLS(y, sm.add_constant(X)).fit()
print('OLS R^2:', round(ols.rsquared,4))

# 2) LightGBM で非線形
model = lgb.LGBMRegressor(n_estimators=200, random_state=42, verbose=-1)
model.fit(X, y)
print('LGBM R^2:', round(model.score(X,y),4))

# 3) SHAP で寄与を確認
expl = shap.TreeExplainer(model)
sv = expl.shap_values(X)
print('|SHAP| 上位特徴:', X.columns[np.abs(sv).mean(0).argmax()])

📤 実行例:

💬 結果の読み方: OLS は R²=0.9926 と高く、 47 県では「人口 ≒ 出生数・転入・転出の線形結合」がほぼ成立する。 一方 LightGBM は R²=0.5282 と伸びない — 勾配ブースティングは 47 行では木を十分に育てられず、 少数データでは単純な線形モデルに劣るという典型例。 SHAP の最大寄与は A5102 (転出) と出たが、 これは学習不足の木に依存した値なので解釈は慎重に。 なお LGBM の R² と SHAP 上位特徴は LightGBM / SHAP のバージョンに依存し変動する（環境依存。 seed=42 固定・当環境は lightgbm 4.6 / shap 0.52）。 このセルの主眼は「5 ライブラリ連携で 30 行未満の DS スタックが組める」点にある。

🗓 データサイエンスの歴史 — 60 年の流れ

🌐 関連手法・派生

データサイエンスは統計学・機械学習・データ工学・因果推論・可視化を束ねた領域です。 統計的機械学習 (scikit-learn 系)、 因果推論 (DiD / IV / RCT)、 データエンジニアリング (ETL / Spark / dbt)、 MLOps、 LLM/Agent との接続が代表的な周辺領域。 「予測か説明か」「介入を扱うか」で使い分けが決まります。

📔 ミニ用語集

「データサイエンス」を読み解く上で出てきた周辺の小用語を、 すぐに引けるよう 1 か所に集めました。 各説明は本ページの記述と整合しています。

Business Understanding

問い・目的の明確化。 ここがブレると後段が全て狂う

Data Understanding

データの収集・概観・品質確認

Data Preparation

欠損補完・型変換・特徴量設計

Modeling

回帰・分類・クラスタリング等のアルゴリズム適用

Evaluation

目的に照らした有用性の評価（精度だけでなく解釈性も）

Deployment

レポート・ダッシュボード・API として組織に届ける

🔗 関連用語（前提・並列・発展）

この用語と直接つながる前後関係。 「前提」=先に知っておくと理解が早い／「並列」=同じ問題に別の角度／「発展」=応用・拡張版。 学習計画の参考にどうぞ。

• 🔗 データリテラシー — 前提（読み・解釈の力）
• 🔗 統計学 — 前提（理論的基盤）
• 🔗 機械学習 — 並列（予測寄りの隣接領域）
• 🔗 探索的データ分析 — プロセス内の中核工程
• 🔗 データストーリーテリング — 発展（伝える力）

❓ よくある質問（FAQ）

🔗 さらに広げる関連用語

• 機械学習の基礎 — DS の主要道具
• AI — 上位概念
• データエンジニアリング — 隣接職種
• データリテラシー — 入門書
• ビッグデータ — 大規模 DS
• データストーリーテリング — 伝える力
• BI ツール — 可視化代替
• クラウドサービス — DS インフラ
• AI 倫理 — DS の責任
• 因果関係 — 予測 vs 説明
• アノテーション — 教師データ作成
• API — モデル提供
• バッチ処理 — 大規模学習
• バイアス-バリアンス — モデル設計
• AI クラウド — Sagemaker 等

📋 すぐ使えるテンプレート集

※ 以下は書式見本（架空の記入例）です。 記載の数値（RMSE=1,241、 R²=0.9982、 SHAP 寄与率など）はフォーマットを示すための仮想値であり、 本ページ上部で実測した OLS/LightGBM/RandomForest の結果とは別物です（実測は該当セルを参照）。

① プロジェクト企画書 (1 ページ版)

② 分析レポート (1 ページ版)

③ コードリポジトリ標準構成

🏭 業務シナリオ別 DS 適用パターン (12 業界)

🐍 行政シナリオ: 人口減少率による「優先支援県」の自動抽出

このコードでやること：SSDSE-B-2026 (2012→2023) で人口減少率上位 10 県を抽出し、 重点支援の候補県リストを自動生成する DS スクリプト。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# ── この抜粋で使うデータを用意します（全 12 年度が必要なので年度を絞らない）──
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])

# 年度の列名は 'Year' ではなく 'SSDSE-B-2026'
piv = df.pivot(index='Code', columns='SSDSE-B-2026', values='A1101')
prefs = df.drop_duplicates('Code')[['Code','Prefecture']].set_index('Code')
piv = piv[(piv.index != 'R00000')]
piv['rate_2012_to_2023'] = (piv[2023] / piv[2012] - 1) * 100
piv['Prefecture'] = prefs['Prefecture']
top10 = piv.sort_values('rate_2012_to_2023').head(10)
print(top10[['Prefecture', 2012, 2023, 'rate_2012_to_2023']].to_string())

📤 実行例:

💬 結果の読み方: 11 年で 秋田 -14.0%、 青森 -12.3% と東北勢が突出。 高知・徳島の四国勢、 山形・岩手・長崎も二桁減。 これらが「優先支援県候補」リストとなる。 ただし行政データサイエンスでは「絶対的優先度」だけでなく「介入効果の傾向 (CATE)」も推定する必要があり、 続く調査は EconML の DRLearner などへ進む。

📖 DS の専門用語ミニ辞典 (頻出 30 語)

📚 さらに学ぶための入口

データサイエンスは工程の名前であり、各工程の中身はそれぞれ別のページで扱っています。このページで出てきた疑問ごとに、次に開くページをまとめました。

📚 関連グループ教材

この用語の全体像を学ぶには、 横断的な教材から入るのが効率的：

• 📚 データリテラシー — 読み・解釈の基礎
• 📚 機械学習の基礎 — 予測モデルの教養
• 📚 AIと社会 — 倫理・運用の視点

🧭 データサイエンスの「全工程」を実データで通す

データサイエンス（DS）とは「データから意思決定に資する知見を導く実践」であり、 単発の機械学習モデルではない。 本セクションでは PPDAC・CRISP-DM・OSEMN という 3 大プロセスを比較し、 SSDSE-B-2026 (47 都道府県 × 12 年 = 564 行) を題材に 1 本のプロジェクトを最後まで実行する。

📐 数式または定義（DS フレームワーク三種）

🔬 数式を言葉で読み解く — DS プロジェクトの「成功確率」

DS プロジェクト成功確率 P は、 経験的に「業務理解 × データ品質 × 分析力 × 運用」の積で近似される（説明のための単純なモデル。各段階が独立に成功すると仮定している）。 $$P_{success} \approx p_{biz} \times p_{data} \times p_{model} \times p_{ops}$$ 各 p が 0.7 でも、 4 段重なれば $0.7^4 \approx 0.24$。 つまり「1 ステップを 80% に上げる」より「最弱の鎖を補強」が効くという含意になる。

🧮 実値で計算してみる — SSDSE-B-2026 で CRISP-DM 6 フェーズを最後まで通す

具体題材: 「出生数 A4101 を、 総人口 A1101 + 転入 A5101 + 転出 A5102 から予測する」。 47 県 × 2023 年データで OLS を訓練し、 過適合をホールドアウトでチェックする。

このコードでやること：SSDSE-B-2026 を読み込み、 2023 年 47 県の A1101(総人口)・A4101(出生数)・A5101(転入)・A5102(転出) の 4 列を抽出して描述統計を出す（CRISP-DM の Data Understanding フェーズ）。

📥 入力データ (SSDSE-B-2026 抜粋、 各値は 2023 年実数):

1
2
3
4
5
6
7

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df.columns = ['Year'] + list(df.columns[1:])
d23 = df[(df['Year']==2023) & (df['Code']!='R00000')].copy()
print('行数:', len(d23))
print(d23[['A1101','A4101','A5101','A5102']].describe().round(1).to_string())

📤 実行すると次の出力が得られる:

💬 結果の読み方: 47 県の平均人口 265 万人に対し標準偏差は 280 万人で 変動係数 1.06。 つまり「中央値 (155 万人) と平均 (265 万人) が大きく乖離」で 東京・神奈川・大阪が右裾を引っ張っている。 出生数 A4101 も平均 15,474 に対し中央値 9,524、最大 86,348（東京都）と同じく右に歪んでいる。転入 A5101 と転出 A5102 の平均がどちらも 47,429.5 で一致するのは、県間移動の総数が全国で相殺されるため。 ここで「対数化・標準化」が必要なサインを掴むのが Data Understanding。

フェーズ 3-4: Data Preparation + Modeling

このコードでやること：47 県を train/test に 70/30 分割し、 LinearRegression で A4101(出生数) を A1101(総人口) から予測する。 R² と RMSE で訓練/テスト両方を評価して 過適合の有無を見る。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error
import numpy as np

X = d23[['A1101']].values
y = d23['A4101'].values
Xt, Xv, yt, yv = train_test_split(X, y, test_size=0.3, random_state=42)
m = LinearRegression().fit(Xt, yt)
pred_t = m.predict(Xt)
pred_v = m.predict(Xv)
print(f'train n={len(Xt)}  test n={len(Xv)}')
print(f'train R^2={r2_score(yt,pred_t):.4f}  RMSE={np.sqrt(mean_squared_error(yt,pred_t)):.0f}')
print(f'test  R^2={r2_score(yv,pred_v):.4f}  RMSE={np.sqrt(mean_squared_error(yv,pred_v)):.0f}')
print(f'係数 (人口 1 人あたり出生数): {m.coef_[0]:.5f}')

📤 実行すると次の出力が得られる:

💬 結果の読み方: 訓練 R²=0.9847、 テスト R²=0.9913 で 差はごく僅か（テストが僅かに上）→ 過適合は実質ゼロ。 係数 0.00586 は「人口 1,000 人増えるごとに出生数が 5.9 件増える」と読める。 これは 2023 年の全国の出生数合計 727,269 ÷ 総人口 1 億 2,435 万 3 千人 = 千人あたり 5.85 件（粗出生率）とほぼ同じで、 単回帰の傾きは「全国平均の粗出生率」を推定していることになる。

フェーズ 5: Evaluation — 残差分析と外れ値検出

このコードでやること：47 県全件で残差 (実際 − 予測) を計算し、 残差絶対値 Top5 県を抽出する。 「モデルが説明しきれない」県＝ DS 仮説のヒント源。

1
2
3
4
5

m_full = LinearRegression().fit(d23[['A1101']].values, d23['A4101'].values)
pred_all = m_full.predict(d23[['A1101']].values)
d23['residual'] = d23['A4101'].values - pred_all
top5 = d23.reindex(d23['residual'].abs().sort_values(ascending=False).index).head(5)
print(top5[['Prefecture','A1101','A4101','residual']].to_string(index=False))

📤 実行すると次の出力が得られる:

💬 結果の読み方: 残差プラスの沖縄・福岡・愛知・大阪は「人口比で出生数が多め」、 残差マイナスの北海道は「予測より出生数が少ない」。 ここから「沖縄の高出生率要因（核家族化遅延・若年女性比率）」「北海道の広域分散・高齢化」という追加調査仮説が立つ。 これが DS の Evaluation で得られる 洞察 (insight)。

フェーズ 6: Deployment — 意思決定への接続

技術的に完璧でも「誰が・いつ・どう使うか」が決まらないと DS は失敗する。 上記モデルの場合、 想定ユーザは厚労省人口動態課、 使用タイミングは年次予算編成、 使用方法は「県別出生数の前年比異常検知」。 通常 ±2σ (= ±約 4,000) を逸脱した県を翌年補正対象に挙げる、 という運用ルールに落とし込んで初めて Deployment になる。

🛠 データサイエンティストの「3 つのスキル軸」と道具

Drew Conway (2010) の Venn diagram によれば、 データサイエンスは「① 数学・統計」「② プログラミング・ハッキング」「③ ドメイン知識」の 3 円の交点に位置する。 単一スキルだけでは「② のみ → エンジニア」「③ のみ → 業務エキスパート」「①+② のみ → ML エンジニア」となり DS にはならない。 本セクションでは 3 軸を SSDSE-B-2026 を例に具体化する。

このコードでやること：上記 4 軸のうち「統計」+「プログラミング」+「ドメイン」を同時に使い、 SSDSE-B-2026 で「人口減少率と出生数減少率の Pearson 相関」を計算する。 ドメイン知識として「総人口 A1101」と「出生数 A4101」を使うのは「人口規模は出生の基盤」という事前知識に基づく。

📥 入力データ:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from scipy.stats import pearsonr

# 県ごとに 2012 と 2023 のセットを横に並べる
piv = df.pivot(index='Code', columns='Year', values=['A1101','A4101'])
pop_change = (piv['A1101'][2023] - piv['A1101'][2012]) / piv['A1101'][2012]
birth_change = (piv['A4101'][2023] - piv['A4101'][2012]) / piv['A4101'][2012]
mask = pop_change.notna() & birth_change.notna() & (piv.index != 'R00000')
r, p = pearsonr(pop_change[mask], birth_change[mask])
print(f'人口変化率 vs 出生数変化率: r = {r:.3f}, p = {p:.4f}')
print(f'分析対象県数: {mask.sum()}')

📤 実行例:

💬 結果の読み方: 11 年で r=0.805 (p<0.001) という強い正の相関 → 「人口が減った県ほど出生数も減っている」が統計的に確認される。 ただし 逆は真ならず(出生数が減ると将来の人口減が加速する経路もある)で因果は一方向には決められない。 ここで「ドメイン知識」が必要: 人口学では「若年人口の規模が出生数の主要決定因」とされるので「人口規模 → 出生数」の方向の説明が自然、 と判断する。

🎭 似ている職種との違い — DS / DA / DE / ML / MLOps

DS は「過去の説明 (DA) と未来の意思決定 (MLE)」のブリッジ。 「DA は事実、 DS は意味、 MLE は仕組み」と覚えると区別しやすい。 SSDSE-B-2026 で言えば、 DA は「2023 年 47 県の人口・出生数の表」を作る人、 DS は「2030 年に 5,000 人を切る県を予測する人」、 MLE は「その予測を毎月自動更新する API を作る人」。

🔄 CRISP-DM 各フェーズの「やる/やらない」チェックリスト

各フェーズで 失敗の典型と 回避策をテンプレ化した。 SSDSE-B-2026 を題材にしているが、 全業界共通。 「次のフェーズに進める判断基準」も付した。

🐍 全フェーズを一気通貫する小フレームワーク

このコードでやること：CRISP-DM の Business→Data→Prep→Model→Eval を 1 つの関数に圧縮し、 SSDSE-B-2026 で実行する。 「業務 KPI = 出生数予測 RMSE < 1,500」を達成するかチェックする最小サンプル。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score, cross_val_predict
import pandas as pd, numpy as np

def ds_pipeline(csv_path, target='A4101', features=['A1101','A5101','A5102'],
                kpi_rmse=1500):
    # 1. Data Understanding
    df = pd.read_csv(csv_path, encoding='cp932', skiprows=[1])
    df.columns = ['Year'] + list(df.columns[1:])
    d = df[(df['Year']==2023) & (df['Code']!='R00000')]
    print('Step1 Profile:', d.shape, '欠損数:', d[features+[target]].isna().sum().sum())
    # 2. Data Preparation: 対数化
    Xlog = np.log1p(d[features].values)
    ylog = np.log1p(d[target].values)
    # 3. Modeling
    rmse_log = -cross_val_score(RandomForestRegressor(n_estimators=300, random_state=42),
                                Xlog, ylog, cv=5, scoring='neg_root_mean_squared_error').mean()
    # 4. Evaluation: 対数CV予測を元スケールへ逆変換して RMSE を算出
    pred = np.expm1(cross_val_predict(RandomForestRegressor(n_estimators=300, random_state=42), Xlog, ylog, cv=5))
    rmse_orig = np.sqrt(np.mean((d[target].values - pred) ** 2))
    pass_kpi = rmse_orig < kpi_rmse
    return dict(rmse_log=round(float(rmse_log), 3), rmse_orig=round(float(rmse_orig), 1), pass_kpi=bool(pass_kpi))

r = ds_pipeline('data/raw/SSDSE-B-2026.csv')
print(r)

📤 実行例:

💬 結果の読み方: RandomForest + 対数化 + 5-fold CV。 対数スケールの CV RMSE は約 0.16 だが、 予測値を np.expm1 で 元スケール（人数）へ逆変換してから RMSE を測り直すと ≈ 6,246。 これは業務 KPI 「RMSE < 1,500」を 未達 (pass_kpi=False) で、 Modeling フェーズに戻り LightGBM・Stacking・特徴量追加を試す判断になる。 なお「対数 RMSE をそのまま人数へ換算する」素朴な式（(expm1(rmse_log)-1)*mean）は数学的に破綻して負値を返すため、 必ず予測値を逆変換してから元スケールで誤差を測るのが正しい。 CRISP-DM の循環性がコード上に現れている（数値は RF・sklearn のバージョンで多少変動する環境依存）。

🗺 データサイエンスの 4 ステップを図解する

EDA → 仮説 → モデル → 評価の循環を、 SVG で 1 枚に圧縮します。 「現場で次に何をすべきかを地図的に確認する」 ための図解です。

時計回りで回り続ける構造です。 ④ の評価結果が ① の次の EDA に戻り、 新しい特徴量や分析対象を生む。 ここを 1 回で終わらせず最低 3 周回す のが実務的データサイエンスです。

EDA で必ず見る 8 つの観点

仮説生成の 7 つのアンチパターン

1. 後付け解釈 (HARKing)：結果を見てから仮説を立てる → 偽陽性が爆増。 必ず分析前に仮説を文章化。
2. 相関 = 因果と誤読：相関 r=0.99 でも因果でない例多数 (人口と出生数は人口が主因だが、 暑さとアイス消費は気温が主因)。
3. サブグループ漁り：「東日本だけ」「人口 100 万以上だけ」と切り出して p < 0.05 を探す。 多重検定補正必須。
4. 因果方向の混同：「出生数が多いから人口が多い」も「人口が多いから出生数が多い」も両方ありうる。 ドメイン知識で固定。
5. 過剰モデリング：47 サンプルに 30 特徴量 → 必ず過学習。 特徴量は √n 以下が目安。
6. ベースライン無視：「線形回帰 R^2 = 0.97 すごい！」 → 単に y の分散の 97% が x で説明できるだけ。 平均値モデルとの比較を必ず添える。
7. サンプルサイズ過信：47 都道府県は母集団に近く、 推測統計の前提を満たさない場合がある（外部一般化に注意）。

モデル選択ロードマップ (SSDSE-B 想定)

評価指標の選び方

実務 Tips 30 連発

1. EDA を 1 行 1 行コメント付きで .ipynb に残す
2. seed を固定 (np.random.seed=42)、 ただし生成データ禁止 → 公開データで再現性確保
3. SSDSE-B はメタ行 (skiprows=[1]) を必ず飛ばす
4. SSDSE の CSV は encoding='cp932' を明示（utf-8 では読めない）
5. 都道府県コード R47000 で並び順を固定
6. 差分 (diff) と比率 (pct_change) を両方計算
7. 箱ひげ + ストリッププロットで分布と個別点を同時表示
8. 相関は Pearson と Spearman を必ず併記
9. 多重共線性は VIF > 10 を警告ライン
10. 線形回帰の前に必ず散布図を見る
11. 残差 vs 予測値プロットで均一分散を確認
12. QQ プロットで正規性を視覚的に確認
13. 影響度は Cook's D で測る
14. 交差検証は KFold(shuffle=True, random_state=42)
15. train_test_split は stratify を忘れない (分類タスク)
16. 標準化は train だけで fit、 test には transform のみ
17. 木モデルは標準化不要、 線形系は必須
18. カテゴリ変数は OneHotEncoder (drop='first')
19. ハイパーパラメータは GridSearchCV → Optuna
20. 過学習チェックは learning_curve
21. 特徴量重要度は permutation_importance がベター
22. 解釈には SHAP を使う
23. 異常値検出は IsolationForest が出発点
24. クラスタ数は エルボー法 + シルエット
25. 時系列は train が過去、 test が未来になるよう分割
26. pickle ではなく joblib でモデル保存
27. カラム名は ascii_snake_case に統一
28. pandas は dtype を必ず明示
29. 本番投入前に shadow A/B test
30. 結果はステークホルダーが 30 秒で理解できる図 1 枚にする

練習問題 (SSDSE-B-2026 を使う)

1. A1101 (人口) と A4101 (出生数) の対数変換を行い、 Pearson 相関が変わるか確認せよ。
2. 東京都を除外したサブセットで単回帰を fit し、 β₁ がどれだけ変わるか確認せよ。
3. A1101 (総人口), A5101 (転入者数), A5102 (転出者数) を説明変数として A4101 (出生数) を予測する重回帰モデルを作り、 R^2 と VIF を報告せよ。
4. 47 都道府県を k-means (k=3) でクラスタリングし、 各クラスタの代表都道府県を 3 つ挙げよ。
5. 箱ひげ図で A1101 の分布を地方ブロック別 (北海道 / 東北 / 関東 ...) に描き、 中央値の差が有意か Kruskal-Wallis で検定せよ。

データサイエンス vs 統計学 vs 機械学習 vs AI

用語が氾濫しがちなので、 SSDSE-B の文脈で再整理します。

データサイエンスは 「統計・ML を意思決定に繋ぐパイプラインを作る職能」 と覚えると、 上記の境界が分かります。 たとえば SSDSE-B-2026 を用いて「人口減少が出生数にどう影響するか」 を答える場合、 統計学は人口減少率の平均と分散を推定し、 機械学習は予測モデルを作り、 データサイエンスは「だから政策 X に予算をいくら配分すべきか」 まで踏み込みます。 AI は「自治体ごとの状況に合わせた提案テキスト生成」 を担います。 一連の橋渡しを担うのがデータサイエンスです。

データサイエンスの「品質ゲート」 6 段階

現場でデータサイエンス成果物をリリースする際の品質ゲートを 6 段階で整理します。 SSDSE-B のような公的データでも同じ枠組みが使えます。

データサイエンス・コンペ参加の Tips

SSDSE-B-2026 と統計・データ解析コンペティションの文脈における 12 の Tips。

1. 初手は単純な可視化と相関行列で全体感をつかむ。 凝った手法は終盤。
2. 地域ブロック (北海道 / 東北 / 関東 / 中部 / 近畿 / 中国 / 四国 / 九州沖縄) で群別比較すると新しい仮説が出やすい。
3. SSDSE-B-2026 はすでに 2012〜2023 年度の「年×都道府県」 が 1 ファイルに入っているので、 年度で絞るか、 年度を軸にした時系列として使うかを最初に決める。
4. 人口は対数変換、 比率は logit 変換 が分布を整える定石。
5. 「人口 1 万人あたり」 に変換すると都道府県間で公平に比較できる。
6. 結果を述べる時は必ず「絶対値・比率・順位」 の 3 視点で説明する。
7. 東京・大阪・愛知の 3 大都市圏は別グループ扱いにすることが多い。
8. 過年度比較を入れることで時系列的な発見が得られる。
9. 因果関係を主張するなら DAG (directed acyclic graph) を必ず添える。
10. 機械学習モデルを使うなら、 SHAP 値で寄与の可視化を必ず行う。
11. 論文・スライドでは「事実 → 解釈 → 提案」 の 3 段論法で書く。
12. 査読対策として、 反例 (counter-example) を 1 つ自分で挙げて反論しておく。

データサイエンスを学ぶ最短ルート

初心者が 3 ヶ月でデータサイエンスを実務レベルにする学習計画 (1 日 1 時間想定):

SSDSE-B-2026 はこの全期間を貫いて使える題材です。

プロジェクト・テンプレ (CRISP-DM 風)

SSDSE-B-2026 を題材にこのテンプレを 1 通り回せば、 「データサイエンスを実践した」 と言える最低ラインに到達します。

可視化の追加コード例 (matplotlib)

EDA の中心は可視化。 まず人口分布のヒストグラムを 1 つ実装します。

このコードでやること：人口の対数ヒストグラム + KDE を描き、 分布形状を確認する。

📥 入力データ：SSDSE-B-2026 の 2023 年・47 都道府県の A1101（総人口）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
df.columns = ['Year'] + list(df.columns[1:])
pop = df[df['Year'] == 2023]['A1101']   # 2023 年の 47 都道府県（12 年度分を重ねない）
logpop = np.log10(pop)

sns.histplot(logpop, kde=True)
plt.xlabel('log10(population)')
plt.title('SSDSE-B-2026 population distribution (2023, 47 prefectures)')
plt.savefig('fig_pop_hist.png', dpi=150)

print('県数:', len(pop))
print('歪度  元の人口:', round(stats.skew(pop), 2), ' log10:', round(stats.skew(logpop), 2))
w, p = stats.shapiro(logpop)
print(f'Shapiro-Wilk (log10): W = {w:.3f}  p = {p:.4f}')

📤 実行例：

💬 総人口の歪度は 2.22 と強い右裾だが、log10 をとると 0.79 まで下がり、ヒストグラムは 1 山に近づく。それでも Shapiro-Wilk は W = 0.928、p = 0.0064 で正規性が棄却され、東京都・神奈川県・大阪府など大都市県の右裾が残っている。「対数をとれば正規分布」と決めつけず、回帰や検定に使う前に残る歪みを確かめる。年度で絞らずに 564 行のまま描くと、同じ 47 県を 12 回重ねただけの図になる点にも注意。

理解度チェック Q&A

🎮 DS 3領域スキル自己診断 — ベン図で自分の位置を知る

データサイエンスは 統計学・情報科学・ドメイン知識 の 3 領域の交差点に立つ職能です（Drew Conway の Venn 図）。 下の 3 本のスライダーを動かすと、 あなたの現在地が 3 円のベン図上にプロットされ、 どの交差領域（機械学習／伝統的研究／危険地帯など）にいるかを診断します。 図の中を直接タップ／ドラッグして点を動かすこともできます。

🎨 直感：なぜ「重なり」が重要なのか

3 領域はどれ 1 つ欠けても成立しません。 統計だけなら数式遊び、 プログラミングだけなら道具屋、 ドメインだけなら勘の人。 交差領域にこそ価値があります。 とくに ドメイン知識を欠いた「統計＋情報科学」 は、 手法は正しくても問いがズレる（＝もっともらしい間違いを高速に量産する）ため Conway が 危険地帯（Danger Zone） と呼んだ最重要の落とし穴です。

🌊 DS ワークフローと 3 領域の対応（領域ごとに色分け）

実際の作業（問い→取得→整形→分析→伝達）では、 各段で主に使う領域が変わります。 色でどの領域が主役かを示します（PPDAC のデータサイクル、 良い問いの立て方 と併せて参照）。

両端（問い・伝達）がドメイン色なのが要点。 データサイエンスはドメインに始まりドメインに終わる。 中央工程（取得・整形・分析）で技術が輝いても、 両端が弱いと成果が意思決定に届きません。

🕳 落とし穴

• ツールに偏る：新しいライブラリやモデルの学習に時間を使い、 問いの質を磨かない。 情報科学のスライダーだけ上げても中央には来ません。
• ドメインを軽視：一番見えにくい欠損。 SSDSE-B なら「0 は非掲載か実値か」「東京は外れ値か本質か」の判断はドメイン知識そのもの。 → ドメイン知識
• 再現性の欠如：3 領域が揃っても、 seed 未固定・手作業前処理だと結果が再現せず信頼を失う（上のコード品質チェックリスト参照）。

🚀 発展：1 人で全部より「チームで分担」

3 領域すべてを高水準で持つ人は稀です。 実務では役割が分化します：ML エンジニア（情報科学寄り・本番運用）、 アナリスト／BI（ドメイン＋伝達寄り）、 リサーチャー（統計・数理寄り）。 大事なのは 自分の欠けている領域を認識し、 その領域が強い人と組む こと。 診断で見えた弱点は、 学習の指針にもチーム編成の指針にもなります（上の「キャリアパス 5 類型」も参照）。

🔗 隣接手法への橋渡し

「データサイエンス」は単独で完結する手法ではなく、 隣接領域と連携することで真価を発揮する。 具体的には次の 3 方向と密接につながる：

• 上流: データリテラシーと 変数の型 — データを読み解く基礎
• 並列: 機械学習・統計学・AI — 隣接領域との横断
• 下流: データ利活用と データ駆動社会 — 社会実装と価値創出

データサイエンスは統計・ML・ドメイン知識を統合し、 社会的価値に変換する横断的職能。

🌳 手法選択フロー

「データサイエンス」を実際に使うとき、 何をどう選ぶかを順に判断する。 上から順に答えていくと、 使うべき手法と評価の仕方が決まる。

1. 答えたい問いは何か
   「何が起きたか」を知りたいのか、 「なぜ起きたか」なのか、 「次に何が起きるか」なのか。 記述・因果・予測で必要な手法も検証の仕方も別物になる。 ここを曖昧にしたまま進めない。
2. そのデータで答えられるか
   欲しい変数が測られていない、 期間が足りない、 集計単位が合わない、 のいずれかなら手法を変えても答えは出ない。 データを足すか、 問いのほうを測れる形に直す。
3. 結論は誰が何に使うのか
   意思決定に使うなら、 不確実性（信頼区間）と限界を必ず添える。 探索が目的なら、 有意性より仮説の数を出すほうが役に立つ。
4. 再現できる形になっているか
   データの版・前処理・乱数の種・ライブラリの版を残す。 半年後の自分が同じ図を出せないなら、 それは結論ではなく感想になる。

データサイエンスは手法の集合ではなく、 「問い → データ → 手法 → 検証 → 伝達」の一連の作業。 手法選びで悩むときは、 たいてい問いの立て方が曖昧なことが原因。

🧭 解説深化：同じデータ・同じ問い・答えは 6 通り — 「分析者の自由度」

最後に、 本ページの他の章でも姉妹ページでも扱っていない角度から「データサイエンスとは何か」をもう一段深掘りします。 テーマは分析者の自由度（researcher degrees of freedom）。 データサイエンスの結論は「データ」だけから機械的に出てくるのではなく、 指標の定義・標本の範囲・外れ値の扱いといった分析者の選択に強く依存します。 この事実を、 SSDSE-B-2026 の実測値で体感するのが本節の目的です。

🎨 直感 — 分析は一本道ではなく「分岐の庭」

CRISP-DM のような工程図（上の「📐 定義・数式」参照）は一本のレールに見えますが、 実際の各工程は選択の分岐だらけです。 具体的な問いで試してみましょう：「結婚が多い地域ほど、 子どもが生まれるのか？」。 SSDSE-B-2026（2023 年・47 都道府県）で、 指標の定義（3 択）× 標本の範囲（2 択） というたった 2 つの分岐を動かすだけで、 ピアソン相関係数 r は次のように変わります（すべて実測値）。

出典：独立行政法人統計センター SSDSE-B-2026、 2023 年度。 使用列は A9101（婚姻件数）・A4101（出生数）・A1101（総人口）・A4103（合計特殊出生率）。

同じデータ・同じ問いなのに、 答えは「ほぼ完全な正相関（+0.991）」から「ほぼ無相関でわずかに負（−0.102）」まで振れます。 どの分岐にもそれなりの言い分があるのがポイントで、 これを心理学者 A. Gelman は「分岐の庭（garden of forking paths）」と呼びました。 下のパネルで分岐を自分で切り替えて、 結論の変わり方を確かめてください。

※ 表示される r はすべて SSDSE-B-2026（2023 年）から事前計算した実測値で、 乱数やシミュレーションは使っていません。

⚠️ 落とし穴（重要）

• 規模の相関を「関係」と読む：絶対数の r=+0.991 は、 婚姻数も出生数も総人口に比例することの反映にすぎません。 「人口が多い県は何でも多い」という共通分母（交絡）による見かけの関連です（→ 疑似相関・交絡）。 本ページの「悪いデータサイエンス」表 #2 の正規化はこの対処ですが、 正規化してもまだ分岐が残る（千対か TFR か）のが本節の追加ポイントです。
• 1 点が符号を握る：婚姻率×TFR の r は、 東京都を含めると −0.102、 除くと +0.104 と符号が反転します。 婚姻率全国 1 位の東京都（人口千対 5.10）が TFR 最下位（0.99）で、 最下位の秋田県（婚姻率 2.52、 TFR 1.10）より低い、 という 1 点の影響です（→ 外れ値）。 符号がこれほど壊れやすいこと自体が「実質的な関連はほぼ無い」というシグナルです。
• 都合の良い 1 本だけ報告する：6 通りのうち、 主張に合う r だけ見せるのはチェリーピッキングで、 意図せずやれば p-hacking と同型の誤りです。 総当たりで探索してから 1 本だけ報告する行為は多重検定の偽陽性問題そのものです。
• 「どれが正しい分岐か」を統計に決めさせようとする：正解は問いの精密化が決めます。 「結婚件数が出生数をどれだけ説明するか」なら千対、 「結婚しやすさが出生力を高めるか」なら TFR が対応します。 分岐の選択は統計技術ではなく問いの立て方とドメイン知識の仕事です。

🚀 発展 — 「全部の分岐を見せる」という解決策

近年のデータサイエンスでは、 分岐を隠すのではなく全分岐を機械的に走らせて結果の分布ごと報告する方法論が広がっています。 多元宇宙分析（multiverse analysis）や仕様曲線分析（specification curve analysis）と呼ばれ、 「妥当な選択の組合せ全部で推定したとき、 結論はどれくらい頑健か」を示します（これらの用語ページは本用語集には未収録のため、 名称のみ紹介）。 事前に分析計画を固定する事前登録（preregistration）も同じ問題への処方箋です。 上の 6 通りは最小の多元宇宙で、 コードにするとループ 1 つです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 最小の「多元宇宙分析」: 指標3通り × 標本2通り = 6通りを全部report
import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
d = df[df['SSDSE-B-2026'] == 2023]              # 2023年・47都道府県
marr = d['A9101'] / d['A1101'] * 1000            # 婚姻率(人口千対)
defs = {'絶対数':   (d['A9101'], d['A4101']),
        '人口千対': (marr, d['A4101'] / d['A1101'] * 1000),
        '婚姻率xTFR': (marr, d['A4103'])}
no_tky = d['Prefecture'] != '東京都'
for name, (x, y) in defs.items():
    print(f"{name}: 全47 r={x.corr(y):+.3f}  "
          f"東京除外 r={x[no_tky].corr(y[no_tky]):+.3f}")
# 出力:
# 絶対数: 全47 r=+0.991  東京除外 r=+0.997
# 人口千対: 全47 r=+0.667  東京除外 r=+0.743
# 婚姻率xTFR: 全47 r=-0.102  東京除外 r=+0.104

💬 同じ「婚姻と出生の関係」でも、指標の定義を変えるだけで r は +0.991（件数どうし）、+0.667（人口千対どうし）、−0.102（婚姻率と合計特殊出生率）と、ほぼ完全な相関から無相関まで動く。婚姻率×TFR では東京都を除くだけで符号が −0.102 から +0.104 に反転し、婚姻率が 47 県で最も高い（千人あたり 5.1）のに TFR が最も低い（0.99）東京都 1 県が結論を左右している。どれか 1 つだけを報告すると恣意的な結論になるので、6 通りを並べて見せることが多元宇宙分析の目的である。

レポートには「主分析はどの分岐か」「他の分岐でどう変わるか」を 1 行ずつ添えるだけで、 分析の信頼性は大きく上がります。 これは本ページの「📝 レポートでの報告」の作法を、 感度分析（sensitivity analysis）として一歩進めた形です（感度分析の単独ページは未収録）。

🔗 関連ページ

• 相関 — r の定義と読み方
• 疑似相関 — 共通分母・第三変数の罠
• 因果関係 — 相関から因果への距離
• 交絡 — 人口が両変数を駆動する構図
• 外れ値 — 東京 1 点が符号を変える理由
• 多重検定 — 総当たり探索の偽陽性
• 合計特殊出生率 — TFR という指標の意味
• 良い問いの立て方 — 分岐を決める上流工程
• ドメイン知識 — 指標選択の最終審級
• 探索的データ分析 — 探索と確証を分ける