この画面は何を確認するのか
支援機能は 2 段構えになっている。(A) カードの並びから 5 制約の充足を判定する部分と、 (B) その判定の履歴から理解度を推定し、あと何手で正解に届くかを予測する部分である。 それぞれ別々に確かめないと「動いている」とは言えないので、次の 4 つを検査する。
- 自己整合検査(A)— 全 48 課題で、正解カードの並びだけが 5 制約を満たすか。
- 実ログとのフラグ照合(A)— 実践当時のシステムが記録した 5 制約フラグを再現できるか。
- 正誤判定の照合(A)— 「正解/不正解」の最終判定が実システムと一致するか。
- 予測の信頼性(B)— 「k 手以内に正解に届く確率 p」と言ったとき、実際に届いた割合が p になっているか。
全体値と同じ検査を,選択課題だけに絞って表示する。
1・3. 自己整合検査と正誤判定の照合
2. 実ログとの 5 制約フラグ照合
| 制約 | 一致率 | 両方 1 | 両方 0 | 本実装 1 / ログ 0 | 本実装 0 / ログ 1 |
|---|
4. 到達確率予測の信頼性
信頼性図(予測 5 手以内 vs 実際に 5 手以内で到達した割合)
点が対角線に近いほど、確率の言い値が当たっている。丸の大きさは事例数。
手数 k ごとの成績
| k | 事例数 | 実際の到達率 | Brier | ベースライン | スキルスコア | 的中率 |
|---|
ベースライン = 誰に対しても学級全体の平均到達率を答える予測。
スキルスコア = ベースラインに対する Brier スコアの改善率。
正解済みの提出は予測対象から除いてある(0 手で到達済みのため自明)。
理解度モデルと到達予測モデル
制約ごとの BKT パラメータ(全学年プール)
| 制約 | init 開始時の習得率 | learn 1機会あたり習得率 | slip 習得済みでも失敗 | guess 未習得でも成功 |
|---|
到達予測モデル
不一致サンプル(本実装 vs 実ログ)
| 課題 | 配置 | 本実装 | 実ログ |
|---|
並びは SS.S / ST.S / O.S / N.S / C.S。