モンサクン ベイジアンネット支援デモ

検証データ: 寺西小学校 2020 年実践 CHECK イベント 63,603 件

この画面は何を確認するのか

支援機能は 2 段構えになっている。(A) カードの並びから 5 制約の充足を判定する部分と、 (B) その判定の履歴から理解度を推定し、あと何手で正解に届くかを予測する部分である。 それぞれ別々に確かめないと「動いている」とは言えないので、次の 4 つを検査する。

  1. 自己整合検査(A)— 全 48 課題で、正解カードの並びだけが 5 制約を満たすか。
  2. 実ログとのフラグ照合(A)— 実践当時のシステムが記録した 5 制約フラグを再現できるか。
  3. 正誤判定の照合(A)— 「正解/不正解」の最終判定が実システムと一致するか。
  4. 予測の信頼性(B)— 「k 手以内に正解に届く確率 p」と言ったとき、実際に届いた割合が p になっているか。
全体値と同じ検査を,選択課題だけに絞って表示する。

1・3. 自己整合検査と正誤判定の照合

2. 実ログとの 5 制約フラグ照合

制約一致率両方 1両方 0本実装 1 / ログ 0本実装 0 / ログ 1

4. 到達確率予測の信頼性

信頼性図(予測 5 手以内 vs 実際に 5 手以内で到達した割合)

点が対角線に近いほど、確率の言い値が当たっている。丸の大きさは事例数。

手数 k ごとの成績

k事例数実際の到達率Brierベースラインスキルスコア的中率
ベースライン = 誰に対しても学級全体の平均到達率を答える予測。 スキルスコア = ベースラインに対する Brier スコアの改善率。 正解済みの提出は予測対象から除いてある(0 手で到達済みのため自明)。

理解度モデルと到達予測モデル

制約ごとの BKT パラメータ(全学年プール)

制約init 開始時の習得率learn 1機会あたり習得率slip 習得済みでも失敗guess 未習得でも成功

到達予測モデル

不一致サンプル(本実装 vs 実ログ)

課題配置本実装実ログ
並びは SS.S / ST.S / O.S / N.S / C.S。