この画面は何を見せるのか
ベイジアンネットが「いま何が分かっていないか」を推定できるなら、次はそれを使って 次にどの課題を出すかを決められる。学習者の理解は直接見えないので、これは部分観測マルコフ決定過程(POMDP)になる。 ここでは MCTS(UCT)による先読みと、近視眼的な貪欲法・多腕バンディット(UCB1/トンプソン抽出)・ 実践と同じ固定順序を、同一の学習者シミュレータ上で比べる。
重要な前提。 本実践では課題の提示順序が全学習者でほぼ共通であり、
「課題の選び方」の変動がデータにほとんど無い。したがって出題選択の因果効果は実データから識別できない。
学習者の操作の仕方・観測モデル・初期習得分布は実データで較正しているが、
「経験して何を学ぶか」の強さ λ だけは仮定パラメータとして走査している。
以下の結果は「λ がこの程度なら先読みはこれだけ効く」という条件つきの主張である。
1. 学習者シミュレータの実データ照合
学習者エージェントが実践のマクロ統計を再現できているか。ここが合っていないと、方策の比較に意味がない。
| 学年 | 試行数 | 到達率 sim | 到達率 実測 | 答え合わせ回数 sim | 実測 | C.S 違反率 sim | 実測 |
|---|
課題別の照合
課題選択方策の優劣ではなく,各課題についてシミュレータが実ログを再現するかを見る。
| 制約 | 違反率 sim | 違反率 実測 | 差 |
|---|
ここでのsimは人為的な学習者シミュレータの仮想値であり,学習者画面の実ログにもとづく到達予測とは別物である。
2. 方策の比較(λ 走査)
縦軸は12課題を終えた時点で新たに習得した制約の数。複数課題から何を選ぶかの比較なので,課題別には分解しない。エラーバーは標準誤差。
全学習者
未習得 2 つ以上の層
| 母集団 | λ | 方策 | 習得増 | 標準誤差 | 固定順序との差 |
|---|
3. 追加実験(アブレーション)
E2 先読みの深さ
| 深さ | MCTS 習得増 | 対 固定順序 | 対 貪欲法 |
|---|
E3 出題数(予算)
| N | 固定順序 | MCTS | 対 固定順序 |
|---|
E5 探索回数
| sims | MCTS 習得増 | 対 貪欲法 |
|---|
E6 教授側が仮定する λ のずれ(真の λ = 0.2)
| λ 仮定 | MCTS 習得増 | 対 固定順序 |
|---|
E1・E4 方策一覧(対応のある比較)
E1 未習得 2 つ以上の層
| 方策 | 習得増 | 対 固定順序 |
|---|
E4 前提が塞がれた層(N.S 未習得のため C.S が学べない)
| 方策 | 習得増 | 対 固定順序 |
|---|
4. 先読みが効かない理由の確認
報酬構造と出題制約を変えて、貪欲法との差が現れる条件を探す。
| 条件 | 固定順序 | 貪欲法 | MCTS | UCB1 | MCTS − 貪欲法 |
|---|
5. 1 人ぶんの出題を実際に走らせる
| 手番 | 出題 | 期待習得増 | 違反した制約 | 到達 | 習得した制約 | 真の習得数 | 推定理解度(5 制約) |
|---|