本文を読んだらすぐテスト、解いたらAIが即採点

Phosphorはウェブアプリで、授業内容は「課」ごとに構成され、各課に15〜20問の問題プールが付く。学生は1課を読み終えると、同じページで小テストを1回受ける。解き終えると、機械とAIがその場で採点する。

この設計が賭けているのは「doer効果」だ。演習問題を解くことがもたらす学習効果は、ただ読むだけの何倍にもなる。本当に効いているのは「自ら答える」という動作そのものであって、何ページ読んだかではない。演習を読書に組み込むのは、この効果をデフォルトで起こることに変えたいからだ。この賭けが正しいかどうかは、次節の自然実験が直接の答えを出している。

記述式と選択式、成績を伸ばすのはどっちか

3つのモジュールは本来同じ出題形式を使うはずだったが、学生の反応を受けて途中で2回変わり、かえって比較試験に近い状況ができあがった。

モジュール1（記述統計、9課）は記述式と選択式を混ぜた小テストを使った。モジュール2（確率と標本抽出、8課）は、多くの学生が「記述式の自動採点は杓子定規で、心が折れる」と反応したため、小テストを選択式のみに削った。モジュール3（統計的推測、7課）に入ると、チームは試験結果を分析し、選択式のみの小テストはほとんど学習効果を生まないと判断して、記述式を再び戻した。

こうして同じ学生たち、同じ授業でありながら、モジュールごとに異なる出題形式を経験した。「1課多く終える」ことと「試験で何点多く取る」ことの関係を取り出してみると、3つのモジュールが示す傾きはまったく違っていた。

本当に点を伸ばすのは、課をまたぐ復習テスト

すべての比較を並べてみると、効果が最も大きいのは単課の小テストではなく、モジュール全体をカバーする復習テストだった。3回のモジュール復習をすべて通過した学生は、通過しなかった学生より期末が7.1点高い。

あらかじめ設定した5つの比較のうち、Holmの多重比較補正を経てもなお成り立ったのは「全3回の復習を通過」の1項目だけだった（p<0.0001）。この学生たちは研究全体で最も選り抜かれた集団でもあるので、著者はより硬い証拠をより清潔な比較に置いた。モジュール2の内部で、復習を通過した学生は通過しなかった学生より中間が6.1点高く（d=0.39）、内容も時期もクラスも固定されており、方向も大きさも一致する。

モジュール復習と単課の小テストの違いはいくつかある。複数の課をカバーし、異なるトピックを織り交ぜ、ハードルが高く（90%）、記述式も選べる。どれが決め手かは切り分けられないが、最も効いていそうなのは「トピックをまたぐ交互検索練習」、それに学生が自ら育てた間隔をあけた復習リズムだ。

学生が自分で「間隔反復」を積み上げた

3回のモジュール復習では、3分の2の受け直し（237回のうち157回）が少なくとも一度は戻って受け直しており、しかもその多くはしばらく間をあけて戻ってきたもので、その場ですぐ解き直したものではない。

受け直しの間隔の中央値は約1.5日で、3つのモジュールの受け直し率も近い（それぞれ61%、77%、56%）。この「1日あけて戻ってくる」という行動は、まさに記憶研究が推奨する間隔をあけた復習であり、しかも学生が強制されないなかで自発的に形づくったものだ。

フル参加と不参加で、どれだけ差がつくか

「何課受けたか」と「復習を何回通過したか」という2本の参加ラインを1つのモデルに一緒に入れ、フル参加と不参加の間の期末の差を推定する。ここで使うのはTobitモデルだ。

結果は一つの区間として出る。学生の事前の実力も差し引くかどうかによる。

他の変数を調整しないと、フル参加（24課に加え3回の復習をすべて通過）と不参加を比べて、期末は14.7点（1.30標準偏差）の差がつく。2回の中間成績を調整すると、差は8.0点（0.71標準偏差）へと半減する。

著者は、0.71という数字は保守的な下限であって最良推定ではないと強調する。期末が問うのは同じ内容であり、2回の中間は実のところ同じ結果の平行測定だ。それを制御変数として差し引くと、Phosphorが学期の早い時期にすでに生んだ学習効果まで一緒に差し引くことになる。だから妥当な効果の区間は、0.71標準偏差（過剰調整）から1.30標準偏差（自己選択が混ざる）の間に収まる。教育介入の観察研究の基準では、この大きさは小さくない。

AI質問サイドバーは、ほとんど誰も開かなかった

プラットフォームにはAI質問チャットサイドバーも付いており、検索拡張（RAG）技術を使っている。その利用量はテスト機能と2桁の差があった。

学期を通じて、チャットサイドバーはわずか72回しか使われず、複数回使ったのは14人だけだった。学生が挙げた理由は2つ。汎用AIツールのほうが自分の質問に速く強く答えてくれること。そして授業内容そのものがすでに十分に説明しており、読んでいるあいだに質問がたまらず、わざわざチャット枠を開いて聞くまでもないことだ。

この閑散ぶりは外部の観察とも一致する。カーンアカデミーも以前、補助チャットボットを頻繁に使うユーザーは15%だけだと報告している。AIを「テストとフィードバック」という評価の主フローに直接組み込むほうが、外付けのチャット窓にするより、学生に本当に使ってもらいやすい。

この研究はどこまで信頼でき、著者は次に何をしたいのか

著者は限界をはっきり示している。これは観察研究であり、あるエリート校の一つの授業でだけ試験導入され、無作為比較はない。

最大の解釈上の脅威は自己選択だ。多く問題を解こうとする学生は、そもそも実力があり意欲も高い可能性がある。著者は2回の中間成績で事前の実力を制御し、効果の上限と下限を示したが、モジュールをまたぐ課数の比較は、内容領域、時期、そしてモジュール復習が同時に導入されたことという要素が絡み合ったままだ。しかも「3回の復習を全通過」の集団は、研究全体で最も選り抜かれた一群でもある。アンケートデータも小標本からのもので、社会的望ましさのバイアスがあるかもしれない。

研究からはもう一つ潜在的なトレードオフが浮かび上がる。記述式をオフにすると、小テストの完了率は49.6%から58.8%に上がり、再びオンにすると33.4%に下がった。効果が最も強い機能が、必ずしも学生が最も使いたがる機能とは限らない。

著者は次の段階として、課の完了度を授業の成績と結びつけ、より清潔な「用量と効果」の測定を得たうえで、より多くの学校の入門授業で再現する計画だ。記述式と選択式を無作為に振り分ける比較試験も計画に入っており、そうしてはじめて「記述式のほうが効く」という因果の主張を確かなものにできる。

プラットフォームの名はPhosphor。1課を読み終えるとすぐランダムな小テスト4問を解き、選択式は機械が採点、記述式（選択肢を選ぶのではなく自分で一段落書いて答える）はClaude Sonnet 4.6が教員の定めた基準で採点し理由も示す。完全に任意で成績にも反映されないのに、9割の学生が自ら使い始めた。

だが「よく使う」が「よく学べる」とは限らない。学習好きの学生がもともと問題を解くのが好きなだけでは？ 思いがけない出題変更が、その答えを引き出した。

3つのモジュールは本来同じ出題形式のはずが、学生の反応で2回変わった。モジュール1 記述+選択 → モジュール2 学生の要望で選択のみに → モジュール3 記述に復帰。同じ学生たちが偶然の対照実験を生んだ。

小互が3つのモジュールで同じこと、つまり多く解くをやってみる。「自分で答えを書く」モジュールでだけ、多く解くことが点の伸びに変わる。選択肢を選ぶ形式に変えるとこの関係はそのまま消え、記述式に戻すとまた復活する。図中の小さな文字 R² は「この関係がどれだけ強いか」の点数で、大きいほど強く、0に近いほど関係なしだ。

公式が示すのは「標準偏差」で、ふつうの人にはピンとこない。クラス順位に換えればはっきりする。