99点は何を意味するのか

「25ゲームのうち何ゲーム解けたか」の通過率ではありません。RHAEが測るのはステップ数の効率で、しかもかなり重い2乗のペナルティが付きます。

計算方法はこうです。各関門で「人間のステップ数 ÷ AIのステップ数」を取り、それを2乗し、上限は1.15。ゲーム内で後になるほど関門の重みは大きくなり(1からnまで増加)、重みに紐づいた完了度の上限もあります。どれか一つでも通過できない関門があると、そのゲーム全体で満点は取れません。ゲーム内で実際に押した操作は、探索のために試した手も含めて、すべてAIのステップ数に数えられます。2乗であるため、余分に使ったステップ数はスコアを急速に下げます。

だから「だいたい全部クリアした」という点では同じでも、効率の差でスコアには天と地の差が出ます。原文には次のような対比例が示されています。

つまりこの98.98点は、「完了度」と「ステップ効率」の両方を合わせた総合点であり、解答率とは同じではありません。うまくプレイするだけでなく、熟練した人間並みに省エネでプレイすることを要求しているのです。

物理学者のように考える

物理学者は法則を書き下す前に、まず「この法則は何についてのものか」を決めなければなりません。無数の観察の中で、どれを「物体」とみなし、どの属性が「状態」を定義するのか。これが決まってはじめて、「状態がどう変化するか」を論じられます。Schemaはこれを、同時に解決しなければならない二つの問題に分けています。

一つ目は状態の接地です。生の画面を、追跡可能な物体・変数・関係に変換すること。どのピクセルが自分自身で、どれが壁で、どれが「残りステップ数」を示すカウンターなのかを教えてくれるものは何もなく、AIは自分で見極めなければなりません。二つ目は機構の発見です。ある操作を行うとこれらの状態がどう変わるかを見出し、そのルールを実際に動くプログラムとして書き出すこと。

肝心なのは、この二つの問題を別々に解くことができない点です。一見筋の通った状態表現でも、後の実験でボロが出ることがあります。以降の結果を説明できる一貫したルールがどうやっても見つからないのです。このとき、ルールを直すだけでは足りず、「状態とは何か」そのものを直す必要があります。

先にプログラムを書き、検証してから動く

一つのプログラムを持つだけでは足りません。Schemaは「このプログラムをどう使うか」にかなり厳格な規則を課しています。外側で回るのは4段階のループです。観察 → 熟考 → 実行 → 記録。

記録(record)はシステムが変更できない交互作用の履歴です。AIは自分の仮説やノートをいつでも書き換えられますが、すでに受け取った画面や、すでに押した操作は書き換えられません。この追記専用のタイムラインこそが、唯一の真実の基準です。

熟考のたびに、AIはゲームについての理論、すなわちstep(state, action)というプログラムを更新します。run_backtestを使って、このプログラムを完全な交互作用の履歴に照らし合わせます。予測と実際が食い違う一手があれば、その不一致を使って誤りの位置を特定します。さらにrun_bfsでこのモデル内の経路を探索し、結論をノートに書き込みます。これらの操作はどれも実環境に触れず、commit_actionsだけが動作をゲームに送信します。「内部でのモデル化と探索」と「外部との実際の交互作用」を完全に分離しているのです。

もう一つ直感に反する点があります。AIはクリアのためだけに動くのではなく、「隠れた機構を明らかにする」ためだけに動くこともあります。まだ履歴と整合する候補ルールが複数残っているとき、それらを区別できる実験を探します。異なる仮説が異なる予測を出す操作を選んで実行し、結果を比較してstep()を更新するのです。RHAEが余分なステップ数に2乗のペナルティを課すため、最良の実験とはまさに「最小の実際の交互作用で、最大の不確実性を除去する」ものになります。step()が履歴内のすべての変化を再現できるようになれば、以降の解答はモデル内での探索に移され、実際のステップ数を追加で消費しなくなります。

使い方を変えただけで、同じモデルが43点から99点に

「99点は外側の仕組みの功績であり、モデルが強くなったわけではない」ことを証明するには、対照実験が必要です。モデルは固定し、外側の仕組みだけを入れ替える。原文では同じOpus 4.8とFable 5でこれを実行しています。

最終的なClaude Codeネイティブのドラフトのスナップショットを基準の出力とすると、成績は42.83点。同じ組み合わせでSchemaを装着すると98.98点、純増56.15点です。

Claude Code自体は非常に強力な汎用の外側の仕組みで、ファイル操作や長いコンテキスト管理が得意です。原理的にはSchemaの流れを模倣できますが、モデルに強制はしません。汎用の外側の仕組みの下では、モデルは直接ゲームに手を出すこともでき、自分の判断をずっとコンテキストに含めたまま、コードに落とし込まずに済ませることもできます。Schemaはこれに対し、三つの制約を強制的に課しています。

この対照設定の下で、SchemaはClaude Codeベースラインに対して56.15点の向上をもたらしました。GPT-5.6に切り替えると、SchemaのSol xhighとSol maxの組み合わせは95.35点を獲得しましたが、注意すべきは、これに最も近い公式の参照点(Sol maxの公開13.33、半公開7.78)は同じ外側の仕組みでの対照実験ではないという点です。つまり図中の82点の差は「参考」であり、対照実験で測定された増分ではありません。

25ゲームを一つずつ見ると、Claudeの組み合わせで残った結果は14ゲームがOpus、11ゲームがFableで、そのうち19ゲームがちょうど満点の100。Solの組み合わせでは20ゲームが満点。100に届かなかった残りのいくつかは、89から99の間にスコアが集中し、差はごくわずかで、かなり集中しています。

「これは何か」を正しく認識すれば、勝てる

効率はいったいどこから来るのか。原文は二つの観察を示していて、それによってOpus 4.8とFable 5がこの外側の仕組みの下でどう違うかも自然と見えてきます。

観察一:プログラムを正しく認識すれば、行動は省エネになる

AIが「全履歴を精密に再現できる」プログラム形式の世界モデルを導き出せた14ゲームで、使用したステップ数は人間参照の1/1.6から1/5でした。理由はコストのかかる場所が変わったことです。実際のステップは「ある機構を発見する」ときにだけ一度支払われ、その後はモデル内で無料で計画を立てられます。同じ機構を試行錯誤で何度も再発見する必要がありません。人間が難しいと感じる場所ほど、この優位性は際立ちます。M0R0の第4関門では、人間は500ステップ必要でしたが、AIはわずか42ステップでした。

RE86ではこのプロセス全体が完結しています。run_backtestがモデルを393件の記録に対して一手ずつ再生し、すべて精密に一致。検証済みのモデルがそのまま計画を出し、余分な試行錯誤なしに関門を丸ごと突破しました。61ステップの単発計画で、実行時の予測エラーはゼロ、そのまま勝利です。「一回の操作で数百フレームの精密な画面を照合する」というこの能力に、補助なしの人間のプレイでは対応するものがありません。

25ゲームそれぞれの「累積ステップ数(横軸)対クリア関門数(縦軸)」:マゼンタがSchema、グレーが初回プレイの人間。ほとんどのゲームでマゼンタの線がグレーの線より上にあり、同じ関門数をより少ないステップ数で通過している。公式データでは、Schemaは96%の関門で人間より速く、全体のRHAEは99.0%。出典:Impossible Research

観察二:Fableのほうが早く「認識自体が間違っている」と疑う

両モデルが試した同じゲームでOpus 4.8 MaxとFable 5を比べると、Fableのほうが高いRHAEを取っています。その理由は二つのパターンです。一部のゲームでは、Fableが見出したモデルがOpusでは通過できない関門を通過できた。別のゲームでは両者とも通過できたが、Fableのほうがより少ない実際のステップ数で同じ結果に到達している。

対になった軌跡は同じ解釈を指し示しています。一度予測が失敗すると、Fableはより頻繁に「表現方法そのもの」を疑い、本当に重要な不確実性を見極め、「異なる仮説が異なる結果を出す」操作を選んで試し、観察を再利用可能なルールへと変換します。Opusも最終的には同じ機構を見出すことが多いのですが、既存の表現方法の枠内で、目標や条件、設定をいろいろ試すためによりステップ数を使う傾向があります。

FT09では、盤面が現在の目標ロジックを満たしても先に進まない状況で、Fableはより根本的な問いに切り替えました。装飾だと思われていた「チェッカー」自体はクリックできるのか?クリックすると、「押すと自分と上下左右の隣接マスを反転させる」十字ボタンが現れました。Fableはこの観察をコードに書き起こし、11ステップでクリア、次の関門は13ステップでした。Opusは同じ矛盾に気づいていましたが、その後もおよそ240ステップを使って別の目標状態の解釈を試し続け、287ステップ目にしてようやくそのチェッカーを押し、同じ隠れた機構を記録しました。両モデルともこのルールを表現し、使うことができます。違いは「誰がより早く、欠けていた手がかりを浮き上がらせる実験を選べたか」だけです。

三つのケースはいずれも同じ一文に帰結します。汎用的な機構とは「決して変わらない」ことを意味するのではなく、「修正のたびに以前の説明の枠組みを保ちながら、新しい関門でのコストを下げていく」機構を指します。探索はそれが依拠する世界モデルの内部でのみ完全になります。欠けていた物体・状態変数・変化が一度表現されれば、既存の検証器と計画器で十分な場合が多い。しかし観察からどちらが正しい表現かを区別できないとき、同じ機構が誤った表現を検証・網羅してしまうこともあります。

一つの新たな出発点

ARC-AGI-3は、この急速に進化する分野における重要なベンチマークです。3月の公開時点で、先行する前沿エージェントは0.51点しか取れませんでした。7月時点で最も優秀な公式Sol Maxは公開セットで13.33、半公開セットで7.78。一方、自己評価の結果は一時、ゲームごとのRHAE平均で58.12点まで上がっています。

Schemaが自己評価で出した98.98点は、この軌跡の延長線上にあり、断絶ではありません。原文自身がはっきりと述べています。ここに挙げた数字はすべて公開25ゲームでのみ測定されたものです。Sol maxは評価セット間を横断する唯一の公式な校正点(公開13.33対半公開7.78)を提供していますが、これだけでは、ほぼ満点の公開成績を半公開セットへ数値的に外挿するには足りません。公開の98.98が半公開でどうなるかは、実際に測定するまで誰にもわかりません。入手可能な実行データが記録しているのは公開セットのみであるため、この発表では「外側の仕組みを固定した」検証や「留保セットでの成績」についての主張は行っていません。加えて、両成績は自己評価であり、ARC Prizeの独立検証は経ていません。図中のSolの曲線も、完全な評価資料が公開される前に、元のグラフから読み取った暫定値です。

研究者たちは、飽和したARC-3を新たな出発点として捉えています。「機構発見」を汎用的な能力にすること。行動と知覚のエージェントループを通じて、世界の因果構造を接地させること。しかもその世界は、64×64のグリッドよりもはるかに豊かなものになる。それが彼らの目指す方向です。

肝心な材料はすでに姿を現していました。陌生な環境に適応できる前沿モデル、プログラミングエージェントの外側の仕組み、そしてプログラム形式の世界モデル。Schemaは、それらを一つに束ねたシステムです。 Impossible Research、Schema発表ブログ

Schemaは「外側の仕組み」(harness、モデル自体には触れず、画面をどう与えるか・どう考えさせるか・どう動作に変換するかという仕組みだけを再編成するもの)です。AIにやり方を変えさせます。まずこの関門のルールを実際に動く小さなプログラムとして書き出し、それまでの一手一手を再生して検証し、すべて一致したら、そのプログラムの中で次の一手を探索する。

同じOpus 4.8とFable 5で、モデルは一バイトも変えていないのに、外側の仕組みだけ入れ替えたら43点から99点に跳ね上がった。でも「プログラムとして書く」だけで、なぜこんなに差が出るのか?

AIがゲームをプレイするやり方は、これまでずっと「プレイしながら推測、間違えても続行」でした。Schemaはそれをこのループに置き換えます。まずルールをプログラムとして書き、検証してから動く。

この99点は「25ゲームのうち何ゲーム解けたか」ではなく、AIの各関門のステップ数を人間の初回プレイのステップ数と比較したもので、節約できるほど点数が上がり、2乗のペナルティも付きます。「同じ関門を何ステップで通過するか」に換算すると、いちばん体感しやすい。