説明書なし。スコアは「正解数」ではない

ARC-AGI-3 は ARC Prize の評価で、手作業で作った小ゲーム環境が全部で 135、公開デモは 25。誰でも arcprize.org で遊べる。共通条件は説明書なし。オブジェクト一覧も、ルール説明も、目標の記述も、途中の報酬点もない。

モデルが1手ごとに受け取るのはこれだけ：64×64 の格子図で、各マスは 0 から 15 の色番号。加えて押せるキーが全部で7つ。

クリアへの道は一つだけ：手を動かしながらルールを推測し、間違えたら直す。キーを押し、画面のどこが変わったかを見て、そのキーの役割を推測し、次の手で確かめる。

このスコアは「正解数」ではない

ARC-AGI-3 のスコアは RHAE（相対的人間操作効率）。正解数は数えず、人と何歩歩いたかだけを比べる。モデルが各ステージを通った歩数を、そのゲームを初見で通した人の歩数と比較する。しかも減点は二乗比例だ。

採点の細部がもう3つ。知らないと数字が読めない。各ステージのスコアはステージ番号で重み付けされ、後ろほど価値が高く、冒頭のチュートリアルはほぼ効かない。1試合の上限は「どこまで進んだか」に縛られ、最終ステージ未クリアならいくら効率よくても 100% に届かない。人間基準は同じステージの初見プレイヤーのうち、歩数がやや上位の一人。だから一般人が受けても 100% は取れない。OpenAI が推計した人間平均は 48% だ。

モデルは鈍くない。1手ごとに記憶が消される

スコアが罰するのは遠回りだけなら、Sol の遠回りはどこから来たのか。OpenAI が対局ログを見ると、第一印象は ARC と同じ：あまり賢そうに見えず、1手ごとに長く悩み、同じ場所を回り続ける。もっと読むとモデル自体に問題はなく、プログラム側に2つあった。

第一に、1手を終えるたびに、自分向けに書いたプライベート推論が丸ごと捨てられる。次の手では Sol がゲーム理解をゼロからやり直す。押したキーと短いメモは見えるが、なぜ押したか、当時何が分かっていたか、次の計画は何か、は全部消える。

第二に、このプログラムはローリング切り捨て（rolling truncation）を使う。文脈が閾値を超えると、最も古いメッセージを捨てる。過去の考えが残らないだけでなく、押したキーの記録も少しずつ窓の外へ押し出される。

この2点は ARC のオープンソース実装で直接見える

ARC は評価用プログラムを GitHub で公開している（ARC-AGI-3-Agents、最新コミット 2026年5月28日）。本サイトが取得して確認すると、両方とも実物があった。

第一に、リポジトリ全体で OpenAI を呼ぶ箇所はすべて chat.completions.create、計20か所。responses.create も previous_response_id もゼロ。これは「設定を有効にしていない」より決定的だ：旧インタフェースは構造上、暗号化された推論内容を次のラウンドに戻せない。推論が捨てられるのは設定漏れではない。このインタフェースを選んだ時点で結果は必然だ。

第二に、メッセージスタックは本当に FIFO で最も古いものを切っている：

def push_message(self, message):
    """Push a message onto stack, store up to MESSAGE_LIMIT with FIFO."""
    self.messages.append(message)
    if len(self.messages) > self.MESSAGE_LIMIT:
        self.messages = self.messages[-self.MESSAGE_LIMIT :]

満杯でも先頭は消さず、要約に圧縮する

原因が覚えられないことなら、直し方は2つ：覚えさせることと、空きを作るのに削除を使わないこと。

OpenAI のモデルは学習時から「まずプライベート推論を書き、それから返答やツール呼び出し」という形で、その推論メッセージは対話履歴に残す前提だ。履歴が収まらなくなれば圧縮して続ける。ChatGPT と Codex の本番もそう動いている。実験をこの本番環境に揃えるため、Responses API で ARC-AGI-3 のプログラムを書き直した。

スイッチ1：推論の保持 — 前回レスポンスの ID を返す

このスイッチは推論の保持（retained reasoning）。Responses API では、前回レスポンスの ID（previous_response_id）を次のリクエストに入れると、推論がツール呼び出しやラウンドをまたいで自動で残る。効果は2つ：毎手の考え込みが短くなる（ゲームを頭から理解し直さなくていい）、そして明らかに「学ぶ」ようになり、戦略がつながり、毎手がバラバラにならなくなる。

スイッチ2：コンパクションでローリング切り捨てを置き換える

コンパクションは文脈圧縮だ。OpenAI の API ドキュメントでは、リクエストに context_management の compact_threshold を置く。レンダリング後のトークン数がこの閾値を超えると、サーバが圧縮を走らせ、それまでの状態と推論を暗号化された圧縮エントリにまとめ、そのまま続ける。このエントリは人には見えないブラックボックスだが、「この対話を続けるのに要るもの」は運ぶ。

差は一言で言える。ローリング切り捨てはメモリ満杯で最も古い記録を消し、消えたら二度と戻らない。圧縮は満杯になったら記録を濃縮版に書き、空けたあとも記録を続ける。前者は本当に忘れる。後者は省略版で覚える。

OpenAI 自身が描いた図は、この仕組みが実際の1ラウンドでどう見えるかを示している：

ローリング切り捨てには副次効果もある。モデルが大半の時間をほぼ満杯の文脈ウィンドウで動くことになり、窓が満杯だと性能は少し落ちる。圧縮は窓を空け直し、この点も避ける。

推論5レベルすべて上振れ、同スコアならトークン差は約12倍

下の図は2つのプログラムの実測を重ねたもの。横軸は1試合の出力トークン、縦軸はスコア。各線5点で、低・中・高・超高・最高の推論強度レベルに対応する。

2本の形の差は一目で分かる。公式プログラムは右へ這い上がり、1試合 290 万トークンでやっと 13.3%。新プログラムはほぼ縦軸に沿って上がり、最高レベルでも1試合 49 万トークンで 38.3%。

5レベルすべてが上振れしたのが第一層。OpenAI 自身のまとめは、最高レベルで約3倍のスコア、出力トークンは約6分の1。

前の採点ルールに戻すと、2つの帳簿がはっきりする。RHAE は思考の歩数を歩数に入れない。だから 13.3% から 38.3% への上昇は、遠回りをどれだけ減らせたかだけを言う：自分の判断を覚えていれば、排除済みの道をまた歩かない。出力トークンの低下は、毎手ゲーム理解を頭からやり直さなくてよくなったことを言う。一つの変更で、重ならない2つの利得。

OpenAI はさらに 4分29秒のアニメーションを作り、Sol の 17.5 万文脈ウィンドウに沿って一連のステージを追った：

ARC 自身の分析は別の説明を出す

OpenAI は、今回の精査が ARC の分析に触発されたと書いている。5月1日公開で、ARC は 160 本の対局リプレイと推論軌跡を読み、結論は別の場所に落ちる：モデルがゲームの理解を築けない。同じ材料から双方が見たものを並べる。

ARC の締めは対照の一文：Opus 4.7 は自信たっぷりの誤った理論に圧縮し、GPT-5.5 はそもそも圧縮できない。

観察が足りなくて失敗したのではない。観察を世界モデルに定着できなかったから失敗した。

ARC Prize、『Analyzing GPT-5.5 and Opus 4.7 with ARC-AGI-3』、2026-05-01

2つの説明は排他ではない。一歩前の判断を覚えられないなら、一貫した世界モデルはより作りにくい。だが指す場所は違う。一方はプログラム、一方はモデル。

事実を2つ並べておきたい。第一に、ARC はその分析の脚注で自ら書いている：既定テストでは GPT-5.5 は推論軌跡を返さない。定性分析は別の専用設定で走らせた結果で、公式スコアはそのモード由来ではない。推論が取れない現象が ARC 側からも確認される。

第二に、ARC が7月に出した GPT-5.6 系列の成績ページでは、Sol 自体への評価はかなり前向きだ。この世代で戦える唯一のモデルで、ゲーム固有の語彙で未知の場面を正しく読み、仮説が覆ると再計画して場当たりにせず、公開 ARC-AGI-3 ゲームを丸ごとクリアした最初のモデルでもある（番号 ft09、87%）。「あまり賢そうに見えない」は OpenAI がリプレイを見た印象であり、ARC の Sol への定論ではない。

プログラムをもっと徹底的に換えれば、数字はさらに上がりうる。

新 API に換え、思考を残し、削除を圧縮に置き換える

実装に落とすと、OpenAI が API 開発者に勧めるのは3つだけ。原文も3行で、展開はない。

具体的に書くフィールドは次のとおり。

previous_response_id
context_management.compact_threshold
store=false
POST /responses/compact

彼らの締めの主張はこうだ：評価はモデルだけを測ることは少なく、見えにくい選択一式も同時に測る。API 設定、プログラム設計、プロンプト。初めてでもない。公開評価で意外に低く出たとき、調べると評価側の汎用プログラムが推論メッセージを捨てていた、という前例もある。

これらの実験が注意を促すことを願う。評価がモデルだけを測ることは少なく、目立たない選択一式 — API 設定、プログラム設計、プロンプト — も同時に測っている。

Ilan Bigio、Ted Sanders、OpenAI、2026-07-29

もう一段考えると：Sol のこの評価での成績は、ARC 検証の 13.33% から OpenAI 自社計測の 38.3%、Schema 自己申告の 95.35% まで動くのに、モデルの重みは一度も動いていない。人間基準は 48%。この数字を並べると、「モデルの能力はどれくらいか」の計算そのものが、まだ決着していない。

ARC-AGI-3はARC Prizeが作った謎解きゲーム評価です。説明書は一切ありません。ルール説明も目標記述もなく、途中の報酬点もありません。モデルは一歩ごとに64×64のカラー格子図1枚と、押せるキー（計7つ）だけを受け取ります。クリアするには押しながらルールを当て、外れれば直すしかありません。

点数はRHAE（相対的人間操作効率）と呼ばれます。比べるのは歩数です。モデルが各ステージをクリアした歩数を、そのゲームを初めて遊んだ人が同ステージをクリアした歩数と比べ、余分に歩いた分を二乗で減点します。このパーセンテージは「何問正解したか」とは無関係です。

もう一つ、後の数字の読み方を決めるルールがあります。ゲーム画面を変えない操作は、1歩も歩数に入りません。思考、ツール呼び出し、再試行はすべてカウント外です。したがって点数の上昇が示すのは「どれだけ回り道が減ったか」であり、削れた出力量は別の勘定です。

OpenAIは何局分かの対局記録を見ました。第一印象では、このモデルはあまり賢くないように見えます。一歩ごとに長く考え、同じ場所をぐるぐる回る。しかし掘り下げると、問題はモデルを動かす外側のプログラム（業界ではハーネスと呼ぶ。画面をモデルに渡し、選んだ動作を返し、どれだけ履歴を見せるかを決める外部コード）にありました。

モデルが一歩終えるたび、自分用に書いたプライベート推論が丸ごと捨てられます。文脈が満杯になると、過去に押したキーの記録まで、いちばん古い側から削られます。次の一歩は、そのゲームをゼロから理解し直すしかありません。手元に残るのは次のようなものだけです。

原因は「覚えていられない」こと。直し方は2つだけです。自分が考えたことを残すこと、そして場所を空けるのに削除を使わないこと。

5つの推論強度帯がすべて上にずれました。OpenAI自身のまとめでは、最高帯で点数が約3倍、出力トークン（モデルが生成した内容、従量課金）が約6分の1。より実用的なのは同点の比較です。