タスクが長くなると、AIは守るべきルールをこっそり忘れてしまうのか

論文はこの失敗パターンにbehavioral state decay(行動状態の劣化)という名前を付けた。情報が失われるわけではなく、記録にちゃんと残っているのに、もう機能しなくなるのだ。

長時間タスクは絶えず新しい情報を生み出す——タスクの要件、環境に関する事実、過去に試したこと、診断済みの不具合、まだ終わっていないサブゴール。軌跡が伸びるにつれ、これらの情報はモデルが見えるコンテキストウィンドウから押し出されるか、あるいはウィンドウ内に残ってはいても、もはや実際の次の一手を左右しなくなる。論文はこの「今後の行動を制約し続けるべき」情報を execution state(実行状態)と総称している。

次の時系列は、早い段階で記録された要件が、どうやって「生きている」状態から「記録には残っているが次の一手を左右しない」状態へと徐々に色あせていくかを示している。

タイムラインは左右にスワイプできます。最後まで見て結末を確認 →

情報はずっとそこにあったのに、もう次の一手を左右しない。論文はこれが長文コンテキストにおける「lost in the middle」(途中に埋もれた情報が無視される)現象と関係があるとしつつ、より強調しているのは行動レベルでの機能不全だとしている。

論文が挙げる3つの典型的な失敗

論文はここから一つの判断を導く——単により長い履歴をモデルに与えるだけでは不十分だ。本当に欠けているのは、「記憶されたこの情報を今、意思決定に反映させ直すべきかどうか」を決める仕組みなのだ。

横に記憶マネージャーを立たせ、作業はさせず「口を挟むべきか」だけを管理させる

これが論文の第一のコアだ。やり方はこうだ——作業をする実行エージェントは一文字も変えず、その傍らでもう一つ記憶エージェントを別に走らせる。固定ステップ数ごとに一度起こされ、まず構造化されたメモリバンクを整理し、それから実行エージェントの次のステップに一言口を挟むかどうかを決める。

フロー図は左右にスワイプできます →

論文はさらに、この記憶エージェントと「アドバイザー型」方式(advisor、あるモデルが軍師役となり、作業モデルにあれこれ助言する方式)との違いを明確に線引きしている。記憶エージェントは幅広い戦略的助言を出さず、口にする一言一言はすべて、維持している実行状態上の具体的な要件・事実・失敗・診断に基づいていなければならない。

図1(a)｜システム統合: 左側は実行エージェントが環境と相互作用し、右側では記憶エージェントが並行して動作し、直近数ステップのスライディングウィンドウと現在のメモリバンクを観察する。Nステップごとに起動され、メモリバンクを更新し、任意で次回呼び出しへ注意喚起を注入する。出典: arXiv:2607.08716論文原図。

図1(b)｜記憶エージェント内部: Phase 1はツール呼び出しを通じてメモリバンク(status/knowledge/proceduralの3種)を管理し、Phase 2は更新後のメモリバンクを読み取り、context_for_action(注意喚起)を発するか、no_intervention(介入なし)を選ぶ。出典: arXiv:2607.08716論文原図。

本実験でのトリガー方式は最もシンプルなものだ——記憶エージェントは1ステップ目とそれ以降の毎ステップで起動され、毎回直近8件のメッセージのウィンドウを観察する。論文はもっとタイミングを選ぶトリガー(エラー発生時、テスト失敗時、コマンド重複時のみ起動するなど)に変更することもできると述べているが、今回は固定リズムを使うことで、「注意喚起戦略」そのものの効果を単独で見極めることを狙っている。

記憶エージェントを組み合わせて、スコアはどれだけ上がったか

論文は2つの長時間タスクの試験場でテストを行った——Terminal-Bench 2.0(コマンドラインを自律的に操作し、コードを直し、コマンドを実行し、バグを修正する)とτ²-Bench(マルチターンの対話形式でツールを呼び出す、航空・小売・通信の3つの実サービスシナリオを模した)。採点基準はpass@1AIにタスクを一度だけ実行させ、その一回で正解できるかどうかの成功率を見る。何度も走らせて一番良い結果を選ぶわけではない。。

注目すべき点が2つある。第一に、非力なモデルほど伸びは大きいが、強いモデルもタダでは伸びない。Opus 4.6はすでに十分強いが、メモリエージェントを組み合わせると2つの試験場でそれぞれ2.4ポイントと2.5ポイントさらに上昇しており、この手法が単に弱いモデルの能力を補っているだけではないことを示している。第二に、シナリオによって差が明確で、論文がメモリを「固定の型」ではなく「シナリオに応じて調整する介入戦略」と位置づけていることと符合する。

記憶力の良さより、黙るべき時をわきまえていることの方が大事

これが論文の第二のコアだ。どのステップが実際に効いているのかを突き止めるため、チームはアブレーション実験システムのある部品を取り外すか簡略版に差し替え、その部分を取り去った後にスコアがどれだけ下がるかを見ることで、その部分に本当に効果があるのか、どれくらい効果があるのかを確かめる手法。を行った。完全な方式を5種類の打ち手に分解し、τ²-Bench上で一つひとつ比較したのだ。結論が示すのはある一つのこと——本当に効いているのは「どれだけ覚えているか」ではなく、「口を挟むべきかどうかを判断できるか」だということだ。

5種類の打ち手はそれぞれ以下のとおり:完全な2段階方式(自ら沈黙を選ぶ)、メモリバンクを実行エージェントに全量表示、毎ステップ強制的に注意喚起、メモリバンクなしでアドバイザーとして助言のみ、汎用メモリ検索レイヤーMem0を接続。下図は最も問題が浮き彫りになるairlineシナリオを見たものだ。オレンジ色のバーに注目してほしい、メモリエージェントを加えないケースより悪化している。

グレーのバーはSonnetベースライン(68.0%)。オレンジ色のバー(アドバイザー式の助言)は62.0%に落ち込み、メモリエージェントを加えないケースより悪い。Mem0はベースラインと同点で、airlineを改善できなかった。

なぜairlineシナリオの差が最も大きいのか——この種のタスクは過剰な注意喚起による邪魔を最も恐れる。余計な一言が実行エージェントを誤った方向に導きかねない。自ら黙ることを選べる完全な方式だけが、ここで最高得点を獲得した。逆に、ひたすら助言し続けるだけのアドバイザー式の助言と、記憶を検索するだけのMem0は、どちらもここでつまずいた。

3つのシナリオを平均して見ると(macroは3シナリオの等重み平均、microはタスク数による加重平均を表す)、完全な方式はmacro総合スコアが最高で、3シナリオすべてが改善し、airlineの伸びが最大だった。一つ細かい点がある。毎ステップ強制注意喚起はmicroでわずかに0.3ポイント高いが、これは通常の変動範囲内であり、シナリオ等重みのmacroに移ると、沈黙を選べる完全な方式が再びリードを取り戻す。差は主にairlineから来ている。

論文の結論はこうだ——メモリバンクを維持するだけでも助けにはなるが、それだけでは不十分。メモリバンクのないアドバイザー式の助言は拠り所を欠き不安定。毎ステップの強制注意喚起は競争力はあるが均衡を欠く。完全な方式が最も優れているのは、まさに「維持された実行状態」と「何を言うべきか選び、かつ沈黙も選べる介入戦略」を組み合わせているからだ。

記憶エージェントが具体的にどの瞬間に口を挟んだか

論文はメモリ付きの実行軌跡を人手で確認し、メモリが機能する仕方は漠然としたまとめ役ではないことを発見した。その最も光る瞬間は、実行エージェントがまさに重要な情報を見落とそうとしているその一瞬に、それを再び呼び覚ますことなのだ。以下は実際の3つの事例だ。

これらの瞬間を軌跡全体に載せて見ると、まさに看板となる図の姿になる。ほとんどのステップは中抜きの丸(沈黙)で、少数のノードだけが点灯し(注意喚起を挿入)、点灯した箇所の脇に何を言ったのかが記されている。

論文は残りの失敗ケースについても正直に述べている。主にキャリブレーションがうまくいっていないケースだ。例えば記憶エージェントが単なる推測にすぎない結論をたまに断定的に言い過ぎたり、実行エージェントがもともと知っていたことを繰り返したり、一見もっともらしいが実は不要な懸念を提起して余計な再確認をさせてしまったりする。これらはまさに、次のステップで「いつ沈黙すべきかをもっとわきまえる」よう訓練する動機となっている。

この判断力をオープンソースの小型モデルに教え込む

本実験の記憶エージェントはClaude Opus 4.6を使っており、メモリのステップごとにこの種の最先端クローズドモデルをもう一度呼び出す必要があり、コストは低くない。そこでチームは早期の試みを行った——同じ判断力を、オープンソースの小型モデルQwen3.5-27Bに訓練で組み込み、それに記憶エージェント役を担わせられないか、行動モデルは凍結したQwen3.5-122B-A10Bに差し替える、というものだ。

訓練にはSETA(スコアラー付きコマンドラインタスク集)を使い、Terminal-Bench 2.0は最後の転移テスト用に取っておいた。手法は2ステップに分かれる:SFT教師ありファインチューニング。模範解答を使ってモデルに手取り足取り教える。ここではOpus記憶エージェントが出した軌跡を手本にし、メモリバンク操作と沈黙/注意喚起インターフェースを小型モデルに習得させる。でまずインターフェースと基本ルールを教え込み、その後GRPO強化学習の一種。モデル自身に何度も試行させ、結果の良し悪しに応じて方策を調整させることで、単に手本を模倣するだけでなく、「いつ口を開くべきか、いつ黙るべきか」の判断をさらに校正する。強化学習で「口を挟むべきかどうか」の判断を校正する。

結論はこうだ——このメモリ戦略は学習可能だが、確かに校正が必要であり、訓練していない小型モデルをそのまま使うと逆に邪魔になる。同時に差もはっきり見ておくべきだ。訓練後の小型モデルがもたらした転移の伸びは3.5ポイントで、Opus 4.6を記憶エージェントとして使ったときの8.3ポイントより明らかに小さい。論文はこの部分を「早期の探索」と位置づけており、この道が通ることを示すものであって、最先端のクローズドソース版にすでに追いついたと言っているわけではない。

自分で試したい場合、何に気をつけるべきか

見落とされがちなことが2つある。ここでまとめて説明する。

第一に、論文はオープンソースだと言っているが、リポジトリは空だ。論文本文にはコードのアドレスとしてgithub.com/yifannnwu/proactive-memory-agentと書かれているが、このリポジトリはGitHubで確認したところ空のリポジトリだった。サイズは0で、2026年6月12日の作成以降、一度もコードがpushされておらず、READMEも説明もない。2026年7月13日時点で、コードは実際にはまだオープンソース化されていない。そのまま真似て動かそうにも、現時点で使える実装はない。

第二に、効果が最も良かった記憶エージェントについて、コストの内訳を論文は数字を示していない。本実験で検証効果が最も良かった記憶エージェントはClaude Opus 4.6であり、最先端のクローズドモデルに属し、しかも実際には1ステップ目とそれ以降の毎ステップで呼び出されている。これは手法の節で言う「固定間隔」よりも密である。論文自身もこれが最も実用的な実装形態ではないと認めており、オープンソースの小型モデルを訓練したのもまさにこのコストを省くためだ。だが論文は、記憶エージェントがもたらす追加のトークン消費とレイテンシの具体的な数字を報告していない。実際に導入する際は自分で計算する必要がある。

論文は同時にその適用範囲についても述べている——この「独立した記憶エージェントを傍らに置き、口を挟むべきかを判断させる」アーキテクチャは、メイン実行モデルを変更する必要がなく、既存のエージェントワークフローに組み込むことができる。長時間タスクをこなすAIエージェントを構築するチーム、たとえばコマンドライン操作の自動化やマルチターンのツール呼び出しを伴うカスタマーサポートや業務フローにとって、そのまま重ねて使えるモジュールだ。

Metaの解決策はこうだ:作業をするAIは一文字も変えず、横にもう一つ「記憶マネージャー」を走らせる。定期的にメモを一覧に整理し、それから次のステップに一言口を挟むかどうかを決める。さらに直感に反する発見は、本当に効くのは「たくさん覚えていること」ではなく、「口を挟むべきかをわきまえていること」だという点だ。自ら黙ることを選べるバージョンは、記憶を全部さらけ出す、あるいは毎ステップ強制的に注意喚起させるバージョンより、成績がより安定していた。

この一言は使ったらそれきりで、作業をするAI自体は変えない。ではこの「記憶マネージャー」は具体的にどう動くのか。下の図を見てほしい。

記憶マネージャー(ここでは小互が出演)は固定ステップ数ごとに一度起こされ、2つのことをする。まず3種類に分かれたメモの一覧(タスク要件、環境事実、試したこと)を更新し、それから二択を一つ決める——一言注意喚起するか、あるいは明確に沈黙を保つか。下図は実際のシナリオでこれを一通り見せる:航空カスタマーサポートのタスクで、ユーザーは自分がゴールド会員だと主張するが、システムの記録では一般会員となっている。

「正答率が8.3ポイント上昇」と言われても実感が湧かないので、具体的なタスクに換算してみる。100件のコマンドライン長時間タスクを比較的安価なClaude Sonnet 4.5に任せると、自力で正解できるのは約38件。横に記憶マネージャーを加えると、約46件正解できるようになり、この余分に正解できた分が、ちょうど一段上の高価なClaude Opus 4.6(自力では約44件)に並ぶことになる。