Metaが最先端モデル「Muse Wonder」シリーズを発表:能動的記憶、障害時も別手段で継続、AgentコーディングはOpus 5.5に匹敵

セッションをまたいで文脈を保持し、変化に直面してもタスクを推進し続ける。対応するベンチマーク評価と公式デモから、2つのモデルの実力と差異を見極める。

著者:Meta Superintelligence Labs10-13 · 約10分

Metaはフロンティアモデルのシリーズである Muse Wonder を発表した。今回のリリースには、Muse Wonder と、より高い能力を備えた主力モデル Muse Wonder Full の2モデルが含まれる。両モデルとも100万トークンの推論コンテキストウィンドウを持ち、テキスト、画像、音声、動画のマルチモーダル入力に対応(出力はテキストのみ)。ギガワット規模のPrometheusデータセンターでトレーニングが行われた。

主な特徴は次の4つだ。

  • Active Memory(能動的記憶):セッションをまたいで重要な背景情報を保持し、新規タスクで関連情報を想起し、事実の更新を認識する。
  • Active Focus(継続的なタスク推進):障害に直面しても代替策を試し、複数ステップのタスクを追跡。必要に応じて質問し、重要な操作の前に確認を行う。
  • 専門分野の知識(Domain Expertise):契約書、財務報告、健康データなどを組み合わせて問題を分析し、レビュー用の資料を起草する。
  • 継続的なソフトウェア開発(Frontier Coding):要件を追跡し、複数ファイルにまたがるコード修正を行い、テストとデバッグを繰り返して長期プロジェクトを支援する。

Metaはこれを「パーソナル超知能」へ向けた一歩と位置づけている。AIが個人の文脈を理解し、日常の用事から専門的な実務までを継続的に遂行することを目指す。

研究者による解説:能動的記憶と継続的推進

2つのバージョンは現在どこで利用できるか?

  • 現在:Muse WonderはMeta Model APIおよびMuse Code経由で利用可能。FullはMuse Codeのサブスクリプションユーザーに限定して提供されている。
  • 今後:WonderはMuseに統合され、有料ユーザー優先で、インタラクティブアプリの生成など高い知能を要する機能に導入される予定である。またMetaは、これをベースに全Museユーザー向けの専用モデルを開発する計画も進めている。
関連記事 · Museの実行環境 Metaが個人向けAI Agent「Muse」を発表:1人1台のクラウドPCを提供、バックグラウンドでタスクを継続推進 モデルがクラウドPC、バックグラウンドタスク、独立した権限システムとどのように連携するかを理解する。 紹介記事を読む →

4つの能力はそれぞれ何を解決するか?

長期にわたるタスクでは、事前の文脈、実行中の変化、そして最終的な成果物を一貫して結びつける必要がある。要件を記憶することは出発点にすぎず、途中でやり方を調整し、納品前に正しく完了しているかを点検しなければならない。

1. 能動的記憶:文脈を記憶し、新たな指示に応じて更新する

新しい用件のたびに背景を一から説明し直すのでは、アシスタントとして使いにくい。Active Memoryはセッションをまたいで重要な情報を保持し、関連するタスクが発生した際に能動的に呼び出し、更新を認識する。例えば、出張を計画する際に以前伝えた移動の好みを引き継ぎ、条件が変更された場合は新しい条件を適用する。

100万トークンのコンテキストは、1回の推論で処理できる情報量に対応する。セッションをまたぐ記憶では、さらに有用な文脈を後続のセッションへ引き継ぎ、必要に応じて取り出すことが求められる。

Meta社内の MemoryBench では、64K〜100Kトークンの長大な対話に、無関係な雑談、矛盾する事実、後からの修正事項を混入させ、LLMが重み付け基準に従って採点する。ノイズの混ざった情報から有効な詳細を拾い出し、事実の更新を正しく識別できるかを検証する。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
MemoryBench:記憶加重スコア(%) 85.5 85.6 81.5 81.4 79.0

2つのモデルのスコアは拮抗しており、いずれも比較対象のモデルを上回っている。長文対話における記憶力は共通の強みである。

MemoryBench:長文対話における記憶性能。標準版Wonderは85.6%、Fullは85.5%(加重スコア)
MemoryBench:長文対話の記憶スコア

2. 継続的なタスク推進:障害に直面しても手法を変えて継続する

タスクの実行途中でツールがエラーを返したり、資料が不足していたり、ユーザーが指示を変えたりすることがある。Active Focusは目標を見失わずに代替案を試み、新しい情報に基づいて後続のステップを調整する。重要条件が曖昧な場合はユーザーに問いかけ、重要な操作の前には事前確認を行う。計画を実行結果に応じて更新してこそ、タスクを前進させ続けることができる。

FocusBench はMeta社内の動的シナリオテストであり、住宅、旅行、IT、金融などの領域を網羅し、阻害要因に直面した際の粘り強さと方針調整能力を検証する。一方、AutomationBench-AA は模擬ビジネスアプリケーション内で最終状態を検査し、すべての検査をクリアして初めて成功と判定する。前者は変化への適応力、後者はフロー全体の正確性を測定する。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
FocusBench:タスク継続推進スコア(%) 54.2 44.9 45.8 47.7 36.6
AutomationBench-AA:ワークフロー完全達成率(%) 45.4 39.1 41.2 41.6 32.1

Fullは両指標で比較対象をリードしており、標準版と比べてそれぞれ9.3ポイント、6.3ポイント高い。標準版はAstraやOpusを下回る。記憶スコアが近接していたのに対し、継続的なタスク遂行力こそがFullのより明確な向上ポイントである。ただし、AutomationBenchの完全達成率は45.4%にとどまり、半数には届いていない。

FocusBench:動的障害下での継続実行力。Fullは54.2%、標準版Wonderは44.9%(Meta社内テスト)
FocusBench:タスク継続推進スコア
AutomationBench-AA:すべての終了状態検査に合格したワークフローの割合。Fullは45.4%、Wonderは39.1%
AutomationBench-AA:ワークフロー完全達成率

ソフトウェアを実際に操作する能力については、OSWorld 2.1 を参照する必要がある。Ubuntuデスクトップ仮想マシン内で、スクリーンショットの取得、クリック、入力、スクロールを駆使して108のワークフローを実行し、部分スコアと完全達成率がそれぞれ報告されている。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
OSWorld 2.1:デスクトップタスク部分スコア(%) 78.4 72.6 81.8 75.8 80.7
OSWorld 2.1:デスクトップタスク完全達成率(%) 39.4 34.3 — 34.3 43.1

一部正しく処理できれば部分スコアは得られるが、完全達成率はタスク全体が基準を満たした場合のみカウントされる。Fullのスコアはそれぞれ78.4%と39.4%であった。OpusとFableは部分スコアでより高く、Fableは完全達成率でも上回っている。

3. 専門分野の知識:資料を読み解き、専門的タスクを完遂する

Domain Expertiseは、契約書、財務報告、健康データなどを扱う能力である。一次資料から根拠を見つけ出し、指示に従って分析や成果物のドラフト作成を行う。法務、金融、健康分野では求められる要件が異なるため、評価も個別に実施される。

法務:Harvey LAB-AA 1.1。 案件資料に基づいて法的成果物を生成し、評価システムがタスク要件の充足とハルシネーションの有無を項目ごとに精査する。すべて合格して初めて成功とみなされる。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
Harvey LAB-AA:法的文書完全合格率(%) 13.1 10.0 4.2 8.6 6.4

両モデルとも比較対象を上回っているが、Fullでも合格率は13.1%にとどまり、大半の成果物は全基準を同時には満たせていない。

Harvey LAB-AA:法的成果物は全基準を満たしハルシネーション検査に合格する必要がある。Fullの合格率は13.1%
Harvey LAB-AA:法的文書の合格率

金融:Vals Finance Agent V2。 財務諸表や市場データを組み合わせて分析を行い、Vals AIのプライベートテストセットで正解率を算出する。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
Vals Finance Agent V2:金融正解率(%) 59.1 56.6 58.6 53.5 58.9

FullはFableを0.2ポイント上回り、Opusとも僅差であり、優位性はごくわずかである。標準版の成績はこれら3モデルを下回る。

Vals Finance Agent V2:金融分析タスク。Fullは59.1%、標準版Wonderは56.6%
Vals Finance Agent V2:金融分析の正解率

健康:HealthBench Pro。 外部ツールを呼び出さずに525問の専門的な健康関連の質問に回答し、医師が策定した基準に沿ってLLMが採点を行い、回答長に応じて調整する。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
HealthBench Pro:健康Q&A加重スコア(%) 62.3 60.5 65.6 65.3 62.1

Wonderシリーズの両モデルともOpusやAstraに及ばず、健康関連Q&Aではまだ優位に立っていない。

4. Agentコーディング:複数ファイル編集、反復テストとデバッグ

ソフトウェア開発では、要件を継続的に追跡し、コードベースを理解し、依存関係のある複数ファイルを修正し、テストを実行して新機能と既存の動作を検証し、エラーログに応じて修正を重ねる必要がある。Frontier Codingは、記憶、専門知識、継続的推進力をこのプロセスに注ぎ込む。Metaは多様で長期にわたる開発タスクを用いて2つのモデルを訓練し、小さなアプリケーションから複雑なソフトウェアまでの継続的な開発を支えている。

DeepSWE 1.1 は91リポジトリ、5言語にまたがる113タスクを網羅し、機能テストとリグレッションテストによって、1回の試行が成功したかを判定する。SWE-Marathon はより大規模なソフトウェアプロジェクトをモデルに完遂させ、プロジェクトテストを実行して成果を検証する。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
DeepSWE 1.1:開発タスク合格率(%) 79.0 78.8 74.2 74.1 67.4
SWE-Marathon:長期プロジェクト合格率(%) 57.5 53.1 46.3 42.5 45.6

両モデルともこれら2つの長期プロジェクト評価において、Opus 5.5やAstraを上回るスコアを記録した。DeepSWEでの両者の差はわずか0.2ポイントだが、SWE-MarathonではFullが標準版を4.4ポイント引き離している。

SWE-Marathonにおいて、Fullはxhigh推論設定を使用し、AstraとFableはそれぞれCodexやClaude CodeなどのAgent環境を使用している。他の結果の多くはmax推論設定を採用している。

DeepSWE:長期コードタスク。Fullは79.0%、標準版Wonderは78.8%
DeepSWE:長期開発タスク合格率
SWE-Marathon:超長期ソフトウェアエンジニアリング。Fullはxhighを使用、各比較対象のAgent環境は異なる
SWE-Marathon:長期プロジェクト合格率

他のエンジニアリングタスクでは異なる様相を示す。Terminal-Bench 4.0 は隔離された端末環境で最終状態を検査する。ProgramBench はインターネット接続のない環境で完全なプログラムを再構築させ、各試行で非公開の動作テストの95%以上に合格して初めてクリアとみなす。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
Terminal-Bench 4.0:端末タスク正解率(%) 57.1 52.0 59.6 59.1 52.0
ProgramBench:プログラム再構築達成率(%) 59.0 50.0 70.5 52.5 55.5

端末タスクではOpusとAstraがFullを上回り、プログラム再構築ではOpusの70.5%がFullの59.0%を大きく引き離している。

公式のキッチンデモでは、この開発能力を小さなアプリケーションに応用している。カスタマイズ可能な画像入力を基にコードを記述し、実際にプレイ可能な 3Dキッチンミニゲーム を生成する。モデルのネイティブ出力はテキストであり、生成されたコードが実行環境に渡されてゲームとして動作する。

3Dキッチンゲーム · 元のデモを開く ↗

総合評価:2つの指標で順位が異なる理由は?

総合指標は複数のタスクのパフォーマンスを統合する。Meta社内の Personal Superintelligence Index(PSI) は、継続的実行、業務プロセス、職業的タスク、ブラウジング、リサーチなど7項目の個人・ナレッジワーク評価を含む。一方、サードパーティの Artificial Analysis 総合知能指数 は、実務、コーディング、科学、汎用推論といった別のテスト群を集約している。

評価と指標 Full Wonder Opus 5.5 Astra Fable 5.1
PSI:個人・ナレッジワーク総合指標 59.1 54.3 55.2 54.5 49.9
AA 総合知能指数(スコア) 56 52 58 53 53

FullはPSIでは首位に立つが、AA総合指数ではOpusを下回る。この順位の違いは矛盾するものではない。タスクの選定方法や集約手順が異なれば、測定の主眼も自ずと変わるためである。

Meta社内Personal Superintelligence Indexの元図
PSI:個人タスク総合指標
Artificial Analysis 総合知能指数:Fullは56点、Wonderは52点、Opus 5.5は58点
AA 総合知能指数
公式評価一覧表:行ごとにタスクと採点方式が異なり、OSWorldの部分リワードと完全成功率は個別に記載されている
公式評価一覧表

未知のタスクに柔軟に対応できるか?

固定的なベンチマークがカバーするタスクは限られているが、現実世界の目標、ツール、要件は絶えず変化する。2つのモデルの通常テストのスコアが近くても、未知のタスクに直面した際の挙動は異なり得る。「Benchmaxxing」という議論が提起しているのはまさにこのギャップである。固定されたテストに特化して最適化しても、同じ現実適応力が得られるとは限らない。

MetaはMuse Spark 1.3とWonder Fullを比較し、推論時のコンピュート投入量を増やした際、事後学習で特化されていないタスクにおいてどのようなパフォーマンスを示すかを観察した。

2本のラインをどう読み解くか?

濃い青はWonder Full、薄い青はSpark 1.3。元の図は2つのモデルの異なるタスクにおける性能を比較している。

Metaの元の汎化図:横軸は事後学習の重点タスクの成績、縦軸は事後学習で特化されていないタスクの成績。Wonder Fullの軌跡はSpark 1.3の上方に位置する。
丸印は異なる推論コンピュートの投入量を表し、破線はトレンドを示す。

上のボタンを選択すると、横軸、縦軸、および2本のラインの差を確認できる。

図の横軸は事後学習で重点的に最適化されたタスクの成績、縦軸は事後学習で特化されていないタスクの成績を示し、各プロットは推論への投入量に対応する。両者の軌跡はいずれも投入量の増加とともに上昇するが、横軸の成績が同等の場合、Wonder Fullのほうが縦軸が高く位置する。すなわち、この特化されていないタスク群においてより優れた性能を示している。

Metaはこの向上について、基礎モデルがより大規模かつ強力になったことで、事後学習で獲得した能力が転移しやすくなったためと分析している。

個人のAgentは、様々なスケジュール、好み、ツール、突発的な変化が織りなす新たな組み合わせに遭遇する。学習段階ですべてを想定しておくことは不可能なため、既存の能力をこれらの組み合わせへと応用し、新たな需要に対処する必要がある。

実践デモ:個人データから具体的な成果物へ

公式デモでは、モデルが個人データを取得し、ブラウザやアプリを介してルート案、注文、座席図、フォローアップメールなどを納品する様子が紹介されている。タスクに含まれる好み、制約、変化への対応には、前述の記憶、実行力、専門分野の理解能力がそれぞれ活かされている。

ランニング:健康習慣とスケジュールを考慮したルート計画

土曜日のロング走を計画する際、モデルはカレンダーと健康ログから3つの要件を抽出した。「毎週走行距離を1km伸ばす」「膝を保護するために平坦な道を選ぶ」「10時までに図書館に着く」。これらに基づき、午前8時出発の15.1kmルートを設計。OpenStreetMapデータを基にした地図上に5kmごとのマーカーを付与し、共有リンクを生成した上で、リンク付きのランニング予定をカレンダーに登録した。

ランニング計画:予定と健康ログの統合

ギフト:愛猫の写真からTシャツをデザインして注文

ユーザーが愛猫Cocoの誕生日Tシャツを作りたいと依頼。モデルはCocoのInstagramアカウントを閲覧し、実際の写真を選定。好みに合わせて金色の「COCO」文字が入ったビンテージバンドT風のデザインを作成し、チェックアウトに進んで注文確認を完了した。

オリジナルギフト:写真から誕生日Tシャツへ

結婚式:ゲストの要望に沿って座席を配置し、項目ごとに点検

ユーザーが47名のゲストリストを提示し、バリアフリーの要望、アレルギー情報、離すべき同席NGの組み合わせを指示。モデルは会場のレイアウトを確認し、注意事項をルールに変換。それらのルールに従って計画ツール上でテーブルごとに配置を進め、最後に元の要件と照合して全項目を再点検した上で座席図を出力した。

結婚式の座席配置:ゲストの要望に基づくプラン生成

保険:請求書の精査からメールフォローまで

ユーザーが外来診療の請求書と保険カードの両面写真をアップロード。モデルは資料と照合し、請求内容の問題点や保険が適用されなかった理由を説明した上で、解決策を提示しクリニックの請求部門に連絡するための電話用要点をまとめた。ユーザーがテキストでのやり取りを希望したため、メールの起草と送信へと方針を調整し、最終的にクリニックの請求部門から保険会社への保険金請求申請が実現した。

医療保険請求:問題の特定からフォローまで

健康:旅行履歴と症状の手がかりを結びつける

モデルはカレンダー、メッセージ、メールから旅行と症状の手がかりを探し出し、WithingsやHealthExなどの健康サービスに接続する前にユーザーへ許可を求める。その後、標高の変化と症状の発現時期を関連づけ、ユーザーが状況を把握できるよう支援した。

旅先での健康データ支援 · 元のデモを開く ↗

代行できるからこそ、権限管理が不可欠

パーソナルAgentがメール、カレンダー、プライベートな資料を取り扱う際、悪意ある指示が潜り込んだ外部コンテンツを読み込むリスクがある。Metaのテストにおいて、Fullの個人情報取り扱い違反率は2.2%、権限外コード実行を誘発する攻撃の成功率は10.7%であった。決済、外部へのメッセージ送信、データの変更や削除といった操作には、システム的な権限制限と必要な確認ステップが引き続き欠かせない。

プライバシー情報処理違反率:Fullは2.2%、Wonderは3.4%(低いほど優れる)
個人情報処理の違反率
権限外コード実行の攻撃成功率:Wonderは10.5%、Fullは10.7%(低いほど優れる)
権限外コード実行の攻撃成功率

Metaは化学、生物、放射性物質、核のリスクおよびサイバー不正使用に関する要求への拒否対応を強化する一方で、正当なサイバー防衛能力は維持している。FullはBioTIER英語テストにおける高リスク生物要求の拒否率が98.7%、正当なサイバー防衛タスクへの対応率は93.3%であり、危険な用途の拒否と正当な防御支援の双方が評価されている。

BioTIER高リスク生物要求の拒否率
BioTIER:生物分野の高リスク要求拒否率
悪意あるサイバー要求の拒否率
悪意あるサイバー要求拒否率
正当なサイバー防衛要求への対応率
正当なサイバー防衛要求への対応率

Metaの超知能スケーリングフレームワークによれば、緩和措置を講じない場合、Fullが化学および生物分野で高リスク閾値に達する可能性は排除できないとされる。しかし、安全のための事後学習とシステムレベルの分類器を導入した結果、Metaは各分野の残存リスクを「中程度以下」と評価している。

コンセプト動画:個人の目標を継続的に推進
出典
Muse Wonder: A Frontier Model For Personal & Professional AI AgentsMeta Superintelligence Labs·原文を見る
↑ 本文ここまで
✓ この記事は全文無料です

メンバーは全文 Markdown のコピー・保存に加え、自分の AI に購読・質問させることができます。

原文を読む ↗
📮 新着解説をメールでいち早く

役に立ちましたか?メールを登録すると、新着解説を公開と同時にお届けします。解除はいつでも。