OMACはどうやって残すべき画面と音声を選び出すのか

まず公式が公開したこのアニメーションを見てほしい。37秒で3つのことを説明している。

アニメーション内には3つの名称が登場し、関係を混同しやすいため、ここで先にそれぞれが何を指すのかを整理しておく。

よくある圧縮手法は一律削減だ。すべての画面フレームを一律にダウンサンプリングし、すべての音声を一律にスパース化する。この方法の問題は、画面には重複した内容が大量に含まれる一方(同じ背景が数十フレームも続く)、音声のほうはごく短い一瞬だけが決定的な意味を持つ場合があることだ。一律に削ってしまうと、重複した背景と重要な手がかりが一緒に失われてしまう。

OMACは4つのステップで重要部分を選び出す。

OMACの4ステップ。左側の動画・音声・テキストという3つのエンコーダーの出力がOMACへ入力される。右側の緑枠内は左から順に、フレームスコアリング、視覚メモリ、音声メモリ、視覚メモリによる音声予算の配分。出典:論文 Figure 2

この第4ステップこそがこの設計の中で最も重要な一手であり、他の圧縮手法との最大の違いでもある。論文では「どちらがどちらを導くか」という3通りのやり方を比較する対照実験を専門に行っている。

同じ「視覚が音声を導く」やり方でも、視覚メモリを先にきれいに選別してから配分に使うほうが、生の視覚信号でそのまま導く場合より1.7ポイント高い。理由は、生の画面情報には重複した背景が大量に混ざっており、それを使ってどの音声区間が重要かを判断すると、ノイズも一緒に入り込んでしまうからだ。

学習不要、組み込むだけで使える

OMACのこの部分はモデル本体を変更せず、再学習も必要としない。プラグインとしてすでに運用中のモデルの前段に組み込むだけで効果を発揮する。すでに全モーダルモデルを稼働させているチームにとっては、学習パイプラインを作り直す必要も、リリースフローをもう一度通す必要もないということを意味する。

速度は上げても賢さは落とさない——圧縮後に精度がむしろ上がる仕組み

圧縮には通常、精度という代償が伴う。モデルはもともと「素材が揃った」条件下で学習されているため、いきなり3割しか与えられなくなると適応できないからだ。O-MARCの学習段階は、まさにこの点を補うために用意されている。

学習時、同じ問題に対して2系統の回答が生成される。上の黄色は全トークンを与える教師ブランチ(圧縮を経ない)、下の青色はOMACによる圧縮を経た生徒ブランチ。両者はそれぞれ報酬を計算し、その報酬差Δが右下の圧縮認識モジュールへ入力され、強化学習のアドバンテージ値と合成されて新たなアドバンテージ値になる。出典:論文 Figure 3

ポイントは、教師と生徒が同一のモデルであり、同じ時点の同じパラメータだという点だ。同じ問題に対して2回答える——1回は全量の素材を見て、もう1回は圧縮後の素材を見て。この2回のスコア差が大きいほど、その問題が圧縮によってどれだけひどく損なわれたかを示している。

具体的な方法は、強化学習における「アドバンテージ値」を変更することだ。アドバンテージ値とは、モデルが1回答えるたびに得られるスコアで、同じバッチ内の他の回答よりどれだけ優れているかを測るものであり、モデルはこれをもとにどの方向へ調整すべきかを決める。O-MARCは「アドバンテージ値が正であること」と「圧縮に弱い度合い」という2つの数値を掛け合わせて追加の重みを算出し、調整可能な強度係数に従ってアドバンテージ値に加算し直す。両方の条件を同時に満たすサンプルだけが、明確に重みが大きくなる。

教師ブランチはこのアドバンテージ値を書き換えることで嗜好を生徒に伝える。トークン単位の確率でアライメントを取る方式ではなく、モデルを「圧縮後も安定して答えられる」挙動へと押し進める。学習全体で使ったのはわずか3000件のサンプルと、96GBのVRAMを搭載したGPU4枚だけだった。

最終的な成績

ベースモデルはQwen2.5-Omni-3B、保持率30%・32フレームの条件。4つのテストはそれぞれDailyOmni(日常動画の音声・映像理解)、UGC-AVQA(今回新たに公開されたもの)、OmniVideoBench(長尺動画推論)、WorldSense(実世界の総合的知覚)。45.8はこの4項目の平均で、内訳を見るとUGC-AVQAの伸びが最も大きく、他の3項目は圧縮なしの場合とほぼ同水準かやや低い。効率に関する数値は別の実験によるもので、条件は64フレームの長尺動画である。

圧縮を強めるほど、この手法の優位性は際立ってくる。UGC-AVQAで70%を圧縮した場合、OMACはなお49.2点を維持するのに対し、OmniZipは47.1点まで落ち込む。残す量が少なくなるほど、「正しいものを残す」ことの重要性が増す。

UGC-AVQA——「音声トラックを削除してもう一度解かせる」でふるい分けたテスト問題

モデルが本当に「聞いている」ことを証明するには、まず「聞かなければ解けない」試験問題が必要になる。このテストセットのふるい分け方法は、たった1ステップだ。

残った問題は、画面から答えを直接読み取ることが不可能なものだ。このテストセットは、ユーザーが投稿した短尺動画1000本、質疑応答ペア4816問を収録している。設問は4種類に分かれる——音声・映像イベントの進行、シーンや時間の転換、シーン間の対応付け、細粒度の比較。すべての動画には人手による詳細な「全モーダル記述」が付与されており、画面内の人物・物体、シーン切り替え、動作、音声イベント、時間関係を網羅している。候補問題と生成された学習用問題はそれぞれ30%を抽出し、訓練を受けたアノテーターがレビュー・修正した。

構築フローの4コマ図。UGC動画1000本を収集し、4種類の音声・映像問題を人手で付与し、音声トラックを削除してGemini 3.1 flashに解かせて難問サンプルをふるい出し、残りを学習データとする。図には、ふるい出された難問サンプルが動画206本・設問1648問で評価セットを構成し、残る動画794本・設問3168問が学習用に使われると記載されている。出典:論文 Figure 1

設問の中身

実際の設問を4つ見ればわかりやすい。

上記4問の論文内の元図。緑色の背景が正解を示す。出典:論文 Figure 5

3問目は色を尋ねる問題で、一見すると純粋に視覚的だ。だが「最初に質問した」場面と「後で解説した」場面という2つの時点は、音声を聞かなければ特定できない。この設問が試しているのは画面と音声が対応付けられるかどうかであり、画面だけ、あるいは音声だけでは答えが出せない。

モデルの成績はどうだったか。9つのモデルで試した結果、最高スコアはGemini-3.1-proの69.1点、オープンソース陣営でパラメータ数が最大のQwen3-Omni-30B-A3Bは65.0点、今回のベースモデルとして使われたQwen2.5-Omni-3Bはわずか49.0点だった。大半のオープンソースモデルが最も苦手とするカテゴリは「シーン間の音声・映像対応付け」、つまり上記のvosotros問題のタイプで、Qwen3-Omni-30B-A3Bですらこのカテゴリでは60.9点にとどまった。

データは論文Table 2による。ランキングでスコアを付けているのはGemini-3.1-proとflash-liteだが、設問をふるい分ける際に採点役を務めたのはGemini-3.1-Flashであり、同一モデルではない。また、消音状態で不正解になったことは、その設問が画面だけでは解決できないことを示すが、設問自体の曖昧さ、誤答選択肢の設計不良、モデルの能力不足も不正解の原因になり得るため、こうした設問も同様に残ってしまう。

節約できたこの3分の1は、どんな場面に活かせるか

レイテンシとVRAMをそれぞれ3分の1削減できるということは、同じ1台のマシンでより多くのカメラを接続し、より多くのリアルタイム映像ストリームを処理できるということを直接意味する。

もう一つ——教育・研修動画

講義動画の要点は、解説している発話の中にあることが多い。画面に映っているのはスライド1枚だけで、本当の情報は講師の言葉の中にある。内容理解、品質評価、要点抽出を行うには、本物の音声・映像統合推論が不可欠であり、画面を見るだけでは何も抽出できない。

上記の用途例はMemories.ai研究ページに記載された応用構想である。論文自体は実運用での展開実験を行っておらず、すべての結果はQwen2.5-OmniおよびQwen3-Omni上で実施したベンチマークテストである。

現時点で手に入るもの、まだ手に入らないもの

自分で試してみたい場合に向けて、確認済みの実際の状況をまとめる。

また、このデータセットが公開しているのは動画の元リンクと注釈であり、動画ファイル自体を再配布するものではない。著者は論文の限界事項の節で、プラットフォーム側のコンテンツ変更に伴い、一部のデータは時間の経過とともに無効化されると明記している。これは外部リンクに依存するすべての短尺動画データセットに共通する弱点だ。

これらの結果は、音声・映像圧縮を単なる推論高速化の手段としてのみ扱うべきではないことを示している。それは同時に学習可能な条件でもあり、より頑健で効率的な全モーダル推論へとつながるものだ。 論文の結論部より

この研究の着地点は、「賢く捨てる」ことを推論時の小技から、学習可能な目標へと変えたことにある。コードはすでに公開されているが、データと重みはまだ待つ必要がある。

Memories.aiのやり方は「賢く捨てる」ことだ。動画と音声から変換された長い入力列のうち、3割だけをモデルに与え、残りはノイズとして捨てる。どの3割を残すかが、この手法のすべてだ。

あわせて新しいテスト問題集UGC-AVQAも公開されており、前段の落とし穴に対処するものだ。各候補問題はまず音声トラックを丸ごと削除し、高性能モデルに画面だけを見て解かせる。正解できた問題はすべて除外し、解けなかった問題だけを残す。残った問題は、画面から答えを直接読み取ることが不可能なものだ。

3割しか残さないため、選び間違えれば答えはすぐに失われてしまう。だからこそ、選ぶ順番が肝心になる。

選別は4ステップに分かれる。まず質問に基づいて各画面フレームにスコアを付けて選び、次に選ばれたフレームの中から背景と最もかけ離れた部分を選ぶ。音声側はいくつかの重要区間を残し、近傍の捨てられた分をそこへ統合する。他社との差がつくのは第4ステップで、タイムライン上で画面がどこに密に残り、どこに疎に残っているかを見返し、その疎密に応じて音声の割り当てを再配分する。

公式が示すのはパーセンテージだ。1台のマシンが実際にこなす作業量に換算すると、体感としてより分かりやすくなる。1分前後の監視映像クリップが1000本あり、それを一通り処理する場合を想定しよう。

ここで混同しやすい点がある。学習不要のプラグインを単体で使う場合、平均点は42.8で圧縮なしの44.1よりやや低いが、代わりに速度とメモリを3分の1削減できる。45.8というより高いスコアを得るには、続けてもう1ラウンド学習する必要があり、設問3000問と96GB VRAMのGPU4枚が要る。組み込んですぐ使うのと組み込んでさらに精度を上げるのは、別々の話なのだ。