Memories.ai 发布 O-MARC：怎么让同时处理视频和声音的 AI 跑得又快、又省，还更准
- 能同时看画面、听声音的 AI 是目前视频理解的前沿，但一秒视频就要吃掉一大把 token。多路摄像头连续跑的成本，是这类模型至今留在实验室的主要原因。
- Memories.ai 的 O-MARC 做的是「聪明地扔」：只留跟问题有关的关键画面帧和音频锚点，其余当噪声丢掉，推理快 34.6%（1.53 倍）、内存省 34.7%。
- 压缩通常要拿精度换速度，这套方法用「同一个模型开卷答一遍、闭卷答一遍」的蒸馏训练把精度补回来，四项测试均分 45.8，高过不压缩的 44.1。
- 压缩组件 OMAC 免训练，装在已经部署的模型前面就能用；想拿到那个更高的准确率，则要跟着做一轮强化学习训练。
- 配套的 UGC-AVQA 收了 1000 个视频、4816 道题，每道候选题都先删掉音轨考一遍，AI 还能答对的一律剔除，留下的必须听见才做得出来。
Memories.ai 在 7 月 8 日放出了一项叫 O-MARC 的研究成果，配套论文 5 月 26 日已经挂上 arXiv。它解决的是一个很具体的难题：怎么让同时处理视频和声音的 AI 跑得又快、又省，还更准。
现在的视听 AI 卡在两个地方
一、太贵太慢，算力压根吃不消
模型不是直接「看」视频的。一段视频进模型前会被拆成一串 token：每一帧画面切成很多块，每块是一个 token；音频按时间切成一串 token；再加上你问的那句话。三段拼成一条长序列，模型从头到尾读一遍。
序列有多长，显存和时间就有多贵。而画面和声音都是特别费 token 的模态，两个叠在一起，序列长度直接翻番。
示意图（本站绘制）。橙色深块是画面 token，浅块是音频 token，深灰是文字。一条 32 帧的短视频就是几千个 token。
论文里的实测：即便克制到每秒只取一帧、一条视频最多 32 帧，在 WorldSense 这个长视频测试集上跑一条（64 帧配置）也要 3.81 秒、吃掉 24.2GB 显存。一张卡跑一路就快满了。
把这两个数字乘上摄像头路数和小时数，就是监控中心、工厂产线这类要 24 小时连续跑多路画面的场景，成本高到没法接受的原因。
二、装模作样，现在的测试根本测不准
假设你要评估两套视频分析系统，都号称能同时理解画面和声音。你拿现成的音视频测试集跑一遍，A 得 70 分 B 得 60 分。问题来了：A 那 70 分，有多少是靠看出来的？
大多数音视频测试集回答不了这个问题。题目里有相当一部分只看画面就能猜对，比如车祸现场、有人摔倒、机器冒烟，这些不听声音也认得出。一个完全不用音频的模型照样能刷出好成绩，于是「音视频联合理解」这个能力，在评测层面成了一笔糊涂账。
你想招一个懂英语的人，出的卷子却全是选择题，四个选项里三个明显不通顺。不懂英语的人靠排除法也能考八十分。这份卷子测不出你要的那个能力。
对要买这类系统的人来说，这意味着没有可靠办法分辨哪家是真的整合了声音信号，哪家只是把音频当摆设。行业缺一份能验证「它真听懂了」的卷子。
Memories.ai 的两位创始人 Shawn Shen 和 Ben Zhou 都是从 Meta 出来的，他俩之前专门负责 Meta 的 Ray-Ban 智能眼镜的 AI 系统，做着做着发现一个绕不过去的问题：眼镜一直在录，可录完的东西用户根本调不出来，AI 看见了却记不住。就是这个痛点让他们在 2024 年离职创业，创办了 Memories.ai，专门研究怎么把视频变成能被检索、能被回忆的东西。O-MARC 是这条线上的最新一步。
OMAC 怎么挑出该留的画面和声音
先看官方发的这段动画，37 秒讲了三件事。
动画里出现了三个名字，关系容易混，这里先说清楚各是什么。
常见的压缩办法是均匀削减：所有画面帧一律降采样，所有音频一律稀疏化。这么做的问题在于，画面里大量内容是重复的（同一个背景连着几十帧），声音里却可能只有很短一瞬是决定性的。一刀切地削，重复背景和关键证据一起没了。
OMAC 分四步挑重点。
把一帧里所有 token 求个平均，得到这一帧的「概要」，再跟你问的那句话算相似度，分高的留下。但不只看分数，还要兼顾时间上的覆盖，免得留下来的帧全挤在视频开头那几秒。
算每个 token 跟这一帧平均值的差距，差距大的留下。跟平均值一模一样的，多半是重复的背景；偏离平均值的，才可能是这一帧真正在发生的事。留下的这些 token，外加一两个把它们加权汇总成的「帧记忆 token」，一起放回原来的时间位置。
音频按重要性打分，留下高分的几个当锚点。附近那些被丢掉的 token 会按合并权重并入最近的锚点。所以一个锚点里装的不只是它自己，还有周围那一小段的信息，语音提示、环境音这类证据不会整段消失。
压完画面之后，每一段时间留下的画面信息是不一样多的：有的时刻留了很多帧和很多 token，有的时刻几乎没留。OMAC 把这个疏密当成「这段时间重不重要」的信号，反过来分配音频额度。画面留得多的时段多分点听力，画面稀疏的时段压得更狠。总额度不变，只是重新分配。
第四步是这套设计里最关键的一步，也是它跟其他压缩方法最大的不同。论文专门跑了一组对照，比「谁指导谁」的三种做法。
同样是让视觉去指导音频，先把视觉记忆挑干净再拿它去分配，比直接用原始视觉信号指导多 1.7 分。原因在于原始画面信息里掺着大量重复背景，拿它判断哪段声音重要，噪声会跟着一起进来。
拿还没筛过的画面信息去判断哪段声音重要，重复背景一起参与了判断。
先按问题把该留的画面挑出来，再看哪些时刻留得多。这时的疏密已经是筛过的判断。
示意图（本站绘制）。上排方块是筛选后留下的画面帧，下排是分给对应时段的音频额度。
免训练，装上就能用
OMAC 这部分不改模型本身，也不需要重新训练，作为插件挂在已经部署的模型前面就生效。对已经把全模态模型跑起来的团队来说，这意味着不用重建训练管线、不用重新走一遍上线流程。
提速不降智：怎么做到压缩之后精度还往上走
压缩通常要付出精度代价，因为模型当初是在「材料齐全」的条件下训练出来的，你突然只给它三成，它会不适应。O-MARC 的训练阶段专门补这一课。
关键在于，老师和学生是同一个模型、同一时刻的同一份参数。它对同一道题答两遍：一遍看全量材料，一遍看压缩后的材料。两遍的得分差有多大，就说明这道题被压缩坑得有多惨。
同一个学生同一道题做两遍，一遍开卷一遍闭卷。哪些题闭卷掉分最厉害，就把哪些题挑出来加练。前提是这道题他本来就有希望做对，本来就完全不会的题，闭卷掉分再狠也不加练。
具体做法是改强化学习里的「优势值」。优势值是模型每答一次拿到的一个分，衡量这次比同批其他次好多少，模型照着它决定往哪个方向调整。O-MARC 把「优势值为正」和「怕压缩程度」两个数相乘，得到一个额外权重，再按一个可调的强度系数加回优势值上。只有两个条件同时满足的样本，权重才会明显变大。
老师分支通过改写这个优势值把偏好传给学生，没有用逐个 token 的概率去做对齐，把模型往「压缩后依然稳」的那类行为上推。整套训练只用了 3000 条样本、4 张 96GB 显存的显卡。
最后的成绩
| 配置 | 四项测试均分 | 相对不压缩 |
|---|---|---|
| 不压缩，全量 token | 44.1 | — |
| OmniZip（现有的压缩方法） | 41.0 | −3.1 |
| OMAC（免训练插件） | 42.8 | −1.3 |
| O-MARC（OMAC + 训练） | 45.8 | +1.7 |
底座是 Qwen2.5-Omni-3B，保留比例 30%、32 帧。四项测试分别是 DailyOmni（日常视频的音视频理解）、UGC-AVQA（本次新出的这套）、OmniVideoBench（长视频推理）和 WorldSense（真实世界的综合感知）。45.8 是四项的均分，拆开看是 UGC-AVQA 涨得最多，另外三项与不压缩时基本持平或略低。效率数字出自另一组实验，条件是 64 帧的长视频。
压得越狠，这套方法的优势越明显。在 UGC-AVQA 上压掉 70% 时，OMAC 还有 49.2 分，OmniZip 掉到 47.1。留的东西越少，「留对东西」就越要紧。
UGC-AVQA：用「把音轨删掉再考一遍」筛出来的测试题
要证明一个模型真的在听，得先有一份「不听就答不出」的卷子。这套测试集的筛法只有一步。
每道候选题，先把视频的音轨整个删掉，让 Gemini-3.1-Flash 只看画面做一遍。它答对的题，全部剔除；只有它答不出来的，才留下。
剩下的题，答案不可能从画面里直接读出来。整套测试集收了 1000 个用户上传的短视频、4816 道问答对，题目分四类：音视频事件推进、场景或时间转换、跨场景对齐、细粒度对比。所有视频都由人工写了详细的「全模态描述」，覆盖画面里的人和物、场景切换、动作、声音事件和时间关系；候选题和生成的训练题各抽 30% 由受训标注员复核修正。
题目长什么样
看四道真题就明白了。
空气炸锅开始转起来的时候，人的说话声怎么变了？
答案：他们表现出惊讶
老师的语音第一次警告不要用非正式称呼时，他正在敲墙上的哪个人称代词？
答案：vosotros（西班牙语里非正式的「你们」）
键盘背光的颜色，在这个人最初提问和后面讲解这两段之间怎么变的？
答案：蓝变紫
镜头转向那个盒子之前，紧接着响起的是什么声音？
答案：一个女人在问问题
第三题问的是颜色，看上去纯视觉；但「最初提问」和「后面讲解」这两个时间点，只能靠听声音定位。这套题考的是两边能不能对上，单看画面或单听声音都答不出来。
模型考得怎么样？九个模型跑下来，最高的 Gemini-3.1-pro 是 69.1 分，开源阵营里参数最大的 Qwen3-Omni-30B-A3B 是 65.0 分，本次用作底座的 Qwen2.5-Omni-3B 只有 49.0 分。多数开源模型最弱的一类都是「跨场景音视频对齐」，也就是上面那道 vosotros 题的类型，连 Qwen3-Omni-30B-A3B 在这一类上也只有 60.9 分。
| 模型 | UGC-AVQA 均分 |
|---|---|
| Gemini-3.1-pro | 69.1 |
| Gemini-3.1-flash-lite | 67.1 |
| Qwen3-Omni-30B-A3B | 65.0 |
| Gemma-4-E4B-it | 59.7 |
| Gemma-3n-E4B-it | 54.6 |
| Qwen2.5-Omni-7B | 54.2 |
| Gemma-3n-E2B-it | 53.0 |
| Qwen2.5-Omni-3B（本次底座） | 49.0 |
| Gemma-4-E2B-it | 45.6 |
数据来自论文 Table 2。榜上打分的是 Gemini-3.1-pro 和 flash-lite，筛题时当判卷官的是 Gemini-3.1-Flash，不是同一个型号。另外，静音答错能说明这道题不是纯看画面就能解决，但题目本身有歧义、干扰项设计不当、模型能力不足也会导致答错，这类题同样会被留下。
省下的这三分之一，能落到哪些场景上
延迟和显存各降三分之一，直接的意思是同样一台机器能多接摄像头、多跑几路实时流。
安防中心、工厂车间、门店、智慧楼宇这类要同时看几十路实时画面的地方，成本降下来才谈得上把全模态模型接进去。
设备异响、有人喊救命、画面之前先响起来的动静，这类事件单靠看是看不出来的，必须听看结合，而且要保证模型是真在听。
给海量视频提取元数据时，除了画面里有什么，还能标出声音里发生了什么，标签精度直接影响后续检索质量。
检测到事件就报警、转派、打标、升级的自动化链路，1.53 倍的提速能把原来「跑太慢没法实时」的场景变成可用。
还有一类：教学与培训视频
课程视频的重点常常在讲解的那段话里。画面上只是一张幻灯片，真正的信息在老师嘴里。要做内容理解、质量评估、知识点提取，就必须是真的音视频联合推理，光看画面提不出东西来。
上面这些场景来自 Memories.ai 研究页的应用设想。论文本身没有做落地部署实验，全部结果都是在 Qwen2.5-Omni 与 Qwen3-Omni 上跑的基准测试。
现在能拿到什么，还拿不到什么
如果你想自己上手，这是核对下来的实际情况。
另外，这套数据集放出的是视频的原始链接和标注，不重新分发视频文件本身。作者在论文局限那一节写明，随着平台内容变动，一小部分数据会随时间失效，这是所有靠外链维持的短视频数据集的通病。
这些结果表明，音视频压缩不该只被当成一种推理加速手段，它同时也是一个可训练的条件，指向更稳健、更高效的全模态推理。 论文结论段
这项研究的落点，是把「聪明地扔」从一个推理时的技巧变成了一个可以训练的目标。代码已经公开，数据和权重还得等。
让 AI 看视频听声音，从「整段硬吃」→ 只留三成挑对的材料
Memories.ai 发布 O-MARC：推理快 1.53 倍、显存省三分之一，准确率还往上走了一点，一页带图讲完。
↓ 一页读完 · 有一张会动的图
这次讲的是一类能同时看画面、又能听声音的 AI（论文里叫全模态模型）。它比只看画面的模型多一条耳朵：先响了一声、镜头才转过去，这种前后关系它能连起来答。卡住它的是成本。
✘ 跑一条一分钟的视频要 3.81 秒、吃掉 24.2GB 显存（显卡上装数据的地方），多路摄像头连着跑扛不住
视频进模型前会被拆成一长串 token（模型读东西的最小单位，一小块画面、一小段声音各算一个）。画面和声音都特别费 token，两条流叠在一起，串的长度直接翻倍，串有多长，显存和时间就有多贵。这是这类模型至今留在实验室的主要原因。
Memories.ai 的做法是「聪明地扔」：一段视频和音频转成的那一长串输入，只留三成喂给模型，其余当噪声丢掉。留哪三成，是全部功夫。
一刀切地削：所有画面帧一律降采样，所有音频一律稀疏化。可画面里大量是重复背景，声音里却可能只有很短一瞬是决定性的。重复背景和关键证据一起被削掉，分数跟着掉。
先看你问的是什么，按问题挑出该留的那几帧画面和那几段声音。被扔掉的音频会按合并权重并进留下的关键片段里，信息留在那几个片段上。
配套还放出一套新考卷 UGC-AVQA，专治上一节那个隐患：每道候选题先把音轨整个删掉，让一个强模型只看画面做一遍，它答对的题全部剔除，只有它答不出来的才留下。剩下的题，答案不可能从画面里直接读出来。
只留三成，扔错一点答案就没了。所以关键在挑的顺序。
挑东西分四步：先按问题给每帧画面打分挑帧，再在选中的帧里挑出跟背景长得最不像的部分，音频那边留几个关键片段、附近被扔的并进去。第四步才是这套方法跟别家拉开差距的地方，回头看画面在时间轴上哪儿留得密、哪儿留得疏，照着这个疏密重新分配音频额度。
示意图（本站绘制）。画面留得多的时段多分点听力，画面稀疏的时段压得更紧，总额度一分不多。下半是三种顺序的对照：先把画面挑干净再拿它去分配音频，比直接用原始画面信号多 1.7 分，原始画面里掺着大量重复背景，拿它判断哪段声音重要，噪声会跟着一起进来。分数出自一项日常视频测试（DailyOmni）。
官方给的是百分比。换成一台机器实际要干的活，体感更清楚：假设有 1000 条一分钟左右的监控片段要过一遍。
换算依据：论文实测单条 3.81 秒 vs 2.49 秒（一分钟左右的长视频、64 帧配置），乘 1000 条得出，差 22 分钟，正好是 1.53 倍。显存那头同样省下三分之一，24.2GB 降到 15.8GB，以一张 80GB 的卡估算（示意），原来只塞得下三路摄像头，现在能塞五路。以上数字均为 Memories.ai 与合作高校作者自己跑的结果，论文 5 月挂上 arXiv，本站未查到第三方复现；配套的考卷和训练好的模型截至 7 月 21 日还没放出来，只有压缩部分的代码公开了。
这里有个容易看混的地方：免训练那个插件单独用，均分是 42.8，略低于不压缩的 44.1，换来的是三分之一的速度和内存；要拿到 45.8 那个更高的分，得跟着再训一轮，3000 道题、4 张 96GB 显存的显卡。装上就用和装上还更准是两笔账。
片子，跑完
要这么久
对照方法的做法
指导声音，掺着
大量重复背景