Google DeepMind 推出 Gemini 智能体视频理解：Gemini 开始自己决定视频该怎么看

Gemini 把固定抽帧改成目标驱动的观察循环：先找线索，再选择字幕、音频或关键画面，并在需要时提高 FPS 重看。

作者：Google DeepMind09-02 · 约 15 分钟⚑ 研究论文
AI 研究 · 小互解读
一分钟速览
  • Gemini 把固定抽帧改成围绕问题反复选择字幕、音频、时间窗口和画面 FPS 的观察循环。
  • 三段官方演示分别展示长视频降本、快速动作动态重看和大海捞针检索；读者可在正文中直接切换观看。
  • Google 报告 Token 最高减少 88%、成本最高降低 66%、质量最高提升约 7%，但不同基准的收益比例差异很大。
  • 智能体模式适合长视频与定点问题；它仍会选错窗口，也不提供全片无损遍历或高风险场景零漏报保证。

长视频最麻烦的地方，并不只是“内容很多”。模型真正面对的是一个观察分配问题：一场 90 分钟的发布会里，绝大多数画面可能只是演讲者和幻灯片缓慢切换，真正决定答案的细节却可能只出现半秒。

过去常见的处理方式，是先按固定帧率把整段视频切成画面，再把这些画面连同音频或字幕交给模型。这样做简单、可预测，却同时留下两个漏洞：长视频会把大量无关画面塞进上下文；快速动作和短暂变化又可能刚好落在两次抽帧之间。

Google DeepMind 为 Gemini 推出了 智能体视频理解（Agentic Video Understanding） 功能，解决的是以往大模型看长视频“又贵、又耗算力、还不一定看得准”的问题。Gemini 的观看策略不再只是开发者预先设好的一个 FPS 参数，而是进入模型的推理过程。

核心价值与突破

过去模型处理视频是“死板硬看”（静态处理），无论内容是否关键，都按固定帧率（比如 1 秒截 1 帧）把整段视频塞进去，导致长视频处理起来消耗海量 Token、成本极高，还容易漏掉关键瞬间。

这次更新让模型拥有了类似人类的主动观察能力：它带着明确目的去“翻看”视频，自己决定看哪里、按什么帧率看、看画面还是只听音频/看字幕。

  • Token 消耗直降高达 88%：不再囫囵吞枣地喂全部画面，只调取真正需要的那几秒片段。
  • 分析成本降低高达 66%：大幅削减 API 调用费用。
  • 准确度提升高达 7%：在关键细节处主动提高帧率二次细看，识别更准。

严格说，Google 发布的不是一款单独命名的新模型，而是一种可供 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 使用的视频处理能力。上面三个数字也是 Google 在指定模型、基准和评测设置下报告的最高值，不代表每段视频都能得到同样幅度的收益。

传统视频理解为什么又贵又容易漏

静态处理的逻辑很直接：开发者先决定一个固定抽帧率，系统再按这个速率处理整段视频。Gemini 的默认静态设置是 1 FPS，也就是每秒取 1 帧；开发者可以通过 API 调整这个值。

固定帧率的问题，不在于它一定错误，而在于它对整段视频一视同仁。一场 90 分钟的发布会，按 1 FPS 计算就有 5400 个采样画面；如果为了捕捉更快的动作把采样率提高到 5 FPS，就会变成 27000 个画面。实际 Token 还会受分辨率和编码方式影响，不能简单地把帧数直接换算成 Token，但帧数增长带来的上下文和费用压力是真实存在的。

同时，1 FPS 也不是完整观看。假设一个按钮从“关闭”变成“开启”只持续 0.3 秒，这次变化完全可能发生在两次采样之间。模型没有看到那张画面，后面的推理再强也无法恢复一个从未进入上下文的视觉事实。

于是开发者被迫在两个风险之间选一个：

  • 提高 FPS：更不容易漏掉短暂动作，但整段视频都要为少数关键瞬间支付更高成本。
  • 降低 FPS：成本可控，却可能失去镜头边界、快速动作、闪烁异常或短时间出现的物体。

静态模式仍然有价值。对于几分钟以内、强调低延迟，或者必须以同一采样规则覆盖全片的任务，它更简单、更可预测。智能体模式解决的是另一类问题：视频很长，而答案只依赖其中少量片段，模型需要自己决定把观察预算花在哪里。

Gemini 如何自己决定看哪里

Google 公布的机制图里，模型在“思考”和“观察”之间循环。它不是先把整段视频完全展开，再开始回答；它可以在推理过程中调用三类内部工具：读取字幕、读取指定时间段的音频，以及按指定起止时间和 FPS 取得画面。

Google 展示的智能体视频理解循环：模型可按需取得字幕、特定时间段画面和音频。

把这个循环拆开，大致可以理解成五步：

  1. 先理解问题需要什么证据。“演讲者宣布了什么”与“人物做了几次开合跳”需要的信号不同。
  2. 用成本较低的线索缩小范围。有字幕时，模型可以先搜索关键词和时间戳；需要听语气或环境声时，再读取音频。
  3. 选择具体时间窗口。模型把几十分钟甚至几小时的视频缩小到少量疑似片段，而不是始终保持全片高密度采样。
  4. 按任务选择模态和帧率。语言问题可能主要依赖字幕；镜头切换、状态变化和动作计数则需要画面，并可能在局部提高 FPS。
  5. 证据不足就重看。模型取得新观察后继续推理，必要时换一个时间段、换一种模态或提高采样率，直到形成答案。

同一套机制同时带来节省和准确率提升：少看无关时段，Token 会下降；把更多画面预算集中到关键窗口，短暂细节又更容易被捕捉。这两项收益来自同一个观察分配循环。

观察路径选择器

先确定要找什么，再决定看什么

三类问题使用同一段视频，却不该消耗同一种观察预算。

找发布会中的一句话
搜索字幕→缩小时间段→用音频或画面核对
找一闪而过的画面
低密度扫描→锁定候选窗口→提高 FPS 重看
统计快速重复动作
定位动作片段→按不同 FPS 复看→核对动作边界

先读字幕定位发布会中的相关段落，再用音频或画面确认上下文；不需要把全片帧都送入模型。

这是对 Google 官方智能体循环的任务化展开；具体工具顺序由问题和视频内容决定。

这里有一个容易误解的地方：智能体模式并不等于“把视频无损看完”。它仍然在选择、采样和缩小范围，因此选择错了时间窗口也可能漏掉信息。它的优势是让模型根据问题动态修正观察策略，而不是把所有希望都押在开发者预先指定的一个 FPS 上。

三个视频演示分别证明了什么

Google 在发布页放了三段并排演示。它们不是三个孤立的功能，而是分别展示“长视频成本”“高速动作”和“长视频检索”这三种观察分配难题。

Google 官方视频

切换演示，直接看静态与智能体模式的差别

三段视频分别覆盖长视频基准、快速动作计数和大海捞针检索。

同一道长视频问题中，智能体模式把观察集中到相关片段，以更少输入 Token 获得更高回答质量。

在新窗口打开当前 Google 原视频
不操作也能查看三段演示：
视频由 Google DeepMind 发布页提供；播放器不自动播放，也不追踪观看行为。

1. LongVideoBench：同一道长视频题，少看很多画面

第一段演示比较 Gemini 3.7 Flash 在静态模式和智能体模式下处理 LongVideoBench 的差异。这里要看的不是“模型跳过了视频”，而是它把大量均匀采样改成了围绕问题的定向取证：先定位可能相关的片段，再对这些片段投入观察预算。

LongVideoBench 本身要求模型处理长时间、多模态交错的视频内容，因此很适合检验模型能否在长上下文里保持事件顺序、对象关系和问题线索。Google 的演示强调，智能体模式使用的输入 Token 明显更少，同时回答质量更高。

2. 开合跳计数：需要时提高 FPS 再看一遍

第二段演示让 Gemini 统计快速重复的开合跳动作。固定 1 FPS 很容易把一个完整动作的起点和终点压进同一个采样间隔，造成漏数或把半个动作算成一个动作。

智能体模式先找到动作发生的片段，再用不同 FPS 扫描并重看。这个例子说明“动态 FPS”真正发挥作用的地方：不是整段视频永远保持高帧率，而是在几秒钟的关键窗口里临时提高观察密度。

3. 大海捞针：先定位，再回答复杂问题

第三段演示比较两种模式回答长视频复杂问题时的 Token 消耗。智能体模式可以先利用字幕、音频或低密度画面寻找线索，再把高成本视觉读取集中到少量候选时段。

这种方式尤其适合发布会、课程、会议记录、体育录像和多小时素材库：问题通常只涉及其中一个事件、一句话或一个短暂出现的物体，没有必要让所有画面都以相同密度进入上下文。

三组实测数据怎么读

Google 给出的三组数据来自 Gemini 3.7 Flash，并将静态 1 FPS 与智能体模式进行比较。测试统一使用高 thinking level 和低媒体分辨率。不同基准的收益差异很大，因此只看“最高节省 88%”会漏掉最重要的信息：任务结构决定了智能体观察能省多少、又能提升多少。

Google 的三项评测结果：智能体模式在不同任务上的 Token 节省与准确率提升并不相同。

基准 静态模式 Token 智能体模式 Token Token 节省 准确率变化 相对提升
MINERVA 80.9K 33.6K 58.4% 73.7% → 79.0% 7.2%
1H-VideoQA 397.6K 47.7K 88.0% 87.5% → 88.5% 1.1%
LVBench 300.3K 36.0K 88.0% 85.1% → 88.6% 4.1%

这张表能看出三个结论：

  • Token 降得最多，不代表准确率涨得最多。1H-VideoQA 和 LVBench 都节省 88%，但相对准确率提升分别只有 1.1% 和 4.1%。
  • MINERVA 的节省较少，质量提升反而最大。这类复杂推理任务需要更多有效观察，智能体模式不能只追求少看，还要保证证据足够。
  • “最高 7%”是相对提升的概括。图中 MINERVA 从 73.7% 上升到 79.0%，绝对提高 5.3 个百分点，相对提高约 7.2%。这两个口径不能混用。

Google 还报告，跨这些测试，分析成本最高降低 66%。成本降幅没有直接等于 Token 降幅，因为不同模态、推理过程和工具调用都会影响最终计费。

Google 展示的准确率—单次查询成本关系；Gemini 3.7 Flash 智能体模式位于本次测试模型的帕累托前沿。

所谓“帕累托前沿”，指的是在这组被测试模型里，找不到另一个方案能在不增加成本的同时获得更高准确率，或者在不降低准确率的同时进一步降本。它是特定测试集合里的相对位置，不是对整个视频理解市场的永久排名。

早期合作伙伴给出了哪些真实用法

Google 还展示了四家早期合作伙伴的自述。这些数据来自厂商案例，不是独立基准，但能补充实验室评测没有覆盖的工作负载：

  • Ponder 用 Gemini 从原始素材里寻找可用片段。它表示，在保持相近召回率的情况下，新的单次调用使用的输入 Token 约少 3.5 倍。
  • Revyl 用云端设备测试 iOS 和 Android 应用。它关心的是截图验证容易漏掉的快速动画与状态变化。
  • Resemble AI 在约 1000 条已标注视频和实时深度伪造检测工作负载上测试，报告输入 Token 减少 57%，同时长视频描述和上下文更准确。
  • Mosaic 在生产式视频剪辑评测中报告中位输入 Token 减少 97%、约束覆盖率接近翻倍，并称智能体模式是唯一完成其 4.5 小时播客案例的模式。

这些结果说明企业真正买单的并不只是“理解视频”，而是把原本需要工程团队手写的搜索、分段、重采样和复看流程压缩到一次模型交互里。不过这些合作伙伴数字缺少公开的统一测试协议，不能和上面的标准基准直接横向比较。

哪些应用最适合

亚秒级瞬间检索

视频粗剪、镜头边界识别和界面状态变化都可能发生在 1 秒以内。智能体模式可以先找到大致区间，再提高该窗口的 FPS，缩小到更精确的切点。它提高了自动剪辑的可行性，但官方没有给出跨视频类型的帧级误差分布，因此不能直接把它写成普遍达到“工业级精度”。

长视频大海捞针

在 90 分钟课程、会议或多小时录像中，模型可以先用字幕和音频线索搜索，再核对附近画面。它最适合回答“某句话在什么时候说”“某件物品何时出现”“哪一段展示了某个功能”这类定点问题。

异常检测

监控和质检视频里的异常通常只持续几秒。模型可以先低成本扫描全局，在可疑时间窗里重新采样快速运动、闪烁或视觉伪影。但这不等于获得安全系统所需的零漏报保证；高风险场景仍需要专用检测器、明确阈值和人工复核。

动作与物体计数

健身次数、流水线工件或体育动作都有明确的重复结构。局部提高 FPS 能补回固定 1 FPS 漏掉的中间状态，再通过重看检查计数边界。动作定义不清、遮挡严重或多个对象交叉时，计数仍可能出错。

视频内容生产和素材管理

对剪辑团队而言，更直接的价值可能是把“在几十小时素材里找三个可用镜头”变成自然语言查询。模型先缩小候选片段，编辑再人工确认，这比让模型直接做最终剪辑更现实，也更容易建立可靠的审核链。

开发者怎么调用

这项能力已经通过 Gemini API 向 Google AI Studio 和 Gemini Enterprise Agent Platform 提供，支持直接上传视频和使用 YouTube 视频。当前支持 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite，按标准 Gemini Token 价格计费，不另外收取功能费。

调用时，关键变化是在视频输入中加入 "processing": "agentic"：

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic",
        },
        {
            "type": "text",
            "text": "What are the 3 most important announcements in this keynote?",
        },
    ],
)

print(interaction.output_text)

开发者还可以检查 interaction.steps。如果返回中出现 processing_call 和 processing_result，说明模型确实调用了视频处理工具进行动态导航，而不是只按静态方式读取视频。这一点对成本审计和调试很重要：配置字段写对了，不等于每个请求都会以完全相同的工具路径执行。

选择模式时可以用一个简单判断：

任务 更适合的模式 原因
10 分钟以上长视频、只问少量具体问题 智能体 可以先定位，再集中观察
寻找短暂动作、镜头边界或异常 智能体 能在关键窗口提高 FPS 重看
5 分钟以内、优先追求低延迟 静态 处理路径更直接、延迟更可预测
必须按统一采样覆盖全片每一段 静态或专用流水线 智能体选择观察窗口，不提供无损遍历保证

它仍然有哪些边界

第一，智能体模式减少的是无关观察，不是把视频分析变成免费操作。问题越宽泛、需要核对的片段越多，模型仍可能调用大量画面、音频和推理步骤。

第二，主动选择会引入新的失败方式。静态模式的缺陷是固定采样可能漏帧；智能体模式的缺陷则可能是搜索线索错误、时间窗口选错或过早停止观察。重要任务需要查看工具回执，并保留抽样复核或第二条检测路径。

第三，三组基准和合作伙伴案例都不足以证明它在所有监控、医疗、安防或生产质检场景中可靠。长视频基准能证明方向有效，但真实系统还要面对遮挡、低照度、压缩伪影、字幕错误和领域分布变化。

第四，产品落地有时间边界。Google 表示这项能力将很快覆盖 Gemini App 的 Flash 与 Flash-Lite 用户，并在未来几个月用于 YouTube 播放页的 Ask YouTube；这些是发布计划，不应写成已经面向所有普通用户全面上线。

这次更新真正改变的，是视频进入模型的方式。过去，开发者先决定看多少，模型只能在已经拿到的画面里推理；现在，模型可以把“接下来该看哪里”也变成推理的一部分。对于长视频，这意味着上下文窗口不再只是一个被动容器，而开始像一张可以反复搜索、放大和核对的工作台。

来源
Introducing agentic video understanding with GeminiRohan Doshi, Mario Lučić·2026-09-01·查看主材料
延伸
Video understanding | Gemini API·LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding·MINERVA: Evaluating Complex Video Reasoning
本站说明
基于 Google DeepMind 官方发布、Gemini API 开发者文档与公开基准资料；评测收益均按官方最高值与特定设置表述，合作伙伴数字按厂商自述处理。
↑ 正文结束
✓ 本篇全文免费开放

会员可复制、下载全文 Markdown，还能让你的 AI 订阅和提问。

订年卡 $59/年看权益对比 →
阅读原文 ↗
📮 新解读第一时间进邮箱

读完觉得有用？留个邮箱，每篇新解读发布就送达，随时退订。

相关解读

产品发布
Gemini 4 Argon 全面开放：热门创作案例集锦 从复杂工程到调用工具完成工作再到用代码制作 3D 和可视化视频
10-14 · 25 分钟
产品发布
Google 发布Gemini 4 Argon：综合评分超越GPT-6 Astra、Claude Fable 5.1 以及 Claude Opus 5.5
10-01 · 约 10 分钟
产品发布
美国政府搞了个类似苹果的发布会：发布America.gov 把 2.9 万个网站，换成了一个 AI 聊天框
10-01 · 约 12 分钟