Glimpse:专门理解图片和视频,还能为机器人规划任务的 AI 模型

盯住同一个物体,重看关键的0.9秒,再用画面检查动作结果。Elorian如何让AI从认出物体走向理解变化?

作者:Elorian / Andrew Dai10-18 · 15 分钟⚑ 产品发布
🎧 听播客版0:00 / --:--
0:00 / --:--

Elorian 发布了视觉思考模型 Glimpse,能一边分析图片和视频,一边回到画面里检查细节。它目前以研究预览形式开放,提供聊天界面和 API,主要面向几类任务:

  • 跟住视频里的变化:追踪同一个物体,分清动作先后,遇到模糊片段再局部重看。
  • 理解空间与动作后果:判断物体如何连接、哪里有支撑,以及移动之后可能发生什么。
  • 把视觉理解用于工作:标注机器人训练视频、拆解机器人任务、描述视频细节,以及计数、解迷宫和找不同。
Andrew Dai 介绍 Glimpse|中文字幕版。
完整保留约 90 秒原片;旁白说明视觉草稿空间如何把处理后的画面重新带入推理。

看不清的地方,值得再看一遍

判断列车有没有减速,光认出“这是一列火车”还不够。需要盯住同一个车窗边缘,比较它在相等时间里移动了多远:移动距离逐渐缩小,才是减速的证据。

Glimpse 的一份实际运行记录就采取了这个办法。列车约在 2.2 秒进入画面,早期窗边移动明显;到 4.5–4.9 秒,位移收缩,接近片尾时只移动几个像素。它回到这些位置核对后,回答“减速”。这里需要把前后画面联系起来,一张照片无法单独给出速度变化趋势。

跟住同一个车窗边缘,看列车如何逐渐减速。
官网展示的实际模型记录,保留观察时间点与回答;原片无音轨。

另一段 6.13 秒的动画更能说明“回看”的用处。两只蓝鸟先盘旋,落在门把手上,再起飞进入发光的拱窗。镜头跟着它们快速移动,中间究竟是连续摇镜,还是剪掉一段后换了镜头?这会影响对事件是否连续、两只鸟如何先后到达的理解。

Glimpse 先以每秒 8 帧查看全片,再把 4.3–5.2 秒这 0.9 秒加密到约每秒 14 帧。补看的墙面位置能连成连续移动,支持“镜头一直在摇动”的判断。它还用粉色系带和浅绿头饰区分两只鸟,确认它们先后进入拱窗。额外检查集中在决定答案的短区间。

留意两只鸟起飞后,门把手与拱窗之间的墙面如何连续移过画面。原片无音轨。
回看这 0.9 秒,墙面怎样连起来?4.30—5.20 秒 · 小鸟原片抽帧
4.30秒的原始画面
起点 · 4.30 秒
回看中的原始画面,4.75秒
回看位置 · 4.75 秒
5.20秒的原始画面
终点 · 5.20 秒

向前或向后查看,墙面和窗框的位置能连续接上;两端的参照画面始终保留。这里按等间隔从原片抽取 13 帧,供读者观察,未复现模型的完整取帧记录。

Elorian 把这种能力称为“视觉思考”:视觉表示参与推理,模型可以在思考过程中回访、细化对画面的理解。用户在平台上能看到的“视觉草稿空间”,会展示放大局部、重看视频区间、追踪特征等过程。模型也能调用代码、图像变换和视频工具来辅助检查,裁出的局部、选中的帧和变换后的新视图,会再交给模型,成为下一步推理的视觉依据。

模型还经过端到端训练,学习使用这些多模态工具,并能协调多个子 Agent,让它们交换文字、中间视觉产物和内部表示,共同解决问题。内部表示具体怎样存储和更新,发布材料没有展开;外部工具操作让读者看到了它如何重新取证,不能据此还原全部神经网络机制。

从认出物体,到理解它会怎样变化

跨帧追踪解决的是时间问题。物理判断还需要找到物体之间的关系。

三个人正在抬起一只大轮胎,如果条纹上衣的女性突然松手,谁最容易被砸到?关键线索是轮胎下缘仍贴着草地,抬高侧还没越过直立位置。失去支撑后,抬高的一侧会绕着着地边缘回落,正好扫向俯身在那一侧的女性。

三人抬轮胎,条纹上衣女性俯身在轮胎抬高的一侧
着地边缘提供支点,抬高侧的回落方向决定谁处在路径上。这是官网用于解释物理判断的参考示例。

同样的关系判断也出现在扳道岔的录像里:手柄从右拨到左,连接的尖轨跟着变位,列车可走的路径随之改变。描述到“她动了手臂”还不够,需要把动作和它改变的东西接起来。

手柄的移动,通过连接机构改变尖轨位置。
片段对应源视频 12—26 秒,动作发生在约 15—20 秒。官网配以参考答案,未把它列为 Glimpse 的实际运行记录;原片无音轨。

计数也有类似的细节门槛。数“张开的钳子”,既要确认它是钳子,又要确认它处于张开状态。闭合的钳子只满足第一项;剪刀虽然也有把手和转轴,却不属于目标类别。官网给出的参考数量是 4 把。

混放的张开钳子、闭合钳子和剪刀
同时检查工具类别与开合状态,才能数对目标。轮胎、道岔和钳子这三例提供的是参考答案;前面的列车、小鸟案例另有实际模型运行记录。

这些例子说明,识别“有什么”只是起点。回答具体问题,往往还要保留接触位置、连接关系、状态和身份;少看一个细节,后续推理就可能沿着错误前提继续走。

机器人需要知道,一步操作什么时候才算完成

机器人训练视频里,“机械臂动过了”和“已经把东西放好”是两回事。

Glimpse 的标注演示会给海绵、记号笔、剪刀等物体画框、命名,并把三个物体的拿起、放下分别切成 6 个带时间戳的事件。这样,一段连续录像就变成了可用于训练的动作记录:拿的是谁、何时拿起、何时放到目标位置。官网另一份记录还区分了“从容器里取出记号笔”和“放上桌并松手”的完成时间,分别是 8.9 秒与 14.085 秒。

三个物体各自的拿起、放下,被切成六个事件。
黄色海绵、绿色记号笔、橙色剪刀分别被框选和命名;标注演示无音轨。

同样的完成判断也能进入任务执行。给机器人一句话:“把奶油奶酪放进碗,再把碗放到柜顶。”Glimpse 负责拆解步骤,在机械臂操作期间查看相机,判断第一步是否做完,随后决定是否进入第二步。真正执行动作的是 Physical Intelligence 的 π0.5 视觉语言动作模型。

同一个机器人执行模型,分别接受 Glimpse 和 GPT-6 Astra 的高层规划。
LIBERO 模拟任务中两边都完成了操作;Glimpse 使用默认思考档、每 20 个控制步检查相机,Astra 使用 high 档、每 40 步检查。演示无音轨。

这次任务的规划费用分别为 0.035 美元和 0.249 美元,Glimpse 低约 86%。这是这一个任务、上述设置下的费用。它展示了较低成本的高层规划路径;让模型直接输出机器人的动作,仍是 Elorian 后续要做的方向。团队还计划推进多模态原生预训练、结合理解与生成,以及更准确的场景重建;这些方向还需要进一步实现。

视频描述的价值,藏在总括句漏掉的地方

一句“有人在跳舞”,不能帮助创作者找出“舞者把裙摆举到脑后”的瞬间。密集视频描述会把这些细节连同发生时间记录下来,让素材能按动作、事件或人物互动检索。

在 2 分 46 秒的哈瓦那街头表演中,演示设置了 14 项检查点,包括赤脚舞者、裙摆位置、镜头右移、独舞和最后空下来的场地。Glimpse 本次覆盖 14 项,GPT-6 Sol 覆盖 12 项,Gemini 3.8 Flash 覆盖 11 项;Glimpse 三次运行的平均值为 13.7 项。

同一段街头表演,按 14 个具体事件逐项比较描述。
原素材 2 分 46 秒,播放器为对照演示。Glimpse 和 Gemini 按每秒 2 帧查看,GPT-6 Sol 接收 333 张带时间戳的帧;所有模型均未听到音频。

另一段 16 秒的打包争执片段,检查的不只是动作,还有动作透露出的情绪:一人匆忙装包,另一人张开手掌、试图挽留,随后双手抱头,最后对方提包离开。13 项检查点中,本次三者分别覆盖 13、12、11 项。画面支持对紧张、抗拒、懊恼的推断;没有对白,就不能确定他们说了什么,也不能确定离开是否意味着永久分手。

16 秒素材的动作与情绪描述对照。模型都没有听到音频;Glimpse 与 Gemini 以每秒 10 帧看视频,GPT-6 Sol 接收 158 张带时间戳的帧。播放器展示的是放慢的对照演示,原片无音轨。

这些演示的对照标签是 GPT-6 Sol;官网主表另比较 GPT-6.1 Sol。两段视频采用各自的事件清单和采样设置,数字表示这些案例里的细节覆盖情况。

镜头移开再回来,同一个对象不能重算

计数视频还多了一道去重任务:镜头离开又回来,同一只小狗不能再算一次。庭院演示给每只狗保留颜色和编号,最终数出 5 只。

每只小狗保留自己的颜色和编号,出画再回来也不重算。
手持手机视频的计数演示;最初镜头未移动的六秒以四倍速播放,原片无音轨。

工地车辆的录屏则给出“约 30 辆”,并列出证据时间点,提醒不同视角拍到的可能是同一批设备;这个估数没有附逐车核验的独立真值。

查看平台里的实际视觉草稿空间,以及带证据时间点的回答。
录屏给出的数量是“约 30 辆”,并识别不同视角下重复出现的设备;原片无音轨。

哪些能力追上了,哪些问题仍然很难

Elorian 用一个小团队、数百张 GPU,在开放权重基础模型上完成了 Glimpse 的后训练。基础模型名称、具体参数量没有公开,使用开放权重底座也不等于 Glimpse 的权重已经开放。

按照官网主表,Glimpse 在机器人操作事件、科学图表推理、短视频描述和开放词表计数四项评估中高于 GPT-6 Astra,具身空间推理持平。下面保留原表的全部 12 项评估、5 款模型及输入输出价格,能同时看见强项与不足:

官网完整性能对比|12 项评估 × 5 款模型
评估项目GlimpseGPT-6 AstraGPT-6.1 SolOpus 5.5Gemini 3.8 Flash
WGO Bench|机器人操作事件理解Glimpse42.70GPT-6 Astra39.42GPT-6.1 Sol38.91Opus 5.512.34Gemini 3.8 Flash33.99
ERQA|具身空间推理Glimpse83.75GPT-6 Astra83.75GPT-6.1 Sol82.45Opus 5.582.20Gemini 3.8 Flash81.20
BabyVision|细粒度视觉推理Glimpse95.36GPT-6 Astra97.68GPT-6.1 Sol97.16Opus 5.5—Gemini 3.8 Flash83.25
HSS|视觉场景理解(图像与视频)Glimpse46.36GPT-6 Astra53.6GPT-6.1 Sol46.6Opus 5.549.81Gemini 3.8 Flash41.6
CharXiv-R|科学图表推理Glimpse92.90GPT-6 Astra92.10GPT-6.1 Sol92.60Opus 5.593.40Gemini 3.8 Flash91.80
UGC-VideoCap|短视频描述Glimpse82.66GPT-6 Astra80.32GPT-6.1 Sol80.41Opus 5.576.35Gemini 3.8 Flash78.33
DREAM-1K|密集视频描述Glimpse76.04GPT-6 Astra79.05GPT-6.1 Sol77.93Opus 5.572.05Gemini 3.8 Flash70.00
TOMATO|细粒度时序推理Glimpse93.60GPT-6 Astra96.02GPT-6.1 Sol89.02Opus 5.572.44Gemini 3.8 Flash83.02
Video-MME v2|带字幕视频评估Glimpse56.68GPT-6 Astra64.06GPT-6.1 Sol65.27Opus 5.5—Gemini 3.8 Flash59.58
E.T. Bench|事件理解Glimpse63.55GPT-6 Astra—GPT-6.1 Sol59.79Opus 5.5—Gemini 3.8 Flash63.45
FSC-147|开放词表计数Glimpse83.36GPT-6 Astra82.02GPT-6.1 Sol82.69Opus 5.573.78Gemini 3.8 Flash67.06
CountQA|商品图像计数Glimpse82.66GPT-6 Astra86.42GPT-6.1 Sol86.42Opus 5.582.20Gemini 3.8 Flash81.09

加粗为原表标出的最高分;— 表示原表未提供数据。不同项目的分数不可直接相加。

官网完整价格对比|美元 / 百万 token
评估项目GlimpseGPT-6 AstraGPT-6.1 SolOpus 5.5Gemini 3.8 Flash
输入价格|美元 / 百万 token(未缓存)Glimpse$0.60GPT-6 Astra$10.00GPT-6.1 Sol$2.00Opus 5.5$4.00Gemini 3.8 Flash$0.75(尝鲜价)
输出价格|美元 / 百万 tokenGlimpse$3.00GPT-6 Astra$50.00GPT-6.1 Sol$10.00Opus 5.5$20.00Gemini 3.8 Flash$3.75(尝鲜价)

Gemini 3.8 Flash 为官网所列尝鲜价;价格与成绩均按本次发布原表保留。

原表评估设置:Glimpse 为 max;Astra、GPT-6.1 Sol、Opus 5.5 通常为 max 并使用 Code Interpreter;Gemini 图像评估为 high 加 Code Interpreter,视频为 high 加 Video Agent。视频评估中,Sol 和 Opus 改用 high 加 Code Interpreter,Sol 的 Video-MME v2 例外使用 max。HSS 包含论文公布的结果。

表中是各项独立得分,不能横向加成总分。测试主要采用各模型的高思考档与原生 Agent 环境,视频档位有例外,HSS 还包含论文公布的结果。Glimpse 在 BabyVision 细粒度视觉推理、DREAM-1K 密集视频描述、TOMATO 时序推理和 CountQA 商品计数上,也仍低于 Astra;科学图表成绩则略低于 Opus 5.5。

迷宫和找不同的演示很亮眼:Glimpse 解出 20/20 道迷宫;找不同严格计分为 47/53,其中一组图返回的框坐标把横纵轴顺序弄反,交换坐标轴后重计为 53/53。同样的纠正规则用于所有模型,另外两者的成绩没有变化。GPT-6 Sol 分别为 10/20 和 41/53(另有两处误报),Gemini 为 3/18(另有两题超时)和 29/53。这里 Glimpse 可以用托管工具写、运行代码,另两者没有工具。结果体现的是各自这套运行方式下的能力。

看模型怎样走迷宫、找不同,再比较完整结果。
20 道迷宫从 8×8 到 40×40,9 组找不同图片共 53 处差异。演示用代码核验各模型返回的路径是否到达出口且不穿墙;原片无音轨。

物理直觉依然困难。从 HSS 中随机抽取的 12 道“会去哪里、落在哪里、撞到什么”题,Glimpse 答对 5 道,Gemini 也答对 5 道,GPT-6 Sol 答对 2 道;Glimpse 有工具,另两者没有。演示挑选展示的 3 道题偏向成功案例,不能拿其中的命中比例代替这 12 道题的结果。

题目后播放的运动动画,由 Seedance 2.5 根据静帧生成,用来演示参考答案。被测模型只看过静帧和问题,没看过那段动画。能画出一条看似合理的运动路线,距离稳定判断真实物理后果,还有明显差距。

模型先看静帧并画出预测路径,再播放参考答案的示意动画。
录屏展示三道样例,末页给出随机十二题的完整成绩:Glimpse 5/12、GPT-6 Sol 2/12、Gemini 5/12。原片无音轨。

看懂视频之后,还能把图案和节奏重新做出来

Andrew Dai 在发布主题帖的续帖里,还展示了两段创作结果:一只戴红围巾、骑自行车的鹈鹕;以及参考 Santa Monica 摩天轮实拍视频生成的灯光动画。他说鹈鹕任务没有专门调优,摩天轮任务要求的是“相似灯光风格的可编辑矢量动画”。

作者展示的鹈鹕骑自行车动画。
约 1.6 秒的无声循环片段;作者称未针对该任务专门调优。可重复播放观察车轮与脚踏动作。
作者展示的摩天轮动画:轮辐灯光和外圈吊舱形成不断变化的图案。公开附件是效果录屏,可编辑源文件未随帖提供。

这个用途把视觉理解和创作接在了一起:目标是把参考视频里的几何结构与灯光变化,转成可继续修改的图形作品。OpenRouter 当前列出的 Glimpse 输出模态是文字,动画演示也不能直接当作原生视频生成能力的证明。对创作者更值得试的是,模型能否把看见的结构与节奏转成可修改的表达。

怎么试,费用要怎么算

Elorian 聊天平台提供体验入口,Andrew Dai 在主题帖中说明聊天界面可免费试用,平台会显示视觉草稿空间。开发者可以使用官方 API,或者通过 OpenRouter 选择 elorian/glimpse;后者列出的上下文为 262,144 token,接收文字、图片和视频,返回文字。

最直观的试法,是上传一段有镜头移动、物体暂时被挡住的宠物短片,问:“一共出现几只?请给每只保留身份,列出确认它再次出现的时间点和画面特征。”回答中的数量、身份对应和时间点,都可以回到自己的视频逐一检查。

API 标价是每百万输入 token 0.60 美元、输出 token 3 美元。按官网比较表,输入、输出单价均比 Astra 低 94%,比 Opus 5.5 低 85%、比 GPT-6.1 Sol 低 70%,比 Gemini 3.8 Flash 的尝鲜价低 20%。

单价差不直接等于任务账单差。局部回看、密集检查需要时间和 token,Elorian 也把提高 token 效率列为下一步重点。实际使用时,要把完成一件事的费用、等待时间和正确率一起看。机器人单例已给出一种成本结果;更复杂的视频和物理判断,还需要在自己的任务上继续验证。