Glimpse：画像と動画の理解に特化し、ロボットの作業も計画するAIモデル

Elorianが視覚的思考（Visual Thinking）モデル「Glimpse」を公開しました。画像や動画を分析しながら、画面の細部を振り返って確認できるのが特徴です。現在はリサーチプレビューとしてチャットインターフェースとAPIが提供されており、主に以下のようなタスクを想定しています。

• 動画内の変化を追跡する：同一の物体をトラッキングし、動作の前後の順序を見分け、不鮮明な箇所があれば局所的に見直す。
• 空間関係と動作の結果を理解する：物体がどのようにつながり、どこに支えがあるかを判断し、動かした後に何が起こり得るかを予測する。
• 視覚的理解を実務に応用する：ロボット訓練用動画へのアノテーション、ロボットのタスク分解、動画の詳細なキャプション生成、カウント、迷路の探索、間違い探しなどを行う。

よく見えない場所こそ、もう一度見直す価値がある

列車が減速しているかどうかを判断するには、単に「これは列車だ」と認識するだけでは不十分です。同一の窓の端に注目し、等しい時間間隔の中でどれだけ移動したかを比較する必要があります。移動距離が次第に短くなっていることこそが、減速の証拠となります。

Glimpseの実際の実行ログでも、まさにこのアプローチが取られていました。列車は約2.2秒時点で画面に入り、序盤は窓の端の移動が顕著ですが、4.5〜4.9秒になると移動量が小さくなり、映像の終盤にはわずか数ピクセルの移動にとどまります。モデルはこれらの位置を遡って照合したうえで、「減速している」と回答しました。これには前後のフレームをつなげて捉える必要があり、単一の写真だけでは速度の変化トレンドを導き出すことはできません。

もう一つの6.13秒のアニメーションは、「見直し（振り返り）」の有用性をさらによく示しています。2羽の青い鳥が旋回してドアノブに止まり、再び飛び立って光るアーチ窓へと向かいます。カメラは鳥を追って素早く移動しますが、この間は連続したパン（首振り）なのか、それとも一部がカットされた別カットへの切り替えなのか。この違いは、一連の出来事が連続しているのか、そして2羽の鳥がどのような順序で到達したのかを理解するうえで決定的な意味を持ちます。

Glimpseはまず全編を毎秒8フレームで確認したうえで、4.3〜5.2秒のこの0.9秒間を約毎秒14フレームへと高密度化して再確認しました。追加で確認した壁の位置が連続した動きとしてつながり、「カメラは常にパンしていた」という判断を裏付けています。さらに、ピンクのリボンと薄緑の頭飾りによって2羽の鳥を識別し、時間差でアーチ窓に入ったことを突き止めました。追加の検証は、正解を左右する短い区間に集中して行われています。

この0.9秒を見直すと、壁面はどのようにつながるのか？4.30〜5.20秒 · 小鳥のオリジナル映像からのフレーム抽出

← 前のフレーム中間の画面を確認次のフレーム →

前後に確認していくと、壁面と窓枠の位置が連続してつながることがわかります。両端の参照画像は常に保持されます。ここでは読者の観察用にオリジナル映像から等間隔で13フレームを抽出したものであり、モデルの完全なフレーム取得ログを再現したものではありません。

Elorianはこの能力を「視覚的思考（Visual Thinking）」と呼んでいます。視覚的表現そのものが推論プロセスに組み込まれ、モデルは思考の途中で画面に戻り、理解を深めることができます。ユーザーがプラットフォーム上で確認できる「ビジュアルドラフト空間」には、局所の拡大、動画区間の見直し、特徴のトラッキングといった過程が表示されます。また、モデルはコードや画像変換、動画ツールを呼び出して検証を補助することも可能で、切り出された領域、選択されたフレーム、変換後の新たなビューは再びモデルへと渡され、次の推論ステップの視覚的根拠となります。

さらにモデルは、これらのマルチモーダルツールを活用するようエンドツーエンドで学習されており、複数のサブAgentを協調させ、テキストや中間の視覚生成物、内部表現を相互に受け渡しながら課題を共同解決できます。内部表現が具体的にどのように保持・更新されているかについて、リリース資料では詳しく触れられていません。外部ツールによる操作はモデルがどのように再検証を行っているかを垣間見せるものですが、そこからニューラルネットワーク内部の全メカニズムを再現できるわけではありません。

物体を認識するだけでなく、それがどう変化するかを理解する

フレームをまたぐトラッキングが時間軸の課題を解くものだとすれば、物理的な推論には物体同士の関係性を見つけ出すことが求められます。

3人の人物が大きなタイヤを持ち上げようとしている場面で、もしボーダー柄のトップスを着た女性が突然手を離したら、誰が一番下敷きになりやすいでしょうか。重要な手がかりは、タイヤの下端がまだ地面の芝生に接しており、持ち上げられた側が垂直位置をまだ超えていないという点です。支えを失うと、持ち上げられた側は接地している端を支点として元の位置へ倒れ込み、ちょうどその側に屈み込んでいる女性の方向へと直撃することになります。

同様の因果関係の判断は、鉄道の分岐器（ポイント）を切り替える映像にも見られます。レバーを右から左へ動かすと、連結されたトングレールが連動して切り替わり、列車の進路が変わります。「彼女が腕を動かした」と描写するだけでは不十分で、その動作と、それによって変化した対象とを論理的につなぐ必要があります。

物の数を数えるタスクにも、同様に細部を見極めるハードルが存在します。「開いたペンチ」を数える場合、それがペンチであることの確認と、開いた状態であることの確認の両方が必要です。閉じているペンチは前者の条件しか満たしません。またハサミはハンドルと回転軸を備えているものの、対象カテゴリには含まれません。公式サイトが提示した参考正解数は4本です。

これらの事例が示しているのは、「何があるか」を識別することはスタート地点に過ぎないということです。具体的な問いに答えるには、接触位置、連結関係、状態、同一性といった情報まで保持し続けなければなりません。細部をひとつでも見落とせば、その後の推論は誤った前提の上に積み重なってしまいます。

ロボットは、ある動作がいつ完了したかを知る必要がある

ロボット訓練用の動画において、「ロボットアームが動いたこと」と「物体を正しく配置し終えたこと」は全くの別物です。

Glimpseのアノテーションデモでは、スポンジ、マーカー、ハサミなどの物体にバウンディングボックスを付与して命名し、3つの物体それぞれの「持ち上げ」「下ろし」をタイムスタンプ付きの6つのイベントへと細分化します。これにより、一連の連続した映像が、訓練データとして利用可能な動作ログへと変換されます。何を掴んだのか、いつ持ち上げたのか、目標位置へいつ下ろしたのかが明確になるのです。公式サイトの別の記録では、「容器からマーカーを取り出す」動作と「テーブルの上に置いて手を離す」動作の完了時刻を、それぞれ8.9秒と14.085秒として区別しています。

同様の完了判定は、実際のタスク実行にも組み込むことができます。例えばロボットに「クリームチーズをボウルに入れ、そのボウルを棚の上に置いてください」という指示を与えたとします。Glimpseはステップを分解する役割を担い、アームが動作している最中にカメラ映像を確認して、第1ステップが完了したかどうかを判定し、第2ステップへ進むべきかを判断します。実際に物理的な動作を実行するのは、Physical Intelligenceの視覚・言語・行動モデル「π0.5」です。

今回のタスクにおけるプランニングコストはそれぞれ0.035ドルと0.249ドルで、Glimpseの方が約86%低く抑えられました。これはあくまで今回の単一タスクかつ上記の設定下における数値です。より低コストな上位プランニングの道筋を示した形ですが、モデルにロボットの動作を直接出力させることは、Elorianが今後取り組むべき課題として残されています。チームはさらに、マルチモーダルネイティブな事前学習の推進、理解と生成の統合、より高精度なシーン再構成などを計画しており、これらの方向性の実現にはさらなる研究が必要です。

動画キャプションの真価は、総括文が見落とした細部に宿る

「誰かが踊っている」という一文だけでは、動画クリエイターが「ダンサーがスカートの裾を頭の後ろまで持ち上げた瞬間」を探し出すことはできません。高密度な動画キャプション（Dense Video Captioning）は、そうした細部を発生時刻とともに記録し、動作、イベント、あるいは人物同士のインタラクション単位での素材検索を可能にします。

2分46秒のハバナのストリートパフォーマンスにおいて、デモでは素足のダンサー、スカートの裾の位置、カメラの右方向へのパン、ソロダンス、最後に誰もいなくなったステージなど、14項目のチェックポイントが設定されました。今回の1回の実行でGlimpseは14項目すべてを網羅し、GPT-6 Solは12項目、Gemini 3.8 Flashは11項目をカバーしました。Glimpseの3回の実行平均値は13.7項目でした。

もう一つの16秒の荷造りをめぐる口論のシーンでは、動作だけでなく、その動作から滲み出る感情までもが検証されます。一方が慌ただしくバッグに荷物を詰め、もう一方が手のひらを広げて引き止めようとし、やがて両手で頭を抱え、最後に相手がバッグを持って立ち去るという展開です。13項目のチェックポイントのうち、今回の1回で3者はそれぞれ13項目、12項目、11項目をカバーしました。映像は緊迫感、拒絶、後悔といった推論を裏付けています。ただし会話の音声がないため、彼らが何を話していたのかを確定することはできず、立ち去ったことが決定的な別れを意味するのかも断定できません。

これらのデモにおける比較対象のラベルはGPT-6 Solとなっていますが、公式サイトのメイン比較表ではGPT-6.1 Solとの比較が別途掲載されています。2本の動画はそれぞれ独自のイベントリストとサンプリング設定を採用しており、示された数値はこれらの事例における細部の網羅状況を表しています。

カメラが外れて戻っても、同一の対象を二重カウントしてはならない

動画でのカウントタスクには、重複排除というもうひとつの課題が伴います。カメラがいったん別の方向を向き、再び戻ってきた際、同じ子犬を二重に数えてはなりません。庭のデモでは子犬ごとに同じ色と番号を割り当て続け、最終的に5匹とカウントしました。

工事現場の車両を映した画面収録では「約30台」という推定値を提示し、根拠となるタイムスタンプを列挙しながら、異なるアングルから撮影されたものが同一の重機である可能性を指摘しています。なお、この推定値には1台ずつ検証された独立した真値（Ground Truth）は付属していません。

追いついた能力と、依然として困難な課題

Elorianは少人数のチームと数百枚のGPUを用いて、オープンウェイトの基盤モデルに対してGlimpseの事後学習（Post-training）を行いました。ベースとなったモデル名や具体的なパラメータ数は非公開であり、オープンウェイトの土台を使用しているからといって、Glimpseの重み自体がオープン公開されているわけではありません。

公式サイトのメイン比較表によると、Glimpseはロボット操作イベント、科学図表推論、ショート動画キャプション、オープン語彙カウントの4つの評価でGPT-6 Astraを上回り、身体性空間推論では同スコアを記録しました。以下に元表にある全12項目の評価、5つのモデル、ならびに入出力価格をそのまま掲載します。強みと弱点の双方が確認できます。

表内の数値は各項目の個別スコアであり、異なる評価項目のスコアを合算して総合点を出すことはできません。テストはおもに各モデルの高い思考設定とネイティブなAgent環境を採用していますが、動画向け設定には一部例外があり、HSSには論文発表時の結果も含まれています。GlimpseはBabyVision（微細視覚推論）、DREAM-1K（高密度動画キャプション）、TOMATO（微細時系列推論）、CountQA（商品カウント）において依然としてAstraを下回っており、科学図表のスコアもOpus 5.5をわずかに下回っています。

迷路と間違い探しのデモは非常に目を引く結果を残しました。Glimpseは20/20問の迷路をすべて解き、間違い探しでは厳格採点で**47/5353/53となりました。同一の補正ルールをすべてのモデルに適用しましたが、他の2モデルのスコアに変化はありませんでした。GPT-6 Solはそれぞれ10/20問および41/53箇所（別途2件の誤検出あり）、Geminiは3/18問（別途2問がタイムアウト）および29/53箇所でした。ここでGlimpseはホストされた環境のツールを用いてコードを記述・実行できましたが、他の2モデルにはツールが与えられていませんでした。この結果は、それぞれの動作環境下における性能を反映したものです。

直感的な物理判断は依然として困難です。HSSからランダムに抽出された「どこへ向かうか、どこへ落ちるか、何にぶつかるか」を問う12問において、Glimpseは5問正解、Geminiも5問正解、GPT-6 Solは2問正解でした。Glimpseにはツールがあり、他の2モデルにはありませんでした。デモ映像で選ばれて紹介されている3問は成功事例に偏っており、その正解率をもってこの12問全体の結果を代表させることはできません。

問題の後に再生される運動アニメーションは、静止画をもとにSeedance 2.5によって生成されたもので、模範回答を視覚的に示すためのものです。テスト対象のモデルは静止画と質問しか見ておらず、そのアニメーションは見ていません。一見もっともらしい運動軌跡を描けることと、現実の物理的帰結を安定して予測できることとの間には、依然として明白な隔たりが存在します。

動画を理解したうえで、パターンとリズムを再構成する

Andrew Daiは発表スレッドの続きで、さらに2つの創作的な成果を公開しました。赤いマフラーを巻いて自転車に乗るペリカン、そしてサンタモニカの観覧車の実写映像をもとに生成されたライトアップアニメーションです。ペリカンのタスクには特別な調整は行われておらず、観覧車のタスクでは「類似したライティングスタイルの編集可能なベクターアニメーション」が求められたと彼は説明しています。

この用途は、視覚的理解とクリエイティブな表現を結びつけるものです。目指しているのは、参考動画に含まれる幾何学的構造や光の変化を、後から編集可能なグラフィック作品へと変換することです。OpenRouterに現在記載されているGlimpseの出力モダリティはテキストであり、アニメーションのデモもネイティブな動画生成能力の直接の証明とみなすことはできません。クリエイターにとって試す価値があるのは、モデルが見た構造やリズムを、編集可能な表現へと変換できるかどうかという点です。

どのように試すか、利用コストはどう計算するか

Elorianのチャットプラットフォームから体験が可能です。Andrew Daiはスレッドの中で、チャットUIは無料で試用でき、プラットフォーム上でビジュアルドラフト空間が表示されると説明しています。開発者は公式APIを利用するか、あるいはOpenRouter経由でelorian/glimpseを選択できます。後者に記載されたコンテキスト長は262,144トークンで、テキスト、画像、動画を入力として受け取り、テキストを出力します。

もっとも直感的なテスト方法は、カメラが移動したり対象物が一時的に遮られたりするペットの短い動画をアップロードし、「全部で何匹登場しますか？ それぞれの個体の同一性を保持し、その個体が再登場したと確認できるタイムスタンプと画面上の特徴を列挙してください」と尋ねることです。回答された頭数、個体の対応付け、タイムスタンプは、手元の動画と照らし合わせて1つずつ確認できます。

APIの定価は入力100万トークンあたり0.60ドル、出力100万トークンあたり3ドルです。公式サイトの比較表によると、入出力の単価はいずれもAstraより94%安く、Opus 5.5より85%安く、GPT-6.1 Solより70%安く、Gemini 3.8 Flashのプロモーション価格よりも20%安価です。

ただし、単価の違いがそのままタスク全体の請求額の差になるわけではありません。局所的な見直しや高密度な検証には時間とトークンを要するため、Elorianもトークン効率の向上を次の重点課題に挙げています。実際に利用する際は、ひとつのタスクを完遂するまでにかかる総コスト、待ち時間、そして正解率を総合的に判断する必要があります。ロボットの事例はひとつのコスト結果を示していますが、より複雑な動画や物理判断においては、自身の実際のタスクで検証を重ねる必要があります。