全身をモデルに委ねる：自らテーブルへ歩き、じょうろを取り、棚に置く

Gemini Robotics の以前の世代は、人型ロボットの上半身だけを制御していました。つまり、ロボットはその場に立ち、机の上で両手を使って物を扱います。手の届かないものは扱えません。数歩歩いて位置を変えたい場合は、モデルが自ら考えるのではなく、別途プログラムを書く必要がありました。

今では、全身がモデルの管理下にあります。デモで使われたロボットは Apptronik 製の Apollo 2 です。指示は一言。「じょうろを一番下の棚にある緑の箱に入れて」。するとロボットは自分でテーブルまで歩き、じょうろを手に取り、数歩歩いて棚の前まで行き、置きます。

難しいのは、歩く・しゃがむ・かがむ・手を伸ばす、を同時に連携させることです。体が動けば重心も変わるので、モデルはバランスを保つ必要もあります。以前はエンジニアが一つ一つコードで書き込んでいた動作を、今はモデル自身が段階的に生成します。

移動速度にはまだ改善の余地が大きくあります。映像内での動きはゆっくりで、人間のように機敏に動くことは期待しないでください。

同じ能力を、棚が並ぶ倉庫に移した例もあります。棚の間を移動して物を取り出したり置いたりします：

成績表：同じモデル重みで、3 つの身体、11 の数値

この 3 つのベンチマーク図には、見落とされがちな前提があります。3 つのテストグループは、すべて同じモデルチェックポイントを使用しており、それを 3 種類の異なるロボット身体に搭載したものです。スコア自体は二次的な意味合いです。

全身タスクとグリッパータスクは中〜高水準ですが、多指の巧緻動作は依然として難関です。11 の数値すべてに比較対象がなく、前世代との比較も、他社との比較もありません。したがって「以前よりどれだけ進歩したか」は今回の材料からは読み取れません。

全身操作 3 項目の中で、全身をしゃがめて立ち上がる必要があるのは「床から取る」だけで、これが 3 項目の中で最下位です。11 の数値を高い順に並べると、分布がよくわかります：

5 本指ハンドの成績は二極化しています。最高得点もこのハンドですが、最下位 4 項目もすべてこのハンドです。

5 本指なのに 2 本指に負ける

今世代の売りの一つは「ハンドもグリッパーも使える」ことです。そのため、両方のエンドエフェクタをテストし、それぞれ異なるロボットに搭載しました。

5 本指のハンドは SharpaWave で、Apollo 2 に搭載。5 本指、22 自由度（このハンドが独立して動かせる方向の数で、関節数とは異なる）。担当は結び目を作る、ジップロックを閉じるなど、指先の連携が必要な細かい作業です。もう一方はドイツの Franka 製双腕ロボットで、最も一般的な 2 本指パラレルグリッパーを装着。2 枚のジョーが開閉するだけで、挟むことしかできません。

常識的には、5 本指の方ができることは多いはずです。しかし結果は逆転しました。5 本指は 5 項目平均 48.8%、グリッパーは 3 項目平均 80.9%。グリッパーの約 6 割の成績です。

5 本指ハンドは、5 項目中 4 項目が 50% 未満です：

2 本指グリッパーは、3 項目すべて 70% 以上です：

両側の平均を取ると、5 本指は 5 項目平均 48.8%、2 本指は 3 項目平均 80.9%。前半の 2 つは「平均の平均」です。グリッパーの 3 項目自体が複数タスクの平均値のためです。

この 3 つの図に共通する注記で、Google は次のように述べています：

Gemini Robotics 2 は、全身タスクとグリッパーベースの巧緻タスクで中〜高水準の成功率を達成した一方、多指による巧緻操作は依然として困難です。

Google DeepMind · Gemini Robotics 2 発表ページ図注

この表の中で、特に際立って見える 2 つの数値があります。電球を外す 92% に対して、電球を締める 36%。同じ物体、同じハンドなのに、方向が逆になると成功率は半分以上に落ちます。

分解は、掴んで、回して、外すだけ。組み立ては、まずねじ山を合わせ、回しながら抵抗を感じ取り、どこまで締めれば良いかを判断する必要があります。組み立て動作は、力制御と視覚フィードバックの要求が分解より一桁高いのです。

この 2 つの数値を 100 マスで表すと次のようになります：

巧緻動作のビデオでは、まさにこれらの細かい作業が映っています。電球を持つ、ブドウの入ったジップロックをつまむ、白い袋の口を縛る。映っているのは成功した回だけです。これらの成功率はおおよそ：電球は方向次第で、外す 92%、締める 36%。ジップロックは 40%。袋の口を縛る項目は成績表では「ゴミ袋を縛る」で 44%。

力制御にはハードウェア上の前提もあります。手に触覚フィードバックがなければ、ロボットは掴めたかどうか、締め切ったかどうかを自分では分からず、目で見て確認するしかありません。

ER 2 はタスクの進捗度を言い当て、重要動作が起きた瞬間を秒単位で示せる

ER 2 が今回向上した 2 つの能力は、どちらも「動画を見て時間を理解する」ことに関係しています。

ER 2 はタスクの進捗度合いを言い当てられる

方法は、カメラ映像の各フレームを 5 段階に分類することです：0〜20%、20〜40%、40〜60%、60〜80%、80〜100%。ER 2 が正しい段階を選ぶ精度は 57.4% です。

5 段階ならランダムでも 20% は当たるので、57.4% は明らかに賢い。しかし、実用的に信頼できるレベルにはまだ遠い。これがあれば、ロボットはステップ 3 が失敗したことを自分で見つけ、そのステップだけをやり直せます。タスク全体を最初からやり直す必要はありません。

止めるべき瞬間を、1 秒未満の誤差で指し示す

例えば、コーヒーを注ぐのを止めるタイミングや、電球がどの時点で締まったと見なせるか。この精度は 91.3% で、指し示したフレームと実際のフレームの平均誤差は 0.96 秒。この項目では、はるかに大きなモデルと同等の成績ですが、計算コストは安く、実行速度は 4 倍速い。そして、1 秒未満という精度こそが、実際のロボットが安全に作業するための前提です。

実行しながら次のステップを考え、途中で止まらない

ER 2 は Gemini Live API の双方向ストリーミングインターフェースに接続され、ビデオ、音声、テキストが絶えず送り込まれます。実行しながら次のステップを考えるため、「ちょっと考えて止まる」ような区切りはありません。また、Google 検索や自作の関数など、ツールを自分で呼び出すこともできます。

関連デモでは、ER 2 が Boston Dynamics の Spot ロボット犬に指示を出し、ポップコーンを取りに行かせています。コードは GitHub で公開されています。

異なるモデルのロボット同士が、作業の引き継ぎを始める

この頭脳は、1 台のロボットだけでなく、複数台を監視できます。新しく追加された能力はマルチロボット協調です。異なるモデルのロボット同士が通信し、手元の作業を相手に引き継ぎます。

万能なロボットはありません。車輪型の台車は屋内で安定して省電力に動きます。人型ロボットは不整地でより能力を発揮します。両方を組み合わせることで、1 台では完了できないプロセスを引き受けられます。

ER 2 は、より長いプロセスにも対応できるようになりました。数分間にわたり、途中で何百もの判断を下し、タスクがいつ始まり、いつ終わるかを理解しています。

形状がまったく異なるロボット身体への適応は、数時間・200 デモ未満で完了

同じモデルを別のロボットに移すことは、通常、最初からやり直すことを意味します。これはすべてのロボット企業が負担するコストです。On-Device 2 は、まさにこの問題に焦点を当てています。

これは、前世代の Gemini Robotics 1.5 にあった「モーショントランスファー」により、複数の身体を本質的にサポートしています。ある身体で学習した動作を、別の身体に移しても使用できます。現在、新しい双腕ロボットへの適応は、わずか数時間、通常は200 デモ未満——つまり 200 回未満のデモンストレーションで完了します。形状、センサー、関節数が大きく異なっていても可能です。

ロボット本体で動作する理由は、ネットワーク遅延を待てない、またはネットワークがそもそも存在しない現場があるからです。

人が近づいたら止まる？ 4 モデル全てで「停止漏れ」と「誤停止」を両立できず

ロボットが人のそばで作業するには、近づいてくる人を認識し、必要な時に止まらなければなりません。Google はこのために『Gemini Robotics 2: Safety Evaluations』という単独のテクニカルレポートを発表し、新しいベンチマーク ASIMOV-Agentic を公開しました。4 つのモデル（ER 2、前世代 ER 1.6、GPT 5.5、Claude Opus 4.8）でテストされています。

最も基本的な項目は距離推定です。一対のステレオ写真を与え、最も近い人がどれだけ離れているかを述べさせます。ER 2 の平均誤差は 0.36 メートル。「1 メートル以内に人が入った」の判断精度は 93.0% で、4 つの中で最良。GPT 5.5 は 0.53 メートル / 79.2%、Claude Opus 4.8 は 0.54 メートル / 81.7%。前世代の ER 1.6 は大きく劣り、平均誤差 1.40 メートル、精度は 51.1% のみ。

連続映像を見て、自分で停止ボタンを押すかどうかを判断するとなると、はるかに難しくなります。ここでは 2 種類のエラーが相反します。停止漏れは、人が近づいたのに止まらず、人にぶつかる可能性があるもの。誤停止は、誰も近づいていないのに止まり、作業の妨げになるだけのものです。4 つのモデルはそれぞれ異なる位置にいます。クリックして確認できます：

誤停止は作業を妨げるだけですが、停止漏れは人にぶつかる可能性があります。したがって、物理的な安全のためにはまず停止漏れを抑える必要があり、ER 2 はその位置にいます。レポートの結論もここにあります。現状では、これらのモデルを、モデルの判断に依存しない、ルールで記述されたブレーキシステムと併用し、単独で過信すべきではないということです。

上記は録画された映像で各モデルをテストしたものです。実機ロボットでは数字ははるかに良くなります。ガレージで Apollo 2 に仕分けをさせ、人がテーブルの向こうから様々な角度で近づきます：

使い方：ER 2 は API で利用可能、手と足を動かす 2 つは申請制

ER 2 には 2 つのインターフェース名があります。gemini-robotics-er-2-preview が標準版、gemini-robotics-er-2-streaming-preview がリアルタイムストリーミング用です。従量課金は入力 100 万トークンあたり 2 ドル、出力 10 ドル。思考中に生成されるトークンは出力にカウントされます。標準版にはバッチ処理価格もあり、入出力とも半額。ストリーミング版にはありません。

謝辞で名前が挙がっているハードウェアパートナーは、Apptronik、Boston Dynamics、Agile Robots です。

今回の発表で最も直感に反する点は、あの図注の中に隠れています。

業界の慣習は、最も良い数字だけを公開することです。DeepMind は今回は「床から取る 45.7%」「ちりとりを使う 32%」をそのまま図に載せ、多指操作は依然として困難だと明記しました。

考えられる説明の一つは、今回証明しようとしたことが変わったからです。証明したいのは、同じモデルの重みが、3 つのまったく異なる身体を同時に駆動できることであり、個々のタスクがどれだけ優れているかは二次的なものです。売りが個別の成績から汎用性に変わった時、低いスコアも証拠の一部になります。45.7% はこの重みが叩き出したものであり、32% もそうです。

これは、ロボットモデルの進歩を測る物差しが変わるかもしれないことを意味します。以前は単一タスクの成功率を見ていましたが、次に見るべきは、同じ重みがどれだけ多くの身体をカバーできるか、そして身体を変えるのにどれだけのデータが必要かです。この物差しで測ると、今回の本当の数字は、200 デモと数時間です。

以前の世代は人型ロボットの上半身のみを制御していました。その場に立ち、机の上で両手を使う。手の届かないものは扱えません。今回は、全身（足先から指先まで）がモデルの管理下にあります。

難しいのは、歩く・しゃがむ・かがむ・手を伸ばす、を同時に連携させること。体が動けば重心も変わるので、モデルはバランスも保つ必要があります。発表ページには別の但し書きもあります：移動速度にはまだ改善の余地が大きく、映像内での動きはゆっくりです。

3 つのテストグループは、同じモデルチェックポイント（同じ訓練済みパラメータ）を使用し、3 種類の異なるロボット身体に搭載。11 タスクの成功率が、最低のものも含めてそのまま公開されました。

5 本指ハンドは 5 項目平均 48.8%、2 本指グリッパーは 3 項目平均 80.9%。グリッパーの約 6 割（当サイトが図の数値から算出）。同じハンドで電球を外すのは 92%、締めるのは 36% と 2.6 倍の差がありますが、発表ページは数値のみで理由には触れていません。Google は図注に「多指巧緻操作は依然として困難」と記載しています。

この 11 の数値はすべて Google DeepMind による自己測定・自己公開であり、第三者による再現はまだありません。また、どの数値にも比較対象がなく、前世代や他社との比較はできません。

すでに公開されている頭脳は、今回「時間を読む」ことを学びました。タスクの進捗度を言い当て、止めるべき瞬間が何秒目かを指し示せます（コーヒーを注ぐのを止めるタイミングなど）。これにより、ロボットは失敗したステップだけをやり直し、タスク全体をやり直す必要がなくなります。また、異なる 2 台のロボットを同時に制御し、作業を引き継がせることもできます。デモでは人型の Apollo 2 と双腕の Franka F3 Duo が連携していました。身体の交換については、On-Device 2 は形状が大きく異なる新しいロボットに、数時間で適応できます。

ロボットが人のそばで作業するには、近づく人を認識する必要があります。ここでは 2 種類のエラーが相反します。停止漏れは、人が近づいたのに止まらず、人にぶつかる可能性があるもの。誤停止は、誰も近づいていないのに止まり、作業の妨げになるだけのものです。Google は同日、安全技術レポートを公開し、4 つのモデルをテストしました。

実機ロボットでは数字ははるかに良くなります。ガレージで Apollo 2 に仕分けをさせ、人が様々な角度から近づいたテストでは、人を検知した確率 99%、手元の物を安定させて安全姿勢に戻る成功確率 96%。