インターフェースが「既製ページの呼び出し」から「次フレームの生成」へ

現在のソフトウェアは、まず構造化された状態を保存し、その状態をコードがボタン、テキスト、画像、アニメーションへと描画します。ボタンをクリックすると、開発者が事前に記述したルールに従ってイベントハンドラが実行され、状態が変更された後、インターフェースが再描画されます。AIがプロンプトに基づいてウェブページ全体を生成する場合でも、最終的に提供されるのは通常、HTML、CSS、JavaScript、または何らかのコンポーネントツリーです。

従来の方法では、発生しうる状態と操作を事前にシステムへ組み込むため、同じ状態を読み取り、検索し、監査し、再現することが可能であり、権限やエラーも構造化されたシステム内で処理できます。開発者が定義していない挙動は自動的には現れません。また、ビジュアルデザインはコードで表現できる要素に変換される必要があり、繊細な質感や空間、連続した動きは、この変換の過程で失われることがよくあります。

Solarisが変えるのは、この最後のプロセスです。現在の画面は単なるコードの出力ではなくなり、モデルが次のフレームを予測するための状態にもなります。クリック、ドラッグ、テキストによる指示はこの画面と共にモデルへ送られ、次のフレームはモデルによってその場で生成されます。Runwayはこの変化を「中間表現なし」と表現しています。デモにおけるインターフェースの挙動は、事前に記述されたフロントエンドのルールへ一つずつ変換する必要がなく、モデルサービス、データ接続、権限、基盤となる計算はシステム内に残り続けます。

これにより、同じ対象に対して二つの生成方法が存在することになります。従来のソフトウェアは発生しうる状態を事前にコードへ書き込みますが、Solarisはインタラクションの発生時に、より多くの現場の変化を生成します。

クリックがどのように動画モデルへ入るか

SolarisはRunwayのGen-4.5動画生成モデルを基盤としており、GWM-1のアプローチを受け継いでいます。世界モデルは現在の環境とアクションから次の状態を予測します。GWM-1は既にフレーム単位の生成が可能で、カメラの姿勢、ロボットへの指示、音声などのアクション条件を受け付けることができました。Solarisはこのアクション条件付けを、マウス、タッチスクリーン、テキスト入力へと応用します。

ユーザーがシャツをクリックした場合、システムは「シャツボタン」に固定されたイベントを探し出すことはありません。現在の画面、クリック位置、操作の意味が次のフレームを生成する条件となります。モデルは実行されたアクションから視覚的な結果を学習するため、同じドラッグ操作でも、状況に応じて物体の移動、質感の変化、シーン遷移のトリガーなど、異なる結果をもたらすことができます。

通常の動画拡散モデルは、動画全体に対して数十ステップのノイズ除去を繰り返し行うため、数秒から数分の待ち時間が発生します。これはコンテンツ制作には適していても、連続した操作には耐えられません。RunwayはSolarisに対して三つのリアルタイム化の改良を行いました。まず、フレーム単位の自己回帰生成に変更し、各フレームがこれまでに生成された履歴のみに依存するようにしました。次に、多段階のノイズ除去を少数のステップへと蒸留しました。最後に、高速化されたモデルが自身の出力を引き続き学習することで、長時間の生成における画質の劣化を抑えています。

このループの中では、言語モデルと世界モデルが異なる役割を担います。言語モデルはユーザーのリクエストを解釈し、現在のシーンをその場で変化させるべきか、新しいシーンへ切り替えるべきかを判断し、Solarisを導くプロンプトを生成します。Solarisはその決定を、操作可能なフレームとして連続的に描画する役割を担います。推論と描画を分離することで、言語モデルはコードで全てのピクセルを再構築する必要がなくなり、動画モデルもタスク全体を単独で理解する必要がなくなります。

Runwayは、操作の遅延が約半秒に近づくと、体験が「リアルタイム」ではなくなり始めると考えています。研究ページによると、Solarisは既に対話速度を達成しており、標準的な動画拡散モデルよりも数桁低いコストで、720pの画質を維持しています。

四つのデモが示す新しい操作

Solarisのデモは、三つの変化に分類できます。インターフェースが完全に視覚化され、シーンが動き続け、可能な操作がモデルの能力によって決まります。

バーチャル試着では、人物の参照画像、ハンガー、シャツが同じシーン内に存在し、ユーザーは服を直接自分の身体へドラッグします。サラダのデモには、「材料リストの選択→確認→結果生成」といった固定されたフローはなく、材料をボウルへドラッグする過程自体が操作となります。リビングルームのデモでは、光、家具、質感が連続した映像の中で変化し、インターフェースはクリックが終了した後に別の静的ページへ置き換わることはありません。燃焼のチュートリアルでは、ユーザーが異なる材料を炎の中に入れ、モデルが生成するその後の反応を観察できます。

四つのシナリオは、試着、空間デザイン、食品の組み合わせ、科学教育をカバーしています。同じ生成ループ内で、異なるメニューやフォーム、確認ページに切り替える必要はなく、シーン内のオブジェクト、位置、連続的な変化自体が操作言語を構成します。

二つの評価がそれぞれ示すもの

Runwayはまず、スクリーンショットからインターフェースを再構築する際に失われる情報量を測定しました。GPT-4o、Gemini 2.5 Pro、Claude Fable 5が、一枚のスクリーンショットを受け取り、対応するインターフェースを再構築します。評価にはDINOv3特徴類似度、CLIP類似度、構造類似度が使用され、一般的なウェブページ、スライド、グラフィックデザイン、自然なシーンが対象となりました。三つのモデルのスコアは、視覚的なコンテンツが複雑になるにつれて低下し、Fable 5は全体的に高いスコアを示しましたが、自然なシーンの再構築スコアは最も低くなりました。

① スクリーンショットからの画面再構築：情報は失われるのか GPT-4o · Gemini 2.5 Pro · Claude Fable 5｜DINOv3、CLIP、構造類似性

読み方：視覚が自然なシーンに近づくほど、3つのモデルの再構築スコアはすべて低下します。Fable 5 は全体的にスコアが高くなっています。

結果は、豊かな画像をまず言語やコードへ圧縮し、それをインターフェースとして再構築すると、レイアウト、質感、空間関係において情報が継続的に失われることを示しています。Solarisがピクセル空間で現在の画面を直接継続するのは、まさにこの圧縮と復元のプロセスを避けるためです。

二つ目の実験では、SolarisとClaude Opus 5が生成したコードベースのインターフェースを比較しました。両者は同じ画像と同一の操作要求から開始し、250名の参加者が30の例に対して約7,500回のペア比較を行い、どちらの結果がより指示に従っているか、どちらがシーン内でより自然かを回答しました。

Solarisとコードベースの画面を並べた二つの比較 各ビデオの左右で、同じ操作命令を受け付けています。

任意の要素をクリックすると、その形状を保ったまま、ゆっくりと浮かび上がります。

カメラは灯台のバルコニーから滑らかに右へ、そして下へ移動し、最後に海岸の波しぶきに焦点を合わせます。

読み方：指示への忠実さでは62%、シーンの自然さでは72%がSolarisを選んでいます。

嗜好のグラフによると、250名の参加者による約7,500回の判断のうち、62%がSolarisの結果の方が指示により適合していると選択し、72%がSolarisの結果の方がシーン内でより自然であると評価しました。二つの並列動画は、参加者が見た具体的な操作を示しています。海底のオブジェクトをクリックすると、その形状を保ったまま浮上し続けます。灯台のシーンでは、バルコニー、海岸、波に沿って連続的にカメラが移動します。

生成モデルと既存ソフトウェアの役割分担

Solarisは、インターフェースの表示を「コードによる既製コンポーネントの呼び出し」から「モデルによる次フレームの生成」へと変更し、ソフトウェアスタックにも新たな役割分担をもたらします。生成モデルは、質感、空間、連続的な動き、そして開放的な視覚的応答を担当し、構造化されたシステムは、本人確認、権限、製品データ、取引、ログ、検索可能なテキストを担当します。

Runwayはまた、複数モデルの協調方法も提案しています。言語モデルが意図を理解しシーンの変化を決定し、画像モデルが停止時の鮮明なテキストや静止画を処理し、動画モデルが連続的な動きを生成します。製品データ、ドキュメント、アカウントの状態は構造化されたサービスを通じて接続され、三種類のモデルが協調して持続的に操作可能なインターフェースを構成します。

SolarisによるAIエージェントの訓練方法

Solarisには、一般ユーザー向けではないもう一つの用途があります。それは、コンピューター操作エージェントの訓練です。今日のエージェントは、固定されたウェブページ上のボタンの位置を記憶することがよくありますが、ホテルのウェブサイトがレイアウトを変更したり、ポップアップが目標を遮ったり、操作の途中で情報が更新されたりすると、成功率は急速に低下します。

Solarisは、見たことのないレイアウトや操作を継続的に生成できるため、エージェントは同じタスクにおいて、より多くの視覚的な変化に直面できます。訓練目標も「座標を見つけてクリックする」ことから、「シーン内のオブジェクト、操作、結果を理解する」ことへと移行できます。これは、世界モデルでロボットを訓練する考え方と似ています。まず、大量に生成可能な環境で変化を経験させ、その後、その能力を実際のシステムへ移行します。

OSWorld 2.0は、この種の訓練が直面するタスクの規模を示しています。このベンチマークには108の長期的な実世界ワークフローが含まれており、各タスクは人間が完了するまでに中央値で約1.6時間かかります。500ステップの二値完了指標では、論文で報告されている最良のシステムでも20.6%の完了率でした。これらのタスクでは、ページ、ポップアップ、中間状態が絶えず切り替わります。継続的に生成されるインターフェースは、訓練時に経験する変化を増やすのに適しています。

訓練システムでは、構造化されたサービスがタスクの目標、正しい状態、フィードバックを記録し、Solarisがレイアウト、オブジェクト、視覚的な変化を生成します。これにより、同じタスクに対して、異なるボタンの位置、ポップアップ、遮蔽、シーンの更新を迅速に生成でき、エージェントは座標を記憶するのではなく、オブジェクト、操作、結果を理解する練習ができます。

Solarisが最初に変える可能性のある製品

公式デモから、四つの直接的な利用方法が見えてきます。

• インタラクティブなプロトタイプ。 コンセプト画像を、クリック、ドラッグ、継続的な変化が可能なインターフェースに直接変換し、デザイン案やブランドの世界観を表現できます。
• ショッピングとカスタマイズ。 服、家具、素材、商品を同じシーン内で直接組み合わせることができ、選択プロセスと視覚的な結果が同時に発生します。
• 教育と探求。 学習者はオブジェクトを移動させたり、条件を変更したり、連続した反応を観察したりすることで、説明文を操作可能なシーンへと変換できます。
• エージェント訓練。 同じタスクに対して、多数のレイアウトやプロセスのバリエーションを生成でき、コンピューター操作エージェントに絶えず変化する練習環境を提供します。

Solarisは、動画モデルをコンテンツ生成ツールからリアルタイムのインターフェースエンジンへと前進させます。人間の操作を継続的に受け取り、操作可能な次のフレームをその場で生成します。インターフェースの表示は、一度きりのコード生成結果から連続的な生成プロセスへと変わり、動画モデルはソフトウェアの表示レイヤーと、一部の操作レイヤーを担うようになります。