3 日で 18 ショット：Higgsfield のアニメーションチームは AI を従来のアニメーション制作にどう組み込んだか

AI でアニメーションを作るとき、難しいのは見栄えのいいショットを 1 本作ることより、18 ショットを通して人物、車、光を揃え続けることです。ヘッドホンが急に消えたり、タクシーが別の車に変わったりしないように。

Higgsfield の従来型アニメーション出身のチームは、そんなカーチェイスを 3 日で仕上げました。彼らの答えは、より強いモデルに乗り換えることではなく、従来のアニメーションの約束事を持ち込むことでした。まず参考画像を作り、まずテストし、複雑なショットは Blender でプリビズし、プロンプトは決まった構成で書く。

このシーンは、彼らが制作中の 5 分のアクションコメディ短編『Passport Rush』の一部です。空港に着いた女の子がパスポートを街の反対側に置き忘れたことに気づき、タクシーに飛び乗って引き返します。チームのメンバーは入社前に AI に触れたことがありませんでした。新しく立ち上げた YouTube チャンネル Higgsfield Animation の第 1 回で、絵コンテから完成映像までの作り方、実際のプロンプト、そして 3 回の失敗を 28 分かけて公開しています。

まずは完成した映像を見てみましょう。

制作の全体を見たい方へ。28 分の制作解説の完全版です（中国語・英語の字幕付き）。

このチームの基本的な考え方は、ホストの Amina の一言にまとまっています。AI をアニメーション制作の流れに組み込みたい、でも手仕事は手放さない。以下では、彼らの実際の制作順に沿って紹介します。まず絵コンテ、次にアセット制作、そしてテスト、続いて動画プロンプトの書き方、複雑なショットはまず Blender へ、最後に 3 回の失敗とそれぞれの解決策です。

絵コンテの段階で決める：どのショットを自分の手で作り、どれをモデルに任せるか

プリプロダクションは従来のアニメーションと同じく、アイデア、脚本、絵コンテから始まります。このパートで彼らが試したかったのは、アクションシーンで 3D のプリビズと AI をどう組み合わせられるか、ということです。プリビズ（previs）とは、本制作の前にごく簡単な 3D モデルで動きとカメラワークを一度通してみることで、実写撮影前の段取りリハーサルのようなものです。

違いは、絵コンテの段階ですでにショットごとにルートを振り分けていた点です。絵コンテのコマにオレンジの印が付いたものは Blender でプリビズ、印のないものはテキストから直接動画を生成します。

振り分けの基準はシンプルです。動きが具体的なもの、カメラワークにこだわりがあるもの、あるいはテキストでモデルに説明すると時間がかかるショットは Blender へ。動きが単純なショットは直接生成します。言い換えれば、自分で一度作ってしまうほうがテキストで説明するより速いなら、自分で作るということです。彼らはビジュアルアーティストなので、描いて動かしてしまうほうが、長い文章で説明するよりずっと手間がかからないものもあるのです。

もう一つ注目したい姿勢があります。絵コンテはあくまで参考で、固定されたものではない、ということです。動画生成はそもそも予測しにくいので、彼らは物語の要所と主要なシーンだけを固め、すべてのショットを最後まで計画し切ることはせず、偶然の要素が入る余地を残して、作りながら調整していきました。

チームの役割分担は従来のアニメーション制作パイプラインをほぼそのまま踏襲していますが、人数が少ないので一人が何役も兼ねています。少し変わっているのは、専任のプロンプトエンジニアがいないことです。キャラクター担当がキャラクターのプロンプトを書き、背景担当が背景のプロンプトを書き、アニメーション担当がショットのプロンプトを書く。担当する部分のプロンプトは、その担当者が書きます。

アセットファースト：参考画像が雑なら、作品全体が雑になる

パイプライン全体は一つのルールの上に成り立っています。彼らはそれを「アセットファースト」（asset-first approach）と呼んでいます。画像入力の品質が、作品全体の品質を決める。画像入力がぼやけていたり、雑だったり、前後で一貫していなかったりすれば、最終的な作品も雑になります。

ここでいう「画像入力」とは、キャラクターシート、プロップシート（小道具の設定画）、背景画のことです。動画を生成するとき、これらは参考画像として添付され、それぞれがどんな見た目かをモデルに伝えます。そのために彼らは「アセットマネージャー」（asset manager）という役割を専門に設け、キャラクター、小道具、背景が同じ作品、同じ世界に属しているように見えるよう管理しています。この仕事は、従来のパイプラインでいう美術監督に相当します。

この作品の美術の方向性は、スタイライズされた 3D キャラクターに水彩の背景を組み合わせるというものです。従来のパイプラインでも、この 2 つの質感を調和させるのは簡単ではなく、これがこのプロジェクト最大の課題になりました。

キャラクター：AI が叩き台を出し、人が選んで手直しする

彼らのプロジェクトは期間がタイトなことが多く、1 か月しかないこともあります。そのためキャラクターデザインは、まずプロンプトで何パターンかの初稿を生成し、それを手作業で修正することで時間を節約しています。具体的な流れは次のとおりです。

1. 短い要望を一文書いて、Claude に膨らませてもらい、完全なキャラクターシート用プロンプトにします。そこには外見、衣装、ポーズ、さらに構図とライティングまで明記します。彼らは普段 Claude を使っていますが、ホストはほかの AI チャットツールでも構わないと言っています。短い要望とはどれくらい短いのか。動画の中で運転手用に書かれていたのは、次の一文です。

   Write a prompt for this character: an elderly heavyset man, short, round kind face… big fluffy grey mustache, round glasses in a thin gold frame… Outfit: burgundy short-sleeve polo, light blue jeans, brown leather sandals.

   つまり「このキャラクターのプロンプトを書いて」のあとに、外見が一段落、衣装が一段落続くだけです。主人公の要望も同じく 2 段構成で、赤いロングのストレートヘアにぴょんと跳ねたアホ毛、上を向いた大きな目。ゆったりした水色のジップアップパーカー、胸に赤い文字のワッペン、ベージュのプリーツミニスカート、首には白いヘッドホン。構図、ライティング、背景などは Claude に補ってもらいます。

2. 生成する前に自分でもう一度見直し、細部やデザインに食い違いがないかを確認し、おかしければ直します。こうした選択は出力結果に直接影響するので、何が欲しいのかをはっきり書いておく必要があります。

3. Higgsfield の Cinema Studio で、モデルに自社の画像モデル Soul 2.0 を選び、プロンプトを貼り付け、画面比率を設定して、一度に 4 枚ずつ生成します。

4. 画像を選び、何枚かの良い要素を組み合わせます。

主人公の選定プロセスはとても示唆的です。1 枚目は見栄えはいいものの少し間抜けすぎる。彼らが欲しかったのは、笑えるけれどちょっとクールでもあるキャラクターでした。2 枚目はかわいいけれどリアルすぎる。求めていたのはもっと誇張された顔立ちとプロポーションです。3 枚目がいちばん近く、オレンジがかった赤い髪が水彩の背景によく映えましたが、プロポーションはまだ調整が必要で、服装もフォーマルすぎました。Amina いわく、自分が空港に行くときはたいていスウェットパンツにいちばん楽な服だそうです。最終版では 1 枚目のパーカーとスニーカーを戻し、シルエットを良くするためにミニスカートを加えました。

続いて手作業での修正です。Amina はこれを「いちばん楽しいところ」と言っています。

• 元画像は配色がくすんでいて、コメディらしいエネルギーが出なかったため、Photoshop で明るさと彩度を上げました。
• キャラクターの輪郭の周りに手描きの絵の具のストロークを数本加え、キャラクターに少し「ミックス」された質感を持たせつつ、本体は 3D のまま保ちました。

主人公が決まったあとは、ほかのキャラクターも同じ方法で作ります。たとえばタクシー運転手です。運転手を選ぶ際、あるバージョンは即座に却下されました。理由は、キャラクターシートの視点ごとに髪型が違っていたからです。キャラクターシートは動画モデルに参考として渡すものなので、視点同士が最初から食い違っていれば、後のショットで一貫性が保てるはずがありません。だから選ぶときは、まず複数視点が揃っているかを確認します。最終的に運転手は、丸顔でいかにも優しそうなおじさんに決まりました。ハンチング帽をかぶり、立派なひげをたくわえていますが、運転となるとまったく命知らずです。Amina は彼をアクションシーンの大半の「原動力」だと言っています。彼の顔の周り、帽子、服にも同じ手描きのストロークを加えました。このストロークのおかげで、2 人の 3D キャラクターが同じ作品に属しているように見えます。

背景：水彩はあやうく捨てられかけ、最後に救ったのは光だった

背景も同じ流れで作りますが、一段階多くなります。短い要望 → Claude が完全な背景プロンプトに膨らませる → スタイルテスト。このパートの舞台は、空港を出て市街地へ向かう長い高速道路で、周りに建物はありません。

背景は、彼らにとって最大のスタイル上の教訓になりました。純粋な水彩の画面にしたかったのに、テストしてみると汚く、ぼやけて、生気がありません。チームは一時袋小路に入り、水彩をやめて作品全体を 3D の方向に振ることまで真剣に議論しました。

それでもすぐにはあきらめず、スタイルテストでは水彩と 3D の 2 方向を並行して試し、両者のバランスを探りました。採用されなかったバージョンにも価値はありました。間違った方向を早めに排除でき、美術の方向性を後工程に持ち込む前に固めることができたからです。やがて、問題は光にあったことがわかります。作品はもともと正午の設定で、光がフラットなため画面が平板になっていたのです。これを夕方の暖かい光と、長くくっきりした影に変えたところ、画面の立体感と奥行きが一気に生まれました。

この修正が作品全体のビジュアルの公式になりました。背景画は水彩スタイルで生成し、本制作の段階で動画プロンプトにゴールデンアワーのライティングを加える、というものです。

彼らはこの経験から、プリプロダクションの段階でアセットを動画に入れてテストすべきだと強調しています。これは従来のアニメーションでキャラクターのアニメーションテストを行うのに相当しますが、違うのは、このパイプラインでは背景もテストする必要があるという点です。AI の性質上、背景は思いもよらない形で画面全体に影響し、小道具まで引きずられてしまうことがあります。

小道具：繰り返し登場するものだけプロップシートを作る

タクシーは作中で出番が非常に多いため、彼らはこれを一人のキャラクターとして設計しました。跳ねる必要があり、十分な squash and stretch（つぶしと伸ばし）が必要で、さらに持ち主の性格とも合っていなければならない。Amina はこれを馬と騎手の関係にたとえています。

タクシーは当初、はっきりとした水彩スタイルで作られていました。そのとき Claude に渡した短い要望はこうです。「A watercolour drawing of an old yellow taxi. 3/4 front left view. Single car in frame. Rich watercolour washes with drips and highlights. Soft shadow under the car.」（古い黄色いタクシーの水彩画。左前方 3/4 の視点。画面にはこの 1 台だけ。濃い水彩のにじみに、垂れた跡とハイライト。車の下にはやわらかい影。）Claude がこれをプロップシート用の完全なプロンプトに膨らませ、Soul 2.0 で生成しました。ところが動画にすると問題が起きます。テクスチャが正しい場所に貼られていないように見え、車全体が 1 枚の PNG を引き伸ばして 3D モデルに貼り付けたようになって、ひどく安っぽく見えたのです。

何度も試した末に、彼らは原因をこうまとめました。重い水彩テクスチャは、モデルにとって、動きの中で維持しなければならない大量の情報になる。水彩の小道具をさらに水彩の背景に置くと負担は倍になり、毎フレームで 2 層の密なテクスチャがぶつかり合う。解決策は車の負担を減らすことでした。車はクリーンな 3D にし、水彩は周りの世界に残すのです。

小道具については、ほかにもとても実用的なやり方がいくつかあります。

• すべてのものにプロップシートを作るわけではない。複数のショットに繰り返し登場し、前後で一貫している必要がある小道具だけを個別に作ります。たとえば 3 台のトラックは複数のショットに登場するので、それぞれプロップシートを作りました。それ以外はテキストだけで生成します。一瞬しか映らないトラックは水彩スタイルのまま残しました。映る時間が短く、手間をかける価値がないからです。
• 既存の画像を修正するほうが、一から生成するより速い。タクシーのデザインが決まったあと、オープンカー版と後部座席の車内は、メインの車のデザイン画を Seedream 5.0 Pro に添付して修正して作りました。
• 言葉選びはモデルの字義どおりの解釈に注意。ラストの爆発は、最初「キノコ形の爆発」と書いたところ、モデルは本当に煙を上げるキノコを 1 本生成しました。「nuclear blast」（核爆発）に変えてようやくそれらしくなり、さらに手描きのテクスチャを手作業で加えてキャラクターのストロークと揃え、この爆発は最終的に完成映像に採用されました。

本制作の前にまず一度テストし、そこで得た教訓をルールにする

プリプロダクションと本制作の間に、彼らはテスト段階を専用に設けています。できたばかりのアセットをそのまま動画生成に放り込み、実際のショットの中で通用するかを確かめるのです。理由は単純で、今問題が見つかれば直すのは安く済みますが、制作が半分進んでから戻って直すのは大変だからです。

テストの時点ではまだルールは何もなく、後のルールの大半はこの段階で得た 3 つの教訓から生まれました。

教訓 1：小道具のテクスチャをどこまで減らすか。 先ほどの水彩タクシーの件です。テストによって車体にどれだけテクスチャを残すかが決まり、その方向性をプロンプトに書き込むことで、車の表面が前後で一貫し、手描き風のシーンの真ん中に突然フォトリアルな車が現れるようなことを防げます。

教訓 2：画面の空いている場所には、モデルが勝手に何かを詰め込む。 キャラクターシートができる前に車のテストを始めたので、最初は車内が空っぽでした。すると、参考画像にもプロンプトにもない見知らぬ通行人が、いつも車内に現れてしまいます。キャラクターを乗せたところ、この問題は消えました。

教訓 3：美術の方向性をひっくり返す前に、まず光を変える。 ある同僚がどうなるか見てみようと、何気なくプロンプトに「夕方の光」を加えたところ、画面はすぐに暖かく、奥行きのあるものになりました。こうして、低い角度の暖かい日差しと長い影が、その後ずっと使い続ける方向性になりました。

彼らはこのライティング設定と、テスト済みの車とキャラクターの参考画像を持って、本制作に入りました。

4 秒のショットに、なぜ作文を書くのか

ほとんどの場合、ここでいう「本制作」とは一つのことです。テキストから動画を生成し、アセットを画像入力として添付する。安定したショットはすべてこの方法で作ります。この工程の鍵はプロンプトです。

彼らの 1 ショット分のプロンプトはとても長いものです。Amina 自身も視聴者からの質問を予想していました。たった 4 秒のショットに誰が作文なんか書くのか、と。彼女の答えはこうです。あなたが書かなかった細部は、すべてモデルが代わりに決める。そしてモデルは推測がとても下手だ。

書く前の大原則が一つあります。順番が大事ということです。モデルは人間と同じように上から下へ読み、後ろに行くほど指示の守り方が緩くなります。だからプロンプトの最初の 20% がとりわけ重要で、いちばん大事な決まりごとは冒頭に置くべきです。

彼らの動画プロンプトは、常に 5 つのブロックに分かれています。以下では、彼らが実際に見せていたショットを例にします。屋根が吹き飛んだタクシーが山道を猛スピードで走り、ボンネットの上に立った交通警官が運転手をにらみつけている。運転手が急ブレーキを踏むと、警官は吹き飛ばされ、遠くにいる同僚のバイクの後部座席に背中から着地する、というショットです。

ブロック 1：シーンとスタイル

このショットで何が起きるかを平易な言葉で書き、同時にスタイルのルールとこの世界の物理法則を書きます。

注目すべきは、冒頭の第 1 段落にどれだけの情報が詰め込まれているかです。スタイライズされた 3D アニメーションのシークエンス、ドタバタ系のアクションコメディ、2 ショット・ハードカット 1 回、各ショットはワンカットの長回し、実時間の速度でスローモーションなし、アニメーションは「2 コマ打ち」（各キーポーズをちょうど 2 フレームずつ止め、ポーズ・トゥ・ポーズで、ぐにゃぐにゃの中割りにしない）、アニメーションの 12 原則をすべて適用、16:9、合計 6 秒、各ショット 3 秒ずつ。モデルが最も勝手に解釈しがちなこれらの要素が、すべて冒頭で固定されています。

ブロック 2：参考画像の説明

添付した画像や動画の一つひとつが何なのかを、撮影現場の香盤表のように 1 項目ずつきちんと説明します。説明が足りなければ、モデルはまた推測を始めます。

このブロックのポイントは 2 つです。

• 性格や質感は書いてもいいが、見た目の描写は書かない。見た目は参考画像に任せます。スクリーンショットを見ると、実際にはいくつか重要な識別特徴も書かれています。たとえばタクシーのナンバープレート「667」、ドアの丸の中の「T」、「屋根は吹き飛んだまま」などで、モデルが重要な細部を描き間違えないようにするためです。
• 各項目の末尾に 「100% matches the reference」（参考画像と 100% 一致）という一文を必ず付けます。Amina によれば、一貫性はこの一文で支えられているそうです。

ブロック 3：ショット構成

ハードカットでショットを区切り、ショットごとに独立した段落にして、動きと長さをビートごとに書きます。最初に何が起き、次に何が起き、それぞれの動きがどれくらい続くのか。絵コンテのコマを文章にするようなものです。

彼らの書き方にははっきりした型があり、各ショットを 4 つの層で書いています。

• ショットの役割：このショットで何を伝えるのか（スピード、急停止、画面の奥へ勢いよく吹き飛ぶこと）。
• カメラ位置：非常に具体的に。たとえば「地面から約 25 cm、左後輪のすぐ後ろ。タイヤとフェンダーが左側の前景を占め、車体に沿ってやや見上げる。車にがっちり固定し、路面の細かな振動だけ」。
• 最初のフレーム：最初のフレームで、それぞれのものがどこにあり、どんな状態かを書きます。たとえば警官がボンネットの上に立って運転手をにらんでいる、主人公の髪が後部座席の上でなびいている、遠く右下にはバイクに乗ったもう一人の警官がいる、など。
• 動きのタイミング：ビート単位で正確に。たとえば「ビート 1（約 1.1 秒）全速で走行……ビート 2（約 0.15 秒）ブレーキががっちり効き、同時に警官が放り出される……」。

ブロック 4：ロックと制約

動画モデルは自分で余計な演出を加えたがるので、制約はそれを引き戻し、厳守すべきことを定める役割を持ちます。制約はプロジェクトごとに異なりますが、毎回必ず書く一文があります。音楽なし、効果音のみ（no music, SFX only）。音楽はポストプロダクションの手間を増やすからです。

スクリーンショットを見ると、彼らの制約の書き方には 2 つの特徴があります。第一に、動き全体を最初から最後まで「必ず〜する」という口調でもう一度繰り返し、すべてのキャラクターと小道具を対応する参考画像の番号に結び付け直していること。第二に、最も間違いやすい部分を固定していること。運転手と主人公はどちらも座席を離れてはならない、屋根は吹き飛んだ状態のまま、許されるのは小さな非言語のうめき声だけ、音楽なしで現場音のみ、文字・ロゴ・字幕なし、といった具合です。

ブロック 5：アニメーションの原則

アニメーションの 12 原則は、プロンプトの中で独立した 1 段落を占めています。squash and stretch（つぶしと伸ばし）、予備動作、フォロースルーなど、すべてを適用するよう求めます。Amina は正直に、モデルがどの項目も安定して守るわけではないと認めていますが、書いておくと、動きは確かに彼らの求める感じに近づくそうです。

空間が複雑なショットには「位置マップ」をもう一つ

口頭で説明されたのは上の 5 ブロックだけですが、動画内で紹介された別のプロンプト（後で触れる車内のアシストグリップのショット）には、LOCATION MAP（位置マップ）というブロックがもう一つあり、空間の関係を専門に書いています。たとえば「カメラはタクシーの車内、前列の座席のところに据えられ、後ろ向きに後部ベンチシート全体を見ている……」といった具合です。車内のように狭く、人や物がひしめき合うショットでは、モデルが位置関係を最も混乱させやすいので、このブロックでカメラ位置とレイアウトを先に説明しておくのです。

同じプロンプトには、もう一つ見習いたい書き方があります。因果関係を固定することです。彼らはこう書いています。「彼女はわざとグリップを引っ張ることはなく、グリップにつかまって体を支えることもない。車が左右に激しく振られる慣性で、グリップが根元から引きちぎられるのだ」。さらに、グリップが外れた後も元のデザインを保ち、「ロープの輪、横棒、ひも、手すり、フックなど、ほかの何にも変わらない」と定めています。モデルは「なぜグリップが壊れたのか」「壊れた後どんな見た目になるのか」を勝手に補完するので、はっきり書いておかないと、キャラクターが自分から引っ張ったり、グリップを別の何かとして描いたりしてしまう可能性が高いのです。

構成は一度書けば、チーム全員で共有

毎回これを一から打ち込む必要はありません。彼らはこの構成を Claude に渡してスキル、つまり一つのシステムプロンプトとしてまとめてもらい、以後はどのショットのプロンプトもそこから書き始めます。チーム内で同じシステムプロンプトを共有しているので、誰が書いてもプロンプトの構成はほぼ揃います。

自分でも使ってみたい場合は、この構成を次のテンプレートに凝縮できます（彼らの 5 ブロック構成に沿って整理したもので、山かっこの中を自分の内容に置き換えてください）。

【シーンとスタイル】
<作品の種類とスタイル>、<トーン>。<N> ショット、<ハードカット / ワンカット長回し>、実時間の速度、スローモーションなし。
<この世界の物理とスタイルのルール>。<画面比率>、合計 <X> 秒：ショット1 = <a> 秒、ショット2 = <b> 秒。
シーン：<このショットで何が起きるかを平易な言葉で>

【参考画像の説明】
<<<image_1>>> — <役割：背景 / キャラクター / 小道具>、<性格または質感；必要な識別特徴>。100% matches the reference.
<<<image_2>>> — ……
<<<video_1>>> — カメラワーク、動きのリズムとタイミングにのみ使用し、見た目はコピーしない。

【ショット構成】
ショット1 — <タイトル>（<秒数>）
ショットの役割：<このショットで何を伝えるか>
カメラ位置：<高さ、位置、向き、追従するかどうか>
最初のフレーム：<最初のフレームに何があり、それぞれどこにあるか>
動きのタイミング：ビート1（約 x 秒）— …… ビート2（約 y 秒）— ……
ハードカット。
ショット2 — ……

【ロックと制約】
すべてのキャラクターと乗り物のデザインは参考画像と 100% 一致。<誰が動いてはいけないか / 何を変えずに保つか>。
No music, SFX only. No text, no logos, no subtitles.

【位置マップ（任意、空間が複雑なショット用）】
カメラは <<<image_N>>> の <具体的な位置> にあり、<方向> を向いている；<人と物の相対的な位置>。

【アニメーションの原則】
Full 12 principles applied: squash & stretch, anticipation, staging, follow-through & overlap, ease in-out, arcs, secondary action, timing, exaggeration, appeal.

複雑なショット：Blender のグレーモデルが動きを、参考画像が見た目を担う

絵コンテにあったオレンジの印の話に戻りましょう。最も難しかったショットを例にします。タクシーが並走する 2 台のトラックに道をふさがれ、行き場がなくなる。そこで車体を傾けて片側 2 輪で走り、2 台のトラックの間の狭い隙間をすり抜け、抜け出してから 4 輪で着地する、というショットです。

この種のショットは、いくつかのステップで作ります。

1. 絵コンテを見て、順序を確認する：隙間に近づく、2 輪に傾く、すり抜ける、完全に抜けてから着地する。すべてが一瞬で起きるので、この順序がひと目でわかるものでなければなりません。
2. Blender で動きとカメラワークを作る。アニメーターがいちばん楽しめる工程です。いつ傾き始めるか、2 輪でどれくらい走るか、着地後どう揺れ戻るかを、何度でも調整できます。カメラも動きに追いつきつつ被写体を見失わないように、ここでアニメーションと一緒に調整します。さらにタイヤに少しだけ squash and stretch を加えることで、硬さがちょうど取れ、車に「個性」が出ました。プリビズによって、カメラ位置とタイミングの 2 つを固めることができ、とくに後者が重要でした。

3. シンプルなグレーモデルのプレビューを書き出す：色もマテリアルもなしで、グレーのジオメトリ、動き、カメラだけを残します。この段階では動きと構図を見せることだけが役目で、見た目は参考画像が提供します。

4. Higgsfield で組み立てる：グレーモデルのプレビューを動画入力として添付し、さらにタクシー、2 台のトラック、キャラクター、道路、ライティングの参考画像を添付します。そのうえで Claude に上の 5 ブロック構成でプロンプトを書いてもらい、各参考素材の用途を説明します。動画は動きとカメラ、画像は見た目を担当。パネルのスクリーンショットから読み取れる具体的な設定は次のとおりです。生成モードは References（参照）を選び、添付した素材には順に番号が振られ、プロンプト内では @Video 1、@Image 1〜@Image 8 で指し示します。画面は 16:9、1080p、長さ 7 秒で、一度に 4 本生成します。

   お気づきかもしれませんが、先ほど 5 ブロック構成を説明したときのスクリーンショットでは <<<image_1>>> と書かれていたのに対し、ここのパネルでは @Image 1 と書かれています。動画では両者の関係は説明されていませんが、役割は同じです。添付した参考素材それぞれに番号を振り、プロンプトの中で名指しできるようにするためのものです。真似をするときは、使っているツールの参照記法に合わせて書けば大丈夫です。

パネルからは、このショットのプロンプトの要となる書き方がいくつか読み取れます。元動画の車を @Image 1 の小型車に置き換え、2 台のトラックをそれぞれ @Image 2 と @Image 3 のセミトレーラーに置き換える。元動画の環境要素は一切残さず、シーン全体を高速道路として作り直す。ライティングと雰囲気は @Image 4 に基づき、太陽の方向は @Video 1 に厳密に合わせる。@Video 1 はカメラワーク、リズム、太陽の方向を提供するためだけに使い、そこに含まれる複数のカットは再現しない。パネル下部のモデルセレクターには Seedance 2.5 と表示されていますが、この点は口頭の説明では触れられていません。

5. 最も間違いやすい細部を固定する。たとえば 2 人のキャラクターはずっと座席に座っていなければならない、タクシーはトラックから完全に離れてから着地する、といったことです。書いておかないと、画面にずっと問題が出続けます。
6. 生成後にプリビズと照らし合わせてチェックする：タイミング、カメラ位置、そして車とキャラクターがデザインどおりか。このショットはすべて合っていました。

次の比較映像を見ると、「グレーモデルが動きを、参考画像が見た目を担う」とはどういうことかが直感的にわかります。上半分が絵コンテまたは Blender のプリビズ、下半分が最終的に生成された画面です。

単純なショットは Blender を飛ばし、テキストから直接動画を生成します。チェックと調整の方法は同じで、このプリビズの工程が要らないだけです。

3 回の失敗と、3 つのトラブルシューティングのルール

このパートには 18 ショットがあり、Amina は特に手間のかかった 3 つを取り上げています。最初の 2 つは最終的に解決しましたが、3 つ目は解決していません。

モデルが参考素材を理解できない？ カメラを引く

あるショットでは、女の子がトラックのドアにぴったり張り付いています。Blender で参考素材はできていたのに、何度生成してもうまくいきませんでした。

やがてわかったのは、Blender のプリビズのカメラ位置が動きに近すぎたということです。彼ら自身が見る分には問題ありません。どのグレーの塊が何なのかわかっているからです。しかしモデルにとっては、テクスチャも顔もなく、画面の大半が大きなグレーの形で、周りの環境もほとんど見えないため、人と物の位置関係を判断するのが難しかったのです。

彼らは Blender に戻ってカメラを少し後ろに引き、シーンをより多く見せて動きも認識しやすくしました。すると次の生成でうまくいきました。ルール 1：モデルが参考素材を理解できないなら、見せている範囲が狭すぎる可能性が高い。カメラを少し引こう。

構図を固めるためだけに加えたスクリーンショットもチェックする

別のショットでは、女の子が 2 本のシートベルトを胸の前で X 字に締めています。以前のテストで成功していたので、簡単だと思っていました。しかしそのテストで使われていたのは初期のキャラクターデザインでした。最終デザインに差し替え、プロンプトもほかの参考素材も変えずに再生成すると、カメラ位置が毎回変わり、狙った構図がどうしても安定しません。キャラクターの見た目を更新したかっただけなのに、カメラ位置を合わせ直すのにまた時間を取られることになりました。

彼らの解決策は、以前カメラ位置が正しかった生成結果からスクリーンショットを撮り、参考画像として添付することでした。構図は確かに安定しましたが、新たな問題が出てきます。どの生成結果でも、女の子のヘッドホンが消えてしまうのです。

そのスクリーンショットを見直してみると、もともとヘッドホンが写っていませんでした。当時はカメラ位置だけを見て画像を選んでいたので、この細部を見落としていたのです。キャラクターシートにはヘッドホンがあるのに、スクリーンショットにはない。モデルが受け取った参考素材同士が矛盾していたわけです。

解決策は、スクリーンショットをキャラクターシートに合わせることでした。Photoshop でスクリーンショットを開き、手作業でヘッドホンを描き戻し、その版を参考素材にします。次の生成では、ヘッドホンが戻り、カメラ位置も正しいままでした。

ルール 2：構図のためだけに加えたものも含め、すべての参考画像をチェックする。

繊細な演技は、大がかりなシーンよりずっと難しい

最後は Amina がいちばん気に入っているショットですが、残念ながら今もまだ完成しておらず、完成映像には入れられませんでした。

タクシーの中の小さなギャグです。大混乱の中、女の子が天井のアシストグリップをつかむと、グリップが引きちぎれてしまう。慌てて別のグリップをつかむと、それもまた外れてしまう。絵コンテを見ていたときは、まったく心配していませんでした。飛んでくる丸太も爆発も作れたのだから、グリップが 2 つ外れるくらいで手こずるはずがない、と。

ところが、このショットは過小評価されがちなものでした。ごく小さな細部まで見張る必要があるからです。

• 小道具の一貫性：グリップがどこに付いていて、どう外れ、彼女の手に握られているときどう見えるのかを、すべてプロンプトではっきり描写しなければなりません。
• 演技：彼女は慌てて最初のグリップをつかみ、そこで一瞬固まって、外れたことに気づき、それから別のグリップをつかむ。ギャグはすべてこの小さな間にかかっていて、アニメーターである彼らはそれをよくわかっていました。

テキストだけのプロンプトではこの間が出せなかったので、彼らは Blender に切り替え、演技を自分たちで作って動画の参考素材にしようとしました。しかしこれもうまくいきません。グレーの簡素なキャラクターで作った表情や手の動きは、生成結果では伝わりませんでした。細部を増やそうとすると、今度はモデルが Blender のジオメトリの形をそのまま写し取り始め、キャラクターシートどおりに彼女を描かなくなってしまったのです。

彼らはこれを「パフォーマンスギャップ」（performance gap）と呼んでいます。彼女がどう反応し、どこで間を取るべきかはわかっているのに、望む演技を得ることと、AI が生成したショットの中で彼女の最終キャラクターデザインを一貫させることを両立できない、ということです。

いちばん意外だったのは、従来の手法ならかなり素直に作れるショットが、これほど難しかったことです。大がかりなアクションシーンのほうが難しいと思っていたのに、実際には AI が苦戦するのはむしろ繊細なキャラクターの演技でした。ルール 3：細かな演技の瞬間は、できるだけ早くテストする。

このワークフローは今どこまで来ているのか

振り返ると、このチームがしていることは、本質的には従来のアニメーション制作パイプラインの工程を一つずつ残したうえで、各工程のどの部分をモデルに任せるかを判断することです。

• 人が担うもの：絵コンテとルートの判断、キャラクターと背景の取捨選択、手作業での色調整とストローク、Blender での動きとカメラワーク、すべての参考画像の確認、最終チェック。
• モデルが担うもの：プロンプトの拡張（Claude）、キャラクターシートなどの設定画の生成（Soul 2.0）、画像の修正（Seedream 5.0 Pro）、そして参考画像とプリビズの制約の下での動画生成。

18 ショットを 3 日というのは、確かに速いペースです。ただ作品全体はまだ制作中で、彼ら自身もすべてのショットを解決できたわけではないと言っています。作品全体が完成したら、総生成回数、かかった費用、作品全体の制作期間といった完全な制作データを公開するとのことです。これらの数字はまだないので、「3 日」はこのパートのペースを示すにすぎず、作品全体のコストに換算することはまだできません。

AI でアニメーションを作りたい人にとって、この事例で最も価値があるのは、具体的な判断の数々です。参考画像の品質が完成映像の品質を決める、テクスチャは動きのために余裕を残す、美術の方向性を変える前にまず光を変える、プロンプトはいちばん大事なことを冒頭に置く、モデルが理解できなければカメラを引く、参考画像はすべてチェックする。そして繊細な演技は、今もなお AI の弱点です。