Black Forest Labs、FLUX 3 Video 発表:Seedance 2.0 に匹敵する性能、音声・映像を同時生成、13言語対応
最長20秒・24fps・ネイティブHD。3つのモードが同じAPIに集約。続き生成は新規生成より2.5倍高く、5秒短い。スコアはBFLの自己評価。
- 映像と音声が1回の生成で同時出力。リップシンクも合い、13言語以上に対応。
- まず3分の1の価格でドラフトを出力。気に入ったものを選んでそのままフル画質で再レンダリング。内容は変わらない。ここが最大の価値。
- 発表ページにはない料金項目が1つ:続き生成は1秒$0.43。新規生成の2.5倍、他の2モードより5秒短い。
FLUX 3 Video の核となる機能
Black Forest Labs が FLUX 3 Video を発表しました。文章を書くか、画像を渡すだけで、音声付きの動画が直接生成されます。最大の特徴はネイティブなマルチモーダル対応。映像と音声(背景音・効果音・セリフ)を1回の生成で同時に出力し、リップシンクも合致。最長20秒・24fps・ネイティブHDを生成し、フルHD(1920×1088)へのアップスケールにも対応。今日からBFLのAPIを誰でも利用可能。非公開の提携プラットフォームにも組み込まれ、価格はすべて公開されている。
まず機能を一覧でまとめ、詳細は後述します。
文章または1〜10枚の画像を渡すだけで、一貫した動きと追従する効果音を生成。
冒頭・末尾・途中の任意の時刻を指定可能。4秒以内の既存動画を渡せば続きも生成できる。
1回の生成に複数のカメラアングルや動きを内包。固定カメラで通すわけではない。
英語(複数アクセント)、中国語、スペイン語、フランス語、ドイツ語、日本語、ポルトガル語、ロシア語、イタリア語、インドネシア語、トルコ語、ヒンディー語、パンジャブ語を明示サポート。発話時には唇の動きが音に同期。
解像度に fhd を指定すると、超解像(アップスケーラー)がもう一段入ります(まず低解像度で生成し、専用モデルで拡大してディテールを補完)。16:9 で 1920×1088 を出力。
ドラフトは価格3分の1。選んだものを1クリックでフル画質にレンダリングし直せ、被写体・構図・動きは変わらない。
10 秒の HD 動画なら約 1.7 ドル。動画の続き生成は別料金で、1 秒あたり $0.43 から。これについては後で詳しく説明します。
FLUX 3自体は7月末に発表済み。当時、動画ラインは申請制で、画像ラインとオープンウェイトは後回しだった。今回ようやく本格始動となる。
表現の幅をざっと確認
公式ブログは技術の話から入らず、脈絡のない4本の動画をいきなり見せている。森を歩く熊、ブラウン管ターミナルが自分でタイプする映像、手描きの宇宙望遠鏡アニメーション、逆光の中をゆっくり走る馬。BFLはこう説明する。「現実は1つの形をしているわけではない。映像も音も、その断片を切り取ったにすぎない。モデルはハリウッドの予告編だけを作れればいいわけではない」
> initalizing system… > loading kernel modules… OK。10 秒。出典:Black Forest Labsターミナルの動画には覚えておきたいディテールが 1 つあります。画面に最初に表示されるのは initalizing。「i」が 1 つ抜けています。そして「映像内の文字が正確」こそ、今回の宣伝ポイントの 1 つ。プロンプトがそもそもこういうスペルだったのか、モデルが自分でスペルミスしたのか、資料には記載がありません。
3 つの呼び出し方:テキストから動画、画像から動画、動画の続き生成
実はこの 3 つは同じ API です。すべてのリクエストは POST /v1/flux-3-video に送られ、リクエストボディは完全に同じ。唯一の違いは mode フィールドの値だけです。そして「何を持っているか」を指定する形になっています。
公式ドキュメントは賢いやり方で、同じシナリオで 3 つのモードを一続きにつないでいます。まず t2v で「彼女が彼の手を引いて、笑いながら提灯の並ぶ路地を駆け抜ける」という動画を生成。次にこの動画の最初のフレームを切り出して i2v に渡し、新しいカメラワークの指示を添えると、同じ冒頭だがまったく違う動画ができます。最後に元の動画全体を v2v に渡して、この 2 人が路地を飛び出して夜の屋台街に入っていくようにします。後のリクエストは前の生成物を食べる、という作りで、4 本の動画が重なり合って、3 つの関係性が一目でわかります。
curl -X POST https://api.bfl.ai/v1/flux-3-video \
-H "x-key: $BFL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"mode": "t2v",
"prompt": "she takes his hand and pulls him laughing
through the lantern-lit alley, the camera
chasing them, paper lanterns swaying overhead",
"duration": 8
}'
mode を i2v か v2v に変え、keyframes か start_video フィールドを 1 つ追加すれば、それが他の 2 つの使い方です。ほかはすべて省略可能。アスペクト比と長さはデフォルトで auto(モデル任せ)、解像度はデフォルトで hd、音声はデフォルトでオンです。
まず最も基本的なテキストから動画を見てみましょう。公式が選んだデモは優しい路線ではありません。家が衝突実験のそりに載せられ、そのままコンクリートの壁に激突します。
次は動画の続き生成。ルールはこうです。最大 4 秒の既存動画を渡し、次に何が起こるかを伝えると、動き、カメラワーク、セリフ、音声をまとめて続きに接ぎます。公式デモはつなぎ目を画面上に直接表示しています。最初の 4 秒が元の素材、4 秒目以降がすべて生成。海沿いの大通りのドライブレコーダー映像が、そのままヘラジカの飛び出しに続きます。
キーフレーム:最大 10 枚の画像を固定、間はモデルが補完
画像から動画の設計は他社と少し違います。独立した「ファーストフレーム」フィールドがありません。画像はすべて keyframes という 1 つのフィールドに入れます。何枚渡すか、何秒のところに固定するかで、使い方が決まります。
- 1 枚:その画像が冒頭になります。
- 2 枚:最初と最後。間はモデルが勝手に作り出します。
- 最大 10 枚:絵コンテを渡すのと同じ。
[秒数, 画像]というペアで書く:特定の画像を 4 秒目に固定。
公式デモにはタイムラインが付いていて、仕組みをそのまま映像で見せてくれます。3 つのキーフレームが 0:00、0:04、0:10 に固定され、字幕には「FLUX 3 interpolates the keyframes(FLUX 3 がキーフレーム間の映像を補完)」と表示。3 枚目のサムネイルでは、赤いヨットがすでに転覆しています。3 つの点を打つだけで、どうやって水が入り、どう転覆するかはモデルが考えます。
最初と最後だけを固定するバージョンは、モデルの自動生成能力がよくわかる。左のSTART FRAMEは空き部屋、右のEND FRAMEは家具の置かれたリビング。中央には「FLUX 3 fills the in-between(間はFLUX 3が埋める)」と表示。家具が折り紙のように床から広がっていく変形プロセスは、誰も指定していない。
ネイティブ音声:音と映像が一緒に生成されるから、リップシンクが合う
以前のAI動画は、なぜ人物が口を開くとすぐにボロが出たのか。問題は作り方にあった。従来は3段階のパイプラインで、1つずつ順に処理していた。
- 1. 映像を生成。この時点でモデルは音声を持っていません。セリフのリズム、どこにアクセントを置くか、どこで間を取るか、知る由もない。
- 2. 別の音声モデルでセリフを読み上げる。このモデルも映像を見ていません。ただ文字を人間らしく読むだけ。
- 3. 唇の動きと音声を後から合わせる。ここまで来るともう修正パッチ。大まかに合うだけで、音節単位では合いません。
3ステップの間に2つのつなぎ目があり、それぞれズレる可能性がある。だから従来手法は顔のアップが最も苦手だった。口の動きと音が半拍ズレるだけで、見ている人はすぐに興ざめする。
つなぎ目なし。セリフ、効果音、環境音が全フレームと一緒に生成され、同じ1回の生成の産物。唇の動かし方と音の鳴り方が同じモデル状態から来るため、「後からの位置合わせ」という概念が存在しない。
API も「音声はデフォルトでオン」という設計です。generate_audio を空にすると true になり、音声付き動画がそのまま返ってきます。特別なスイッチは必要ありません。
対応言語は13種類を明示。英語(複数アクセント)、中国語、スペイン語、フランス語、ドイツ語、日本語、ポルトガル語、ロシア語、イタリア語、インドネシア語、トルコ語、ヒンディー語、パンジャブ語。リスト末尾には「など」とある。韓国語は明示リストに含まれず、「など」がどこまでカバーするかは資料に記載がない。
セリフのデモは、スーツを着た 2 人の男性がテーブルを挟んで、古いマイクに向かって議論するというもの。まるで前世紀のテレビ討論会のようで、20 秒間とぎれません。
多言語の動画でもう 1 つ注目したいのは、別のことです。赤いレインコートを着た女性が、レストランのボックス席、夜の屋台街、コインランドリーの 3 つのシーンに連続で登場して話します。同じ顔が 3 つのカットにわたって崩れません。
複数カットの切り替え、そしてモデルが知っている実在の場所
20 秒の動画で、黒猫が寝室のベッドからソファに飛び移り、次の瞬間、カメラは家の外に切り替わり、通りからこの家の窓を見上げると、猫はまだ窓の中にいます。そしてまた庭と茂みに切り替わります。カメラは実際に別の位置に移動し、編集が入っていて、前後がつながっています。同じ画面内のズームやパンとはわけが違います。以前なら、複数回に分けて生成して自分で編集する必要がありました。
もう 1 つのデモが示す機能は「世界知識+リアルタイム接地」。売りは、数語のプロンプトでドキュメンタリーや科学解説動画を作れること。映像はドイツのフライブルク旧市街のように見えます。通りの脇にある細い用水路(現地では Bächle と呼ばれる)、赤砂岩のゴシック大聖堂、カメラを下げた観光客のペア。全体は 80~90 年代の旅行ビデオの質感です。映像内に場所の表示はありませんが、フライブルクは BFL の本社がある場所です。社名の「黒い森(Black Forest)」は、まさにその山岳地帯を指します。
ドラフトモード:3 分の 1 の価格、選んだものをそのまま再レンダリング
動画生成には厄介な問題がある。試した人なら誰でもわかるだろう。プロンプトを書いて、まあまあのものが1本取れた。「これに近いけど、もっといい」ものが欲しくて再送信すると、それは完全に新しい生成。被写体、構図、動きがすべて変わる可能性があり、さっき気に入ったものは二度と出てこないかもしれない。しかも抽選のたびに費用がかかる。
ドラフトモードはこれを 2 つのステップに分けます。
ステップ 1、リクエストに draft: true を追加して、クイックプレビューを受け取ります。ドラフトは 1 倍の時間、3 分の 1 の価格。フル画質は 1.8 倍の時間。この 3 つの数字は比較動画の画面に直接印刷されています。安いので、何本でも気軽に抽選できます。
ステップ 2、1 本選んだら、このドラフトの結果には draft_cache パッケージが付いてきます。これをダウンロードして、モードを draft_enhance にして送り返すと、モデルは同じ 1 回の生成をフル画質で再レンダリングします。
「同じカメラ、同じシード。何も再解釈しない。」
Black Forest Labs 開発者ドキュメント(当サイト訳)
普通の再生成はカードを引き直すようなもの。何が出るかわかりません。draft_cache は、その引き直しにセーブポイントを付けるようなものです。欲しかったものを引く必要はなく、ロードし直して最高画質で再レンダリングするだけです。
ドラフトモードが売っているのは割引だけではない。探索と納品を2つの費用に分けている。探索は3分の1の価格で自由に引き、OKを出した分だけ全額を払う。しかも手に入るのは、OKを出したまさにその1本。
料金表:動画の続き生成は 1 秒 $0.43、新規生成の 2.5 倍
3 つのモードの完全な料金は、すべてドキュメントにあります。
| モード | 入力 | 長さ | フル画質 | ドラフト |
|---|---|---|---|---|
| テキストから動画 | プロンプト | 5–20 秒 | $0.17/秒(hd) $0.29/秒(fhd) | $0.06/秒 |
| 画像から動画 | プロンプト+画像 1〜10 枚 | 5–20 秒 | $0.17/秒(hd) $0.29/秒(fhd) | $0.06/秒 |
| 動画の続き生成 | プロンプト+既存動画 | 5–15 秒 | $0.43/秒(hd) $0.54/秒(fhd) | $0.12/秒 |
この表から直接読み取れることが 3 つあります。
- 動画の続き生成はかなり高い。同じ HD でも、続きは 1 秒 $0.43。新規生成 $0.17 の 2.5 倍以上。10 秒の動画なら、新規生成は 1.7 ドル、続き生成は 4.3 ドル。なぜ高いのか、ドキュメントには説明がありません。
- 動画の続き生成はさらに短い。他の 2 モードは最長 20 秒ですが、続きは 15 秒が上限。丸ごと 5 秒短い。
- ドラフトは常に hd でレンダリング。fhd のドラフトはありません。
具体的な計算にしてみましょう。10 秒の HD テキストから動画の場合:
- 最初からフル画質を 1 本:1.7 ドル。ただし 1 本だけ。気に入らなければ引き直すしかない。
- フル画質を 3 本引いて 1 本選ぶ:5.1 ドル。
- ドラフトを 3 本引いて、選んだ 1 本を再レンダリング:3 × 0.6 + 1.7 = 3.5 ドル。そして、最終版はあなたが選んだまさにその 1 本。
もう 1 つ注意点があります。生成結果のダウンロードリンクは署名付きで、約 2 時間で期限切れになります。完了したらすぐに動画を保存しておきましょう。翌日まで待つと消えています。
ベンチマーク:テキストから動画は 1 位、画像から動画は Seedance 2.0 と互角
公式は人間による評価の ELO ランキングを公開しています。1 対 1 で比較してスコアを付けます。両方の完全なランキングが図にあります。
両者の差はまったく違います。
テキストから動画は 2 位に 45 点差。これは意味のある差です。画像から動画はわずか 2 点上回っただけ。公式自身も本文で「互角(ties)」という言葉を使っており、「勝った」とは書いていません。
もう 2 つ、ランキングを見て気になる点があります。
- テキストから動画のランキングに Veo 3.1 がいない。Veo 3.1 は画像から動画のランキングで 8 位(975 点)に登場しますが、テキストから動画の 10 枠の中には見当たりません。理由は資料に記載がありません。
- 比較対象は Seedance 2.0。バイトダンスは 7 月 31 日に Seedance 2.5 をすでに発表しています。このランキングには入っていません。
このランキングの前提は明確にしておきます。評価は BFL 自身が主催し、評価対象も自社モデルが 1 位。第三者のランキングではありません。上のデモ動画はすべてそのまま埋め込まれているので、ご自身で判断できます。
まだ使えない機能と、いくつかの制約
ドキュメントの最初の画面に、FLUX 3 は現在 preview(プレビュー) ステータスだと書いてあります。すでに「近日公開」とされているのが 2 つ。ビデオ編集と Omni Reference。画像と動画を参照素材として生成を制御する機能です。
ロードマップのさらに先には FLUX 3 Image(画像生成と編集)と FLUX 3 Dev(オープンウェイト版)があります。オープンウェイトは依然として最後尾で、7 月の発表の順序と同じです。発表ツイートでは 2K と 4K も準備中と言及されています。
安全対策としては、第三者機関 Cinder に評価を依頼し、非自発的親密画像(NCII)や児童性的虐待資料(CSAM)などのリスクをカバー。API には safety_tolerance パラメータがあり、0 から 4、デフォルトは 2、0 が最も厳格。ドキュメントにハードな上限が 3 つ書かれており、設定値にかかわらず適用されます。
- 性的コンテンツは最大 レベル 3 まで。
- ヘイトコンテンツは最大 レベル 2 まで。
- リクエストに参照画像または参照動画が含まれる場合、すべて レベル 2 に制限。
今回の発表ページのタイトルは「FLUX 3 Video, Part 1: Generation」(パート 1:生成)。通しでアーキテクチャ、学習方法、テクニカルレポートは一切ありません。確認できるのは機能と API だけ。モデル内部でどうやって音声と映像を同時生成しているのか、現時点で検証可能な資料はありません。
FLUX 3 Video 販売開始:音声と映像が同じ 1 回の生成で一緒に出力。ドラフトで選んだ 1 本はそのまま再レンダリング
Black Forest Labs がテキストから動画、画像から動画、動画の続き生成を 1 つの API に統合。今日から誰でも呼び出せます。図解で機能・仕組み・料金をまとめました。
↓ 1 ページで完結 · 動く図あり
文章を書くか、画像を渡すだけで、音声付き動画が直接生成されます。背景音、効果音、セリフもすべて含まれます。テキストから動画、画像から動画、動画の続き生成の 3 つは同じ API を共有し、リクエストボディは完全に同一。違うのは mode フィールドだけです。指定するのは「自分が何を持っているか」:何もない、画像がある、既存動画がある。
✔ キーフレームは最大 10 枚(あらかじめ固定したい画像)。点と点の間のフレームはすべてモデルが補完
✔ 1 本の中でカメラ位置が自動で複数切り替わり、前後もつながる
✔ 13 言語のセリフを明示サポート(英語、中国語、日本語、ドイツ語、ヒンディー語など)。発話時に唇の動きが一致
✘ 動画の続き生成は上限 15 秒。他の 2 モードより 5 秒短い。入力できる既存動画は最長 4 秒
✘ 韓国語は明示リストにない。「など」と書いてあるだけ
✘ 発表ページのタイトルは Part 1: Generation。アーキテクチャや学習の詳細は一切なし。モデル内部でどう音声と映像を同時生成しているか、検証できる資料がない
以前の AI 動画は、人物が口を開くとすぐにボロが出ました。理由は作り方にあります。映像・音声・位置合わせが 3 段階のリレーで、2 つのつなぎ目があり、それぞれ半拍ずれる可能性。だから顔のアップが最も苦手でした。FLUX 3 はこの 3 つを同じ 1 回の生成に収めました。API もデフォルトで音声オン。generate_audio を空にすれば有効です。
セリフのリズムを知らない
② 別モデルでセリフ読み上げ
このモデルは映像を見ない
③ 唇の動きと音を後から合わせる
ここまでくると修正パッチ
セリフ / 効果音 / 環境音
、2 つのトラックが同じ
モデル状態から同時に伸びる
「後からの位置合わせ」は
存在しない
動画生成で一番もどかしいのはここです。まあまあの 1 本が取れた。もう 1 本「これに近いけど、もっといい」ものが欲しい。再送信すると完全に新しい生成。被写体、構図、動きが全部変わる可能性があり、さっき気に入ったものが二度と出てこないかもしれない。ドラフトモードはこれを 2 つのステップに分けます。
価格はすべて公開されています。1 つ、発表ページには書かれず、開発者ドキュメントの表にだけ載っている項目があります。既存動画の続きを生成すると、単価が 1 秒 $0.43 に跳ね上がります。
発表ページには人間評価の ELO ランキングが掲載されています(1 対 1 の比較で付ける相対スコア。この比較でどちらが好まれたかを示すもので、絶対的な品質スコアではありません)。2 つの項目で差の性質がまったく違います。
- × まず映像生成
セリフのリズムを知らない - × 別モデルでセリフ読み
映像を見ていない - × 最後に無理やり口を合わせる
もう修正パッチ
音声トラック
顔が変わった
カメラがずれた
さっきの 1 本は
二度と出てこない
気に入るとは限らない。
まだ決まらない
= $0.6
✓ これで決まり
$0.17/秒 でレンダリングし直す。
同じカメラ、同じシード、
被写体・構図・動きは変わらない。
新規生成の 2.5 倍の単価。
上限も 15 秒で、5 秒少ない。
Seedance 2.0 は 1049。
