プロダクト発表 · 小互による解説
MiniMax が Music 3.0 をオープンソース化:5分のフル曲を一度に生成、8GB VRAMで動作
一言のスタイル指定をセクション別の編曲仕様書に置き換え、2つのモデルが役割分担して5分間の破綻を防ぎます。
- 歌詞とスタイル説明を与えるだけで、5分間のフル曲を一度に生成。イントロ、サビ、ブリッジまで完備。
- 従来の課題を解決:指定した楽器が途中で消える、感情表現がブレる。
- モデル全体をオープンソース化し、シングルGPU・8GB VRAMでも動作します。
- 商用条件は異例に寛容ですが、ベンチマークスコアは一切ありません。
課題
AI作曲の2つの長年の問題
MiniMax は次世代音楽生成モデル Music 3.0 を発表し、直接オープンソース化しました。歌詞とスタイル説明を与えると、最大5分間のフル曲を一度に生成します。イントロ、Aメロ、サビ、ブリッジ、間奏、アウトロまで全て含まれ、ボーカルは合成ではなく実際に歌われており、32kHzステレオで出力されます。以前はSunoのようなクローズドソースのサービスだけがこの完成度を提供しており、Webサイト上で都度購入する必要がありました。現在はモデル全体をダウンロードでき、8GB VRAMのGPUでも動作します。
MiniMax Music 3.0 公式発表ショートフィルム(52秒、音声あり):黒いレコードが回転し、その上でミニチュアのトリオが生演奏(バイオリン、ギター、コントラバス)。出典:MiniMax公式発表素材。
このモデルが解決しようとしている問題は、AI作曲を使ったことがある人なら誰でも知っているものです:
1つ目の問題は「言ったことが守られない」ことです。プロンプトに「フォークギターとピアノで、感情は抑圧から解放へ」と書いても、モデルは冒頭だけ従い、歌の途中でギターが消え、感情表現も平坦なままです。「息混じりの女性ボーカル」と指定しても、最初のAメロだけで、後半は別人のようになります。原因は説明が粗すぎることです。従来の方法は曲全体に1つのラベルを付けるだけ(「切ないポップス、90 BPM、女性ボーカル」)で、モデルは全体的な雰囲気しか把握できず、47秒目に何が起こるべきかは分かりませんでした。
2つ目の問題は「長くなると破綻する」ことです。30秒の断片を生成するのは誰でも簡単ですが、5分間で感情の起伏を作り、楽器の出入りを適切に配置し、Aメロ、サビ、ブリッジを一貫した方向に導くのは困難です。難しいのは長さ自体ではなく、モデルが冒頭で何を歌っていたかを覚えていられるかが本当の課題です。
変更点1 · 入力側
Music 3.0 は一言をセクション別仕様書に変更
原因が説明の粗さなら、説明を詳細にすれば良い。Music 3.0 は曲全体を1つのグローバルラベルで表現するのをやめ、時間軸に沿ってセクションごとに詳細を記述する構造化キャプション(Structured Caption)を採用。3つのブロックで構成されます:
「切ないフォーク、90 BPM、女性ボーカル」
曲全体に1つのラベル。モデルは雰囲気は分かるが、展開は知らない。
- グローバル情報:どんなスタイルか、BPM、調性、利用シーン、曲全体の感情の流れ、仕上がりの質感
- ボーカル詳細:男性/女性、声色(ハスキー/息混じり/温かい)、歌い方、ハーモニーの配置、リバーブやディレイの有無
- 編曲:主役と脇役の楽器、どのセクションで入り、どのセクションで退くか、リズムの展開、低音の動き、空間効果の追加方法
以前はバンドに「切ないフォークを頼む」と言うようなものでした。今は編曲の総譜を渡すようなものです。どの小節でギターが単独で入り、どの小節でドラムが加わり、ブリッジでは全ての楽器を下げてボーカルのみにする、といった指示が書かれています。バンドは譜面通りに演奏するので、迷子になりません。
この仕様書はどの程度詳細なのでしょうか?公式デモページの各曲には完全な説明が添付されており、英語だけで700語以上あります。以下は、そのうちの1曲(アーバンソウル)の実際の入力の一部で、「ボーカル詳細」の一部だけを取り出したものです:
Vocal Style: The delivery is marked by a conversational, behind-the-beat phrasing... The bridge requires a dramatic shift to a "whisper-singing" technique, utilizing heavy vocal fry and breathy tail-offs to convey extreme proximity. Harmony/Backing Vocals: The choruses are bolstered by tight, three-part male harmony stacks... panned hard left and right to envelop the lead.
日本語訳:歌い方は会話的で、拍の裏をとるフレージング。ブリッジでは「囁くように歌う」テクニックへ劇的に変化し、声帯摩擦音と息混じりの語尾を多用することで、耳元で歌っているような近さを表現。ハーモニーは、サビでタイトな3声の男性コーラスを積み重ね、ハードに左右に振り分けてリードボーカルを包み込む。
注目すべきは、形容詞がすべて実行可能な具体性を持っていることです。「囁き」と言うだけでなく「ブリッジで」と指定し、「3声の男性コーラス」と言うだけでなく「ハードに左右に振り分けて」と指定しています。「感動的」「ハイレベル」といった実行不能な空虚な言葉ではありません。モデルが従えるのは、この説明自体がすでに設計図・施工指示書だからです。
変更点2 · 構造
歌詞の角括弧は実際の構造スイッチ
仕様書が各セクションの肉付けを管理するなら、曲全体の骨格は誰が決めるのでしょうか?答えは歌詞側にあります。
歌詞に [Intro]、[Verse]、[Pre-Chorus]、[Chorus]、[Post-Chorus]、[Bridge]、[Instrumental]、[Solo]、[Outro] のような角括弧のマーカーを書くと、モデルはそれを構造指示として実行し、曲のセクション数、順序、インストゥルメンタル箇所を決定します。「Verse」という単語を歌ったりはしません。ここがユーザーが最も間違えやすいポイントです:角括弧は実行可能な指示であり、歌詞本文は感情を伝えるだけで構造は伝えない。Aメロからブリッジ、サビへと展開させたい場合は、自分で歌詞にそのように配置する必要があります。
付属機能
公式が1000のテンプレートとリライトスキルも公開
しかし、一般の人が700語の専門的な仕様書を書くことはできません。これがこの入力形式の敷居となっています。公式の解決策はリライトシステムを用意することです。平易な言葉で書くと、専門用語を使った完全な仕様書に拡張してくれます。
このテンプレートライブラリは抽象的な概念ではなく、GitHubリポジトリに実際に置かれています:1000個のプレーンテキストテンプレートファイルが、18のジャンルファミリー(フォーク、EDM、ヒップホップ、ジャズ、メタル、ソウル・ゴスペル、東アジアの抒情歌、カントリー・アメリカーナなど)に分類されています。リライトロジック自体もAIエージェントのスキルとしてオープンソース化されており、1行のコマンドでインストールできます:
npx skills add MiniMax-AI/MiniMax-Music3 --skill music-caption-rewriter
その検索方法は、エージェント開発者にはお馴染みのものです。スキル内では、1000テンプレート全てをスキャンすること、データベース作成、ベクトル計算、外部API呼び出しが明示的に禁止されています。段階的に絞り込みます。まずジャンルルーティングテーブルを読み、1〜2のファミリーに絞ります。次にファミリーインデックスの簡易カードを比較します。最後に選択した最大3つのテンプレートのみを完全に読み込み、しかも3つには役割分担があります:
モデルをインストールする予定がなく、プロンプトの書き方を上達させたいだけの人にとって、この1000のテンプレートはそのまま参考にできる編曲プロンプトの資料庫となります。
メカニズム · 核心
2つのモデルが役割分担、一方は曲全体を記憶してもう一方は1フレームだけを処理
入力側の2つの変更点は説明しました。では、モデル内部はどうやって5分間を支えているのでしょうか?まず、音声がモデル内でどのように表現されるかを知る必要があります。
オーディオは言語モデルに直接渡すことはできません。まず、オーディオフレームという小さな単位に分割します(ここでは毎秒25フレーム)。各フレームはさらに8層のコードブックでエンコードされます(公式には残差ベクトル量子化=RVQと呼ばれます):第1層は16384個のコードワードを持つ大きな辞書で、このフレームの中核的な意味と構造(どのコード、どのセクション、何を歌っているか)を担当します。第2層から第8層はそれぞれ1024個のコードワードを持つ小さな辞書で、音の細部の残差(音色、倍音、空間感)を層ごとに積み重ねていきます。
絵を描くようなものです。第1層は鉛筆での下書きで構図を決め、後の7層は色を塗り重ねてディテールを加えていきます。トレーニングもこの順番で、まず第1層だけを単独で安定させ、骨格が歪まないことを確認してから、8層全てを一緒にトレーニングします。
どのコード、どのセクション、何を歌うか
2つのモデル:一方は曲全体を記憶、もう一方は眼前の1フレームだけを処理
音声の階層構造が分かれば、役割分担は自然に決まります。
Qwen3-8B をベースに改造。各フレームの第1層の「中核的意味」コードワードを予測しつつ、曲全体のコンテキストを監視します。
「冒頭で何を歌っていたか」を覚えている役割。
ゼロから学習した小型モデル。各フレーム内で、深さ方向に第2〜8層の音響的詳細を補完します。
「目の前の1フレームが良い音かどうか」だけを管理し、曲全体を記憶する必要はない。
なぜ分ける必要があるのでしょうか。80億パラメータの大規模モデルに、曲全体の進行と各フレームの倍音の詳細の両方を処理させると、無駄が多く混乱しやすく、注意力が2つのスケールに引き裂かれます。詳細を6億パラメータの小規模モデルに任せてフレームごとに補完させれば、大規模モデルは5分前の出来事を記憶することに専念できます。長期的な安定性と局所的な豊かさ、この両方を同時に確保するためには、この分割が必要なのです。
MiniMax Music 3.0 公式アーキテクチャ図。下から上へ4層:最下部は入力(左の紫枠がStructured Caption、右の緑枠が歌詞)。その上がHybrid LMで、濃い青の横棒がグローバルモデル。各フレームの隠れ状態を出力し、C₀ を通じてローカルモデルへ渡り、C₁ から C₇ を層ごとに出力。さらに上の2つのfusion矢印が隠れ状態をSynthesis層へ送り、Flow-Matching と Flow VAE Decoder を経てオーディオを出力。右の赤い円は停止記号、灰色の四角は隠れ状態。出典:MiniMax公式発表ブログ。
メカニズム · 音質
最終段で圧縮をスキップ、息継ぎと余韻が残る
しかし、曲の良し悪しを最終的に決めるのはこの最終段階で、最も見落とされがちです。
一般的な方法:言語モデルが離散的なコードワードの列を出力し、デコーダーがそのコードワードに従って音声を再構成します。問題は「コードワード」、つまり量子化されている点です。本来連続的な音波が有限のグリッドに圧縮され、その過程で微妙な部分(息継ぎ、スライド、弦の余韻)が失われ、後からデコードしても取り戻せません。
Music 3.0 の方法:推論時に離散デコーダーを一切ロードしません。2つの言語モデルの最終層の連続的な隠れ状態(hidden state)=コードワードに圧縮される前の高次元情報を融合し、24億パラメータのフローマッチングモジュールに直接送り、さらに1.23億パラメータのFlow-VAEで波形にデコードします。
コードワードは、録音を一度MP3に変換してから次の人に渡すようなものです。隠れ状態は、マスターテープをそのまま渡すようなものです。違いは、ボーカルの子音の明瞭さ、楽器が実際に振動しているかのような質感、スライドやレガートといった演奏技法が保たれるかどうかに現れます。
Flow-VAE はゼロから作られたわけではなく、MiniMax 製の音声モデル MiniMax Speech からアーキテクチャを流用し、音楽のダイナミックレンジとスペクトル特性に合わせて再トレーニングされています。
4つのコンポーネントを合計:グローバルモデル80億 + ローカルモデル6億 + フローマッチング24億 + Flow-VAE 1.23億 ≈ 111億パラメータ。この総数は、自分のマシンで動かせるかどうかを決定するものではありません。実際に制約となるのはVRAMで、その計算は次のセクションで説明します。
効果
公式サンプル16曲、上海ジャズからゴスペルメタルまで
メカニズムの説明は以上です。残りの効果は自分の耳で確認するしかありません。これが今回の発表の唯一の証拠であり、ベンチマークも比較実験もなく、16曲のサンプルがあるだけです。以下の試聴台でスタイルタグをクリックして曲を切り替えられます。各曲には実際の入力説明が添付されており、「同じモデルでも、入力を変えれば全く異なる出力になる」ことを直感的に確認できます:
上海ジャズ / ソウル、ローファイな温かみ
Classic Shanghai jazz / soul with gentle lo-fi warmth. Tender, nostalgic verses unfold into a softly radiant chorus, led by an intimate female vocal with restrained phrasing…
温かい中華ポップス / 叙情歌、74 BPM、変イ長調
Warm Mandarin pop / traditional Chinese ballad, 74 BPM, A-flat major. Tender nostalgia opens into a celebratory chorus, with a mature male baritone-tenor, delicate guzheng…
バロックポップ / エモロック、162 BPM、変ホ短調
Baroque pop / emo rock, 162 BPM, E-flat minor. A stately, mournful opening drives toward a regal wall-of-sound finale, with a gritty theatrical male baritenor, orchestral strings, harpsichord…
ダーク・エレクトロニック・パンク / ヒップホップ、産業ラップ、108 BPM、変ロ短調
Dark E-punk hip-hop / industrial rap, 108 BPM, B-flat minor. Ominous sermon-like tension turns into club-ready catharsis…
アップビート・ファンク / ニューディスコ、112 BPM、変ホ長調
Upbeat funk / nu-disco, 112 BPM, E-flat major. Confident, strutting and celebratory, with a smooth soulful male tenor, playful staccato phrasing, falsetto flips…
アコースティック・ボサノバ / フォーク、88 BPM、嬰ヘ長調
Acoustic bossa nova / folk, 88 BPM, F-sharp major. Serene, pastoral and playful, with buoyant choruses, a breathy honeyed female soprano…
スタジアム・ポップ・ロック、132 BPM、ホ長調
Anthemic stadium pop rock, 132 BPM, E major. Airy, buoyant verses build into an adrenaline-filled chorus, with a powerful female mezzo-soprano, soaring octave hooks…
温かく癒やしの中国語バラード、中年男女デュエット
…middle-aged mature male and female duet, mature parental voices aged around 50-70… slightly weathered gravelly low register… strong Taiwanese accent in vocals… no youthful bright tone
残りの7曲
未来的メロディック EDM / プログレッシブハウス
プログレッシブハウス / EDM、126 BPM、変ロ長調
明るいパワーポップ / ポップロック、112 BPM、変ホ長調
高揚感のあるプログレッシブハウス / EDM、126 BPM、変イ長調
軽やかなボサノバ / ブラジリアンポップ、88 BPM、変ニ長調
アップビート・ファンク / コンテンポラリーR&B、ニューディスコの輝き
温かいポップロック / ソウル、88 BPM、変ロ長調
公式ブログでは全16曲の音声が公開されていますが、そのうち第2曲と第11曲は入力説明と歌詞が完全に同一で、実際に重複していないのは15曲です。当サイトでは重複を除いています。全音声はMiniMax公式CDNからの直リンクです。
ライセンス
年間売上2000万米ドル未満なら、商用利用に許諾不要
良さそうだが、使ってもいいのでしょうか?今回の発表はタイトルに「オープンソース」とありますが、ブログ本文にはライセンスに関する記述が一切ありません。そのため、このセクションの内容は全てライセンス条文からのものです。
その名は MiniMax-Music3 コミュニティライセンス。全文7400バイトで、冒頭の文言はMITライセンスをほぼそのまま踏襲しています:無料使用、改変、再配布、商用利用が可能。追加条件は以下の4つのみです:
| 条項 | 具体的な要件 |
|---|---|
| 商用時の表示 | 使用した商用製品・サービスには、画面上に「MiniMax-Music3」を明示すること |
| 売上基準 | あなたと関連会社の年間総売上が2000万米ドル超の場合、api@minimax.io にメールで個別に書面許諾を得る必要あり |
| サービス提供者の責任 | 生成サービスを対外提供する場合、ユーザーによる権利侵害コンテンツの生成を防ぐための合理的な保護措置を自ら講じ、故意に無効化・弱体化してはならない |
| 利用規範 | 全19条:デマ防止、なりすまし禁止、軍事利用禁止、高リスクな自動意思決定への使用禁止。AI生成コンテンツを公開する場合は機械生成であることを明示すること |
大多数の個人クリエイターや中小チームにとって、実際に対応が必要なのは最初の1条だけです。画面上にモデル名を表示することです。
地域排除条項なし
同じ会社が10日前に、全く異なる契約を発表しています。
契約の末尾には、このモデルの出自も明記されています。グローバルモデルはQwen3-8B(Apache 2.0ライセンス)を微調整したもの、拡散部分はStability AIのstable-audio-tools(MITライセンス)を改変、VAEはDescriptのオーディオコーデックDAC(MITライセンス)を改変したものです。
導入
8GB VRAMで動作、ただし公式自ら5つの制限を明記
ライセンスが許可されたなら、次はマシンのスペックです。この部分もブログには記載がなく、全てモデルカードにあります。
VRAM 3段階(シングルGPUの場合)
まず、この3段階がどの経路に対応するかを明確にします:diffusers を1枚のGPUで実行する場合です。公式推奨のサービス化パスは要件が異なるため、次の段落で説明します。
ComfyUI 側では、小容量VRAM向けに INT8 量子化バージョンのモデルファイルも提供されています。長い曲を生成する際には、チャンクデコードを有効にすることで、VRAM使用量をさらに抑えられます。
また、HuggingFace のモデルページには、コミュニティが作成した3つの微調整版と4つの量子化版がすでに公開されています。自分でフォーマット変換をしなくても、既製のものをダウンロードできます。
3つのデプロイ方法
| 方法 | 状況 |
|---|---|
| SGLang-Omni | 公式推奨。ただし、CUDA GPUが2枚必要:1枚は言語モデルとコードブック生成、もう1枚はフローマッチングと波形デコードを実行。呼び出し形式は音声インターフェースと同じ:歌詞は input、スタイル仕様書は instructions に設定し、/v1/audio/speech にPOSTするとwavが返る |
| diffusers | モジュール式パイプラインは既にあるが、マージリクエストがメインブランチにまだ統合されておらず、指定コミットからインストールする必要がある |
| ComfyUI | 0.33.0 からネイティブ対応。テンプレートライブラリ → Audio → MiniMax Music 3 ワークフローを選択し、ポップアップに従ってモデルをダウンロードすれば実行可能 |
公式が自ら明記した5つの制限
このリストはベンダー自身が作成したもので、どんな効果説明よりも価値があります:
| 制限 | 意味 |
|---|---|
| CUDAのみ対応 | NVIDIA GPUが必要で、Apple Mシリーズチップでは動作しない。⚠️ この点については公式資料2点で記述が異なる:モデルカードは「CUDAが必要」、GitHubリポジトリは「CUDA GPUが2枚必要」とし、各GPUの役割も記載 |
| ストリーミング出力非対応 | 曲全体の生成が完了して初めて取得可能。途中経過は分からない |
| テキストプロンプト上限5000トークン | 仕様書と歌詞の合計長さの上限。一般的には十分な量 |
| オーディオ上限9000フレーム | 毎秒25フレーム換算で約360秒(6分)。宣伝されている5分よりやや余裕がある(当サイト換算。公式は「最大5分」と説明) |
| セクションマーカーとスタイル説明は生成のガイドであり、厳密な保証ではない | 最も重要な点:生成されるテンポ、調性、楽器、歌詞、構造が、要求と完全に一致するとは限らない |
最後のこの条項が、これまでの議論をすべて現実に引き戻します。この構造化キャプションによって「言ったことが守られる」確率は大幅に上がりましたが、それでも確率であって、楽譜を音源ライブラリに入力するような決定論的な実行ではありません。
npx skills add MiniMax-AI/MiniMax-Music3 --skill music-caption-rewriterMiniMax、5分間破綻しない音楽モデルを公開。8GB VRAMで自前実行も可能に
MiniMax が Music 3.0 を発表しオープンウェイト化。2つのモデルの役割分担で5分間の安定性を実現する仕組みを、1枚の図で解説します。
↓ 1枚で完結・動く図あり
以前は一言、今は編曲仕様書を渡す
AI作曲には2つの長年の問題があります:言ったことが守られない(指定の楽器が消える)、長くなると破綻する。原因は、以前は曲全体に1つの大まかな説明しか与えていなかったことです。
「切ないフォーク」という一言。モデルは全体の雰囲気しか分からず、47秒目に何が起こるべきかも知らない。
- グローバル情報:スタイル、BPM、調性、感情の流れ
- ボーカル詳細:声色、歌い方、ハーモニー
- 編曲:どの楽器がどのセクションで入り、退くか
公式デモでは1曲の仕様書が700語を超える。
2つのモデルが役割分担:一方は全体を記憶、もう一方は1フレームを処理
音声を毎秒25フレームに分割し、各フレームを8層のコードブックにエンコード。第1層が骨格を、残り7層が音色の詳細を担当。これらのフレームを2つの異なるサイズのモデルが順次処理します。
圧縮をスキップすることで、息継ぎとスライドが残る
音質を左右するのは最終段階ですが、最も圧縮の影響を受けやすい部分でもあります。
言語モデルが圧縮されたコードワードを出力し、デコーダーがそれに従って音声を再構成。この圧縮段階で、息継ぎ、スライド、弦の余韻が失われます。
推論時にそのデコーダーをロードしません。2つのモデルが算出した生の情報を、24億パラメータのフローマッチングと1.23億パラメータのFlow-VAEに直接送り、32kHzステレオとしてレンダリングします。
8GB VRAMで動作、ただしモデルカードに制限事項あり
ウェイトは公開され、VRAM要件も比較的低く、商用条件も寛容。今回の発表の境界は、MiniMax自身のモデルカードに記載されています。
✔ 8GB VRAMは層ごとの読み込みで実行可能(低速)、24GBあればフル性能
✔ 年間売上2000万米ドル未満なら商用利用に許諾不要。画面に名前を表示するだけ
✘ ストリーミング出力非対応、生成完了まで聴けない
✘ セクションマーカーとスタイル説明はガイドであり、厳密な保証ではない
✘ 今回の発表にはベンチマーク0件、比較実験0件
長くなると破綻する
どのパートで入るか退くか、明確に
- × ストリーミング出力非対応
- × マーカーはガイド、精度は保証なし
