今、何ができるのか

パラメータ数やベンチマークはひとまず置いておこう。公式が示した「コードベース移行」のデモの方が、実際の能力を直感的に把握しやすい。あるプラグイン全体を新しいSDKに移植し、しかもきちんと動く状態にするというものだ。

公式はほかにも、コードエンジニアリング、Agentとリサーチ、コンテンツ生成といった複数のデモシナリオを示している。この種のタスクがモデルに求めるのは、超長文の入力を扱えることと、長い処理チェーンの中で一貫性を保つことの両方であり、これはまさにアーキテクチャ上重点的に磨き込まれた2つの方向性に対応している。以下の節で詳しく見ていく。

ベンチマークは実際どの水準か

公式はLongCat-2.0と複数のトップクローズドモデルを、統一された評価フレームワークの中で比較している。強みと弱みがそれぞれどこにあるかを把握する方が、単一の数値を見るより有用だ。

LongCat-2.0とGemini 3.1 Pro / GPT-5.5 / Claude Opusシリーズのベンチマーク比較。出典：LongCat公式ブログ / The Decoder

読み解きは単純だ。強みはコードとAgentにあり、SWE-bench Pro（59.5）とSWE-bench Multilingual（77.3）ではGemini 3.1 ProとGPT-5.5を上回るが、Claude Opus 4.7・4.8には及ばない。基礎能力には明確な差があり、IFEval（90.0）、IMO-AnswerBench（81.8）、GPQA-diamond（88.9）といった項目ではGeminiとGPT-5.5に引き離されている。全面的に逆転したわけではなく、自らが重点的に磨き込んだ「コード＋Agent」という領域で欧米トップモデルに追いつき、部分的に上回っただけで、純粋な知識と数学的推論ではまだ後れを取っている。また主流のagentフレームワークであるClaude Code、OpenClaw、Hermesにも深く適合している。

長文処理はなぜ詰まるのか

Agentアプリケーションは、コードベース全体、文書全体といった超長文の入力を一気に読み込む必要性がますます高まっている。しかし長文を処理する際、モデルには避けて通れないコストの問題がある。

標準的な方法は、すべての単語を他のすべての単語と1対1で照合すること（アテンション）であり、文が長くなると照合回数は二乗のペースで急増する。スパースアテンションの発想は、全部を照合するのではなく、まず「インデクサー」を使って最も関連性の高いごく一部の単語を選び出し、そこに絞って重点的に計算するというものだ。

DeepSeekのスパースアテンション（DSA）は、きめ細かいスパース化でこの問題を解決しようとしたが、美団の実測によれば、DSA内の「Lightning Indexer（ライトニングインデクサー）」自体が依然としてボトルネックになっていることが分かった。その出力は不連続（ハードウェアに不親切）であり、しかもスコアリングのコストは依然として二乗のオーダーである。言い換えれば、目次を選び出す速度が十分ではなく、目次をめくる作業自体に手間がかかっているということだ。これこそ、次節のコアイノベーションが取り組む対象である。

LongCatはどうやって長文脈処理を高速化したか

LongCatスパースアテンション（LSA）は、あの詰まっていたインデクサーに対して、3つの直交する効率改善を施した。直交するとは、三者が互いに干渉せず、それぞれ個別にオン・オフできるという意味である。

この仕組みはさらに、3ステップのMTP（マルチtoken予測）モジュールにも拡張され、投機的デコーディング（一度に複数の単語をまとめて予測し、当たれば時間を節約できる）の高速化に使われている。以下は公式が示したLSAの設計概要図である。

LongCatスパースアテンション（LSA）設計概要：ストリーミング認識インデックス／クロスレイヤーインデックス／階層型インデックスという3つの直交する改造。出典：LongCat公式ブログ

パラメータをわずか10%未満増やすだけで、語彙空間を約100倍に拡大

2つ目のイノベーションはN-gram Embeddingと呼ばれる。その発想を一言でまとめると、新たに増やすパラメータをさらに多くのエキスパートに積み増すのではなく、「よく使われる語句の組み合わせ」を専門に記憶するために振り向けるというものだ。

LongCat-2.0はLongCat-Flash-Liteからこの設計を引き継ぎ、n-gramのサイズを5に設定して1350億個のN-gram Embeddingパラメータを組み込んだ。N-gram tokenの組み合わせによってembedding空間を約100倍に拡大し、より豊かな局所的文脈を捉えられるようにしている。重要なのは、これらのパラメータをどこに配分すべきかを決める2つのスケーリング原則である。

とはいえ多ければ多いほど良いわけでもない。実験では、N-gram Embeddingが総パラメータ予算の50%を超えると、エキスパートを積み増す方式に対する優位性が弱まることが分かった。そのためLongCat-2.0は、これを10%以下に厳格に抑え、十分な安全マージンを確保している。これがもたらす直接的なメリットは、推論時にパラメータをエキスパートからN-gram Embeddingへ移すことで、大バッチデコード時のメモリI/Oを削減し、生成を高速化できる点だ。

N-gram Embeddingアーキテクチャ概要：MoEと直交するスパース次元でパラメータを拡張する。出典：LongCat公式ブログ

国産チップの上でこれを安定して動かすことこそ、本当の難関だ

アルゴリズム面のイノベーションに加え、基盤となるエンジニアリングでも大量の適応作業が行われ、それによってこの仕組みがメモリ容量の小さい国産チップの上でも動作し、しかもトラブルを起こさないようになっている。公式も、成熟したNVIDIA GPUエコシステムに比べると、対応するソフトウェアコミュニティはまだそこまで成熟していないと認めている。

最大の制約はメモリ容量だ。彼らのアクセラレータは1枚あたりのメモリ容量がH800（80GB）よりも明らかに小さく、大規模運用においてメモリ容量が最大のボトルネックとなる。これへの対処は2つの方向に分かれる。並列方式をより細かくすることと、通信ドメインを大きくすることだ。

6D並列：N-gram Embedding専用の並列レーンを新設

スーパーノード（Superpod）：高帯域通信ドメインを数百デバイス規模に拡張

同規模・同環境下では、このスーパーノードだけで事前訓練スループットに約30%の追加効果をもたらす。さらにメモリ最適化（ZeRO-1、選択的な再計算、OOM感知型オフローディング、パディングtokenを「ゼロエキスパート」にルーティングする手法）と、大規模デプロイ向けのMuonオプティマイザを加えることで、システム全体の最適化は素朴な実装比で35%を超える訓練スループット向上を実現している。

信頼性：毎回同じ結果を計算できるようにし、ハードウェアの誤りも検出する

公式は強調している。事前訓練の全工程でロールバックは一切なく、回復不能なlossスパイクも発生しなかったと。彼らはこれを「代替ハードウェアプラットフォーム上で最先端規模の訓練ができる」ことの直接的な証拠と位置づけている。

訓練から実際に使えるようになるまでには、もう一関門ある

1.6兆パラメータで、しかも100万トークンの文脈長でサービス提供しなければならない。訓練が完了しただけでは不十分で、実際に使えるプロダクトとしてデプロイでき、なおかつ複数の能力を同時に備えている必要がある。

ネイティブ100万トークン長文脈訓練

長距離タスクを強化するため、訓練にLSAを導入し、数千億token規模の100万トークン文脈データで訓練を行った。拡張方式にはall-gatherベースのCP並列を採用し、CPを512以上まで拡張することでネイティブな100万トークン長の訓練を実現している。データはget-batchの段階で再シャッフルされ、バランス型のCP戦略でシャーディングすることで負荷分散を保っている。

推論サービス：質問を読む工程と答えを出力する工程を分けて最適化

ポストトレーニング：3組の「教師」から学び、1つのモデルへ融合する

MOPDマルチエキスパートポストトレーニングアーキテクチャ概要。出典：LongCat公式ブログ

この数字を覚えておこう

本稿全体の規模に関する数字をここに集約した。これらはLongCat-2.0の「何が特別なのか」を理解するための足がかりとなる。

最後にもう一つ、はっきり覚えておくべきことがある。公式は「導入・オープンソース化した」とLongCat-2.0を称し、ブログにはGitHub（github.com/meituan-longcat/LongCat-2.0）、HuggingFace、オンライン試用（longcat.chat）、APIドキュメントへのリンクを掲載している。しかし報道時点では、重みはまだ実際にダウンロードできる状態ではなく、第三者が独立してベンチマークを再現できるかどうかは今後の課題である。上記のスコアの大半は美団が自社構築した評価フレームワーク内での自己測定値であり、横並び比較の際には余地を残しておくべきだ。

2026年6月30日、美団傘下のLongCatチームがLongCat-2.0を発表・オープンソース化した。1.6兆パラメータの超大規模モデルである。最も特徴的なのはパラメータ量ではなく、それがどこで動いているかだ。

最も得意なのはコードとAgent（自分でツールを呼び出し、複数ステップに分けて作業できるAI）系のタスクだ。公式のあるデモでは、コードベース全体と移行ドキュメントを読み込んだ上で、あるプラグイン全体を書き直して新しい開発フレームワークに移植し、全機能を保持しつつ潜在していたバグをついでに見つけ出し、初回ビルドでコンパイルに成功した。ベンチマークでは、コード/AgentタスクでGemini 3.1 ProとGPT-5.5を上回るが、Claude Opus 4.7・4.8には及ばない。純粋な知識と数学的推論では依然としてトップモデルに後れを取っている。

では、より小さいメモリ容量の国産チップの上で、これほど大きなモデルをどうやって動かし、しかも高速にしたのか。鍵となるのは「長文処理」における一手だ。

モデルにコードベース全体のような超長文を一気に読み込ませるには、避けられないコストがある。標準的な方法ではすべての単語を他のすべての単語と1対1で照合する必要があり、文が長くなるほど照合回数は二乗のペースで急増する。LongCatのスパースアテンション（LSA）は発想を変え、まず粗くふるいにかけ、それから細かく読み込む。

同じ数十万字規模の大きなコードベースの中でバグを探す場合：標準的なやり方はすべての単語を他のすべての単語と照合するため、長くなるほど遅くなる。LSAはまず「インデクサー」で目次をめくるように関連する段落を粗くふるい分けてから精選し、さらに一度のインデックス計算を複数層で使い回すことで「目次をめくる」コストを薄め、長文でも高速に動作させている。

さらにセットになった2つ目の一手、N-gram Embeddingもある。パラメータをわずか10%未満増やすだけで、「語彙空間」を約100倍に拡大し、よく使われる連続した語句の組み合わせをまるごと「1枚のカード」として記憶させる。モデルは見た瞬間に認識でき、その都度つづり直す必要がない。

公式によれば、システム最適化後の訓練スループット（同じ時間内にどれだけの訓練量を処理できるか）は「素朴なやり方」より35%以上高い。「スループットが35%高い」と言われても抽象的だが、時間に換算すると実感が湧く。

以上の規模、高速化、ベンチマークの数字はすべて美団公式の発表、あるいは自社構築の評価フレームワーク内での自己測定によるものであり、第三者による独立した再現検証はまだ行われていない。