OpenAI初の推論チップが示した実力：Jalapeñoが速度と効率を同時に高められる理由

初回結果はスループットとレイテンシの両方のハードルを同時にクリア

今回公開された初期結果は、主に次の三項目に分けられます。

この概要は、公開されたベンチマークの主要な結果をまとめたものに過ぎません。完全なコスト、量産安定性、大規模展開能力を証明するものではありません。以下では、これらの数値の読み方、その理由、そして現時点では下せない結論について、項目ごとに説明します。

テストは公開されているInferenceXフレームワークを使用し、入力8,000トークン、出力1,000トークンの条件下でシステムを比較しました。GPT-OSS 120BはGB200 STPと、MXFP4を使用するDeepSeek R1とKimi K2.5はGB300 STPと比較されました。STPの完全なプラットフォーム構成については、これ以上開示されていません。すべての電力効率指標はチップパッケージの定格電力に基づいて正規化されているため、これらの結果を他の精度、ソフトウェアスタック、サービス構成に直接外挿することはできません。

三組の概要データは、それぞれピーク時の電力あたりのスループット、単一ユーザー向けの最高デコード速度、そして同一のデコード速度における両システムの電力あたりのスループットを比較しています。緑色はJalapeño、青灰色は比較対象のシステムです。

三モデルのデータ表

• GPT-OSS 120B / GB200 STP: ピーク時電力あたりスループット 85,448 対 44,960、エンドツーエンドレイテンシ 1.03 対 1.80 秒、最低TBT 0.69 対 1.87 ミリ秒。
• DeepSeek R1 / GB300 STP: ピーク時電力あたりスループット 19,641 対 11,781、エンドツーエンドレイテンシ 1.65 対 5.99 秒、最低TBT 1.43 対 5.90 ミリ秒。
• Kimi K2.5 / GB300 STP: ピーク時電力あたりスループット 18,195 対 11,862、エンドツーエンドレイテンシ 1.56 対 5.31 秒、最低TBT 1.44 対 5.48 ミリ秒。

これら三つのグラフから、単一の「総合的な高速化率」を導き出すことはできません。ピーク時の電力あたりスループットはシステム容量を示し、tok/s/userは単一ユーザーが連続出力を確認する速度を示します。同一デコード速度でのスループットは、同じインタラクティブ体験を維持しながら、システムがどれだけ多くの作業を処理できるかを示します。

エンドツーエンドレイテンシも別の測定項目です。同じく入力8,000トークン、出力1,000トークンの条件下で、GPT-OSSは1.80秒から1.03秒に、DeepSeek R1は5.99秒から1.65秒に、Kimi K2.5は5.31秒から1.56秒に短縮されました。これら三組の単発の差を連続タスクに当てはめた場合、待ち時間はどのように累積するのでしょうか？

デフォルトの「プログラミングタスク」の例は、10の連続したステップで計算されます。これは上記の三組のエンドツーエンドの差を線形に合算したもので、「多段階での累積」という関係を説明するためのものです。実際のエージェントの各ステップでは、入力・出力の長さが異なり、並列実行される可能性もあり、ツール、ネットワーク、再試行のオーバーヘッドも含まれるため、これはエージェントタスクの実測値ではありません。

個々のモデルは、量子化形式、カーネルの成熟度、テスト構成の影響を受ける可能性があります。構造と規模が異なる三つのモデルすべてにおいて「単位電力あたりのスループットが高く、単一ユーザーの待ち時間が短い」という結果が出たことは、今回の結果におけるより安定したシグナルです。つまり、Jalapeñoはスループットとレイテンシの曲線全体を押し上げており、単一のピーク値でのみリードしているわけではありません。最先端の自社モデルを使ったテストでは「さらに優位性が拡大する」結果も出ていますが、モデル、構成、数値が公開されていないため、今回の三つの公開結果と同列に扱うことはできません。

53.7倍と104.3倍は特定のレイテンシでのスループット差のみを示す

推論システムには、ユーザー体験から切り離された「最高速度」というものはありません。並行処理を増やせばシステム全体で毎秒処理できるトークンは増えますが、各ユーザーの待ち時間は長くなることがよくあります。逆に、並行処理を減らせばTBTは短くなりますが、チップの容量を無駄にする可能性があります。異なる並行処理レベルでのスループットとレイテンシを曲線で表した場合、一方を犠牲にせずには改善できない点がParetoフロンティアを構成します。

これら四種類の数値は、それぞれ四つの質問に答えます。ピーク時のmixed TPS/kWは、テスト実行期間中に単位定格電力あたりで達成できる最高のシステムレベル混合トークンスループットを示します。エンドツーエンドレイテンシは、固定リクエストが開始から終了までにかかる時間を示します。最低TBTは、単一ユーザーが次のトークンを確認するまでの最短時間を示します。「比較対象システムの最良TBT時のスループット」は、両システムを同じインタラクション速度に固定し、どちらがより多くの作業を処理できるかを比較します。mixed TPS/kWとtok/s/userは同じ指標ではありません。前者はシステムレベルの混合スループットを測定し、後者は単一ユーザーのデコード速度を測定するため、直接比較することはできません。

104.3倍は四番目のスライスから来ています。GB300でDeepSeek R1を実行した場合、最良TBTは5.90ミリ秒でした。この同じインタラクション速度において、Jalapeñoは12,258 mixed TPS/kWを達成し、GB300は118でした。両者を割ると104.3になります。GPT-OSSの53.7倍とKimiの56.1倍も同じ読み方です。これらの数値は、Jalapeñoの曲線が特定のレイテンシ位置で大きくリードしていることを示していますが、「モデル全体が104.3倍高速」と解釈することはできません。

電力の基準も数値に沿って解釈する必要があります。電力あたりの指標は、Jalapeñoの700W定格電力、GB200の1,200W、GB300の1,400Wで正規化されています。Jalapeñoのテスト中の持続消費電力は550Wを超えません。これにより、単なるベアスループットを報告するよりも比較がより完全になりますが、これはあくまでチップパッケージの電力であり、ラック全体、ネットワーク、冷却、データセンターの総消費電力を示すものではありません。

モデル状態の移動を減らし、prefill、decode、通信待ちをまとめて削減

大規模言語モデルの推論には、少なくとも三つの異なるボトルネックが存在します。prefillは入力全体を一度に処理するため、通常は計算能力に制限されます。decodeは毎回少量の新しいトークンしか生成しませんが、モデルの重みとKVキャッシュを繰り返し読み取る必要があるため、通常はメモリ帯域幅に制限されます。モデルを複数のチップにまたがって実行する場合、通信によって待ち時間が発生します。

データが計算ユニット、異なるレベルのメモリ、ネットワーク間を移動するとき、新しいトークンは生成されませんが、時間とエネルギーを消費します。Jalapeñoのアプローチは、言語モデルのワークロードからシステムを逆算して設計することです。チップ、メモリ、ネットワーク、ソフトウェア、ラックを一体として設計し、モデル状態をどこに置くかを明確にし、KVキャッシュなどの状態を、次にそれを使用する計算のできるだけ近くに配置します。

このメカニズムの連鎖は非常に直接的です。状態の移動が減れば、計算ユニットの待ち時間が減り、待ち時間が減ればレイテンシが短縮され、同じ時間でより多くのリクエストを処理できるようになればスループットが向上し、メモリとネットワークの転送が減れば消費電力も削減されます。OpenAIが強調する大規模な接続ドメインも、この目標に貢献します。モデルを複数のチップに拡張する場合、ネットワーク自体が推論マシンの一部となります。

したがって、「フルスタック」は単なる一般的なシステムスローガンではありません。これは具体的な判断を指し示しています。つまり、Jalapeñoの優位性は、計算、メモリ、相互接続、プログラミングモデル、サービスソフトウェアの連携によるものであり、単にデータ移動の削減によるものではなく、特定の算術ユニットの高速化だけに起因するものでもありません。OpenAIはこれを、バランスが取れ、リソースを再配分できるアクセラレータと表現しています。prefillとdecodeの両方を処理し、モデルアーキテクチャや二段階の負荷比率の変化に応じて調整できます。

AIはチップ設計だけでなく、新しいモデルの実装にも使われた

Jalapeñoには、しばしば混同される結果がもう一つあります。AIはチップ開発とチッププログラミングの両方に関与していますが、三つの数字はそれぞれ異なる段階に属しています。

第一に、初代チップは設計開始からテープアウトまで9ヶ月かかりました。AIは設計、測定、検証のサイクルに使用され、チームがソリューションを迅速に探索し、問題を発見し、チップの算術回路を最適化し、所定のスケジュール内でより多くの計算性能を組み込むのに役立ちました。テープアウトは設計データが製造工程に引き渡されたことを示すだけで、量産や生産資格の検証が完了したことを意味するものではありません。

第二に、Jalapeñoには明確で予測可能なプログラミング目標があります。エンジニアはローカルテンソル、明示的な通信、予測可能な同期を使用してタスクを記述し、AIがシステム内でのタスクのマッピング、配置、スケジューリング、連携を最適化します。CodexとGPT-Astraの組み合わせにより、当初計画されていなかった三つのオープンウェイトモデルを二ヶ月で高性能化しました。これはソフトウェアスタックがモデルの変化に比較的迅速に対応できることを示していますが、新しいモデルファミリーごとに新しいカーネルとモデル固有の最適化が依然として必要であり、「任意のモデルが二ヶ月で自動的に適応する」というわけではありません。

第三に、GPT-OSSの一部のattentionモジュールとMoEモジュールにおいて、AIが生成した実装は人間の専門家による実装よりも1.5〜1.8倍高速でした。ここでの比較対象は選択されたモジュールであり、GPT-OSSモデル全体や、NVIDIAに対するJalapeñoのシステム全体の性能ではありません。

今後、このフィードバックループの速度を追跡することができます。実際のモデルがボトルネックを露呈させ、AIがカーネルの配置とスケジューリングの探索を支援し、測定結果が次のラウンドのハードウェアとソフトウェアの設計に入力されます。自社チップを持つことで、OpenAIは製品のワークロードを次の設計ラウンドにより直接的にフィードバックできます。

Jalapeñoはまず自社の推論パスを確立、量産規模と完全なコストは検証中

OpenAIにとって、Jalapeñoの戦略的価値は、まず自社主導の推論基盤が一つ増えることです。同社は自社のモデルとエージェントのワークロードに合わせて、メモリ、ネットワーク、配信ソフトウェアを設計できます。供給面では調達の選択肢が増え、単一の供給経路への依存を下げられる可能性がありますが、調達規模や価格交渉への効果はまだ開示されていません。OpenAIは今後もNVIDIAや他社のアクセラレータを広く導入するため、現時点では「専用の供給選択肢を加えた」と表現するのが正確であり、「NVIDIAを置き換える」とは言えません。

サービスモードは三段階に分けられます。Jalapeñoの目標は、ultra-fastモードで従来のfastモードの効率を達成し、fastモードで従来のbatchedモードの効率を達成し、同時にbatchedモードの効率をさらに向上させることです。これは、速度と効率の選択可能な範囲全体が前方に移動したことを示しており、別の独立した高速化率として解釈すべきではありません。

関連記事Codex 責任者「リセットの神」Tibo 氏インタビュー：Codex はまだ過渡的な形、本当の競争は単一モデルからシステム全体へCodex責任者のTibo氏が、モデルアップグレードよりも重要な路線を明かしました。Skill、記憶、子エージェント、ツール、算力の管理をシステム内部に取り込み、同じAIが一人ひとりに能動的に適応する未来です。→

電力あたりのスループットの向上は、トークンあたりの総コストの同じ割合での削減と直接的に同等ではありません。完全なTCOには、チップとラックの価格、利用率、相互接続、メモリ、冷却、運用、歩留まり、ソフトウェア開発、減価償却も含まれます。InferenceXの公開された方法論により、スループット、レイテンシ、消費電力の監査が容易になります。経済性を評価するには、チップ価格、利用率、生産データがまだ不足しています。

現時点で確認できるのは、三つの公開モデルで初期の測定結果が得られており、ベンチマーク名、一部のテスト条件、集計結果が公開され、計算方法を検証できることです。ただし、Jalapeñoチップ、完全な実行環境、完全なテスト結果はまだ公開されておらず、今回の結果は第三者によって独立に再現することはできません。計画されている項目には、2026年末までにOpenAIの自社計算インフラへのJalapeñoの導入を開始すること、ソフトウェアスタックを継続的に成熟させること、Gen2とGen3を推進することが含まれます。今回の証拠によってまだ証明されていないのは、大規模生産資格、長期的な可用性、実際の製品トラフィック下での利用率、完全なTCO、そしてNVIDIAの代替という結論を裏付けるのに十分な供給規模です。

Jalapeñoは「OpenAIが動作する推論チップを作れるか」というハードルを越えました。次のハードルはさらに難しく、商業的にも重要です。それは、継続的な生産、実際のトラフィック、完全なコストの中で、公開ベンチマークの曲線上の優位性を、安定したユーザー体験と単位経済性に変えられるかどうかです。