OpenAI 第一颗推理芯片交卷：Jalapeño 为什么能同时提高速度与能效

第一批结果同时跨过了吞吐和延迟两道门槛

首批公开结果可以先看成三项：

这张总览只汇总公开 benchmark 的主要结果；它没有证明完整成本、量产稳定性或大规模部署能力。下面逐项解释这些数字怎么读、为什么能做到，以及哪些结论现在还不能下。

测试使用公开的 InferenceX 框架，在标称 8,000 token 输入、1,000 token 输出的条件下比较系统。GPT-OSS 120B 对照 GB200 STP；使用 MXFP4 的 DeepSeek R1 和 Kimi K2.5 对照 GB300 STP。STP 的完整平台构成没有进一步披露。所有每瓦指标按芯片封装额定功率归一化，因此这些结果不能直接外推到其他精度、软件栈或服务配置。

三组总览数据分别比较峰值每瓦吞吐、单用户最高解码速度，以及两套系统在相同解码速度下的每瓦吞吐。绿色是 Jalapeño，蓝灰色是对照系统。

三模型数据底表

• GPT-OSS 120B / GB200 STP：峰值每瓦吞吐 85,448 对 44,960；端到端延迟 1.03 对 1.80 秒；最低 TBT 0.69 对 1.87 毫秒。
• DeepSeek R1 / GB300 STP：峰值每瓦吞吐 19,641 对 11,781；端到端延迟 1.65 对 5.99 秒；最低 TBT 1.43 对 5.90 毫秒。
• Kimi K2.5 / GB300 STP：峰值每瓦吞吐 18,195 对 11,862；端到端延迟 1.56 对 5.31 秒；最低 TBT 1.44 对 5.48 毫秒。

三张图不能合成一个“总加速比”。峰值每瓦吞吐回答系统容量，tok/s/user 回答单个用户看到连续输出的速度，等解码速度吞吐回答相同交互体验下系统还能承载多少工作。

端到端延迟是另一项测量：同样是标称 8,000 token 输入、1,000 token 输出，GPT-OSS 从 1.80 秒降到 1.03 秒，DeepSeek R1 从 5.99 秒降到 1.65 秒，Kimi K2.5 从 5.31 秒降到 1.56 秒。把这三组单次差值放进连续任务，等待会怎样累积？

默认的“编程任务”示例按 10 个顺序步骤计算。它只把上述三组端到端差值线性相加，用来说明“多步累积”这个关系；真实 Agent 每一步的输入输出长度并不相同，还可能并行执行，并包含工具、网络和重试开销，因此这里不是 Agent 任务实测。

单个模型可能受量化格式、kernel 成熟度或测试配置影响。三个结构和规模不同的模型都出现“单位功率吞吐更高、单用户等待更短”，才是这批结果里更稳定的信号：Jalapeño 推动了整条吞吐—延迟曲线，不只在一个峰值上领先。前沿自有模型测试还有“优势进一步扩大”的结果，但没有模型、配置和数字，不能与三组公开结果等量看待。

53.7 倍和 104.3 倍只对应特定延迟下的吞吐差

推理系统没有一个脱离用户体验的“最高速度”。提高并发可以让整套系统每秒处理更多 token，却常常让每个用户等得更久。降低并发可以缩短 TBT，却可能浪费芯片容量。把不同并发下的吞吐和延迟画成曲线，无法在不牺牲另一项的前提下继续改善的那些点，构成 Pareto 前沿。

这四类数字分别回答四个问题：峰值 mixed TPS/kW 看测试运行区间内，单位额定功率能达到的最高系统级混合 token 吞吐；端到端延迟看固定请求从开始到结束要多久；最低 TBT 看单个用户最快多久看到下一个 token；“对照系统最佳 TBT 处的吞吐”把两套系统锁在相同交互速度，再比较谁还能承载更多工作。mixed TPS/kW 和 tok/s/user 不是同一个指标，前者衡量系统级混合吞吐，后者衡量单用户解码速度，不能直接互比。

104.3 倍来自第四种切片。GB300 跑 DeepSeek R1 时，最佳 TBT 是 5.90 毫秒；在这个相同交互速度上，Jalapeño 达到 12,258 mixed TPS/kW，GB300 是 118。两者相除得到 104.3。GPT-OSS 的 53.7 倍和 Kimi 的 56.1 倍也是同一种读法。这些数字说明 Jalapeño 的曲线在特定延迟位置领先很远，不能改写成“模型整体快 104.3 倍”。

功率口径也要贴着数字读。每瓦指标按 Jalapeño 的 700W 额定功率、GB200 的 1,200W 和 GB300 的 1,400W 归一化；Jalapeño 测试中的持续功率不高于 550W。这让比较比只报裸吞吐更完整，但它仍是芯片封装功率，不等于整个机架、网络、冷却和数据中心的总耗电。

少搬运模型状态，prefill、decode 和通信等待一起降下来

大模型推理至少包含三种不同瓶颈。prefill 一次处理整段输入，通常更受计算能力限制；decode 每次只生成少量新 token，却要反复读取模型权重和 KV cache，通常更受内存带宽限制；跨芯片运行大模型时，通信又会制造等待。

数据在计算单元、不同层级内存和网络之间搬动时，本身不产生新 token，却会消耗时间和能量。Jalapeño 的做法是从语言模型负载反推系统：芯片、内存、网络、软件和机架一起设计，明确模型状态放在哪里，让 KV cache 等状态尽量靠近接下来要使用它的计算。

这条机制链很直接：状态少搬一次，计算单元少等一次；等待减少，延迟下降；同一时间能处理更多请求，吞吐上升；内存和网络少传输一次，能耗也随之下降。OpenAI 强调的大连接域同样服务这个目标。模型跨芯片扩展时，网络本身就是推理机器的一部分。

因此，“full-stack”不是一句泛化的系统口号。它指向一个具体判断：Jalapeño 的优势来自计算、内存、互连、编程模型和服务软件协同，不只来自减少数据移动，也不能只归因于某个算术单元更快。OpenAI 将它描述为一种平衡、可重新分配资源的加速器：既处理 prefill，也处理 decode，并能随模型架构以及两阶段负载比例变化而调整。

AI 参与设计芯片，也参与把新模型编进芯片

Jalapeño 还有一个容易被混写的结果：AI 同时进入了芯片开发和芯片编程，但三个数字分别属于不同阶段。

第一，首代芯片从设计开始到 tapeout 用了 9 个月。AI 被用于设计、测量和验证循环，帮助团队更快搜索方案、发现问题和优化芯片算术电路，在既定进度内放入更多计算性能。Tapeout 只表示设计数据交给制造，不等于量产和生产资格验证已经完成。

第二，Jalapeño 有明确、可预测的编程目标。工程师用局部张量、显式通信和可预测同步描述任务，AI 再优化任务在系统中的映射、放置、调度与协同。Codex 配合 GPT-Astra，在两个月内把三个原计划之外的开放权重模型带到高性能。这说明软件栈可以较快跟上模型变化，但每个新模型家族仍需要新 kernel 和模型专属优化，并不是“任意模型两个月自动适配”。

第三，在 GPT-OSS 的部分 attention 和 MoE 模块上，AI 生成的实现比人类专家实现快 1.5–1.8 倍。这里的比较对象是选定模块，不是 GPT-OSS 整个模型，更不是 Jalapeño 相对 NVIDIA 的整机性能。

后续可以追踪这条反馈链的速度：真实模型暴露瓶颈，AI 帮助搜索 kernel 放置与调度，测量结果再进入下一轮硬件和软件设计。自有芯片让 OpenAI 能把产品负载更直接地反馈到下一轮设计里。

Jalapeño 先建立自有算力路径，生产规模和完整成本还在验证

对 OpenAI，Jalapeño 的战略价值首先是多了一条第一方推理路径。公司可以围绕自己的模型和 Agent 负载决定内存、网络与服务软件。从供应结构看，这可能增加采购选择并降低对单一路径的依赖，但采购规模和议价效果尚未披露。OpenAI 仍会广泛部署 NVIDIA 和其他合作伙伴的加速器，所以现阶段更准确的描述是“增加一种专用供给”，不是“替代 NVIDIA”。

服务模式可以分成三级：Jalapeño 的目标是在 ultra-fast 模式获得过去 fast 模式才有的效率，在 fast 模式获得过去 batched 模式才有的效率，同时继续提高 batched 模式的效率。这说明速度与效率的整条可选区间向前移动，不应读成另一组独立加速比。

继续阅读Codex 负责人“重置之神” Tibo 访谈：Codex 仍然只是过渡形态 真正的竞争正在从单个模型扩展到整套系统Codex 负责人 Tibo 讲清了一条比模型升级更重要的路线：把 Skill、记忆、子 Agent、工具和算力的管理收回系统内部，让同一个 AI 主动适应每个人。→

每瓦吞吐提高也不能直接等同于每 token 总成本下降相同比例。完整 TCO 还包含芯片与机架价格、利用率、互连、内存、冷却、运维、良率、软件开发和折旧。InferenceX 的公开方法让吞吐、延迟和能耗更容易审计；要回答经济性，还缺少芯片价格、利用率和生产数据。

目前可以确认的是，三个公开模型上已有首批测量，benchmark 名称、部分测试条件和汇总结果均已公开，可以核对计算口径；但 Jalapeño 芯片、完整运行环境和完整测试结果尚未开放，这组成绩还不能由第三方独立复现。计划中的部分包括在 2026 年底前开始把 Jalapeño 部署到 OpenAI 自有算力基础设施、继续成熟软件栈，以及推进 Gen2 和 Gen3。尚未被这批证据证明的，是大规模生产资格、长期可用率、真实产品流量下的利用率、完整 TCO，以及足以支撑 NVIDIA 替代结论的供应规模。

Jalapeño 已经跨过“OpenAI 能不能做出一颗可工作的推理芯片”这道门槛。下一道门槛更难，也更有商业意义：它能否在持续生产、真实流量和完整成本上，把公开基准里的曲线优势变成稳定的用户体验与单位经济性。