AI惊叹号 - GPU 租金涨了 56%，为什么 token 反而更便宜

两组数字，方向相反

先看第一组。Nebius 从 10 月 1 日起上调按需价：H100 从 3.85 涨到 4.50 美元每 GPU·小时，涨幅 17%；H200 从 4.50 到 5.40，涨 20%；B200 从 7.15 到 8.50，涨 19%；B300 从 7.85 到 9.50，涨 21%。

这已经是年内第二次。

以年初 6.10 美元的起价算，B300 到现在累计涨了约 56%。CPU 也没躲过，从 0.012 涨到 0.015 美元每 vCPU·小时，涨 25%；内存从 0.0032 涨到 0.0045 美元每 GiB·小时，涨 41%。

英伟达自己的口径也印证了这件事。CFO 说 Hopper 的租赁价年内累计涨了 20%，A100 的云上价格涨了近 15%。黄仁勋在 10 月 16 日的说法更直接：客户对 AI 芯片的订购需求持续超过供应，新订单"几乎每周、甚至每天"都在进来。

再看第二组数字。

DeepSeek V4.1 Flash 的价格是输入 0.3 美元、输出 1.2 美元每百万 token。智谱 GLM-5.3-Flash 是 0.06 / 0.2 美元。Gemini 4 Argon 是 2 / 10 美元。GPT-6.1 Sol 是 2 / 10 美元，比 GPT-5.6 Sol 的促销价还降了 50%。

于是一幅很奇怪的图景：机器越来越贵，字越来越便宜。

很多人看到这里会得出一个结论：厂商在烧钱补贴，这个价格撑不住。

这个结论只对了一半。补贴确实存在，但更大的原因是另一件事——这两个价格之间隔着一个叫"吞吐"的变量。而这个变量在过去一年里涨得比硬件价格快得多。

涨的是小时，跌的是字：两个价格不在同一坐标

先把两个价格的性质分清楚。

GPU 租赁卖的是时间片。你租一张 B300 一小时，不管你用它跑一个请求还是跑一万个，价格都是 9.50 美元。这跟租一间厂房是一个逻辑——按面积、按天算，不按你在里面生产了多少东西算。

token 卖的是产出。用户付的是"你帮我生成了多少个字"，而不是"你占用了我多少机器时间"。

所以这两个价格之间不是因果关系，是除法关系。分子的确在涨，但如果分母涨得更快，结果就是往下走。

分母是什么？是一张卡每小时能吐出多少 token。这个数字在一年里被三件事同时推高了：更稀疏的模型架构、更成熟的批处理调度、以及缓存复用。三件事叠起来，涨了一个数量级不止。

还有一层容易混的地方：市面上说的"算力紧张"，紧张的是特定型号、特定时段、特定交付周期，不是所有算力。B300 现货紧、H100 二手转租也涨，但同时大量 A100 集群在闲置。台积电那边给的信号也很清楚：Q3 营收 1.494 万亿新台币，同比涨 50.9%，毛利率 66.4%，HPC 占了 68%，而管理层说的是 CoWoS"每年大幅扩产仍供不应求"。

供不应求的是先进封装和最新一代卡。而跑推理的，很多还在上一代甚至上两代硬件上。这两件事经常被混成一句"算力不够用"。

每百万 token 的真实成本，公式长什么样

想自己算清楚，只需要一个公式。

同一张卡，同一个时租，成本能差 40 倍。

这就是为什么讨论"算力贵不贵"时只报时租是没有意义的。9.50 美元一小时听起来贵，但如果这一小时能产出 7200 万 token，摊到每百万 token 只有 0.13 美元。反过来，一张便宜得多的卡如果跑得很空，每 token 成本可能比它还高。

这里必须说明一件事：上面的吞吐数字是假设值，不是实测。真实吞吐取决于模型大小、批大小、输入输出比例、序列长度。我列三档，是为了让你看到量级关系，不是为了给某个具体模型下结论。

但有公开的数字可以参照。vLLM 在 10 月 15 日为 Nemotron 3.5 Super VL 做了 Day-0 支持，这个模型是 120B 总参、12B 激活的稀疏 MoE，官方给出的 Baseten 端点是 >600 TPS。一个 120B 级别的模型能跑到这个量级，而它是靠"只激活 10% 参数"实现的——这就接到了下一个问题。

MoE 省下的钱，来自没被激活的那部分参数

稀疏 MoE 是过去两年最有效的一次成本手术。它的原理不复杂：把一个巨大的模型切成很多个"专家"，每次推理只调用其中一小部分。

看几个真实参数就懂了。

Step 5 Preview 总参 600B，每 token 只激活 27B，激活率 4.5%。腾讯 Hy4 是 770B 总参、49B 激活，6.4%。小米 MiMo-V2.6-Flash 是 309B 总参、15B 激活，4.9%。

这件事对成本的意义是直接的：算力花在"激活的参数"上，不是花在"拥有的参数"上。一个 600B 的模型，如果每 token 只算 27B 的矩阵乘法，它的计算量接近一个 30B 密集模型，但它拥有 600B 的知识容量。

这就是"参数在涨、单价在跌"能同时成立的技术底层。

还有一个更硬的证据来自单位经济。阶跃星辰公布的数据里，Step 5 Preview 在 Artificial Analysis 智能指数拿到 44 分、居开源模型前三，而单任务成本是 Claude Opus 5 的 1/8。八分之一的成本，同时还进了前三，这靠的不是补贴，是架构。

稀疏不是省钱技巧，是这一代模型的基本设计。贵的那部分参数量，本来就不该在每次推理时都动。

但 MoE 也有它的账单，而且这张账单经常被忽略：显存。

600B 总参的模型，就算每 token 只激活 27B，所有权重还是得装在显存里（或者放在能被快速换入的地方）。这就是为什么 HBM 越来越贵、越来越紧。三星 HBM4 的报价被报到 4—5 美元每 Gb，是 HBM3E 的三倍以上。省下来的算力，一部分变成了显存的成本。

所以准确的说法是：MoE 把成本从"计算"挪到了"存储"。而显存的价格走势，没有计算那么友好。

缓存命中为什么能把输入打到 1 折

第三个杠杆是缓存，也是最容易被低估的一个。

看 GPT-6.1 Sol 的定价：输入 2 美元每百万 token，缓存输入 0.10 美元。整整 20 倍差，也就是省 95%。

这不是打折，这是成本结构变了。当你把同一段长文本反复送给模型——系统提示词、工具定义、知识库片段、代码仓库上下文——模型对这些 token 算出来的中间状态是可以复用的。不用重算，就不用重新付算力的钱。

这个机制在 Agent 场景下几乎是决定性的。一个编程 Agent 每次调用，都要带上几千到几万 token 的系统提示和工具描述，真正变化的用户输入可能只有几百 token。没有缓存，你 95% 的钱花在重复计算同一段不变的前缀上。

DeepSeek 能把输入价压到 0.3 美元，缓存是重要一环。它的定价表里，缓存命中的输入价格比未命中低一个档次。

缓存还改变了产品设计。现在做 Agent 的团队会把"稳定不变的部分"往前放、"每轮变化的部分"往后放，就是为了提高前缀命中率。这个排序习惯在一年前还不是常识。

同一张卡，30% 和 80% 的利用率差多少钱

前两个杠杆是模型和框架给的，第三个是运营给的：利用率。

回到那个公式。吞吐不是一个固定值，它随批大小变化。一张卡跑一个请求，可能只有几百 token/秒；同一张卡用连续批处理同时跑几十个请求，有效吞吐能到几万 token/秒。

这就是云厂商和小团队最大的成本差距来源。同一批 B300，在大厂手里能跑到七八成的利用率，在一个流量波动大的小团队手里可能只有两三成。硬件价格一样，每 token 成本差三倍。

中国信通院给的一组数字说明了这个市场的紧绷程度：2026 年一季度国内 AI 算力需求同比增长 417%，而有效供给只增长 128%。算力租赁市场规模 680 亿元，同比增长 62%，全年预计超过 2600 亿元。

注意"有效供给"这个词。它排除掉的正是那些利用率低、跑不出吞吐的算力。同一批硬件，在不同团队手里能提供的"有效供给"完全不同。

这也解释了一个现象：GPU 云厂商在涨价，同时又有大量算力在闲置。价格信号不是均匀传导的，它只在"能跑出吞吐"的那部分供给上生效。

这个剪刀差还能撑多久

三股力量——稀疏化、缓存、利用率——把每 token 成本压了下来。但每一股都有天花板。

稀疏化有天花板。 激活率从 100% 降到 10% 是一次大跳跃，从 10% 降到 5% 还有空间，再往下就难了。激活太少，模型的表达能力会掉。Step 5 的 4.5% 已经是很激进的位置。

缓存有天花板。 能缓存的是不变的前缀，变化的用户输入没法缓存。随着 Agent 越来越依赖实时状态（网页、文件、工具返回），可变部分占比会上升，缓存的边际收益会下降。

利用率有天花板。 受流量波动约束。你可以把夜间闲置的卡拿去做批处理，但离线任务和在线请求的延迟要求完全不同，能混跑的比例有限。

与此同时，硬件这一端还在涨。台积电 Q3 毛利率 66.4%，HPC 占营收 68%，CoWoS 明确供不应求；英伟达说订单按天进来；Nebius 一年涨两次价。这些都不是短期现象。

所以我的判断是：token 单价的下降速度，会在未来 12 个月里明显放缓。 不是涨回去，是降得没那么快了。

已经有信号。GPT-6.1 Sol 的 2/10 美元被明确描述为"较促销价下降 50%"——这说明此前有一个促销价，现在只是把促销价变成了常态价，而不是继续往下探。DeepSeek V4.1 Flash 的 0.3 / 1.2 美元也停在了这个位置，同时在 10 月 17 日把重心转向了压缩输出长度和运行时间来降本，而不是降价。

从"降价抢份额"转向"提效降成本"，是一个市场从扩张期往成熟期走的典型动作。

一把尺子：你的业务该租还是该自建

最后落到一个具体决策。给定自己的业务，该租 API、租 GPU、还是买卡自建？

用刚才的公式，把三条路摊到同一张表上：

判断的临界点在哪？算两个数就够了。

第一个数：你每天消耗多少 token。 如果一天不到几千万，租 GPU 基本不划算——你的利用率跑不起来，摊下来的每 token 成本会高于 API 报价。

第二个数：你的负载有多稳。 如果一天里峰谷差超过五倍，自建就是灾难。GPU 不会因为你晚上没人用就停止折旧。

两个数都过了，再考虑自建。而且要考虑的不只是钱：合规要求数据不出域这条，往往会直接把选项压到只剩自建或私有化部署。Cohere 在 Embed 5 上专门强调支持 vLLM 私有化部署，就是这个需求在推动产品设计。

还有一个中间选项经常被忽略：混合。把稳定的基础负载放在自建或长约上，把峰值溢出打到按需 API 上。这样既拿到了长约的低价，又不用为峰值买长期资产。代价是工程复杂度——要做统一的路由和降级。

便宜的不是算力，是浪费被消掉了

回到标题那个问题。

GPU 租金涨了 56%，token 却更便宜了。这两件事之所以能同时发生，是因为它们衡量的不是同一件事：前者是时间片的价格，后者是产出的价格。中间隔着一个吞吐，而吞吐在过去一年被稀疏化、缓存、批处理三件事推高了一个数量级。

但这不等于"算力变便宜了"。硬件在涨，显存更贵，CoWoS 供不应求，订单按天进来。真正被消掉的，是过去那些被浪费掉的部分——每次推理都重算全部参数、每次都重算不变的前缀、每张卡只跑到三成利用率。

浪费消完了，就该轮到硬件价格说话了。

所以那个便宜的时代不是无限的。它是三股效率红利叠在一起形成的一段窗口期。窗口什么时候关上，看的不是模型还能不能更稀疏，是 CoWoS 什么时候不再缺货。

对写代码的人来说，有一件事现在就该做：把自己的 token 账单按"缓存命中 / 未命中"、"输入 / 输出"、"推理 / 重试"拆一遍。拆完你会发现，省钱的余地往往不在换模型上，在自己代码的调用方式里。