算力与硬件 · 一次讲清

国产算力全知道:1.6T 是怎么练出来的

LongCat-2.5 的发布稿只有一句话在讲算力。真正值得读的,是这句话背后那条链上还没被说清的部分。

2026 年 11 月 3 日 · AI惊叹号

引言:一句"全程国产算力",藏了七件事

11 月 2 日,美团龙猫发布 LongCat-2.5。总参数 1.6 万亿,每个 token 激活约 480 亿,原生多模态,面向长程智能体任务,训练全程由国产算力完成。

发布稿里,"国产算力"只占了半句话。但这半句话背后,至少有七件事需要拆开看:芯片是谁的、卡和卡之间怎么说话、视觉怎么进主干、长程 Agent 的能力从哪来、量化省下的钱从谁的账上出、宣传口径能不能核、以及一个 1.6T 的模型对一家做本地生活的公司到底意味着什么。

这篇不谈立场,只把这条链拆开。拆完你会发现,"全国产"不是一个开关,而是一串可以逐个追问的数字。

1.6T 参数只激活 480 亿,这个稀疏度在赌什么?

1.6 万亿参数,每次只叫醒 480 亿。激活比例大约 3%。这个数字第一次看会觉得夸张,放在 2026 年的 MoE 里却不算异类。

腾讯混元 Hy4 preview 是 770B 总参、49B 激活,比例约 6.4%。LongCat-2.5 把总参推到 1.6T,激活只比它多一点。方向很清楚:继续往总参上加,但尽量不动每次推理的算力。

这就是 MoE 的核心交易。总参数决定模型的容量,能装多少知识、多少模式;激活参数决定每个 token 要花多少 FLOPs、要读多少权重。前者影响显存,后者影响账单。把两者拆开,才有可能做到"能力像万亿,单价像百亿"。

代价也在这里。参数装进显存,是要付真金白银的。1.6T 权重按 FP8 算是 1.6TB,按 4bit 算是 0.8TB。一张 96GB 的卡,光装权重就要九张起步;换成 FP16,得三十多张。这不是"部署",这是"建一个小机房"。

另一笔代价是通信。MoE 每层要把 token 发给对应的专家,再把结果收回来。专家并行度越高,All-to-All 的通信量越大。所以稀疏度不是免费的:省下来的算力,一部分会以通信的形式还回去。

读这类模型时,记住一句就够:总参看显存,激活看账单,稀疏度看通信。三个数一起看,才不会被"1.6T"这个数字单独带走。

一句话答案:3% 的稀疏度是在用显存和通信,换推理单价。它不是免费的午餐,是把账单从"每次调用"挪到了"每次部署"。

五万卡全链路国产化,先撞墙的是芯片还是互联?

今年 6 月的 LongCat-2.0,美团给出的说法是"五万卡集群全链路国产化",第一次在国产算力上完成万亿参数模型的全流程训练与推理。LongCat-2.5 沿用了这条链路,并针对长上下文训练和推理做了优化。

很多人第一反应是:国产卡单卡算力差多少?这个问题的答案,其实没有想象中重要。

单卡的差距,可以用规模补。一张卡慢 30%,就多买 30% 的卡,只要电和机房跟得上。但互联的差距补不了。五万张卡训练一个 1.6T 的 MoE,瓶颈不在 FLOPS,在"卡等数据"的时间。

业内常用的办法是超节点:把几十到几百张卡用高速互联捆成一台"逻辑上的大机器",华为的 CloudMatrix 384 是公开案例。再往外,靠 RoCE 或自研网络把超节点串起来。差别不在峰值带宽,在尾延迟。训练时最怕的不是平均慢,是少数卡偶发卡顿,把整个同步步骤拖住。

所以真正该看的指标是 MFU,模型浮点利用率。业内万卡级训练的 MFU 通常落在 30% 到 40% 这个区间,国产集群因为算子适配和通信库的成熟度,往往还要再打折。另一个更少被提的指标是有效训练时间:一次训练跑了 20 天,其中有多少天真的在算,多少天在等故障恢复、回滚 checkpoint、重算丢掉的步数。

做过大规模训练的同学都懂那种时刻。凌晨两点,loss 曲线突然抖了一下,日志里跳出一个 NCCL 超时。最坏的情况不是慢,是跑到第 11 天挂了,得回滚到第 10 天的 checkpoint。那一天的卡时,没人给你报销。

一句话答案:先撞墙的是互联和稳定性,不是峰值算力。国产集群的真实成本,藏在"重算"和"等待"里,不在规格表上。

把视觉做成离散 token 塞进主干,为什么比外挂 adapter 难?

LongCat-2.5 处理视觉的方式,是把图像表示成多层级的离散 token,让主干模型用同一套 token 形式同时处理视觉和文本。这句话技术味很重,但它是"原生多模态"和"支持图片输入"的分水岭。

过去两年最常见的做法是外挂:视觉编码器接一个投影层,把图像特征映射成若干软 token,塞进语言模型的输入。工程上快,几周能跑通,但视觉信息始终是"外来物种"。文本先验太强,模型容易只看文字、把图当装饰。

原生多模态是在预训练阶段就把视觉 token 混进去。模型从一开始就知道,序列里会有不属于文字的符号。LongCat-2.5 强调的视觉编程、创意设计、3D 页面任务,靠的就是这个:看一张设计稿,改对应的代码;看一个页面截图,还原布局。这些任务要求模型能把"屏幕上的位置"和"代码里的结构"对上,外挂方案很难稳定做到。

难的地方有三处。第一是 tokenizer:视觉 token 的粒度怎么定,粗了丢细节,细了序列爆炸。第二是对齐:同一张图,不同分辨率、不同裁剪,token 序列要能表达同一件事。第三是训练稳定性:视觉 token 的分布和文本差太远,混合比例稍有偏差,语言能力就会掉。

还有一笔隐性成本。视觉 token 会挤占上下文。一张高分辨率截图可能吃掉几千个 token,多轮 Agent 任务里,图越积越多,窗口很快见底。原生多模态解决的是"看得懂",没有解决"看得起"。

一句话答案:难在统一表示和预训练混合比例,不难在接一个投影层。能不能做视觉编程,是这两种方案最直接的分水岭。

长程 Agent 的能力,能从失败轨迹里"反推"出来吗?

LongCat-2.5 的训练里,有一个做法值得单独拎出来:把真实 Agent 运行时产生的失败轨迹,转化成可复现、可验证的训练任务,再针对暴露出的短板补数据。

这句话的分量,在于"可验证"三个字。

长程任务和单轮问答是两种东西。单轮问答错了,换个说法再问一遍就行。长程任务错了,你得知道错在哪一步:是工具调用参数错了,是中间结果判断错了,还是早就跑偏了却一直没发现。要把这种能力练出来,靠人工标注几乎不可能,成本高,而且标不准。

把失败轨迹变成训练题,逻辑是这样的:Agent 在真实环境里跑,失败了,日志留下;把这段轨迹还原成一个可重放的环境,给定同样的起点,让模型再跑;跑对了给奖励,跑错了给惩罚。这样一条失败,就变成了一道有标准答案的题。

这套方法成立的前提,是环境可复现。代码库能重建、依赖能装回、外部接口能打桩,才谈得上"可验证"。凡是没法验证的任务,反推不出训练信号,只能靠人看。这也是为什么长程 Agent 的能力,目前集中在编程、数据分析这类有明确对错的任务上。

另一个细节是跨 Harness 训练。LongCat-2.5 兼容 Claude Code、Codex、Hermes 等主流运行框架。模型学的不是某个产品的按钮,而是"调工具、读结果、改计划"这套协议。换一个外壳,能力还在。

还有一个容易被忽略的工程点:训练和推理的数值一致性。RL 训练时,模型在训练框架里算出概率,在推理引擎里采样;两边如果数值对不上,奖励信号就是脏的。官方专门提到做了这项优化,说明这不是纸面问题。

一句话答案:能反推,但前提是任务可验证。可复现的环境比更多的标注数据更值钱,这也是长程能力先落在编程场景的原因。

W4A4 把推理成本压下去,精度代价藏在哪?

LongCat-2.5 在国产算力上优化了 W4A4 推理。W4A4 的意思是权重 4bit、激活也 4bit。相比 FP16,权重显存降到约四分之一,带宽压力同步下降,吞吐一般会明显上升。

权重 4bit 已经不新鲜,激活也压到 4bit 才是难点。权重的分布相对稳定,可以慢慢校准;激活是每个输入现算出来的,动态范围大,长尾多。一旦量化,最先坏掉的往往不是平均表现,是那些"少数但关键"的数值。

这种误差在短对话里不明显,在长上下文和多步 Agent 里会累积。第一步的判断偏了一点,第二步基于偏的判断继续走,到第十步已经偏到另一个方向。平均分看不出来,失败率看得出来。

所以看到"支持 W4A4",该问的不是"能省多少显存",是"同任务下失败率涨了多少"。官方目前没有公开量化后的精度损失数字,也没有给出吞吐提升幅度。这不是苛责,是新模型发布时的常态,但读者心里要有一杆秤。

对成本敏感的场景,量化确实是刚需。1.6T 的模型,不量化根本跑不起。但省下来的是显存和带宽,不是正确性。部署前至少要做三组对照:同样任务下 4bit 与 8bit 的成功率、32k 与 128k 上下文下的衰减、连续二十步 Agent 任务的完成率。

一句话答案:量化省的是显存和带宽,正确性要自己补测。短对话看不出问题,长程任务会把误差放大。

读下一个"全国产"宣传,该追问哪四个数?

把上面几节收一下,其实可以做成一把尺子。下次再看到"全国产算力训练",问四个数就够了。

第一,国产化的口径覆盖到哪一层

"全程国产算力"通常只说明训练芯片是国产的。推理呢?互联交换机和光模块呢?训练框架和算子库呢?是全部自研,还是基于开源改的?这四项拆开列,才知道"国产化"到底覆盖了多少。只写一句"全程国产",信息量接近于零。

第二,MFU 和有效训练时间是多少

峰值算力是最不值钱的数字。真正决定成本的是 MFU,以及有效训练时间占比。五万张卡跑三十天,如果有效时间只有七成,剩下三成的卡时就是白烧的。这两个数不披露,成本账就没法算。

第三,故障恢复要多久

万卡集群每天出故障是常态。关键是 MTTR,平均恢复时间;checkpoint 间隔多长;回滚一次要重算多少步。这三个数决定了"规模越大越划算"这句话在国产集群上还成不成立。

第四,权重和许可证开放到什么程度

LongCat-2.0 走的是 MIT 协议,权重、推理引擎、技术文档全开放,可免费商用。LongCat-2.5 目前只说到 GitHub 和 HuggingFace"即将上线",协议还没公布。权重开不开、推理引擎开不开、商用有没有限制,直接决定这个模型对开发者的价值。

拿这把尺子给 LongCat-2.5 打个分:
口径:训练全程国产算力,已明确;推理与互联细节未披露。
效率:MFU、有效训练时间未披露。
稳定性:故障率、恢复时间未披露。
开放度:API 已开放,开源版本"即将上线",许可证待定。
四项里目前能核实的,大约两项。

这不是说它不好。恰恰相反,能在国产算力上把 1.6T 的 MoE 完整训完,本身就是硬成绩。但宣传和工程是两套语言,前者给结论,后者给数字。读的人要做的,是把结论翻回数字。

一句话答案:四个数里至少两个能核,才值得采信。只有"全程国产"四个字,不算证据。

美团不争"Token 工厂",1.6T 模型怎么变成商家的利润表?

8 月 28 日的二季度财报电话会上,王兴说过一句话:"我们不会成为 Token 工厂,我们的模型和 AI 产品将用于支持我们的主业。"

这句话解释了 LongCat-2.5 为什么长成现在这个样子。它没有去卷通用对话的榜首,重点强化的是商业分析和软件开发。发布会上给的那个案例很具体:模型自主搭出一张渠道利润表,发现支付 GMV 涨了 23.2%,渠道利润却掉了 1.7%,然后给出差异化资源配置的建议。

这个案例的价值不在数字,在工作流。它把"经营核算、问题诊断、决策建议"三段接成了一条链。通用模型也能算,但要人一步步喂数据、定口径、解释结果。LongCat-2.5 想做的,是直接坐进这条链里。

落地形态是"妙手",一个 AI 经营工作台,已经服务古茗、徐升记、益禾堂等连锁品牌。商家授权范围内,它能调工具、读系统、执行任务。模型不是产品,工作台才是。

从商业角度看,这条路和"卖 token"完全相反。通用 API 的价格战里,1.6T/48B 的推理成本打不过小模型,按每百万 token 计价毫无优势。但在"一次经营诊断"这种任务上,正确的结论值多少钱,和消耗了多少 token 关系不大。高价值任务养得起大模型,这是它成立的前提。

开源在这里也不是慈善。MIT 协议开放权重和推理引擎,能换来生态、开发者和招人时的说服力;模型能力的口碑,最终会回到商家是否愿意为"妙手"付费。至于 2.5 会不会延续 MIT,还要等上线那天。

一句话答案:模型的价值不在每百万 token 的单价,在它嵌进哪张报表。Token 工厂打价格战,工作台收的是决策的钱。

结语:国产化不是一个开关

LongCat-2.5 最值得记住的,不是 1.6T,也不是"全国产"这三个字,而是它把一条产业链的难点摆到了台面上:稀疏度换单价、互联决定成败、视觉进主干的代价、失败轨迹怎么变成训练题、量化省下的钱从哪来。

这些东西不会因为一次发布就解决,也不会因为一句宣传就消失。下次再看到"全国产算力训练",先别急着激动,问那四个数。

能回答两个,再谈信不信。