世界模型六派混战：3D、潜空间、视频、实时交互、物理 AI，谁在造真世界

引言

“世界模型”这四个字，2026 年被用得太狠了。做视频的说自己在做，做 3D 的说自己才是，做人形机器人的说它是机器人的大脑，做芯片的英伟达干脆把动作也塞进了模型。

麻烦在于，它们输出的东西根本不是一回事。

一个输出一段视频，一个输出一个可以走进去的 3D 场景，一个只输出一串隐向量，一个输出动作序列。它们都能在发布会上说“我们发布了一个世界模型”，然后各拿各的第一。

这篇文章只做一件事：按输出物把它们分成六派，逐个看清每一派在造什么、卖给谁、代价在哪，最后再用现有的尺子量一遍。

这六类模型，输出物到底各是什么？

分类标准只留一个：它最后交给你什么。交视频的、交 3D 场景的、交隐状态的、交动作的，彼此不能替换。

做个对照就清楚了。同一句提示词“雨后的便利店”，六派交出来的东西是：

• 视频派给你一段 10 秒的片子，镜头会推，雨会停，但你看完就完了；
• 3D 派给你一个能走进去、能改货架、能导出成 mesh 的场景；
• 潜空间派给你一串向量，外加一句“推门之后货架会倒”；
• 实时交互派给你一个按 W 就往前走、转视角就换画面的环境；
• 物理 AI 派给你“伸手拿伞、侧身避水”的动作序列；
• 资产派给你一个 .glb 文件，把关东煮的模型塞进游戏。

所以“谁是第一”这个问题，得先问：比的是哪一项。

Sora 关停，视频生成派真的先出局了吗？

OpenAI 的 Sora 页面上挂着一行字：自 2026 年 4 月 26 日起，Sora 产品不再可用。网页端和 App 一起停。3 月底宣布，4 月底执行。

这是六派里第一个在商业上退场的。很多人读成“视频生成路线失败”，这个结论下得太快。

看同期在发生什么。快手 9 月 28 日发了 Kling 4.0，把生成、参考、编辑合进同一个模型；字节 7 月 31 日上了 Seedance 2.5，主打 30 秒单镜、最多 50 个全模态参考、区域级编辑。视频派没停，只是换了个卖法。

Sora 的问题不在预测能力，在单位经济学。一个面向消费者的视频社交产品，要同时喂三张账单：推理算力、内容审核、创作者补贴。而用户愿意为“看 10 秒视频”付的钱，撑不起这三张账单。产品下线时，社区里最先被讨论的不是模型权重，是怎么把旧项目导出、剩余积分怎么迁走。先处理资产，再谈技术，这就是消费品退场的顺序。

活下来的视频派，客户换成了广告、电商、短剧和电影预演。它们不比“谁的物理更真”，比“谁能一次出片、少返工”。这条路的尽头是生产力工具，不是世界模拟器。

李飞飞的 Atlas 为什么非要交出 3D 资产？

World Labs 9 月 1 日发布 Atlas，定义为“面向空间智能的 omni 世界模型”。关键词是从零预训练：文本、图像、视频、3D 四种输入被塞进同一个空间上下文，模型用自回归扩散 Transformer 生成下一段世界，并且要求前后在三维上保持一致。

产品侧是 Marble。它能把文字、图片、视频、360 全景变成可漫游的 3D 世界，还能导出成 Gaussian splat、mesh 或视频，塞进下游引擎。今年 4 月的 Marble 1.1 Plus 专门处理更大的室外和室内空间；实验特性 Chisel 则让人先用粗糙的 3D 布局定死结构，再让模型填细节。

这套选择的逻辑很直接：视频是一次性消费，3D 是资产。一段视频看完就没了，一个场景可以被改、被复用、被导出十次。对游戏、影视、机器人仿真来说，后者才是能收钱的东西。

7 月收购 SceniX，补的是机器人与仿真这一段。9 月 26 日，AMD 签下最终协议，以约 82 亿美元全股票收购 World Labs，交易预计年底前完成；李飞飞将出任 AMD 执行副总裁兼首席科学家，直接向苏姿丰汇报。

芯片公司买世界模型，买的不是一段 demo。3D 场景生成是极重的算力消耗，也是空间智能的数据入口。这条路的技术代价也很清楚：要几何、要渲染、要资产管线，比生成视频慢得多，也贵得多。

LeCun 的 H-JEPA 为什么连一张图都不肯画？

LeCun 2025 年底离开 Meta，在巴黎创办 AMI（Advanced Machine Intelligence），种子轮 10.3 亿美元，是欧洲迄今最大的一笔。今年他们交出的第一份作业叫 H-JEPA，论文编号 arXiv 2610.06805，代码和权重全部开源。

做法是把多个 JEPA 一层层叠起来。每一层在自己的表征空间里，预测不同时间跨度之后的状态。规划时倒过来走：高层先给一个粗计划，把预测出的中间状态当子目标交给低层，低层再细化成可执行动作。

效果最直观的一组数字在 Visual AntMaze 迷宫任务上：三层 H-JEPA 的成功率从 18% 提到 73%。

为什么不肯画像素？因为在像素空间里，绝大部分信息跟决策无关。墙纸的花纹、雨滴的高光，占了算力，却不影响“该往左还是往右”。预测“杯子会掉”不需要先画出杯子落地时的裂纹。JEPA 在表征空间里预测，省算力、抗噪，也更接近动物脑子的做法。

代价同样明显：结果不可视化，外行看不出好坏；评测只能靠下游任务的成功率；从仿真迁移到真实世界，仍然要大量数据。这条路赌的是“智能不需要会画画”，短期内很难向公众证明。

Dreamer 4 和 TD-MPC2，跟 JEPA 差在哪儿？

它们属于同一条谱系，但目标不同。

PlaNet 开始，大家学会在潜空间里做动力学；Dreamer 把策略训练搬进“想象”里，让智能体在自己的预测中反复试错；TD-MPC2 干脆把解码器去掉，用时序差分目标端到端训练编码器和动力学；Dreamer 4 更进一步，在 Minecraft 里靠世界模型学会挖钻石，并且做到单卡实时交互推理，靠的是 shortcut forcing 目标和更高效的 Transformer。

和 JEPA 的差别可以压成三个问题：有没有解码器、用不用奖励、是不是闭环控制。JEPA 关心“世界会怎么变”，Dreamer 关心“我怎么做能拿分”。前者更像认知科学，后者更像控制工程。

这条路的共同难题是复合误差。预测一步很准，预测一百步就飘。Dreamer 4 在游戏里能扛住，是因为游戏规则稳定、状态可重置；换到真实世界，一次错误就可能没有第二次机会。

Genie 4、Odyssey-3、Oasis 3 抢的是同一个“实时”吗？

不是。三家的“实时”服务三种人。

Genie 4 在 10 月 27 日发布，主打实时交互加原生音频。脚步声、人群欢呼、角色对话，跟画面同时生成。它靠 Gemini Omni 锚定真实世界的外观与行为，再让其他 Gemini 模型提供推理，维持因果链；物理上支持碰撞、流体、风力。目前只给可信测试者做研究预览。

Odyssey 走的是内容生产。Odyssey-2 Pro 是家族里第一个开放 API 的；4 月 21 日的 Odyssey-2 Max 把参数量拉到约 3 倍、训练算力拉到约 10 倍，用了几百张 B200；最新的 Odyssey-3 主打物理精度。

Decart 的 Oasis 3 则明确转向物理 AI，先做自动驾驶：一个提示词生成无限多样、可交互、多视角的仿真环境，上线当天就开放 API。它的上一代 Oasis 曾在 72 小时里涌进 100 万用户，公司后来融了 3 亿美元。

三种实时，对应三种取舍：给玩家玩的，要延迟低；给创作者用的，要可控、可编辑；给机器训练的，要物理对、可重复。延迟、长时一致性、动作可控性，这三样很难同时拿满分。

Cosmos 3 和 GAIA-3，为什么把动作和评测当第一输出？

英伟达的 Cosmos 3 把自己定义为“面向物理 AI 的开放前沿基础模型”。架构是混合 Transformer（MoT），全开放、全模态：文本、图像、视频、环境音，还有动作。它还拉了一个 Cosmos Coalition，想把生态一起做起来。

把动作当成一等输出，是因为机器人训练要的不是“世界长什么样”，而是“我这样做，世界会怎样”。合成数据只是中间产物，真正交付的是能训策略的环境。

Wayve 的 GAIA-3 走得更偏。它不强调生成多漂亮的驾驶视频，而是把世界模型当考官：生成安全关键场景，做“如果当时……”的反事实测试；支持跨车型的一致性评测；还能控制视觉多样性，压测鲁棒性。世界模型从演员变成了裁判。

1X 的 1XWM 则是第三种用法：视频预训练的世界模型直接当 NEO 机器人的策略。给同一张起始图，它能想象出多种未来，对应不同动作提案，再挑一个执行。这条线把“预测”和“控制”焊在了一起。

Figure Helix 02 不用世界模型也能干活，那它到底必需吗？

Figure 的 Helix 02 是一套直接从像素控制全身的神经网络，走路、抓取、平衡是一个连续系统。9 月 17 日的 Helix 2.5 公布了一组零样本全身自主数据：成功率从 9% 提到 56%。为了测这个，Figure 在旧金山湾区租了 30 套房子，让机器人挨家做家务。

它没有把“世界模型”当卖点。走的是端到端 VLA：看到什么，直接出动作。

这说明世界模型是可选架构，不是必经之路。它真正的价值集中在两个地方：真实数据太贵，试错太危险。自动驾驶撞一次不行，机器人摔一次可能坏，这时候在模型里先试，成本低得多。反过来，如果某个场景的数据便宜、失败可承受、环境稳定，端到端也能走通。

所以“要不要世界模型”，不是技术信仰问题，是一道成本题。

现有的尺子，能量出谁更强吗？

已经在用的尺子有四把，但每一把都只能量一段。

WorldArena 是榜单型。6 月 19 日的排名里，中科院工业人工智能所的 PAIWorld 以 72.31 分登顶；更早的 4 月，阿里巴巴的 ABot-PhysWorld 也上过第一。它看的是视觉质量、运动建模、物理理解、三维认知和动作控制的综合分。

World Models' Last Exam in Physics 更狠。它用任务可观测性筛选加定量物理测量，测了 8 个视频生成模型、共 1280 段视频，结论是物理不一致普遍存在，而且不同任务之间差异巨大；最好的模型拿到 57.76 分（百分制）。

WorldModelBench 把物理拆成五条法则：没有外力不该动、质量不该凭空变形、流体不该乱流、物体不该互相穿透、重力方向要对。

第四把是“执行一致性”。它不只看像不像，还看预测是否跟着给定动作走——现实里抓空了，模型也得预测抓空。预测失败同样能得分，这一点很关键。

收束

六派抢一个名字，真正的分水岭只有一条：能不能被动作驱动。能接受动作、能预测动作后果、能被动作检验的，才配叫世界模型；其余的，是世界的素材。

今天最缺的不是更大的模型，是一把大家认的尺子。在那之前，所有“第一”都只是各自赛道里的第一。