板块 3 / 10

World Model 101：核心概念

这一页是全站总纲。读完你应该能：用 3 分钟向外行讲清世界模型；说清它与 LLM、视频生成的关系；画出四条技术路线并给出自己的判断。

本页目录

世界模型是什么：一句话 + 三个直觉 + 正式定义
它要解决什么问题
与 LLM 的关系：预测「下一个 token」vs 预测「下一个状态」
与视频生成的关系：Sora 是世界模拟器吗？
四大技术路线之争（2026 年视角）
关键时间线 2018–2026

1世界模型是什么

一句话定义

世界模型（World Model）是一个在 AI 内部构建的、对世界如何运作的可计算模拟——它能在「脑内」预测：如果我（或某个主体）做了某个动作，世界接下来会变成什么样。

三个直觉

人脑直觉：你能想象「把手边的杯子推下桌子会摔碎」，不需要真的推一千次。你的大脑里有一个物理世界的「内部模拟器」。世界模型就是给 AI 装这个模拟器。
驾驶直觉：老司机看到前车刹车灯亮，脚已经挪到刹车上——他在预测未来 2 秒的路况。自动驾驶的世界模型做的正是这件事：预测多摄像头视角下的未来驾驶场景（如 Wayve GAIA-2）。
游戏直觉（LeCun 的定义，2025-06）：世界模型是「现实的抽象数字孪生（an abstract digital twin of reality）」——AI 参考它来理解世界、预测行为后果，从而无需百万次真实试错就能规划行动。

正式一点的定义（两个源头）

强化学习源头：Ha & Schmidhuber《World Models》(2018) 把智能体拆成 V（Vision，把画面压缩成表征）+ M（Memory，预测表征的未来）+ C（Controller，基于预测做决策），并证明智能体可以完全在自己「梦」出来的环境里学会玩游戏。这是「世界模型」一词的现代出处。
认知架构源头：LeCun《A Path Towards Autonomous Machine Intelligence》(2022) 提出以世界模型为核心的智能体架构：感知 → 世界模型（预测）→ 成本/记忆 → 行动者（规划），并主张用 JEPA（联合嵌入预测架构）在抽象表征空间而非像素空间做预测。

💡 PM 视角：一句能对外讲的话

「LLM 教会了 AI 读写，世界模型要教会 AI 看见、想象、行动。」（这句化用了 World Labs「LLM 让机器学会处理文字，下一步是让 AI 理解空间」的公开表述。）面试时先给这句，再展开技术细节。

2它要解决什么问题

世界模型的价值 = 同时解决三个「贵」的问题：

数据太贵（仿真价值）：机器人/自动驾驶最需要的长尾、危险、事故场景，现实中天然稀疏、采集昂贵且危险。世界模型可以「制造所需数据」而非「抓取已有数据」——生成新轨迹、新视角、新交互作为训练素材。2026 年行业已把世界模型明确定位为物理 AI 的「数据工厂」（NVIDIA Cosmos、Wayve GAIA、特斯拉/Waymo 的驾驶世界模型均属此类）。
试错太贵（规划价值）：真实机器人摔一次几十万元。有了世界模型，智能体可以在「想象」中预演动作后果再行动——V-JEPA 2 只用 62 小时机器人数据就实现新环境零样本抓取规划（Meta，2025-06）；Dreamer 系列在潜空间「做梦」训练，DreamerV4 甚至仅靠离线视频（不与真实环境交互）就在 Minecraft 中挖到钻石（2025 末发布，细节待核实）。
创作太贵（内容价值）：影视/游戏/广告里，实景拍摄、3D 建模、引擎搭建都是重成本。生成式世界模型把「造一个世界」的成本从人年级压到分钟级——Marble 用文本/图片生成可导出 3DGS/Mesh 的持久 3D 世界；Genie 3 实时生成可探索的交互环境；HY-World 2.0 生成的世界可直接对接 Unity/UE。

💡 PM 视角

这三类价值对应三类买家：数据工厂卖给做自动驾驶/机器人的公司（B 端）；规划能力是机器人公司自研（战略投入）；内容生成卖给创作者与企业（C 端订阅 + B 端 API）。你面的岗位偏第三类，但面试时展示你理解全部三类，格局立刻不同。

3与 LLM 的关系

	LLM（大语言模型）	World Model（世界模型）
预测什么	下一个 token（文字）	下一个状态（画面/表征/3D 场景）
训练数据	互联网文本	视频、图像、传感器流、机器人轨迹、3D 数据
知识类型	人类沉淀的陈述性知识（「知道 that」）	物理世界的程序性/因果知识（「知道 how」）
与行动的关系	输出文字，不直接作用于物理世界	动作条件化：给定动作预测后果，可直接支撑规划与控制
代表	GPT、Claude、Gemini 文本侧	Genie 3、Cosmos、Marble/Atlas、V-JEPA 2、Dreamer

LeCun 的「死胡同」论（必须知道的行业争论）

Yann LeCun 长期主张：自回归 LLM 是通往高级机器智能的死胡同——逐 token 预测缺乏对物理世界的因果理解、没有持久记忆、无法规划。他认为出路是世界模型 + JEPA：在压缩的抽象表征空间预测未来，而不是生成像素。2025-11 他宣布离开 Meta，2025-12 创立 AMI Labs（Advanced Machine Intelligence），2026-01 在巴黎启动，两个月融资超 10 亿美元，CEO 为 Alexandre LeBrun，LeCun 任执行主席；2026-07 团队发布可在部署中持续学习的 AdaJEPA。这标志着「世界模型 vs LLM」从学术争论变成真金白银的路线创业。

但也有人走「融合」路线

并非所有世界模型都反 LLM。DeepMind 的 Genie 3 建立在 Veo 视频生成模型之上；NVIDIA Cosmos 3（2026-06）用 Mixture-of-Transformers 把语言、图像、视频、音频、动作统一进一个全模态模型，可当 VLM 推理、也可当世界模拟器；World Labs Atlas 也是原生处理文本/图像/视频/3D 的 omni model。「LLM 与世界模型是对立还是互补」本身就是 2026 年最好的面试讨论题——建议你的立场：短期互补（LLM 做理解与接口，世界模型做预测与仿真），长期看具身数据规模决定谁吸收谁。

4与视频生成的关系：Sora 是世界模拟器吗？

这是世界模型领域最著名的一场争论，你必须能讲清楚：

正方（OpenAI，2024-02）：Sora 技术报告的标题就是《Video generation models as world simulators》——论点：把视频生成模型规模化后，会「涌现」出对物理世界的部分理解（物体恒存性、三维一致性、简单因果），所以视频生成是通往世界模型的一条路。
反方（LeCun 等）：生成像素是浪费——世界模型需要的是抽象、可预测的状态表征，而不是把每个像素都画出来；视频模型没有真正的因果与物理约束，会出现「杯子穿模」「物体凭空消失」。
2025–2026 的现实裁决（重要！）：Sora 2（2025-09-30 发布）在物理准确性上确实大幅进步（篮球打铁反弹、体操动量守恒），还带了同步对白音效与社交 App；但 OpenAI 在 2026-03-24 宣布关停 Sora，04-26 下线消费者产品，API 于 2026-09-24 关闭。报道归因：物理一致性缺陷导致实际可用率低、算力成本过高（有报道称日烧约 1500 万美元，待核实）、留存差（报道称 30 日留存约 1%，待核实）、迪士尼 10 亿美元合作告吹（待核实）。与此同时，主打可控与工作流的可灵/Seedance/Runway 活得好好的。教训：「能模拟世界」与「能当产品卖」是两件事。

💡 PM 视角：这段争论的产品转译

视频生成模型是「只读的世界模型」——你能看它推演世界，但不能插手；交互式世界模型（Genie 3、Oasis）是「可读写的世界模型」——你的动作实时改变世界。从「可看」到「可玩」到「可用于训练机器人」，是能力与商业价值的三级跳。JD 里「打破 GUI 的新型交互」指的就是第二级，「自动驾驶/具身仿真」指的是第三级。

5四大技术路线之争（2026 年视角）

业内对「怎么造世界模型」尚无共识，主流可分四条路线（不同来源划分略有差异，此处取最通用的四分法）：

路线	核心思想	代表	优势	短板
① 视频生成派（扩散/DiT）	把世界当连续视频流，用扩散模型在像素/潜空间直接生成未来画面	Sora（已关停）、Veo 3.1、Seedance 2.x、可灵 3.0、Cosmos-Predict、HunyuanVideo 1.5	画面真实度最高；直接可卖（内容创作）；数据管线成熟	物理刚性弱（碰撞形变）、长时序一致性难、生成慢、算力贵
② 自回归交互派（帧级实时生成）	像语言模型逐 token 一样「逐帧」生成世界，动作作为输入条件，实时可交互	Genie 1/2/3、Decart Oasis/Mirage、GameNGen（神经网络实时生成 DOOM）、DIAMOND	真正的「可玩」世界；交互延迟低（Genie 3 达 24fps）	记忆短（分钟级）、分辨率与画质受限、内容易漂移
③ 3D 空间派（显式几何重建）	先构建持久化 3D 表示（3DGS/Mesh/点云），再在其中渲染、编辑、漫游	World Labs Marble/Atlas、腾讯 HY-World 2.0、NeRF/3DGS 学术生态	世界稳定持久、可导出进引擎（Unity/UE）、多视角天然一致	动态物体与物理交互仍是弱项；生成范围有限
④ 潜空间表征派（JEPA/隐式预测）	不生成像素，在压缩的抽象表征空间预测未来状态，效率优先	LeCun 的 JEPA/V-JEPA 2、AMI Labs、Dreamer 家族	样本效率极高（62 小时机器人数据零样本规划）；接近人类认知方式；适合控制与规划	不产生可看的画面（内容价值低）；离 C 端产品最远

另有综述提出「具身控制派」（以动作执行为中心）等更细划分；四条路线正在融合：Cosmos 3 与 Atlas 都是「全模态」架构，Genie 3 建立在视频模型上但强调交互，HY-World 把视频生成与 3D 重建打通。

💡 PM 视角：路线 = 市场

记住这个对应关系，面试讨论「你怎么看路线之争」时直接用：①视频派 → 内容创作市场（今天就有钱）；②交互派 → 游戏/UGC 市场（明天的平台）；③3D 派 → XR/影视资产/数字孪生市场（B 端工作流）；④潜空间派 → 机器人/自动驾驶市场（战略纵深）。没有唯一赢家，赢家取决于你在哪个市场。你面的岗位在 ①③ 的交汇处（内容生成 + 多视角 + XR）。

6关键时间线 2018–2026

2018-03 Ha & Schmidhuber 发布《World Models》，现代世界模型概念成型（V-M-C 架构，在「梦」中训练智能体）。
2020-03 / 2020-06 NeRF（神经辐射场）与 DDPM（去噪扩散模型）分别奠定 3D 表示与生成式模型的两大基石。
2020–2023 DeepMind Dreamer 系列（v1→v3）证明潜空间世界模型可跨任务通用训练；v3 用同一套超参数掌握 150+ 任务并首次在 Minecraft 中从零挖到钻石。
2022-12 DiT（Diffusion Transformer）论文发布，为后来 Sora 的架构铺路。
2023-08 3D Gaussian Splatting（SIGGRAPH 2023）发布，实时渲染质量碾压 NeRF，成为 3D 表示新主流。
2024-02 OpenAI Sora 研究预览发布，技术报告标题《Video generation models as world simulators》点燃「视频生成=世界模型」之争。
2024-02 / 2024-12 DeepMind Genie（从视频学习可交互 2D 世界，ICML 2024 最佳论文）与 Genie 2（可交互 3D 世界）相继发布。
2024-06 快手可灵上线（对标 Sora 的可用产品）；Luma Dream Machine、Runway Gen-3 Alpha 同年上线，AI 视频进入产品化元年。
2024-08 / 2024-10 Google GameNGen（扩散模型实时生成 DOOM）；Decart Oasis（实时可玩 AI Minecraft）——「神经游戏引擎」概念引爆。
2025-01 NVIDIA CES 发布 Cosmos 世界基础模型平台，明确「Physical AI」叙事。
2025-03 Wayve 发布 GAIA-2：多视角、可控的自动驾驶世界模型，「世界模型=数据工厂」在智驾圈成为共识。
2025-06 Meta 开源 V-JEPA 2：百万小时视频自监督 + 62 小时机器人数据实现零样本规划，LeCun 路线的最强实证。
2025-08-05 DeepMind 发布 Genie 3：720p、24fps、分钟级一致性的通用交互世界模型，支持「可提示的世界事件」，被视为迈向 AGI 的重要一步。
2025-09-30 OpenAI 发布 Sora 2 + 社交 App，「视频的 ChatGPT 时刻」，三天登顶美区 App Store。
2025-11 腾讯开源 HunyuanVideo 1.5（8.3B，消费级显卡可跑）；World Labs 正式发售 Marble（文本/图片/视频/3D 布局 → 可导出持久 3D 世界）。
2025-11/12 LeCun 宣布离开 Meta；12 月创立 AMI Labs，世界模型创业潮达到高点。
2026-01 AMI Labs 巴黎启动；Google 将 Project Genie 开放给 AI Ultra（$200/月）订阅用户——交互世界模型首次成为消费级付费产品。
2026-02 字节 Seedance 2.0 发布（四模态输入、端到端音画同步、可用率 >90%）；World Labs 完成 10 亿美元融资（Autodesk 投 2 亿）；可灵 3.0 上线（全模态输入输出）。
2026-03-24 / 04-26 OpenAI 宣布并执行 Sora 关停——世界模型商业化最著名的反面案例诞生。
2026-05 Google I/O：Project Genie 支持绑定 Street View 真实坐标；Gemini Omni Flash 多模态视频生成发布。
2026-06 NVIDIA 发布 Cosmos 3：语言/图像/视频/音频/动作统一的全模态世界模型。
2026-07 字节 Seedance 2.5（单次 30 秒、50 个参考素材、局部编辑）；AMI Labs 发布 AdaJEPA（部署中持续学习）。
2026-09-02 World Labs 发布 Atlas：从零训练的全模态世界模型，打通视频生成、3D 重建与机器人仿真。