首页/文章/ 详情

世界模型的分类

3月前浏览948
作者 | 李慢慢
编辑 | 李慢慢
出品 | 车路漫漫

最近世界模型这个词特别火。

Sora宣称自己是世界模拟器,机器人企业纷纷表示在研发世界模型,英伟达也将Omniverse视作世界模型的基础设施,连游戏引擎、视频生成、VLA、数字孪生等领域,都被纳入到世界模型的相关叙事当中。

可当下业内众人谈论的世界模型,其实并非同一个概念。

最近,李飞飞在个人 Substack 发表了一篇万字长文《A Functional Taxonomy of World Models》,对这一概念进行了厘清。

她首先回到强化学习教科书里那个最经典的图(POMDP 闭环:智能体→动作→状态→观测→智能体),然后指出:现在被叫做“世界模型”的东西,其实是这个闭环的三种不同投影。输出像素(观测)的是渲染器,输出状态的是模拟器,输出动作的是规划器。分类标准非常简洁,就看你输出的是闭环里的哪个部分。


第一类是渲染器(Renderer),它的输出内容为图像、视频、像素这类观测结果,Sora、Genie以及众多文生视频模型都属于此类。这类模型探究的核心问题,是还原世界的外在样貌。凭借极具冲击力的视觉效果,它也成为最容易实现商业化的类型,逼真且富有电影质感的视频,很容易让人们认为模型真正理解了世界。但其中存在明显误区:视觉上的真实,不等于物理层面的真实。这类模型可以制作出画面震撼的机器人影像、搭建出视觉逼真的城市场景,却未必能掌握空间结构、碰撞关系、材料属性与动力学规律。渲染器的局限性十分突出,它只能打造世界的表象,无法触及世界运行的内在机制。

第二类是模拟器(Simulator),它输出的不再是像素画面,而是世界的真实状态,包括内部结构、几何形态、材质、位置、速度、作用力、碰撞效果以及各类动力学关系。模拟器所要解答的,是世界本身如何运转,这也是李飞飞文章里的核心观点。在三类世界模型中,模拟器最容易被忽视,却也最为关键。它处于承上启下的中间位置,依托真实的三维结构与物理状态,能够从不同视角渲染出图像和视频;同时也能为动作规划提供支撑,只要明确动作对状态产生的影响,机器人就可以预判行为结果。可以说,模拟器是连接感知世界与改造世界的桥梁。单纯依靠渲染,机器只是停留在“模拟画面”的层面;仅具备规划能力,机器也只能在固定场景中做出被动反应。而掌握模拟能力后,机器才能在内部构建出可以推演的虚拟世界。

第三类是规划器(Planner),它的输出为具体动作。给定目标与观测信息,规划器便能判断出下一步的行动方向,这也是最受关注的发展方向,直接指向具身智能。不过李飞飞也指出,目前不少机器人演示作品虽然观感出色,但距离落地实际应用还有很远的距离。实验室环境与真实场景截然不同,现实中存在各类长尾场景、画面遮挡、数据异常、不可预判的人类行为以及复杂的物理交互。机器人能在短视频中完成短短二十秒的任务,和它在厨房、仓库、医院、道路等场景中长期稳定工作,有着巨大的差距。

这篇文章的独到之处,在于将大众对世界模型的讨论,从单纯的视觉效果拉回至对底层结构的思考。过去很长一段时间,不少人将世界模型的能力等同于生成更逼真的视频,但本质问题应该是模型是否掌握了世界的因果逻辑。模型是否明白杯子坠落的原理?是否清楚机械臂推动物体后物体的移动轨迹?能否预判动作发生后世界状态的变化?如果做不到这些,哪怕生成的画面再精美,也只是高级渲染器,算不上完整的世界模型。

备注:这篇文章当然也是 World Labs 的产品宣言。他们的 Marble 已经在同时输出高斯泼溅和碰撞网格,试图把渲染器和模拟器统一到一个模型里。文章末尾描绘的终局是一个统一的世界基础模型,能根据下游需求在渲染、模拟和规划之间自由切换。这个愿景是否能实现另说,但作为一个分析框架,渲染器/模拟器/规划器的三分法也许确实有助于穿透当前"世界模型"概念的一部分噪音。

真正完备的世界模型,需要同时拥有三项核心能力:
  1. 渲染能力,让机器想象世界的样貌;
  2. 模拟能力,让机器读懂世界的结构与规律;
  3. 规划能力,让机器明确行动方向。
三者结合,正是AI从语言智能迈向空间智能的核心路径。
这篇文章看似只是对世界模型进行分类,实则重新划定了下一代人工智能的竞争方向。未来的比拼,不再局限于视频生成的逼真度、机器人演示的酷炫程度,核心竞争点在于能否打造出一套可生成、可交互、可推演、可执行动作的内部虚拟世界。当机器具备内部模拟世界的能力,它便不再只是单纯看见世界,而是真正理解世界,也拥有了在现实世界中开展各类行动的坚实基础。

语言模型让机器掌握了文字领域的统计规律,但物理世界依托空间、时间、几何、材质、力与动作存在,并非由文字构成。因此AI下一阶段的发展重点,并非提升语言表达能力,而是强化机器对现实世界的理解能力。

语言模型(VLM)赋予了机器一种谈论世界的方式。世界模型(World Model),是机器最终得以 理解、想象、推理并与世界互动 的方式。
以上,本文完。

来源:车路漫漫
碰撞化学化机材料机器人游戏数字孪生渲染人工智能
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2026-06-16
最近编辑:3月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 322课程 0
点赞
收藏
作者推荐

车辆动力学 | PanoCar新版推出:功能全面升级、性能大幅提升

浙江天行健智能科技有限公司(PanoSim)精心打造的高精度 #车辆动力学 建模与仿真软件PanoCar新版本隆重推出,聚焦核心技术升级、关键功能拓展和用户体验优化。本次版本升级不仅强化了车辆动力学模型,还加强了对车辆行驶环境与场景构建,增强了与主流实时硬件及第三方软件生态的互联互通,大幅度优化了软件用户体验和易用性,显著提升了仿真结果后处理功能,全面支持COM 组件接口架构和通过 Python, MATLAB, C# 等主流脚本语言的高效二次开发,以支持仿真流程的高度自动化与定制化。一、车辆动力学模型进一步拓展了高阶车辆动力学模型,支持更为复杂的结构与气动特性的建模。(1)高阶空气动力学 (Advanced Aerodynamics): 新增Pitch-Bounce-Yaw 耦合模式,支持定义气动特性随车辆俯仰角及离地间隙的非线性关系,精准复现赛车及高性能车在加减速、路面起伏工况下的瞬态气动表现。(2)循环球式转向系统 (Recirculating Ball Steering): 新增了完整的循环球转向建模能力。支持配置转向管柱与摇臂间的非线性关系及摇臂到车轮的运动学曲线;支持激活摇臂助力模式及后轴循环球助力模式,满足大型乘用车及特种车辆建模需求。(3)非对称悬架系统 (Asymmetric Suspension): 打破左右对称的限制,支持独立配置左/右侧悬架系统的K&C特性与力特性参数,适用于赛道调校及特殊载荷工况分析。(4)自定义负载 (Customized Payload): 支持在簧上质量添加刚性连接的附加载荷(Payload),可自定义其坐标、质量、转动惯量及惯量积,可精确模拟车顶盒、测试设备或货物对车辆动力学的影响。二、环境与场景构建大幅增强了路面重构能力与场景编辑的灵活性。(1)OpenCRG 深度集成: 可全面解析OpenCRG 文件,支持读取道路参考轨迹点及高程信息;实现了参考线高程与 OpenCRG 解析高程的叠加算法,并支持配置路面附着系数的分布。(2)路面粗糙度模型 (Road Roughness): 支持基于左右轮接地距离定义的非线性高程增量;提供专用数据处理工具,确保粗糙度轮廓在循环仿真中的连续性。(3)路径构建器 (Path Segment Builder): 引入模块化路径拼接工具,支持直线 (Straight)、半径 (Radius)、圆弧 (Curvature) 及螺旋线 (Clothoid) 的灵活组合。(4)闭环道路支持: 支持首尾相接的Reference Path 定义,实现赛道、耐久环路或环岛场景下的无限循环仿真。三、仿真控制与求解器提升仿真运行的稳定性与可控性,优化实时仿真工作流。(1)多模式积分求解器: 新增二阶Adams-Bashforth (AB-2) 与二阶Runge-Kutta (RK-2) 求解器,配合原有的前向Euler 法,满足不同效率(实时性)与精度要求的仿真需求。(2)基于事件触发式的驾驶操纵模块 (Events):支持纵向和侧向、开环与闭环混合控制模式。支持基于绝对或相对时间、或绝对或相对位置的触发加速、制动、方向盘转角及扭矩和路径跟踪控制。(3)驻车模式: 新增驻车模式,包括电子驻车(EPB)与自动驻车(Auto Hold)系统的建模与功能验证。(4)车辆运行过程中重置功能: 支持对仿真运行过程的暂停与重置,实现在线修改模型的物理参数并即时生效,大幅提升仿真调试效率。四、实时仿真与生态集成强化了与主流实时硬件及第三方软件生态的互联互通。(1)HIL 硬件在环实时仿真: 全面支持SpeedGoat 实时仿真平台的实时仿真。(2)FMU/FMI 架构升级: 新增模型与参数分离模式,支持在不停止实时机的情况下更新参数;集成UDP 通信功能以驱动实时动画。(3)CarSim 数据库迁移: 提供了一键数据导入工具,不仅支持CarSim数据的迁移,同时保留原CarSim 数据库的完整关联性,便捷易用。(4)扩展性示例库: 新增VS Code 联合调试、S-Function C++ 封装、NI-RT 及 Speedgoat 部署的各种示例,有助于用户的二次开发。五、可视化与交互体验优化了用户的软件使用体验和易用性,提升了仿真结果的动画显示效果。(1)动画功能升级:场景编辑: 支持沥青、冰雪、沙石等多材质纹理混合;内置了丰富的车道线(虚/实/双线)及环境物体(锥桶、树木)库。高程渲染: 优化了大高差道路的渲染逻辑,可自动生成桥梁支撑结构模型。Event 可视化: 支持动画播放过程中显示当前Event 信息。(2)用户体验优化:中英双语界面: 全面支持在用户界面(GUI)和帮助文档等方面的中英双语切换。效率工具: 提供了二维表格数据常量模式 (Constant)、撤销/重做 (Undo/Redo) 的快捷键Ctrl+Z/Y功能,以及新建数据库功能等。六、自动化与API 集成全面开放COM 组件接口架构,支持用户通过Python, MATLAB, C# 等主流脚本语言进行二次开发,可便捷地实现仿真流程的高度自动化与定制化。(1)全流程自动化控制: 提供从数据库初始化 (InitDatabase)、数据集加载 (OpenDataset)、动力学解算 (RunDynamics) 到结果导出 (GetResultCSV) 的全链路接口支持。用户可构建自动化脚本,便捷地实现大规模试验设计(DOE)与无人值守的自动化批量仿真。(2)精细化参数与模型管理:深度参数读写: 支持对标量(Single)、表格 (Table)、逻辑 (Checkbox) 及信号 (Signal) 等多种类型参数的精确读取与修改 (SetDatasetPara),包含对非线性插值表格数据的直接写入功能。动态拓扑重构: 支持通过API (SetDatasetLink) 动态替换子系统模型(如在脚本中自动切换不同的轮胎模型或悬架方案),实现模型架构的在线配置。(3)联合仿真与实时部署:Simulink/FMU 集成: 支持通过脚本一键启动Simulink 联合仿真,以及自动生成并导出 FMU 模型 (GenerateDynamicsFMU),大幅简化模型交互流程。RT/HIL 部署管理: 提供专用接口用于将动力学数据包发送至实时机(NI-RT, SpeedGoat)及从实时机回收仿真结果,打通了离线仿真到硬件在环测试的数据闭环。(4)可视化与协同: 支持通过API 唤起绘图工具 (LaunchPlot) 及回放动画;新增 StartLiveAnimator 接口,支持利用UDP 通讯协议驱动外部视景软件进行实时车辆位姿渲染。来源:车路漫漫

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈