总结下近来关于世界模型仿真的一些学习笔记
大家好,我是李慢慢。最近几个月抽空研究了一些关于世界模型的东西,写个笔记出来给大家瞧瞧。1、缘起CARLA经常听说世界模型,但第一次用到它,是在CARLA 0.9.16这个版本里。在《CARLA 0.9.16 发布啦,快来看看有哪些更新吧!》一文里,提到“CARLA 0.9.16 集成了英伟达推出的强大新型渲染技术。全新的 Cos mos Transfer1 基础风格迁移模型,支持通过文本提示生成 CARLA 仿真输出的多种风格变体,涵盖建筑、车辆、天气及光照条件等方面的差异。借助 Cos mos Transfer1,仅需一组仿真输入数据,就能大幅提升 CARLA 生成的训练数据集的多样性!”一个CARLA中模拟出来的场景视频,通过Cos mos Transfer1,根据提示词能生成各种各样的风格变体的新视频,且非常真实,给人一种sim2real的感觉,这不就是我们想要的场景泛化吗?后来了解到,这种泛化,更多的是偏向于风格泛化(也称为风格迁移),比如它可以改变天气、光照、目标类型,路面情况,街景等,但是场景中的交通参与者的行为还是一样的。就像上图,虽然看起来很不一样了,但其实左前方依然有一辆大车,路边同样位置依然有建筑,道路依然为直道等等。那如果想要连一些交通参与者的动态属性也给泛化一遍,该怎么做呢?Cos mos Transfer只是Cos mos这个世界基础模型的组成之一,Cos mos还有其它的组件,用来控制其它的“泛化”;2、从CARLA到COS MOS我在《英伟达的Cos mos是个什么东东》中写到:“我的粗暴的理解:Cos mos Predict负责预测场景变化,Cos mos Transfer负责生成符合物理规律的逼真可控视频,两者协作产出场景视频;这些视频再由Cos mos Reason完成数据评估、标注与分析,最终形成可用的自动驾驶和机器人训练集。”所以到这里,相信大家已经明白:CARLA + Cos mos Transfer可以做“规则自定义场景的风格迁移”,非常适合来生成指定场景的训练集,当然也可以用来做测试;而纯Cos mos则是根据输入“文本/图像/视频/点云”这些直接生成各种天马行空(但符合物理世界规律)的新视频(点云未知),能生成更大规模的训练集,这个也是可以用来做测试的哦。两种方式各有优缺点吧。在自动驾驶测试中,如果是做指定场景下的测试,用前者比较好,因为规则很明确,可重复性测试。如果是做不指定场景的测试(比如大里程测试、问题场景挖掘等)则适合用后者。黑猫白猫,能抓到老鼠的都是好猫。3、COS MOS能做控制闭环吗?想到这个问题,因为了解到COS MOS其实属于生成式AI,即基于指定提示词,直接把后续内容给生成出来(生成的内容越往后越离散),那么在生成过程中,它能实时接收外界输入,实时闭环控制生成的内容吗?答案是可以。这个答案我是在群里看到的。群友@鲍总 在NVIDIA GTC 2026大会上,在美国线下,实际操作开了一把由世界模型驱动的驾驶模拟器(据说可以做到实时呢)。4、从COS MOS上衍生的应用COS MOS只是一个世界基础模型(WFM,World Foundation Model),这个世界基础模型,是基于海量的互联网视频,训练出来的一个通用模型(不只是驾驶,而是整个人类世界),相当于只做了模型的预训练。如果想要让模型更好用,肯定还要在指定应用场景下做有针对性的模型微调(即后训练)的。上面提到的能闭环仿真的AlpaDreams是一个应用,能生成各种驾驶训练集的Cos mos Drive Dreams也是一个应用。关于Cos mos Drive Dreams可以阅读《用世界模型驱动未来:NVIDIA Cos m os-Drive-Dreams部署与实践》了解下其基本原理甚至进行实操。5、世界模型除了COS MOS,还有别的吗?当然有。世界模型是一个概念,一个技术方向。而COS MOS只是NVIDIA公司针对这个技术方向推出的一个产品,只是因为NVIDIA宣传做的好,生态做的好,所以我们更多的是知道英伟达的世界模型。但其实真正懂行的才知道,世界模型领域做的好的,其实应该看JEPA系列。科普一下:JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)是一种革命性的自监督学习框架,核心是让 AI 在抽象表示空间中预测未来,而非直接预测像素或文本 token,以此构建对世界的理解模型。Yann LeCun(杨立昆),图灵奖得主,JEPA 的主要提出者和推动者。他于2022 年在《A Path Towards Autonomous Machine Intelligence》(迈向自主机器智能的路径)立场文件中首次系统定义 "世界模型" 概念,并提出 JEPA 作为实现这一愿景的核心架构。杨立昆始终坚持开放研究理念,其主导的 JEPA 世界模型从理论到实践均保持高度开源性。所以学习世界模型的朋友更多的还是看JEPA系列的论文和工具。然后,国内也有。此前我在《自动驾驶仿真新技术,世界通用模型,让智驾路上偶遇大象/犀牛/恐龙...》一文中介绍到国内做世界模型的科研机构,是中科院和CreateAI,路子和国外其实是一样的,也开源了,大家也可以下载了看看。 6、写在后面 工作之余研究一点世界模型的东西真的挺不容易,这是个全新的东西,看论文+部署工程经常是一步三查,大家如果有看我的文章有学到点东西,可以帮我点个赞。如果上述自学笔记有什么疏漏和错误也请帮忙指出,共同学习,持续进步。谢谢。以上,本文完。来源:车路漫漫