首页/文章/ 详情

总结下近来关于世界模型仿真的一些学习笔记

5月前浏览637

大家好,我是李慢慢。
最近几个月抽空研究了一些关于世界模型的东西,写个笔记出来给大家瞧瞧。

1、缘起CARLA

经常听说世界模型,但第一次用到它,是在CARLA 0.9.16这个版本里。在《CARLA 0.9.16 发布啦,快来看看有哪些更新吧!》一文里,提到“CARLA 0.9.16 集成了英伟达推出的强大新型渲染技术。全新的 Cos mos Transfer1 基础风格迁移模型,支持通过文本提示生成 CARLA 仿真输出的多种风格变体,涵盖建筑、车辆、天气及光照条件等方面的差异。借助 Cos mos Transfer1,仅需一组仿真输入数据,就能大幅提升 CARLA 生成的训练数据集的多样性!”
一个CARLA中模拟出来的场景视频,通过Cos mos Transfer1,根据提示词能生成各种各样的风格变体的新视频,且非常真实,给人一种sim2real的感觉,这不就是我们想要的场景泛化吗?
后来了解到,这种泛化,更多的是偏向于风格泛化(也称为风格迁移),比如它可以改变天气、光照、目标类型,路面情况,街景等,但是场景中的交通参与者的行为还是一样的。就像上图,虽然看起来很不一样了,但其实左前方依然有一辆大车,路边同样位置依然有建筑,道路依然为直道等等。
那如果想要连一些交通参与者的动态属性也给泛化一遍,该怎么做呢?
Cos mos Transfer只是Cos mos这个世界基础模型的组成之一,Cos mos还有其它的组件,用来控制其它的“泛化”;

2、从CARLA到COS MOS

我在《英伟达的Cos mos是个什么东东》中写到:“我的粗暴的理解:Cos mos Predict负责预测场景变化,Cos mos Transfer负责生成符合物理规律的逼真可控视频,两者协作产出场景视频;这些视频再由Cos mos Reason完成数据评估、标注与分析,最终形成可用的自动驾驶和机器人训练集。”
图片
所以到这里,相信大家已经明白:
CARLA + Cos mos Transfer可以做“规则自定义场景的风格迁移”,非常适合来生成指定场景的训练集,当然也可以用来做测试;
而纯Cos mos则是根据输入“文本/图像/视频/点云”这些直接生成各种天马行空(但符合物理世界规律)的新视频(点云未知),能生成更大规模的训练集,这个也是可以用来做测试的哦。
两种方式各有优缺点吧。
在自动驾驶测试中,如果是做指定场景下的测试,用前者比较好,因为规则很明确,可重复性测试。如果是做不指定场景的测试(比如大里程测试、问题场景挖掘等)则适合用后者。
黑猫白猫,能抓到老鼠的都是好猫。

3、COS MOS能做控制闭环吗?

想到这个问题,因为了解到COS MOS其实属于生成式AI,即基于指定提示词,直接把后续内容给生成出来(生成的内容越往后越离散),那么在生成过程中,它能实时接收外界输入,实时闭环控制生成的内容吗?
答案是可以。
这个答案我是在群里看到的。群友@鲍总 在NVIDIA GTC 2026大会上,在美国线下,实际操作开了一把由世界模型驱动的驾驶模拟器(据说可以做到实时呢)。

4、从COS MOS上衍生的应用

COS MOS只是一个世界基础模型(WFM,World Foundation Model),这个世界基础模型,是基于海量的互联网视频,训练出来的一个通用模型(不只是驾驶,而是整个人类世界),相当于只做了模型的预训练。如果想要让模型更好用,肯定还要在指定应用场景下做有针对性的模型微调(即后训练)的。上面提到的能闭环仿真的AlpaDreams是一个应用,能生成各种驾驶训练集的Cos mos Drive Dreams也是一个应用。关于Cos mos Drive Dreams可以阅读《用世界模型驱动未来:NVIDIA Cos m os-Drive-Dreams部署与实践》了解下其基本原理甚至进行实操。

5、世界模型除了COS MOS,还有别的吗?

当然有。
世界模型是一个概念,一个技术方向。而COS MOS只是NVIDIA公司针对这个技术方向推出的一个产品,只是因为NVIDIA宣传做的好,生态做的好,所以我们更多的是知道英伟达的世界模型。但其实真正懂行的才知道,世界模型领域做的好的,其实应该看JEPA系列。
科普一下:JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)是一种革命性的自监督学习框架,核心是让 AI 在抽象表示空间中预测未来,而非直接预测像素或文本 token,以此构建对世界的理解模型。Yann LeCun(杨立昆),图灵奖得主,JEPA 的主要提出者和推动者。他于2022 年在《A Path Towards Autonomous Machine Intelligence》(迈向自主机器智能的路径)立场文件中首次系统定义 "世界模型" 概念,并提出 JEPA 作为实现这一愿景的核心架构。杨立昆始终坚持开放研究理念,其主导的 JEPA 世界模型从理论到实践均保持高度开源性。所以学习世界模型的朋友更多的还是看JEPA系列的论文和工具。
然后,国内也有。
此前我在《自动驾驶仿真新技术,世界通用模型,让智驾路上偶遇大象/犀牛/恐龙...》一文中介绍到国内做世界模型的科研机构,是中科院和CreateAI,路子和国外其实是一样的,也开源了,大家也可以下载了看看。

 

6、写在后面  

工作之余研究一点世界模型的东西真的挺不容易,这是个全新的东西,看论文+部署工程经常是一步三查,大家如果有看我的文章有学到点东西,可以帮我点个赞。如果上述自学笔记有什么疏漏和错误也请帮忙指出,共同学习,持续进步。谢谢。
以上,本文完。


来源:车路漫漫
通用建筑理论自动驾驶机器人科普控制渲染
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2026-04-29
最近编辑:5月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 322课程 0
点赞
收藏
作者推荐

宇树是怎么做具身智能仿真的?

以下内容来自宇树科技创始人王兴兴在 2026 年 3 月底于北京举办的「西门子 RXD 大会」上的公开演讲与采访。王兴兴:“目前对机器人的训练,确实主要有仿真环境和实物训练两种方式,然后的话其实很多情况下,目前像我们公司或者很多业内(公司),大家如果能用仿真环境解决的问题或者用仿真训练就能解决,我们尽可能还是用仿真训练去做,因为相对来说(仿真)速度还比较快,成本也比较低,比较可以调整一些参数。像我们目前人形机器人,比如说它做一些走路跑步,包括打各种功夫动作,基本上是完全仿真环境解决的。就是我们可以在仿真环境里一次性训练,比如说几百万个几千万个环境,然后让他并行的去训练,这样的话,整个训练速度是非常非常快的,而且整个的效率也非常高。但是目前的条件下,如果让去做一些操作相关的,比如说我让机器人去拿一个东西,或者说我去一个装配几个零部件,目前在仿真环境,确实大家做的不太好。大部分情况下,目前全球范围内,大家还是靠真人去采集这些数据去做训练,但是真人去采集这个数据目前确实面临很大挑战,因为我们现实生活中能搭建的环境是有限的。你不可能说我在现实环境里面搭建比如1000种环境,让真人去搭建这个环境或者说采集这个环境的成本都太高了。所以说其实我,包括我们公司,包括很多业界,大家还是希望哪怕手臂去干活这件事情也尽可能用仿真去采集更多数据。比如说我仿真里面可以去抓一个东西的时候,我可以随机生成任何东西让它去抓。这样的话我的数据规模可以扩增非常非常多。”总结:运动控制类任务仿真训练成熟度高但操作类任务仍主要依赖真人采集#具身智能仿真 #机器人仿真 #仿真训练 #宇树科技来源:车路漫漫

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈