首页/文章/ 详情

用世界模型驱动未来:NVIDIA Cosmos-Drive-Dreams部署与实践

10月前浏览439

 

 

大家好呀,我是李慢慢。最近视频号发表了一个视频(如上),展示了世界模型(World Model)生成的合成数据的效果。视频的创作者:荒漠甘泉,是自己跑通了Cos mos Drive Dreams这个英伟达工具的,这个工具虽然开源,但是坑贼多。于是在我的建议下,荒漠甘泉书写了Cos mos Drive Dreams的实操记录,投稿发表在车路漫漫公众 号,给有需要的朋友。

以下。

作者:荒漠甘泉

目录

一、Cos mos-Drive-Dreams概述
二、Cos  mos-Drive-Dreams核心流程解析
三、系统配置
四、部署环境准备
五、拉取模型
六、修改代码
七、代码运行
八、效果展示
九、个人思考

一、Cos mos-Drive-Dreams概述

高质量合成数据集与场景还原能力是仿真系统迭代的核心痛点。世界模型的出现,为解决这一问题提供了全新技术路径。相较于大语言模型仅聚焦符号统计与语义理解的局限,世界模型更擅长捕捉物理世界的底层规律,构建符合真实场景的空间认知与逻辑闭环。NVIDIA Cos mos-Drive-Dreams作为世界模型在自动驾驶于视频生成领域的典型落地方案,可以适配仿真开发对结构化场景的需求,为高清场景视频合成、像素级对齐数据集构建提供了完整可落地的技术路径。本文结合作者的实战部署经验,聚焦结构化标签(structured labels)输入方式,详细拆解从环境搭建到效果生成的全流程,分享工程落地中的避坑细节与优化思路。

二、Cos mos-Drive-Dreams核心流程解析

Cos mos-Drive-Dreams的核心优势在于提供了从数据到高质量内容的全链路解决方案,支持structured labels(结构化标签)与in-the-wild video(原始视频)两种输入方式。在项目中,作者采用结构化标签路径,依托其强可控性、高对齐度的特点,实现像素级HDMap(高精地图)条件视频生成,完整流程分为四步闭环:

  1. 1. 结构化标签驱动视频生成:以结构化标签为输入,生成与像素精准对齐的HDMap条件视频,为后续内容合成奠定空间约束基础,规避野生视频的噪声干扰与对齐偏差。
  2. 2. 提示词改写与单视角视频合成:通过提示词重写器生成多样化文本指令,基于HDMap约束合成单视角视频,实现”空间规则+语义需求”的双重落地。
  3. 3. 单视角视频多视角扩展:将生成的单视角视频拓展为多视角内容,还原真实场景的空间维度,满足自动驾驶等场景对多方位视觉数据的需求。
  4. 4. VLM过滤与高质量数据集输出:通过视觉语言模型进行拒绝采样,自动剔除低质量样本,最终生成高质量、多样化的合成数据集生成数据集。

该路径的核心价值的在于可控性——结构化标签能够精准定义场景规则,配合HDMap的空间约束,让AI生成的内容严格遵循物理逻辑与场景需求,这正是世界模型“理解世界、改造世界”能力的直观体现。


来源:车路漫漫
自动驾驶
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2026-01-13
最近编辑:10月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 326课程 0
点赞
收藏
作者推荐

CARLA 0.9.16 发布啦,快来看看有哪些更新吧!

我们满怀欣喜地向您呈现 CARLA 0.9.16 版本!该版本对基于虚幻引擎 4.26(Unreal Engine 4.26)的 CARLA 进行了多项重大升级,有望优化您的 CARLA 工作流程,并提升仿真数据的多样性!CARLA 0.9.16 集成了英伟达(NVIDIA)推出的强大新型渲染技术与导出选项。全新的 Cos mos Transfer1 基础风格迁移模型,支持通过文本提示生成 CARLA 仿真输出的多种风格变体,涵盖建筑、车辆、天气及光照条件等方面的差异。借助 Cos mos Transfer1,仅需一组仿真输入数据,就能大幅提升 CARLA 生成的训练数据集的多样性!英伟达 NuRec 技术将神经重建功能引入 CARLA 引擎,可基于从真实世界传感器数据中学习到的信息,对 3D 场景进行重新渲染,支持调整视角、相机配置或轨迹扰动等参数!英伟达 SimReady 转换工具(SimReady Converter Tool)支持以通用场景描述格式(Universal Scene Description format,简称 USD)导出 SimReady 资产,便于将其无缝迁移至 Omniverse 生态系统中其他兼容 USD 格式的应用程序。CARLA 服务器现原生支持与 ROS 2(机器人操作系统 2)的连接,无需再使用桥接工具,能降低与 ROS 节点连接的延迟,实现更流畅的仿真过程。CARLA 0.9.16 新增左舵交通(Left-Handed Traffic)支持功能!这一期待已久的功能终于上线,可对英国、日本等采用左舵交通规则的国家的交通状况进行仿真。此外,新版本还新增了轮椅模型,能将弱势道路使用者纳入 CARLA 生成的训练数据集中。无论您是在构建复杂的自动驾驶系统架构(autonomy stacks)、开展数字孪生(digital twins)相关实验,还是向其他平台导出 CARLA 内容,本版本都能助力您更接近生产级别的仿真工作流程。🎯 更新概览• NVIDIA NuRec神经渲染:实现照片级真实感仿真的关键技术• NVIDIA Cos mos Transfer支持:通过简单提示生成超逼真视频变体• SimReady USD导出器:跨平台资产无缝迁移解决方案• 原生ROS2支持:与现代机器人技术栈无缝集成🧪 NVIDIA Cos mos Transfer1 集成此次 CARLA 版本更新的一大亮点是集成了英伟达 Cos mos Transfer1 技术。Cos mos Transfer1 是一款基础风格迁移模型,旨在增强仿真输出效果。借助 Transfer1,用户只需通过简单的文本提示,就能从 CARLA 序列中生成无数超写实的视频变体。该功能的优势适用于以下场景:1. 增加感知数据集的视觉多样性2. 缩小仿真到现实(sim-to-real)训练中的领域差距3. 结合超写实纹理、光照和天气变化,探索边缘场景此外,将此功能与 Inverted AIDRIVE API 结合使用,可生成具有无限视觉变化的真实行为表现。这是训练自动驾驶系统栈的理想组合!🎥 借助英伟达NuRec 实现神经重建CARLA 0.9.16 引入对 NVIDIA NuRec 25.07 的实验性支持,这是一套先进的神经渲染管线。借助该集成,CARLA 场景可利用学习得到的光照与几何表征实现如下功能:• 从任意视角生成逼真渲染• 提升回放速度和视图合成效率• 实现与合成数据集的神经图形集成这是实现照片级真实感仿真的重要进展,尤其适用于感知模型的训练与评估。随着神经渲染管线持续演进,后续版本将带来更多优化。关于 NuRec 及其在 CARLA 中的使用方法,可参考CARLA 文档[3]。 🧭 原生 ROS2 支持 CARLA 现已提供原生 ROS2 集成,支持以下功能:• 开箱即用兼容性,适配现代机器人技术栈• 基于 DDS 的消息传递和时间同步• 内置集成示例用户可将 CARLA 与 ROS2 Foxy、Galactic、Humble 等版本无缝连接,将传感器数据流、自车控制和世界状态集成至 ROS2 节点中。📦 SimReady USD 导出器 如需将 CARLA 环境或资产导出至其他仿真器或可视化平台,新增的USD SimReady 导出器可将场景和资产打包为 SimReady[6] 格式,实现向 OpenUSD 生态系统及其他平台的无缝迁移。主要特点:• 将环境几何、材质、纹理和元数据导出为 USD 格式• 保留物理属性和 SimReady 命名规范• 适用于数字孪生重用、联合仿真以及 Omniverse 或 Isaac Sim 等工具中的可视化无论用户是在多平台进行仿真、渲染还是智能体训练,该工具都能降低使用门槛、提高资源复用率。该功能得益于 NVIDIA 团队的贡献。🎯 左舵交通支持CARLA 0.9.16 的 API 新增左舵交通支持功能。如今,CARLA 仿真器可支持带有左舵交通规则标签的 OpenDRIVE 道路,这意味着 CARLA 能精准仿真英国、印度、日本等左舵驾驶国家的交通状况。我们很高兴能推出这一用户期待已久的功能,希望能为您提供帮助!🎯 弱势道路使用者CARLA 0.9.16 新增轮椅模型,该模型与大多数现有行人模型兼容,可将弱势道路使用者纳入 CARLA 生成的训练数据中。这一改进有助于避免将轮椅使用者误分类为骑行者或其他个人交通工具使用者的情况。特别感谢来自 Itemis 公司的马克・托伊伯(Marc Teuber)、安德烈亚斯・格拉夫(Andreas Graf)与哈姆扎・本・哈伊・阿马尔(Hamza Ben Haj Ammar),他们为社区贡献了这一出色功能!# Choose a pedestrian blueprint pedestrian_bp = blueprint_library.find('walker.pedestrian.0041')# Check if the pedestrian model supports the wheelchair option if pedestrian_bp.has_attribute('can_use_wheelchair'): # Set the use_wheelchair attribute to true and spawn pedestrian_bp.set_attribute('use_wheelchair','True') pedestrian = world.spawn_actor(pedestrian_bp, spawn_point) 🗺️Coming Soon: 数字孪生工具 v2:基于 OpenStreetMap 构建虚拟世界 数字孪生工具现已完成全面重构,用户可更轻松地基于真实世界数据生成完整环境。新版本以 OpenStreetMap 作为主要数据源,提供以下功能:• 道路网络、交叉口和拓扑的自动解析• 从地形数据集获取的高度图和语义信息• 交通设施、道具和建筑物的灵活参数化• 模板化城市布局,用于填充缺失几何体同时保留地理参考用户仅需简单操作即可生成基于真实世界的 CARLA 环境,非常适用于地理特定实验、合规性测试和仿真到现实的流程。该工具现已作为独立且易用的应用程序发布。这一进展标志着数字孪生与程序化仿真技术融合的重要一步,而这仅仅只是开始。🎯 0.9.16版本的其它改进 1. Project Chrono 更新:现支持本地安装 Chrono 6 版本 2. Python wheel 支持:新增对 Python 3.10、3.11 及 3.12 版本的支持 3. Python egg 弃用:不再支持 Python egg 格式(现仅提供 wheel 格式) 4. 实例分割中的掩码材质:支持对复杂物体(如树叶、围栏)进行细粒度标注 5. 样条网格修复:解决了实例分割中样条网格不可见的问题 6. Inverted AI 交通示例:更新 Python API 脚本,新增对路径点引导的 Inverted AI 车辆的支持 7. 调试绘图:扩展功能支持直接在 HUD(平视显示器)层渲染图元 8. 新增植被道具:在道具库中添加了 3 种新的树木模型 以上,本文完。来源:车路漫漫

未登录
1条评论
晨星
签名征集中
6月前
这就没了?
回复
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈