首页/文章/ 详情

英伟达的Cosmos是个什么东东

9月前浏览1391

作者 | 李慢慢

编辑 | 李慢慢

出品 | 车路漫漫


大家好,我是李慢慢。
最近开始痴迷世界模型,慢慢也学了一点关于世界模型的东西:
通过上述学习,大致了解了世界模型的原理和应用现状,然后想着开始自己部署和测试一下世界模型。于是了解到英伟达有开源的世界模型Cos mos,就想着在此基础上进行一下尝试。于是便有了本篇文章关于英伟达的世界模型Cos mos的介绍。如下内容来自英伟达官网。

NVIDIA Cos mos 是什么?
NVIDIA Cos mos是一个整合前沿生成式世界基础模型(WFM)先进分词器、护栏以及用于加速数据处理和管理的高效工作流的集成平台。该技术为世界模型训练提供支持,并加速智能汽车(AV)和机器人的物理AI开发。
官话好难理解,用大白话说就是:NVIDIA Cos mos是个集成平台,它靠生成式世界基础模型、先进分词器、和数据处理管理工作流,来支持世界模型的训练,加速智能汽车和机器人的物理AI开发。

Cos mos 基础世界模型
Cos mos主要由三个部分组成:Cos mos Predict、Cos mos Transfer、Cos mos Reason。

1、 Cos mos Predict
Cos mos Predict 是Nvidia Cos mos的世界基础模型的组件之一,它以文本、图像或者短视频为输入,生成符合物理规律的未来场景视频帧、目标轨迹等,辅助自动驾驶与机器人做前瞻规划并生成训练数据。
高性能基础模型,根据单个图像和文本提示生成 30 秒的预测世界状态视频。Cos mos Predict-2 现已推出,可实现更快、更出色的世界生成,并支持多帧速率和分辨率。
Predict,预测,顾名思义,Cos mos Predict就是用来预测未来轨迹的。所以这个很适合用来做自动驾驶或者机器人的行为预测。

2、Cos mos Transfer
Cos mos Transfer是Nvidia Cos mos世界基础模型的组件之一,它接收分割图、激光雷达等结构化输入,生成符合物理规律且可控的逼真视频,为自动驾驶和机器人高效产出高质量合成训练数据。
多控制模型可跨各种环境和光照条件快速扩展单个模拟或空间视频。通过将 Cos mos Transfer 与物理模拟器和 NVIDIA Omniverse、CARLA 等平台结合使用,加速可控合成数据的生成。

Transfer,迁移/转换,顾名思义,Cos mos Transfer是用来做风格迁移/数据转换的,给场景换个背景,合成新的数据。所以这个很适合用来做数据合成。

3、Cos mos Reason
Cos mos Reason是Nvidia Cos mos的推理组件,对视频做思维链推理,评估合成数据、生成标注与描述,助力自动驾驶和机器人整理数据集、优化决策与做视频分析。
完全可定制的推理视觉语言模型,使用视频和图像的结构化推理,在理解物理世界方面表现出色。该平台可在运行时为视频分析 AI 智能体提供支持,使其能够从时空角度理解城市和工业运营,或为机器人和智能汽车整理训练数据。
Reason,推理,顾名思义,Cos mos Reason是用来做推理的,擅长做视频的后处理,比如评价,比如标注。

我的粗暴的理解:Cos mos Predict负责预测场景变化,Cos mos Transfer负责生成符合物理规律的逼真可控视频,两者协作产出场景视频;这些视频再由Cos mos Reason完成数据评估、标注与分析,最终形成可用的自动驾驶和机器人训练集。


来举个栗子吧。

我们以自动驾驶雨天道路测试场景为例:

1. Cos mos Predict 输入一段雨天车辆行驶的短视频,预测出接下来5秒内车辆、行人、积水路面的动态变化轨迹。

2. Cos mos Transfer 依据这个轨迹和激光雷达点云数据,生成一段完整、逼真且符合物理规律的雨天道路行驶视频。

3. Cos mos Reason 对这段合成视频做分析,标注出车辆位置、行人动作、危险区域等信息,评估数据有效性,最终形成一套可直接用于自动驾驶模型训练的标注数据集。



数据管护-Cos mos Curate
借助 Cos mos Curate,开发者可以快速处理大量传感器数据,创建满足模型需求的定制数据集。加速高效的视频分割、注释、过滤、重复数据删除和数据集生成。

开发者如何使用 NVIDIA Cos mos
加速下游基础模型开发,通过合成数据生成和后训练推动视觉 AI 和具身 AI 的发展。
1、机器人训练
机器人需要大量不同的训练数据,才能有效感知环境并与之交互。借助 Cos mos WFM,开发者可以生成可控的高保真合成数据,以训练机器人感知和策略模型。

2、智能汽车训练
多样化、高保真的传感器数据对于安全的训练、测试和验证智能汽车至关重要。通过在车辆数据上进行后训练的 Cos mos WFM,开发者能够丰富现有数据的多样性,添加新的天气、光照和地理位置条件,或扩展至多传感器视角——从而大幅节省时间与成本,也可利用 Cos mos 中的数据管护工具整理数据。

3、视频分析 AI 智能体
这些 AI 智能体可以分析、总结实时或录制的视频流,并与之进行交互,以提高工业和城市环境的自动化水平、安全性和运营效率。

Cos mos Reason 是一种可定制的视觉语言模型 (VLM) ,可为视频分析 AI 智能体提供先进的物理世界视觉理解和时空推理能力。这些 AI 智能体提供实时问答、快速警报和丰富的情境洞察,为边缘端和云端的部署中提供更智能、响应更灵敏的系统支持。


来源:车路漫漫
汽车UG自动驾驶机器人控制渲染
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2026-01-02
最近编辑:9月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 322课程 0
点赞
收藏
作者推荐

CARLA 0.9.16 发布啦,快来看看有哪些更新吧!

我们满怀欣喜地向您呈现 CARLA 0.9.16 版本!该版本对基于虚幻引擎 4.26(Unreal Engine 4.26)的 CARLA 进行了多项重大升级,有望优化您的 CARLA 工作流程,并提升仿真数据的多样性!CARLA 0.9.16 集成了英伟达(NVIDIA)推出的强大新型渲染技术与导出选项。全新的 Cos mos Transfer1 基础风格迁移模型,支持通过文本提示生成 CARLA 仿真输出的多种风格变体,涵盖建筑、车辆、天气及光照条件等方面的差异。借助 Cos mos Transfer1,仅需一组仿真输入数据,就能大幅提升 CARLA 生成的训练数据集的多样性!英伟达 NuRec 技术将神经重建功能引入 CARLA 引擎,可基于从真实世界传感器数据中学习到的信息,对 3D 场景进行重新渲染,支持调整视角、相机配置或轨迹扰动等参数!英伟达 SimReady 转换工具(SimReady Converter Tool)支持以通用场景描述格式(Universal Scene Description format,简称 USD)导出 SimReady 资产,便于将其无缝迁移至 Omniverse 生态系统中其他兼容 USD 格式的应用程序。CARLA 服务器现原生支持与 ROS 2(机器人操作系统 2)的连接,无需再使用桥接工具,能降低与 ROS 节点连接的延迟,实现更流畅的仿真过程。CARLA 0.9.16 新增左舵交通(Left-Handed Traffic)支持功能!这一期待已久的功能终于上线,可对英国、日本等采用左舵交通规则的国家的交通状况进行仿真。此外,新版本还新增了轮椅模型,能将弱势道路使用者纳入 CARLA 生成的训练数据集中。无论您是在构建复杂的自动驾驶系统架构(autonomy stacks)、开展数字孪生(digital twins)相关实验,还是向其他平台导出 CARLA 内容,本版本都能助力您更接近生产级别的仿真工作流程。🎯 更新概览• NVIDIA NuRec神经渲染:实现照片级真实感仿真的关键技术• NVIDIA Cos mos Transfer支持:通过简单提示生成超逼真视频变体• SimReady USD导出器:跨平台资产无缝迁移解决方案• 原生ROS2支持:与现代机器人技术栈无缝集成🧪 NVIDIA Cos mos Transfer1 集成此次 CARLA 版本更新的一大亮点是集成了英伟达 Cos mos Transfer1 技术。Cos mos Transfer1 是一款基础风格迁移模型,旨在增强仿真输出效果。借助 Transfer1,用户只需通过简单的文本提示,就能从 CARLA 序列中生成无数超写实的视频变体。该功能的优势适用于以下场景:1. 增加感知数据集的视觉多样性2. 缩小仿真到现实(sim-to-real)训练中的领域差距3. 结合超写实纹理、光照和天气变化,探索边缘场景此外,将此功能与 Inverted AIDRIVE API 结合使用,可生成具有无限视觉变化的真实行为表现。这是训练自动驾驶系统栈的理想组合!🎥 借助英伟达NuRec 实现神经重建CARLA 0.9.16 引入对 NVIDIA NuRec 25.07 的实验性支持,这是一套先进的神经渲染管线。借助该集成,CARLA 场景可利用学习得到的光照与几何表征实现如下功能:• 从任意视角生成逼真渲染• 提升回放速度和视图合成效率• 实现与合成数据集的神经图形集成这是实现照片级真实感仿真的重要进展,尤其适用于感知模型的训练与评估。随着神经渲染管线持续演进,后续版本将带来更多优化。关于 NuRec 及其在 CARLA 中的使用方法,可参考CARLA 文档[3]。 🧭 原生 ROS2 支持 CARLA 现已提供原生 ROS2 集成,支持以下功能:• 开箱即用兼容性,适配现代机器人技术栈• 基于 DDS 的消息传递和时间同步• 内置集成示例用户可将 CARLA 与 ROS2 Foxy、Galactic、Humble 等版本无缝连接,将传感器数据流、自车控制和世界状态集成至 ROS2 节点中。📦 SimReady USD 导出器 如需将 CARLA 环境或资产导出至其他仿真器或可视化平台,新增的USD SimReady 导出器可将场景和资产打包为 SimReady[6] 格式,实现向 OpenUSD 生态系统及其他平台的无缝迁移。主要特点:• 将环境几何、材质、纹理和元数据导出为 USD 格式• 保留物理属性和 SimReady 命名规范• 适用于数字孪生重用、联合仿真以及 Omniverse 或 Isaac Sim 等工具中的可视化无论用户是在多平台进行仿真、渲染还是智能体训练,该工具都能降低使用门槛、提高资源复用率。该功能得益于 NVIDIA 团队的贡献。🎯 左舵交通支持CARLA 0.9.16 的 API 新增左舵交通支持功能。如今,CARLA 仿真器可支持带有左舵交通规则标签的 OpenDRIVE 道路,这意味着 CARLA 能精准仿真英国、印度、日本等左舵驾驶国家的交通状况。我们很高兴能推出这一用户期待已久的功能,希望能为您提供帮助!🎯 弱势道路使用者CARLA 0.9.16 新增轮椅模型,该模型与大多数现有行人模型兼容,可将弱势道路使用者纳入 CARLA 生成的训练数据中。这一改进有助于避免将轮椅使用者误分类为骑行者或其他个人交通工具使用者的情况。特别感谢来自 Itemis 公司的马克・托伊伯(Marc Teuber)、安德烈亚斯・格拉夫(Andreas Graf)与哈姆扎・本・哈伊・阿马尔(Hamza Ben Haj Ammar),他们为社区贡献了这一出色功能!# Choose a pedestrian blueprint pedestrian_bp = blueprint_library.find('walker.pedestrian.0041')# Check if the pedestrian model supports the wheelchair option if pedestrian_bp.has_attribute('can_use_wheelchair'): # Set the use_wheelchair attribute to true and spawn pedestrian_bp.set_attribute('use_wheelchair','True') pedestrian = world.spawn_actor(pedestrian_bp, spawn_point) 🗺️Coming Soon: 数字孪生工具 v2:基于 OpenStreetMap 构建虚拟世界 数字孪生工具现已完成全面重构,用户可更轻松地基于真实世界数据生成完整环境。新版本以 OpenStreetMap 作为主要数据源,提供以下功能:• 道路网络、交叉口和拓扑的自动解析• 从地形数据集获取的高度图和语义信息• 交通设施、道具和建筑物的灵活参数化• 模板化城市布局,用于填充缺失几何体同时保留地理参考用户仅需简单操作即可生成基于真实世界的 CARLA 环境,非常适用于地理特定实验、合规性测试和仿真到现实的流程。该工具现已作为独立且易用的应用程序发布。这一进展标志着数字孪生与程序化仿真技术融合的重要一步,而这仅仅只是开始。🎯 0.9.16版本的其它改进 1. Project Chrono 更新:现支持本地安装 Chrono 6 版本 2. Python wheel 支持:新增对 Python 3.10、3.11 及 3.12 版本的支持 3. Python egg 弃用:不再支持 Python egg 格式(现仅提供 wheel 格式) 4. 实例分割中的掩码材质:支持对复杂物体(如树叶、围栏)进行细粒度标注 5. 样条网格修复:解决了实例分割中样条网格不可见的问题 6. Inverted AI 交通示例:更新 Python API 脚本,新增对路径点引导的 Inverted AI 车辆的支持 7. 调试绘图:扩展功能支持直接在 HUD(平视显示器)层渲染图元 8. 新增植被道具:在道具库中添加了 3 种新的树木模型 以上,本文完。来源:车路漫漫

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈