英伟达 GTC 2026｜基于真实数据驱动的下一代自动驾驶仿真体系抢先看

大家好呀，我是李慢慢，一名仿真工程师。

我又双叒叕在关注仿真技术了。

还记得我在之前的文章中将仿真分为两种：

1）传统仿真=基于规则的仿真=3D模型驱动的仿真;
2）新一代仿真=基于端到端的仿真=数据驱动的仿真;

关于仿真新技术，还没看过瘾的朋友，福利又来啦，这次，是英伟达一年一度的GTC大会，每年的新技术趋势可以抢先看，感兴趣的朋友可以点这个链接GTC2026看看回放。在 NVIDIA GTC 2026 上, NVIDIA 创始人CEO黄仁勋表示：自动驾驶的“ChatGPT的刻”已经到来，“自动驾驶将成为首个万亿美元级的器人产业，一切可以移动的物体终将实现自动化”，这一判断标志着L4自动驾驶从技术迈向产业化拐点。

虚拟仿真是GTC 2026的重要话题，据悉，51是英伟达在此次GTC中官宣新闻中仿真领域的唯一中国公司，关于这家最近入榜中国自动驾驶仿真市占率第一名的明星公司，本文也去巴拉了一下他们家的技术方案。大家也一起来看下仿真新技术是怎么落地应用到自动驾驶的训练和测试上的吧。

以下。

2026年，自动驾驶行业的技术趋势与核心痛点是什么？

如今人工智能正从数字领域走进现实世界，自动驾驶、智能机器人这类物理智能系统，不再只靠离线数据训练验证，而是要在可互动的真实环境中持续完成感知、判断和学习。

自动驾驶的技术架构也在升级，传统感知、规划、控制分开的模块化模式，正快速变成数据驱动的端到端系统。这种新模型把感知和决策融合成统一网络，运行逻辑由数据分布决定，而非人为设定的规则，这就要求仿真环境不能再只做简单的功能验证，仿真需要升级为能支持闭环交互的训练验证环境。

当下行业却面临明显痛点：传统仿真的虚拟场景由人工搭建，可控性虽好，但复杂程度和数据分布远不如真实世界；而真实道路数据虽最贴合实际，却难以编辑、复用，也无法规模化拓展，难以满足训练和测试需求。

对此已有针对性解决方案，NVIDIA Omniverse NuRec 借助 3DGS 技术，能把真实世界数据重建为可交互的神经场景；51Sim 还将该技术库集成到自身数据管理和智驾仿真平台中，搭建出自动驾驶闭环验证的数驱仿真体系，让车队真实数据能持续转化为可运行的仿真环境。

面向端到端智能驾驶闭环验证的仿真体系

围绕自动驾驶系统向数据驱动架构演进所带来的新需求，51Sim 构建了由 Dataverse 数据平台与 SimOne 仿真平台组成的完整仿真体系。

Dataverse 数据平台负责真实驾驶数据的全生命周期管理。针对量产车产生的多模态 Log 数据，Dataverse 提供数据导入、质量校验、结构化处理与场景资产管理能力，并承担神经场景重建任务管理和在线预览功能，是连接真实数据与仿真环境的核心枢纽。

SimOne 仿真平台基于分布式服务化架构，负责闭环仿真的系统级调度与执行。平台覆盖从测试用例生成与编辑、传感器配置，到大规模并发仿真执行与结果分析的完整流程。 SimOne 支持 OpenDRIVE 与 OpenSCENARIO 等 OpenX 标准，并提供高精度相机、激光雷达与毫米波雷达仿真能力，可在云端运行大规模并发测试流程，服务多家主机厂与自动驾驶公司。

让现实世界变成可交互的虚拟世界

NVIDIA Omniverse NuRec 是神经重建与渲染的工具库和模型，能从自动驾驶车队的传感器数据里，重建出高还原度的 3D 场景，还能在仿真测试时，从任意视角生成逼真的传感器数据，专门用于自动驾驶的闭环仿真测试。

它借助可编辑的高斯泼溅粒子，把真实数据转化为仿真体系里的神经世界形式，同时提供高保真的传感器渲染能力，让真实数据能直接驱动闭环仿真运行。51Sim 对这项技术做了深度集成：把 NuRec 的重建能力融入 Dataverse 平台，实现数据导入、质量校验到离线场景重建的全流程管理；将其渲染引擎接入 SimOne 仿真平台作为传感器渲染后端，替代传统图形引擎完成神经场景渲染，而 SimOne 则负责仿真调度和算法在环控制。

神经重建和传统仿真工具是怎么结合的？

基于 NuRec 的数据驱动闭环仿真流程包含五个关键环节：

真实数据驱动的闭环仿真流程图

环节一：真实数据导入与预处理

先把实车采集到的所有数据（比如相机视频、激光雷达点云、车辆定位轨迹等），导入Dataverse数据平台统一管理、处理。这个平台能让我们直观查看数据、管理相关信息，还会检查数据质量，确保符合后续场景重建的要求。

同时，NuRec的NCore模块会把不同车辆、不同传感器的数据“标准化”——统一坐标系、统一时间轴，整理相机标定信息和动态目标轨迹，为后续重建打下稳定基础。

环节二：NuRec场景与资产重建

数据标准化后，Dataverse平台会借助NVIDIA Omniverse NuRec，启动神经场景重建。通过离线GPU训练，把真实的驾驶数据，转换成三维或四维的神经场景模型（基于高斯表示）。

这个过程会同时完成静态背景（比如道路、建筑）和动态目标（比如其他车辆、行人）的建模，还会结合深度信息和语义信息，让重建的场景更稳定、更贴合真实。重建好的场景模型，可直接用于后续仿真。

环节三：神经场景在线预览与管理

场景重建完成后，我们可以在浏览器里直接预览——从多个角度查看场景、旋转缩放，还能看到自车轨迹在场景中的位置。

Dataverse平台会统一管理这些重建好的场景和动态目标模型，方便后续的仿真任务直接调用、重复使用，不用重复重建。

环节四：测试用例生成与配置

我们把重建好的神经场景，从Dataverse导出到SimOne仿真平台，平台会自动生成对应的测试用例。在SimOne里，我们可以设置自车模型、传感器布局（比如多视角相机、激光雷达），还能调整交通参与者的行为参数。

比如修改其他车辆的行驶轨迹、替换场景中的车辆模型，让一个真实重建的场景，能变成多种不同的测试场景，满足多样化测试需求。

环节五：神经场景仿真测试执行

测试用例配置好后，就可以批量启动仿真测试了。SimOne能支持多个神经场景同时运行，还能在一个界面上查看仿真状态和传感器输出结果。

仿真过程中，SimOne会推进仿真时间、计算交通参与者行为，把自车状态、相机位置等信息传给NuRec；NuRec实时渲染出逼真的传感器数据（比如图像、深度信息），反馈给自动驾驶算法；算法生成控制指令，SimOne接收后推进下一轮仿真，形成完整闭环。

关键工程挑战与解决方案

训练数据质量检查

在神经场景重建中，输入数据质量直接决定最终仿真的保真度。因此必须对输入数据进行质量检查，质量检查过程覆盖神经重建所依赖的关键数据要素，包括相机标定精度、自车轨迹在连续帧之间的几何一致性、传感器时间戳的同步精度，以及动态目标三维标注的位姿与尺寸准确性。这些质量指标直接影响神经场景重建的收敛性和最终渲染质量。质量不达标的数据会被自动标记或过滤，从源头保障神经场景重建的稳定性。

图像和点云对齐检查

新视角修复

神经场景重建通常能够在原始采集视角附近生成高质量的渲染结果，但在闭环仿真运行过程中，自车轨迹往往会偏离原始采集路径，需要从训练数据中进行学习从而对未覆盖的新视角进行渲染。在这种情况下，神经场景容易出现几何不连续、纹理缺失或局部渲染伪影，从而影响仿真的稳定性。

为了解决这一问题，51Sim 集成了Fixer 模型。 Fixer 是Omniverse NuRec 技术套件中的生成式增强模型，基于 Diffusion + Transformer 的生成式修复模型技术，可以在神经场景训练和仿真运行两个阶段提升新视角渲染质量。

在重建训练阶段，Fixer 可以对生成的新视角样本进行修复，从而提升神经场景模型对视角变化的鲁棒性。在仿真运行阶段，当渲染视角偏离原始采集轨迹时，Fixer 模型可以对渲染结果进行实时修复，填补缺失信息并保持视觉连续性。

基于 NuRec 重建场景的编辑与泛化

自动驾驶系统验证不仅需要回放真实场景，还需要对场景进行编辑和泛化，使单个真实场景能够泛化为更多场景。典型需求包括改变交通参与者轨迹、增加测试车辆以及构造原始数据中不存在的交互场景。

道路结构、建筑物、植被等静态背景元素被重建为高保真神经场景，车辆、行人等动态物体则通过 利用NuRec 的资产提取工具进行，被提取为可复用的基于高斯的神经资产。

这些动态资产既可以在原始场景中调整运动轨迹生成新的交互变体，也可以替换为 SimOne 资产库中的模型，或者注入全新的交通参与者以构造新的测试场景。

在仿真运行过程中，SimOne 负责交通参与者行为建模和仿真时间推进，而 NuRec 负责神经场景渲染与传感器数据生成，从而形成逻辑可控且视觉逼真的闭环仿真系统。

车辆资产和轨迹泛化

面向数据驱动自动驾驶的仿真基础设施

英伟达于3月16日GTC宣布，旗下Omniverse NuRec与五一视界SimOne已实现深度融合，基于神经渲染技术，解决智驾行业真实采集场景数据不可交互的痛点，加速以VLA、世界模型为代表的推理型自动驾驶开发，赋能全球L4级汽车合作伙伴。据悉，五一视界在中国高阶仿真领域市占率已达53.5%，此次合作将进一步巩固其在全球Physical AI赛道的核心地位。

51Sim CEO 鲍世强表示： “通过与 NVIDIA 在 NuRec 技术上的协作，Dataverse 和 SimOne 能够将主机厂车队数据直接转化为可用于仿真的神经场景资产，用神经渲染方案替代传统图形引擎的手工重建流程。这代表着仿真基础设施的一次重要演进——仿真环境必须从真实世界数据中构建，而不是由美术人员近似还原。”

借助 NVIDIA Omniverse NuRec，51Sim 构建的数据驱动仿真体系，使真实世界数据能够持续转化为可交互仿真环境，形成从数据采集到仿真验证的闭环流程。 这一架构使仿真能力能够随着车队数据规模的增长持续扩展，为自动驾驶系统提供可持续演进的训练与验证基础设施。 51Sim 正在与 NVIDIA 持续合作，推进基于真实数据的神经重建与闭环仿真技术在自动驾驶领域的落地。

以上，本文完。