一文尽览神经渲染（NERF/3DGS）技术在具身仿真框架Isaac Sim中的实现

作者 | 李慢慢编辑 | 李慢慢出品 | 车路漫漫大家好，我是李慢慢。一直以来，都想写一个系列，关于各个车企是如何应用自动驾驶仿真的。但是始终没有踏出这一步，有很多原因：比如一个车企里面团队太多，各个团队的情况天差地别；也比如随着技术的更迭，企业的应用情况也是日新月异；又比如资讯来源有限，写得太浅显得很不专业，写得太深是否又涉密；慢慢的也想开了，知道多少就写多少，最重要的不是写得多好，而是开始，既然这是一个系列那么就可以不断地补充最新的内容，跟着时代一起成长就好。本系列的创作来源于网络平台，也有个人采访部分以做补充，内容真假请读者自行甄别。概要： 2025年8月28日，长城汽车智能驾驶高级专家敬明博士在《端到端时代仿真测试的思考与探索》中介绍的长城汽车针对端到端自动驾驶的仿真测试创新方案。端到端模型依赖神经网络，存在场景泛化能力不足、决策不可解释等风险。对此，长城构建了优化算法平台。针对场景泛化难题，通过遗传算法、粒子群优化等智能算法自动生成边缘场景，高效捕捉海量高危案例，效率超传统随机采样方法一千余倍，显著提升未知场景覆盖能力；同时基于量产数据开展三维重建，结合4DGS与扩散模型生成多传感器数据，实现新车型corner case复现，大幅提升数据的利用率。 图片：长城汽车智能驾驶高级专家敬明博士 以下为演讲内容整理： 好的，谢谢。 很高兴能够参加这次论坛，我今天分享的题目是《端到端时代仿真测试的思考与探索》。 端到端时代-》辅助驾驶AI模型 首先，我们和大家探讨一下，端到端时代它意味着什么？它的本质是什么？ 可能国内的车企，并没有能够实现一个纯粹意义上端到端的一段式，这个可能是比较少的。那么它的特点可能更多的是说，我们把这个AI模型、神经网络能应用到咱们这个所谓的辅助驾驶的模型算法里面去，以前可能是在感知里边用它这个AI模型比较多，那么现在在规控里可能也会有神经网络，有更广泛的渗透。当然神经网络有它的很多优势：它可以由于它的一个容量、它的一个输入、它可以处理各种各样复杂的场景，但是它也有它的一些缺点：比如说它的难以解释、它的难以预见。因为它本身的计算过程可能是很多复杂的矩阵，加一些非线性的求和函数，那么在这种大量计算下其实它是人脑所无法理解的，所以说它做的好你其实并不知道它为什么做的好，它做的不好可能你也不知道什么原因。那么这就出现一个问题，就是说它在训练场景之外，可能会遇到一些新的场景，那么这些新的场景，就需要它这个泛化能力。好的AI模型的确是有比较好的泛化能力的，因为它输入也是连续的，但是这个泛化能力需要这个测试来进行一个检验，因为如果你不测试的话你可能永远也不知道（它不像规则模型可以推理）它在这个没有训练过的场景的一个表现是什么样的。 那么同时呢，如果是纯端到端的模型，它可能更依赖这个传感器的仿真，它已经不能再做这个单独的规控的测试了，那么所以在这样的特征下，对于仿真测试来说，它有一个什么样的挑战呢？ 在这块长城也参与了一些前期的理论框架的研究，比如说我们参加了驾驶自动化AI模型评价与测试研究组，这个组其实它想干的事情，就是它想制定一系列的评价指标、测试的场景库、方法来对这个专门针对这种AI模型、自动化AI模型来进行测试。 这个下面其实我是列了会上的一句话，就是它想对它的安全性、拟人性、高鲁棒性、实时性、等等一系列特性进行一个评估，这个评估我们可以看一下，就是从它的安全性、拟人性、鲁棒性、泛化性这块，其实说白了它都是场景库的事情，所以其实对于仿真测试来说我们需要的可能其实是更全面的场景覆盖，更广泛的一个边缘的场景探索，来确保这个AI模型在能它训练场景之外的这些情况也能在仿真测试中发现问题，它所谓的实时性，其实是比较好测试的，它所谓的可解释性与持续迭代性这些，可能这个工作，更多的是在模型的开发者这一块，就是它有了能够去看、解释性的这个方法，我们才能够对它进行一个测试，这个场景是第一块。 那么第二块就是，它需要一个更逼真的传感器仿真，这块的必要性也是不用去多说的，因为原本从行业来说，我们的仿真置信度可能就并不是那么的好，所以，这块我们要进行一个持续的提升。 下面我就简单介绍一下，我们在这两块儿的一个初步的探索。 场景泛化与搜索能力 第一个是对于场景库的泛化这块，我们构建了一个基于优化算法的一个体系。 这个事情可能并不是很新的事情，我相信在座的各位，可能都做过这样的事情，但是我们把它工业化地建成了这样一套体系，首先我们有一个优化算法平台，这个优化算法平台，它内置了多种的优化算法，比如说像这种差分进化算法、像这种遗传粒子群、模拟退火这样的一些算法。而且这个算法从它的计划来说，是会不断去扩充的，因为这里有一个很朴素的指导思想，我们的算法越多，那我们的算法路径其实越多样，有可能我们就能找到更多样的满足要求的测试场景。（关于）它的输入，目前这些算法都是一些项目的参数输入，然后我们对这个算法进行修改，使它能够满足这些离散的、连续的或者是枚举类的这样一个参数的输入。那么它的目标函数呢，其实是我们用这些参数，当然这个目标函数可以做的非常灵活，那么目前我们的做法，其实是用这些参数来构建仿真场景，然后让这个驾驶的算法在里面online跑，或者是离线的跑。如果是离线的跑的话，其实是用一些更简单的控制算法，来替代这个主车，但是你一定要去控制它，否则可能会影响它的一个效果。那么我们针对它的仿真的一个测试场景，对它测试仿真结果，对它测试仿真结果，对它进行评价，从而持续不断地进行这样一个更新和寻优。我们在这个目标函数的执行过程中，我们会把满足要求的案例，给记录下来，然后再进行一个后续的数据处理。那么对于目标函数这块呢，其实它大概率是一个，计算密集性非常高的工作，因此我们也会在这里支持一个并行的计算。 这其实是一个很简单的结果的展示，这个首先是一个普通的 cut-in 的例子，那么这个例子其实就是，主车看到前车以后，它有了一定时间间距的停顿，那我们对它的目标函数的设置，其实（包含）两块，一块就是说TCC尽量小，这样的话会比较接近危险，但另外一方面它是不能碰撞的，一旦碰撞这个函数值就加100，所以就说它是一个比较临界危险的这样一种情况，大家可以看一下这个方法效果，就是它会比较逼近一个危险的边缘场景，那么左边这三张图呢，其实展示了一下效率的对比，我们我们图上画的其实是三种策略，一种就是这个优化算法的一个集成，第二种其实就是在参数空间进行一个随机采样，第三种其实是一种为了满足覆盖率的一个随机采样，就是说我们可能把它参数空间，先把它划分成一些离散的空间，在这些离散的空间里面，进行一个全覆盖的排列组合，然后在每次我采样的时候呢，再采用这种随机采样方法，这样的话，能确保它采样的一个覆盖度，那么从它的那个最优值的变化来说，当那个目标函数，运行1万次的情况下，我们优化算法的最优值是0.12，那么后面两个大概是0.4+，然后如如果我们设定一个0.5，作为一个可接受的阈值的话，那么我们在这1万次的那个泛化计算里边，我们优化算法平台，能满足要求的占一半，还多 5000多次，那么后面两种，可能分别只有三次跟两次，这个差别还是比较大的。 最后就是说，由于我们有了一个后续处理的过程，我们其实是尽量产生一个多样化的测试案例，那么最后这个指标值，其实计算的是我们筛选出来的一个案例，它的一个那个平均间距，其实就是它一个离散程度，那么可以看到它这个离散程度，它的离散度跟随机采样其实是差不多的，比我们后面有那个规定范围的采样，其实还是要更好一些，这样就避免了在一个局部极小值周围，我会拿很多相似的案例来测试，这样一种效率比较低的情况，那么这个是泛化这块（的内容）。 传感器仿真能力 然后我们在传感器仿真这块，也有一些初步的探索。 在提升传感器仿真（置信度）这块，可能业界主要有用这几种方法：游戏引擎，51在这块是行家；生成式模型这块，那一会儿会说的极佳科技，可能它这块也非常擅长。那么长城这块呢，主要是在那个三维重建这块，做了一些探索。 这个首先简单介绍一下，我们这个训练，（关于它的）数据来源，我们现在训练数据主要还是使用量产数据和采集数据，可能还是以量产数据为主，那么走的其实也一个比较标准的数据闭环的流程，我们有个采集 合规脱敏的过程，拿来给算法进行一个训练以及测试，然后最终有个OTA的更新，然后再去采集新的数据，这样一个比较传统的数据闭环。 然后从它的整体的框架来说呢，我们在做三维重建这块，基本还是在图中比较偏下的这个部分，那么它做的事情主要就是，就是将来愿景，可能就是说，我们有一个比较好的一个重建场景，那么我们可能再结合一些生成模型做的这个3D的一些目标物，那么就可以在里边，类似于做一个可以替代渲染引擎，做一个比较真实的这个传感器仿真。做传感器的仿真，接入我们后端的仿真引擎。 因为我们的目前架构，还是基于一个比较成熟的软件框架来做这个事情，包括我刚才说的那个泛化，也是在这个仿真引擎里边去进行一个泛化之后的后续应用。那么这块呢，我们目前主要使用的还是51 Simone，它这个产品(因为我们可能在日常工作中也会接触国内外的很多软件)，那么Simone这个（软件）从无论从它的成熟度、从它的完整性、还是从它的接口友好性来说呢，都是非常优秀的一款软件。 我下面简单展示一下，我们做的一些小课题，一个是说，其实展示的是基于这个研采数据，做的一个停车场的一个重建，这个效果还是可以的，但是它在应用上其实有一些局限：第一，我们并没有那么大量的研采数据；第二，我们建这个场景，目前也没有实现很高度的自动化。 这样一个情况下，当然我们也会在这个方面持续进行探索，那么为了有一个能把这个技术，应用到我们现在的业务中，我们目前做了这样一个事情，就是用量产数据来做一些研究，目前可能用的是这个4DGS，再结合这个扩散模型，这样一种综合的方法来做新车型的数据合成，其实也就是换一下这个传感器的参数啊，我们可以看到这个效果的展示，其实从上到下，是几种不同的传感器的一个参数，这样的话，在corner case上进行一个多车型的复用，这个对我们的实际业务，是有些效率提升的。 这个图其实就是说了这样一个流程，就说我们其实是把旧的一个车型的一个数据包，拿来做场景重建，之后来生成一个新的车型数据包，那么这个中间呢，不光是生成图像（的数据包），也可以生成雷达这样的一个传感器（的数据包），那么我们也对它的结果，做了一个评测对比，就是拿它的真实数据，以及那个新车型的一个传感器的（仿真）结果做个对比，那么结果证明它有误差，但是这个误差是非常小的，还是在我们可以用的范围之内的。那么这其实就是我们用这套技术，也可以做一些，（针对主车的轨迹）做一些比较小幅度内的偏移，也算是对案例做些泛化吧。 那么（关于）这个效果，这里有个视频展示，从它的一些指标来说，可以看到这个比较新的版本，从它的PSR、从它的那个训练的时间、从它的模型的占用来说，相对业绩来说，还是处在一个比较好的一个位置。 这个第三点，其实是我们做了一些，基于AIGC的数字资产生成，那么这个数字资产生成呢，我们依据的是可能是一些图片（一些覆盖角度并不是很全的图片），可以生成的3D资产，可以是3DGS的形式，也可以是Mesh + texture这样的形式。那么（关于它的）用途其实就是，我们可以把它放到这个动静分离之后的重建的一个环境里面去，来做它这个比较真实的渲染重建。 问题与展望 那么刚才其实介绍了一点，就是我们在AI模型仿真测试方面的一点探索吧，那其实我们在做这个仿真测试（的时候），在做相关功能模块的研发（的时候），以及在可能也看了很多产品（之后），其实对技术上的一些难点，还有一些思考，也这里与大家分享一下吧。可能就是我们的一些希望愿景，第一个可能就是说，也是我们的研究目标，如何（根据）量产数据来做这个可漫游的、效果非常好的一个三维重建场景，因为这个方面，它其实是一个工程难度比较大的课题，因为学界它用的数据，可以是公开数据集一样的程度，而实际的量产数据，无论从它数据的完整性、从它数据质量来说，其实完全没有到它那个，很多公开的成果，可以使用这样一个程度，所以其实它是一个比较困难的课题，而它又是我们真正在应用中，所遇到的一个难题，所以这块儿其实是我们希望去有所突破，也在努力去有所突破的一个方向。 那第二个就是说，我们在场景泛化这块，其实刚才我说的那个泛化的框架，我个人觉得其实是比，较好的一个框架，因为第一，它那个算法是可以不断去集成的，而且这些启发式的算法，其实它的原理很像是强化学习，它可以自动进行探索，那么它本身通过这种多种融合，其实可以做很多事情，第二就是说我们目标函数，其实可以灵活的去设计，比方说我们拿它来做open scenario的参数，比方说，我们可以拿来构成open scenario的场景，也可以我们拿它来构成一个动态，随机交通流里的关键参数，就它其实是可以非常灵活，非常去定制化的一个东西，那么如果我们在这方面，去做一个非常好的目标函数设计，然后能够精准的搜索到这些未知，不安全场景，那么其实是可以对AI的模型的这个测试起到一个比较好的支撑作用的，也对SOTIF的工作，起到一个比较好的促进作用，但我们另外一个比较好的，测试AI模型功能的，就是通过worldsim，这种可以互动的仿真交通流来做，那么如何能生成这种既具对抗性，它的行为又更真实的这样交通流，也是大家值得探索的一个话题吧。我们见过的很多产品，可能，它会用一些模仿学习，来提升它的真实性，它会用一些类似于强化学习的方法，在决策的程度上，来做这个对抗性的仿真，那么这个其实从效果来说，可能目前还没有那么的令人满意，那么这块，因为Worldsim，它将来可能也是一个比较好的方向，那么这块其实它的潜力也是非常大的。 然后就游戏引擎的问题，那我们目前来做这个3D重建，其实也是因为游戏引擎嘛，它有一些局限，那我个人认为，它的局限可能在两个方面，一个就是说它构建一个场景，需要大量的那个美术跟人工的这样一个成本的消耗，第二就是说它所生成的场景，可能跟真实还是有所差距的，所以就是说，如何能做这种程序化生成、快速的生成这个比较好的一个场景，其实这个是游戏引擎天生就适合做的事情。第二就是我们如何就是继续强化它的渲染效果，然后可以用某种方式去更加有力地支持它的一个置信度的评估，那么如果能把这个做好的话，那其实游戏引擎，在工业化的仿真软件里，它的作用仍然是非常非常好的。 然后在静态地图的泛化这块，虽然我们可能在论文上看到很多方案，但是我之前在产品中看到的，可能还是比如说，基于OSM去生成open DRIVE这样一种方案，这个方案本身它其实数据源是很多的，但是可能在工业化的过程中，它生成的地图由于信息差距，会有些问题，那么这个问题，其实也是可以去解决的一个问题，而且这个问题如果能很好解决的话，再配合刚才说的这个，这个程序化生成场景的游戏引擎，其实我们就有了很方便生成的、几乎无限 量的一个仿真静态场景。 最后其实就是永恒的难题，仿真测试的置信度，那这个其实我们也有些探索，比如长城也在做那个传感器跟动力学的一些置信度的研究，这块我也不会多说，因为我相信，以上说的这些问题，可能一会儿，相关的专家已经对这些问题有了一个比较好的解答，那么随着技术发展，这些问题我相信也都会，有比较好的答案，然后让我们仿真测试，在这个AI模型的发展过程中，会起到一个越来越重要的作用。 好，我的分享今天就到这里，谢谢大家。 后记：文中内容均来自演讲嘉宾现场录制视频的内容整理，文字整理以及字幕提取可能有瑕疵，大家尽量以视频（如上链接）为主。这些都是李慢慢业余抽空完成的，视频裁剪、添加字幕、文章编辑，花了将近20天，梳理不易，请粉丝们轻喷。另外，还有部分关于北汽和东风等车企的仿真内容后续陆续整理出来，想看的朋友可以持续关注本公 众号。 以上，本文完。来源：车路漫漫