首页/文章/ 详情

自动驾驶仿真-详解3DGS场景重建技术-从基本原理到落地应用

10月前浏览1339
 

图片来源|AISIM截图


大家好,我是李慢慢。


本期转载一篇关于3DGS(3D高斯喷溅)在自动驾驶上应用的文章(来自康谋自动驾驶)。希望能帮大家更深刻的理解其定义、原理、优势、应用和挑战。


以下原文。


前言


随着自动驾驶技术的迅猛发展,构建高保真、动态的仿真场景成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下,3D高斯点阵渲染(3DGS)技术应运而生,成为自动驾驶仿真场景重建的关键突破点。

3DGS技术概述与原理

3DGS的技术概述

3DGS是一种基于3D高斯分布的三维场景表示方法。通过将场景中的对象转化为多个3D高斯点,每个点包含位置、协方差矩阵和不透明度等信息,3DGS能够精确地表达复杂场景的几何形状和光照特性。


与传统的神经辐射场(NeRF)方法相比,3DGS在渲染速度和图像质量方面表现出色,弥补了NeRF在动态场景处理和细节保留上的不足。 


 

图1:3DGS重建流程


3DGS的技术原理

在3DGS中,首先通过SfM(Structure from Motion)技术进行数据预处理,校准相机位置并恢复其内部和外部参数,生成稀疏点云。然后,基于这些点云初始化一组3D高斯点,每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。


训练过程中,3DGS通过反向传播不断优化这些高斯点的位置、形状和不透明度。值得注意的是,3DGS采用了自适应密度控制,能够在每次反向传播后去除那些不重要的高斯点,并根据需要对高斯点进行分裂或克隆,以保证场景重建的精度和细节。


 

图2:训练过程中高斯点的优化


此外,3DGS还使用了一种基于瓦片的光栅化算法,将图像划分为16×16的瓦片,仅渲染每个瓦片中可见的高斯点,从而加速渲染过程。这种方法大大提高了训练速度,并支持实时渲染,使得3DGS在复杂场景的实时渲染中展现出了出色的表现。


3DGS在自动驾驶仿真中的应用

在自动驾驶领域,3DGS技术被广泛应用于高保真仿真场景的重建。通过将多视角图像转化为3D高斯点云,3DGS能够快速、精确地重建复杂的街道场景,为自动驾驶系统的训练和验证提供真实的虚拟环境。例如,Huang等人提出的S³Gaussian方法,通过自监督学习,从4D一致性中分解动态和静态元素,实现了高质量的街道场景重建。


此外,Zhou等人提出的DrivingGaussian方法,针对环视动态自动驾驶场景,发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景,提升了自动驾驶系统在复杂环境下的感知能力。


 

图3:S³Gaussian方法

 

图4:DrivingGaussian方法


3DGS的优势与挑战


优势

  • 高效性:通过显式建模方法,3DGS避免了传统神经网络训练中的计算开销,训练速度更快,渲染效率更高。

  • 精度:3D高斯点可以细致地捕捉场景中的每个细节,从而实现高精度的三维重建。

  • 实时性:3DGS支持实时渲染,适合需要快速响应的应用场景,如自动驾驶仿真。


挑战

  • 场景复杂度:对于极为复杂的三维场景,3DGS可能需要大量的高斯点,这会增加计算负担和内存消耗。

  • 动态场景的支持:目前,3DGS主要集中在静态场景的重建,如何高效地处理动态场景中的物体变化,仍然是一个技术挑战。


aiSim的3DGS重建功能

aiSim仿真平台结合3DGS技术,可以提供强大的三维重建功能,极大地提升了自动驾驶仿真测试的效率和精度。


在aiSim中,3DGS被用于从多视角图像中重建复杂的三维场景。aiSim能够精确地捕捉环境的几何形状和光照特性,为自动驾驶系统提供高保真的虚拟环境。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试,减少了对实际道路测试的依赖。


 

图5:大FoV相机渲染出现非一致性(左)

重建3DGS渲染方案后(右)


aiSim新构建的GGSR通用高斯泼溅渲染器优化了重建场景下光线追踪传感器的渲染效果,增强了广角镜头渲染下的一致性,并能减少伪影的产生,实现高保真度的3DGS重建场景兼容。


在重建的静态场景之上,aiSim支持自定义动态的场景交通流。通过添加动态实体,aiSim可以模拟交通流、行人行为等动态元素,为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和应对复杂场景的能力方面,展现出了巨大的优势。


 

图6:十字路口车辆起步场景


结语

3DGS作为一种新兴的三维场景重建技术,凭借其高效、精确和实时的特点,在自动驾驶仿真领域展现出了巨大的潜力。aiSim仿真测试平台通过结合3DGS技术,为自动驾驶仿真提供了强大的三维重建和渲染功能,推动了自动驾驶技术的进一步发展。随着技术的不断进步,我们有理由相信,未来3DGS将为更多行业带来创新性的解决方案。


▍参考文献

1. 3D Gaussian Splatting for Real-Time Radiance Field Rendering

2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving 

3. DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 


关于更多AISim+3DGS的实战落地效果,欢迎后台勾搭李慢慢,牵线搭桥or聊技术,都能安排~


本文完。

来源:车路漫漫
通用更多行业自动驾驶多尺度控制渲染
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2025-12-10
最近编辑:10月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 322课程 0
点赞
收藏
作者推荐

介绍一款基于Web的OpenScenario智驾场景管理与编辑工具

----------------------------------- 01 前 言 智能驾驶的测试,一直面临诸多挑战。如果要充分覆盖所有的驾驶场景,有研究机构推测需要行驶180亿公里,也就是说:100辆测试车,24小时工作,需要花费大约500年的时间。而且一旦软件发生变更和升级,之前的测试又要重来。这显然是不可行的。因此,引入仿真测试的方式是必不可少的。其中针对仿真测试的场景覆盖,需要构建一个完整的场景库,除了基于产品功能定义的场景外,还需要考虑功能安全、预期功能安全、法规标准、Corner Case等方面的场景,同时提供必要的接口与仿真平台对接,以支持海量场景的测试执行。本文重点介绍一款基于Web的OpenScenario智驾场景管理与编辑工具——AUTOSIM,满足功能场景定义、逻辑场景设计与具体场景设计的企业级多人协同开发需求。AUTOSIM Dashborad页面 02 功能场景定义 我们知道智能驾驶场景设计,其实不只是测试工程师的事。准确、合理的产品设计需要产品工程师和系统工程师协作完成。因此,AUTOSIM提供了一个单独空间-Definition用于功能场景的定义。功能场景定义功能场景的定义有一定层级结构,AUTOSIM将这种结构划分为“Feature”和“Function”两层。例如Cruise Control(巡航)被定义为一个Feature,而在这个Feature下,会细分Cut In,Cut Out,Stop&Go等多个Function。这些Feature和Function是可以基于企业要求,提前在设置页面灵活配置的。在具体功能设计时,直接从下拉菜单中选择即可,非常方便。功能场景的设计基本是语义层面的描述,新建一个功能场景可直接在对话框中完成。具体如下:功能场景定义过程考虑到用户存在多人协作,功能场景设计之后,需要发起评审。只有经过评审的功能场景才能生成独立的ID编码,以推进下一步的具体场景设计(支持场景的血缘追踪,这一点很重要)。 03 逻辑与具体场景定义 逻辑场景定义了场景的参数空间,而具体场景是从参数空间中选择具体的取值。在实现上述场景的过程中,AUTOSIM并没有再细分逻辑场景和具体场景,而是统一归到一个叫“Designer”的模块中,这样效果会更高。3.1 选择OpenDRIVE地图OpenScenaro场景的定义不能脱离于地图来设计。因此,首先应该选择具体的OpenDRIVE地图。AUTOSIM工具中,在Configuration模块下提供了一个地图库,用户可以提前将设计好的OpenDRIVE地图上传到该库中,并浏览地图的轮廓。OpenDRIVE地图库3.2 设置主车和目标车运动属性由于篇幅关系,这里只将OpenScenaro最核心的ego(主车)和目标对象的设置做一个介绍。在ego子页面主要配置主车的起始位置,朝向信息。在目标对象子页面主要配置目标车辆、非机动车的数量、位置、初速度,以及Maneuver与Event等信息。该部分可以详细参考OpenScenario标准。ego主车和目标对象的设置设置完ego和目标之后,此时用户就可以尝试运行“浏览”功能,看看实际场景与自己的意图是否相符。在AUTOSIM中,集成了es mini插件,用户可以非常便捷地看到动态效果。3.3 场景泛化前面提到,在AUTOSIM中没有独立设计所谓的逻辑场景和具体场景,而是配置了个“参数泛化”功能。用户可选择需要被泛化的参数(例如目标车速、距离、变道时间等),一键泛化生成海量场景。需要注意的是,这些参数之间是存在一些约束条件的,AUTOSIM中提供了约束配置方式。泛化后的场景,用户必须有一定的专业知识做一些裁剪,剔除无效场景。场景的参数化泛化 04 场景应用 在AUTOSIM中设计好的具体场景,可以下载到SIL/HIL/VIL等平台中,直接运行(必须兼容OpenX系列标准)。场景设计是一个相对专业的过程,功能场景的设计和Designer中的具体场景设计,都需要经过评审。所以,在AUTOSIM中做了明确的权限设计,一些环节的交付产物,是需要经过评审确认之后,才能往下游传递。在应用阶段,用户可以挑选已经经过评审的场景子集,测试时不必进行全量测试,而是按需构建测试范围,以适配项目不同阶段的测试要求。本文完。来源:车路漫漫

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈