介绍一款面向教育的智驾仿真平台：PanoTwin-E

图片来源|AISIM截图大家好，我是李慢慢。本期转载一篇关于3DGS（3D高斯喷溅）在自动驾驶上应用的文章（来自康谋自动驾驶）。希望能帮大家更深刻的理解其定义、原理、优势、应用和挑战。以下原文。前言随着自动驾驶技术的迅猛发展，构建高保真、动态的仿真场景成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下，3D高斯点阵渲染（3DGS）技术应运而生，成为自动驾驶仿真场景重建的关键突破点。3DGS技术概述与原理3DGS的技术概述3DGS是一种基于3D高斯分布的三维场景表示方法。通过将场景中的对象转化为多个3D高斯点，每个点包含位置、协方差矩阵和不透明度等信息，3DGS能够精确地表达复杂场景的几何形状和光照特性。与传统的神经辐射场（NeRF）方法相比，3DGS在渲染速度和图像质量方面表现出色，弥补了NeRF在动态场景处理和细节保留上的不足。 图1：3DGS重建流程3DGS的技术原理在3DGS中，首先通过SfM（Structure from Motion）技术进行数据预处理，校准相机位置并恢复其内部和外部参数，生成稀疏点云。然后，基于这些点云初始化一组3D高斯点，每个高斯点的初始位置、协方差矩阵和不透明度都会进行设置。训练过程中，3DGS通过反向传播不断优化这些高斯点的位置、形状和不透明度。值得注意的是，3DGS采用了自适应密度控制，能够在每次反向传播后去除那些不重要的高斯点，并根据需要对高斯点进行分裂或克隆，以保证场景重建的精度和细节。 图2：训练过程中高斯点的优化此外，3DGS还使用了一种基于瓦片的光栅化算法，将图像划分为16×16的瓦片，仅渲染每个瓦片中可见的高斯点，从而加速渲染过程。这种方法大大提高了训练速度，并支持实时渲染，使得3DGS在复杂场景的实时渲染中展现出了出色的表现。3DGS在自动驾驶仿真中的应用在自动驾驶领域，3DGS技术被广泛应用于高保真仿真场景的重建。通过将多视角图像转化为3D高斯点云，3DGS能够快速、精确地重建复杂的街道场景，为自动驾驶系统的训练和验证提供真实的虚拟环境。例如，Huang等人提出的S³Gaussian方法，通过自监督学习，从4D一致性中分解动态和静态元素，实现了高质量的街道场景重建。此外，Zhou等人提出的DrivingGaussian方法，针对环视动态自动驾驶场景，发展了基于3D高斯的重建仿真技术。该方法能够有效建模复杂的多尺度背景和前景，提升了自动驾驶系统在复杂环境下的感知能力。 图3：S³Gaussian方法 图4：DrivingGaussian方法3DGS的优势与挑战优势高效性：通过显式建模方法，3DGS避免了传统神经网络训练中的计算开销，训练速度更快，渲染效率更高。精度：3D高斯点可以细致地捕捉场景中的每个细节，从而实现高精度的三维重建。实时性：3DGS支持实时渲染，适合需要快速响应的应用场景，如自动驾驶仿真。挑战场景复杂度：对于极为复杂的三维场景，3DGS可能需要大量的高斯点，这会增加计算负担和内存消耗。动态场景的支持：目前，3DGS主要集中在静态场景的重建，如何高效地处理动态场景中的物体变化，仍然是一个技术挑战。aiSim的3DGS重建功能aiSim仿真平台结合3DGS技术，可以提供强大的三维重建功能，极大地提升了自动驾驶仿真测试的效率和精度。在aiSim中，3DGS被用于从多视角图像中重建复杂的三维场景。aiSim能够精确地捕捉环境的几何形状和光照特性，为自动驾驶系统提供高保真的虚拟环境。这种高精度的三维重建使得自动驾驶算法能够在仿真中进行更为真实的测试，减少了对实际道路测试的依赖。 图5：大FoV相机渲染出现非一致性（左）重建3DGS渲染方案后（右）aiSim新构建的GGSR通用高斯泼溅渲染器优化了重建场景下光线追踪传感器的渲染效果，增强了广角镜头渲染下的一致性，并能减少伪影的产生，实现高保真度的3DGS重建场景兼容。在重建的静态场景之上，aiSim支持自定义动态的场景交通流。通过添加动态实体，aiSim可以模拟交通流、行人行为等动态元素，为自动驾驶系统提供更为全面的测试场景。这种动态重建能力使得aiSim在验证自动驾驶系统的泛化能力和应对复杂场景的能力方面，展现出了巨大的优势。 图6：十字路口车辆起步场景结语3DGS作为一种新兴的三维场景重建技术，凭借其高效、精确和实时的特点，在自动驾驶仿真领域展现出了巨大的潜力。aiSim仿真测试平台通过结合3DGS技术，为自动驾驶仿真提供了强大的三维重建和渲染功能，推动了自动驾驶技术的进一步发展。随着技术的不断进步，我们有理由相信，未来3DGS将为更多行业带来创新性的解决方案。▍参考文献1. 3D Gaussian Splatting for Real-Time Radiance Field Rendering2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving 3. DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 关于更多AISim+3DGS的实战落地效果，欢迎后台勾搭李慢慢，牵线搭桥or聊技术，都能安排～本文完。来源：车路漫漫