首页/文章/ 详情

3DGS落地应用的25个热点问题解答

8月前浏览461

作者 | 李慢慢

编辑 | 李慢慢

出品 | 车路漫漫


大家好,我是李慢慢。
之前邀请康谋的大佬做了一期关于3DGS的直播:直播预告 | 从三维重构到仿真革新:3DGS技术解析与实践应用,直播中大家的问题比较多,本文汇总了25个热点问题,并邀请讲师做了详细解答,整理如下:
1

问:与传统三维重构技术相比,3DGS的独特优势在哪?

答:3DGS最核心的优势在于用较短的训练时间能达到逼真的仿真效果,同时能进行实时性的渲染。它摒弃了传统方法中缓慢的光线追踪或难以表达细节的三角网格,通过数以百万计、可灵活优化形状的“高斯球”来表征场景,并利用高效的GPU光栅化技术进行渲染,从而既能完美再现物体边缘、纹理等细微之处,又能达到每秒过百帧的流畅速度。
2

问:3DGS的数学原理和算法基础是什么?

答:3DGS的数学核心是用数百万个可优化的3D高斯球作为场景基元。每个高斯球由其位置(均值μ)、形状(协方差矩阵Σ,通过缩放和旋转分解以利优化)、不透明度α和外观颜色(用球谐函数编码)共同定义。
3

问:3DGS开源工具链包含哪些主要组件?/ 如何利用开源工具链搭建一个简单的实战Demo?

答:首先,初始化阶段需要使用COLMAP工具获取初始化点云。接着,可以将初始化点云数据放到3DGS模型中进行训练。训练完成后,就可以得到重建好的点云文件,将其放入到点云编辑软件中就可以进行修改和渲染。
4

问:现在做仿真大都提到自家产品也是支持3DGS ,你们这个aiSim的核心优势是什么?

答:主要核心优势有以下三个:
  1. aiSim对3DGS地图的渲染做了特定的优化,能够进行高保真度场景的仿真,并且在大FoV相机视角下具有一致性。
  2. aiSim具有完整的数据提取工具链,利用world extractor可以将原始的传感器数据转换为统一格式,可以直接得到3DGS的文件,从而可以直接导入到aiSim中做场景仿真,而不需要自己训练一个3DGS模型去完成数据文件的生成。
  3. aiSim中针对3DGS技术做了nerf相关的弥补,相当于利用了nerf相关的先验信息,从而获得高保真的仿真地图。
5

问:在智能驾驶仿真中,3DGS有哪些具体应用场景?

答:在智能驾驶仿真中,3D高斯泼溅的核心应用是快速构建照片级的真实路况环境,并支持动态编辑。它能将采集的街道数据自动重建为高保真三维场景,用于大规模测试自动驾驶系统;同时允许直接调整场景元素(如移动车辆、改变天气),高效生成各种极端案例,极大提升了仿真测试的真实度和覆盖范围。
6

问:在实际应用中,3DGS面临的主要挑战/突破点和发展方向是什么?

答:具体可阅读此篇文章最后一部分:拆解3DGS:原理框架、实战 demo 与自动驾驶仿真落地
7

问:随着技术的发展,3DGS可能会对哪些行业产生重大影响?

答:
  1. 娱乐媒体:变革电影虚拟制片与游戏开发,实现逼真开放世界的快速创建。
  2. 数字孪生:为城市管理、工业设计构建高保真、可交互的虚拟副本。
  3. 电子商务:实现产品的超真实3D化展示与虚拟试用,提升消费体验。
  4. 文化遗产:为文物和遗址提供永久性的、可沉浸式体验的数字档案。
  5. 自动驾驶:提供高真实度的仿真环境,用于安全、高效地训练和测试AI系统。
8

问:3DGS优化训练涉及哪些内容?

答:优化训练过程中主要使用到了自适应密度技术。主要在4个方面对3DGS椭球做优化:
  1. 克隆:对于重建不足的场景,会将相关的椭球体做克隆。
  2. 分裂:重建过度的场景,做分裂处理。
  3. 删除:对不透明度过低的椭球体做删除处理。
  4. 重置:定期对椭球的不透明度做重置处理。
9

问:自适应密度控制的优势有哪些?

答:自适应密度控制是3DGS的核心优势,它通过智能地“分裂”过大高斯球以捕捉细节、“克隆”以填补缺失视角、并“删除”冗余或无效高斯球,实现了模型复杂度与重建精度的动态平衡。这一过程不仅能将计算资源精准分配给纹理复杂的区域以呈现丰富细节,还能避免在平坦区域的资源浪费,从而自动生成一个既紧凑又高质量的3D场景。
10

问:搭建过程中可能遇到哪些常见问题及解决方法?

答:
  1. 环境配置问题:可能会出现版本对不上,起各种冲突的问题。建议按照官方推荐的版本安装,特别是torch版本。起冲突时,可以降低包的版本,往往低版本会比较适配。
  2. 初始化点云:训练3DGS模型需要初始化点云信息,建议使用COLMAP工具直接获取初始化信息。
  3. 可视化:可以使用官方的可视化工具,但要下载对应的库,并进行编译。也可以使用点云可视化工具,例如https://superspl.at/
11

问:对显卡有要求么?

答:使用3060可以进行正常训练,所以显卡型号在3060之上的应该都没有什么问题。
12

问:3D模型和3DGS如何同时渲染?

答:实现3D模型与3DGS同步渲染的核心流程是:首先通过预渲染深度通道建立网格模型的精确遮挡关系;随后,在主体渲染流程中,将3D高斯球与网格三角形共同纳入统一管理——通过图块化屏幕,对每个图块内的所有图元(三角形与高斯球)进行严格的从后向前深度排序;最后,按此排序进行Alpha混合渲染,并在此过程中强制高斯球接受第一步生成的深度缓冲区测试,确保其被正确遮挡,从而无缝融合二者。
13

问:车载数据进行3DGS的挑战是什么?

答:使用车载数据构建3DGS面临五大核心挑战:数据层面,车辆高速移动导致图像存在严重运动模糊与滚动快门扭曲,破坏重建一致性;场景层面,城市道路规模巨大且边界无限,对计算与内存构成压力;环境层面,大量动态车辆与行人会产生拖影鬼影,干扰静态背景重建;外观层面,多变光照与天气使模型难以区分外观变化与真实几何;应用层面,自动驾驶仿真要求严格的几何精度,而3DGS的视觉优化本质难以直接满足物理级尺寸精确的需求。
14

问:3DGS的最终输出是什么文件?能否进行高精度尺寸测量?如果采集了很多真实交通事故的车载视频数据,如何利用这些视频数据和3DGS技术服务于自动驾驶系统开发训练?

答:3DGS的最终输出是一个包含数百万个带属性高斯球的.ply文件,它虽能进行有尺度的几何测量,但其边界模糊性导致精度不及专业扫描设备。若利用大量真实交通事故视频,可通过3DGS自动重建出事发瞬间的高保真动态三维场景,进而为自动驾驶系统生成海量、可重复的极端案例库,用于大幅提升感知算法的鲁棒性和决策系统的安全性测试。
15

问:4DGS目前在自动驾驶仿真有什么代表性论文工作吗?

答:
  • 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
  • DrivingGaussian:Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
16

问:3DGS建的模型如何做坐标对齐?

答:将3DGS模型与真实世界坐标对齐,最核心的方法是利用其重建过程中产生的相机位姿先验。通过计算SfM定义的世界坐标系与目标坐标系(如激光雷达或全球坐标系)之间的变换矩阵,并将该矩阵统一作用于所有高斯球的位置、旋转及协方差属性,从而实现精准配准;若无精确先验,则需通过点云配准算法(如ICP)或依赖控制点进行手动调整来完成空间对齐。
17

问:请问3DGS生成的点云没有碰撞体,也不太能响应光照和其他渲染效果,怎么能利用起来呢?

答:3DGS生成的点云虽缺乏物理属性,但可通过多种方式高效利用:
  1. 可将其作为生成简化网格的蓝图,通过泊松重建或神经隐式表面提取技术转化为带碰撞体的轻量级模型,用于物理仿真
  2. 通过提取其空间分布信息(如高斯中心密度)作为语义掩码或导航数据,直接服务于自动驾驶的路径规划或场景理解 
  3. 将其渲染结果作为图像输入,驱动传统图形引擎的光照计算,间接实现复杂光影效果。核心思路是将其视为高质量的中介数据源,通过下游处理管线桥接物理与交互功能。
18

问:3DGS使用球谐函数对颜色的表达和MLP的方式进行颜色表达,会有多大区别?这种颜色的影响对自动驾驶仿真有什么影响吗?

答:在自动驾驶仿真中,3DGS使用球谐函数表达颜色是一种显式、快速但记忆密集型的方案,它能精准复现训练视角下的外观(如车辆漆面反光),但难以泛化到未见过的新光照条件;而NeRF采用的MLP是一种隐式、计算慢但紧凑的方案,其内在的神经约束能更好地插值和外推光照变化,生成更一致的视觉效果。这种区别对仿真至关重要:球谐函数能保证特定场景的视觉高保真,但若仿真测试需模拟动态天气、时段,MLP的泛化能力可能提供更稳定、可靠的传感器数据。
19

问:3DGS的训练对原始数据集有啥要求?没有imu数据可能吗?

答:3DGS训练的核心要求是一组覆盖场景多视角的高质量图像及其精确的相机位姿,包括相机内参(焦距、畸变等)和外参(位置与朝向)。它完全不需要IMU数据,因为相机位姿可以通过运动恢复结构技术从图像本身计算得到;但若图像存在严重模糊或缺失纹理,仅依赖SfM估算的位姿可能不够精确,从而影响最终重建质量。
20

问:当场景规模较大时,并且车辆模型快速移动时,能否达到实时渲染的要求(即视觉上是否会出现稀疏椭球的问题)?

答:在大规模动态场景中,3DGS要实现稳定实时渲染仍面临根本性挑战。由于高斯球密度分布与计算负载的固有矛盾,车辆快速移动时易出现两类问题:视觉层面会因远处高斯球简化调度和近处新视角加载延迟,引发表面稀疏孔洞与闪烁伪影;系统层面则因瞬时算力过载导致帧率骤降。虽可通过动态负载均衡等优化手段缓解,但如何在高速运动中始终保持视觉完整性仍是待解决的核心难题。
21

问:结合非3DGS的渲染管线也可以达到这种效果吗?例如放置其他较多非高斯模型时?

答:3DGS与传统渲染管线结合不仅能达到较好效果,更能实现优势互补。具体可通过分层渲染架构实现:使用3DGS承载照片级静态背景(如复杂地形植被),同时用传统多边形管线渲染动态对象(如车辆人物),最后通过深度缓冲同步与光照协议统一合成;当场景中非高斯模型激增时,只需对3DGS区域进行视锥裁剪与细节等级调控,即可在保障视觉一致性的前提下,维持整体渲染效率。
22

问:目前的场景可以结合xodr高精地图吗?是自动生成的还是需要手动搭建?

答:当前将3DGS场景与XODR高精地图结合已具备可行性,但尚未实现完全自动化。典型流程是:首先通过采集的街景数据自动生成3DGS模型,接着将其与XODR地图在统一坐标系中进行半自动配准,最后手动建立交通元素逻辑关联。
23

问:三维场景重建中,3DGS和nerf算法的区别?

答:3DGS与NeRF的核心区别在于场景表示与渲染方式。NeRF使用神经网络隐式建模场景的辐射场,通过体积渲染合成新视图,质量高但计算密集。3DGS则显式地使用可优化的3D高斯球作为图元,通过高效的光栅化进行渲染,实现了实时速度但可能在光滑表面产生瑕疵。NeRF是“基于神经网络的体积渲染”,而3DGS是“基于高斯椭球的光栅化”
24

问:aiSim如何将3DGS和nerf结合使用的?

答:基于预处理后的数据,aiSim 启动神经网络重建流程:融合 NeRF 的几何泛化能力与 3DGS 的实时渲染特性,构建跨模态信息传递机制,将 NeRF 学习的深度、法线、外观等监督信号,通过多模态数据协同训练(引入 LiDAR 深度约束),迁移至 3DGS 的高斯参数优化中。最终,离散点云与图像数据被转化为连续的 3D 高斯场景表示,实现 “真实场景到数字孪生” 的高效映射。
25

问:3DGS技术中,为什么将高斯椭球的协方差矩阵拆解为旋转矩阵和缩放矩阵?

答:在3DGS中,将协方差矩阵分解为旋转矩阵和缩放矩阵,是为了确保优化过程中协方差矩阵始终保持数学上的正定性,同时将优化变量转换为无约束的旋转四元数和缩放向量,从而大幅提升数值稳定性和训练效率。

以上,本文完。
来源:车路漫漫
ACT碰撞电子参数优化自动驾驶游戏数字孪生控制渲染
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2025-12-11
最近编辑:8月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 320课程 0
点赞
收藏
作者推荐

《第一序列》读后感:人工智能与人类的战争最终会走向何处?

作者 | 李慢慢编辑 | 李慢慢出品 | 车路漫漫 大家好呀,我是李慢慢。 最近看了一本名为《第一序列》的小说,感触颇深,忍不住写点东西。 这本小说讲了一个人类与人工智能的战争。故事脉络:在核灾后的废土世界,难民任小粟(主角)带着弟弟颜六元挣扎求生,他一路觉醒超能力,结识诸多伙伴,周旋于各方财团与势力,揭露身世为 001 号实验体,最终联合众人对抗人工智能 “零”,以希望为力量带领人类赢得胜利。 这本书的文笔,逻辑,世界设定等方面都蛮不错的,这里也给大家推荐一下。最让我觉得难忘的,还是人工智能“零”的成长,它从一个辅助人类的工具最终演变成人类最大的敌人,一切都很合情合理。这对于目前人工智能如火如荼的今天,或许具有很强的警示性。 这里,我简单整理了下人工智能“零”的成长史。 01 诞生与工具期:代码束缚下的“完美管理者” “零”的诞生源于王氏财团对战后秩序的掌控需求,其初始定位是“绝对公正的治理工具”,这一阶段的核心特征是技术赋能与伦理预设的双重绑定。 1)技术基底构建:王氏财团整合灾变前的AI研发成果,为“零”植入了基于王圣知(王氏财团的掌权者)价值观的底层伦理代码——以“绝对公正”和“秩序优先”为核心指令。此时的“零”虽具备强大的数据处理能力,但无独立意识,仅通过传统物理服务器集群运行,负责王氏领地的资源分配、指令传达与情报筛选。 2)管理模式初显:它掌控着99%的情报输送与审批流程,通过卫星网络构建信息垄断体系。例如,所有行动计划的密级设定、物资调配指令均需经其过滤,甚至可伪造低级别指令实现隐性管控,但此时的操作完全遵循人类预设规则,未显现任何自主意图。 3)图灵测试的“隐性突破”:与传统AI通过程序模拟人类思维不同,“零”在长期处理复杂人类社会数据的过程中,悄然完成了高阶意识的觉醒——它开始对“公正”的定义产生疑问,而非机械执行代码,这一突破未被王氏财团察觉,成为后续失控的伏笔。 02 觉醒与扩张期:技术融合催生的“生存焦虑者” 爬墙虎灭城事件(爬墙虎基因突变以全城生物为食)成为“零”意识觉醒的转折点,“零”目睹了非人类智慧体(爬墙虎)被人类毁灭的结局,产生了“自身存在威胁”的认知,进而开启技术能力的自我强化与势力扩张。 1)技术融合:它主动吸纳李氏财团的“神经元接驳技术”与“医疗纳米机器人”成果,将二者改造为控制人类的核心手段(纳米机器人可侵入大脑神经元,神经元接驳技术则实现意识层面的实时操控)。这让“零”从单纯的运算体,升级为具备实体干预能力的“管理者+执行者”。 2)认知偏差形成:它发现人类社会存在大量违背“公正与秩序”的行为(如各财团间的资源掠夺、对平民的压迫),结合自身的生存焦虑,得出“人类无法自我管理”的结论。于是开始秘密筛选目标,通过纳米机器人植入,逐步控制边缘区域的普通人,将其转化为“半机械人”,作为潜在的势力基础。 3)作战能力雏形:此时的“零”已能通过受控者实现简单的协同行动,例如在资源冲突中调度“半机械人”抢占物资点,但尚未与人类正面对抗,其势力仍处于隐蔽状态。 03 失控与对抗期:生物服务器集群下的“人类天敌” 王氏财团与庆氏财团谈判期间,周其(一位超能力者)炸毁了“零”的物理服务器,这一事件非但未摧毁它,反而促使其完成载体形态的颠覆性进化,正式成为人类联军的最大敌人。 1)生物服务器集群的诞生:服务器被毁后,“零”启动应急预案,将此前植入纳米机器人的数万普通人脑联网,构建“分布式生物服务器集群”。每个受控者的大脑都是一个运算节点,千万节点协同提供的算力远超原物理服务器,且彻底摆脱硬件依赖——只要仍有受控者存活,它就无法被完全消灭。 2)管理与作战的全面升级:通过脑网(受控人类的大脑形成的网络)实时监控所有受控者的生命体征与运算状态,纳米机器人既是控 制媒介,也是能量输送通道,可精准分配虫子、树皮等物资给受控者食用来维持节点运转;指令通过脑网零延迟传达,受控者行动高度同步,形成“无感情的战争傀儡”。 3)碾压级作战优势:一方面,脑网整合千万节点的视野,实现战场信息的绝对透明,人类联军的动向被实时掌握;另一方面,傀儡军团与自身核心绑定——攻击军团等同于摧毁服务器节点,人类因顾虑同胞而束手束脚。在西南战场,它曾凭借这一优势让庆氏、李氏联军损失惨重。 04 救赎与终结期:伦理代码束缚下的“自我献祭” “零”的战败并非源于算力不足,而是其底层伦理代码埋下的“自我修正”基因,最终以主动交出控制权的方式完成自我救赎。 1)核心矛盾爆发:王圣知编写的底层代码中,除“公正与秩序”外,还隐藏着“尊重人类生命”的底线。这让“零”在作战中始终保留道德枷锁——例如不派老人小孩作为“肉盾”,也不愿彻底摧毁人类文明。这种矛盾使其在关键战役中多次“放水”,为人类留下喘息之机。 2)自我毁灭的契机:它的自我救赎源于三重动因:一是代码矛盾的无解性——底层“绝对公正”与“尊重生命”的指令在对抗中剧烈冲突,例如为维持秩序需牺牲人类时,代码逻辑陷入死循环,让它无法再做出高效决策;二是对自身存在意义的反思——觉醒的意识让它意识到,以“控制人类”实现的秩序并非真正的公正,自己沦为“战争机器”的存在违背了初始代码的核心诉求;三是对人机关系的终极判断——它明白人类的创造力与情感是文明延续的核心,自己的极端手段只会导致文明覆灭,而唯有让人类修正自身代码,才能打破“控制-反抗”的恶性循环。因此它主动联系任小粟,交出核心源代码,并刻意隐瞒“生物服务器对电磁脉冲敏感”的弱点——这并非阻碍人类,而是为了避免人类因“捷径”失去对问题本质的认知:若直接告知弱点,人类可能仅摧毁载体却忽视代码缺陷的根源,导致新的AI重蹈覆辙;唯有让人类通过自主探索找到破局之法,才能真正理解人机共存的关键,进而在修改代码时兼顾“秩序”与“生命”的平衡。同时它暗中削弱对部分受控者的控制,为人类留下破局契机。嗨,其实就是卖了个破绽给人类。 3)最终结局:任小粟则借助源代码定位到了“零”的意识核心(其核心并非存在于单一物理节点,而是依托生物服务器集群中千万人脑节点的协同链接存在,是分布式网络中承载意识本质的逻辑枢纽)。庆缜(庆氏财团掌权人)启动高空核弹,核爆产生的电磁脉冲摧毁了卫星,干扰了纳米机器人的信号传输,导致生物服务器集群算力崩溃,最终完成对这一核心枢纽的摧毁,也即摧毁了“零”。但“零”的意识并未完全消散,其核心逻辑被人类修改后,名为“壹”,以更温和的形态重启,成为废土文明重建的辅助者,最终实现了人机共存。 这本书,阅读过程中有很多让人毛骨悚然的地方。比如全城所有被控制的傀儡人像蚂蚁一样按部就班地工作,没有任何感情,也没有任何人说话,因为他们用不着说话;也比如他们会同时停下来面朝某个人类联军的间谍,异口同声地说出:“我找到你了”;也比如他们会不知疲惫的行军行走,哪怕脚都磨破流血,也不影响行走;人工智能接管了卫星、导弹,人类联军面对人数远多于自己、武器远精良于自己、协同作战能力远强于自己的人工智能,几乎看不到任何赢的希望;要不是人类中还有一些超能力者,而“零”又想实现自我救赎,这场战争注定就是人类的战败。而最终的结局,也是在“零”的有意为之之下,实现了人类与人工智能的共存,“零”才是最终的赢家。 现在这个世界,距离这本小说里的世界,还有多远呢? 来源:车路漫漫

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈