首页/文章/ 详情

我们看了国内5年来48篇文章,发现同学们都在用CARLA研究这些课题

8月前浏览363

自动驾驶落地时代到来,「环宇智行」自动驾驶系统量产能力获得突破|李明|控制器|自动驾驶_新浪科技_新浪网

近年来,随着自动驾驶技术的快速发展,学术研究也呈现出蓬勃发展的态势。通过对国内近年来多篇基于CARLA仿真平台的学术论文进行梳理和分析,我们发现了一些值得反思的现象。


一、论文数量随时间的变化趋势

从我们梳理的论文发表时间来看,基于CARLA平台的自动驾驶研究在近三年呈现爆发式增长

2020年相关研究还相对较少,而到2022-2025年,论文数量显著增加(其中2025年只统计到6月),这表明CARLA作为自动驾驶仿真平台已经得到国内研究界的广泛认可。

这种增长趋势背后反映了几个因素:一是CARLA平台的开源特性和高度可定制性;二是自动驾驶研究对大规模测试的需求;三是仿真平台能够有效降低研究成本和风险。


二、CARLA在研究中的主要应用方向


1. 决策规划算法优化(占比最高-41.67%)

决策规划是自动驾驶研究的核心领域,也是使用CARLA平台最多的研究方向。

强化学习成为主流方法:多篇论文采用深度强化学习算法,如秦琴提出的《ball_tree优化的自动驾驶仿真测试场景生成方法》使用Ball Tree KNN算法提高采样效率;姚悦的《基于改进PPO算法的自动驾驶技术研究》提出RPPO算法解决决策效果不佳问题。

仿真测场景自动化生框架

分层设计思路盛行:李伟东的《基于分层强化学习的自动驾驶决策控制算法》采用两层结构,决策层使用DQN输出离散动作,控制层使用SAC输出连续动作,降低了算法复杂度。

多智能体协同决策:张鲁宁的《混合交通流异常事件下自动驾驶车辆轨迹优化》提出MAD3QN模型,解决多车协同变道的安全性与效率平衡问题。

实验设定变道合流场景

2. 场景生成与测试技术(占比22.92%)

测试场景生成是另一个重要研究方向,旨在解决自动驾驶测试中的"长尾问题"。

自动化场景生成:秦琴的研究基于Ball Tree结构优化,比人工场景制作速度快11.38倍,能高效生成危险场景。

关键场景挖掘:基于树结构Parzen估计器的测试方法能够高效生成高风险、高测试价值的关键场景,大大提升了测试效率。

不同方法统计评价指标结果

虚实融合测试:胡学敏的《仿真到现实环境的自动驾驶决策技术综述》系统总结了Sim-to-Real的迁移方法,包括虚实迁移和平行智能两大技术路径。


3. 感知算法创新(占比18.75%)

感知是自动驾驶的基础,相关研究主要关注如何提高感知系统的准确性和鲁棒性。

多传感器融合:王明辰的《MSF-Diffuser_BEV下基于扩散模型的多传感器自适应融合自动驾驶方法》实现了摄像头、激光雷达、毫米波雷达的自适应融合。

本文所提出的BEV下基于多传感器融合的自动驾驶方法MSF-Diffuser框架图

事件相机应用:王超毅的《基于事件相机的图像语义分割方法》提出EVISS方法,解决了传统RGB相机在动态光照和高速运动场景下的局限性。

环境表征学习:罗玉涛的《基于环境表征的强化学习自动驾驶策略》结合环境表征模型,提高了RL策略的学习效率和收敛稳定性。


4. 平行驾驶与车路协同(占比16.67%)

车路协同是未来智能交通的重要方向,相关研究也开始在Carla平台上展开。

联合仿真框架:史云阳的《SC-V2XSim_车路协同环境下的高速公路混合交通流联合仿真方法》结合SUMO和CARLA,实现了二维交通流与三维车辆仿真的同步映射。

协同定位技术:胡钊政的《基于时空图模型的车-路-图协同定位方法》提出STGO-CL方法,实现了高精度、高鲁棒性的协同定位。

交叉口协同管理:高镇海的《基于行为规约近端策略优化的自主交叉口管理方法》提出BCPPO方法,实现了无信号交叉口的多车协同控制。

行驶区域划分,驾驶路线及潜在冲突点

三、研究趋势与展望

通过对这些论文的分析,我们发现,用CARLA研究规控算法和场景评测技术的群体占据大半(68%),这还是得力于CARLA这款开源软件在车辆控制和场景自由生成方面的便利性;但是用CARLA研究感知技术的比例却比较少,且主要以图像识别类为主,说明CARLA的摄像头传感器能取得学界的认可,但是其它传感器(如激光雷达、毫米波雷达)的落地使用依然不足,这也对CARLA后续的开发/优化方向提供了思路。


随着技术的不断发展,CARLA平台在自动驾驶研究中的应用将会更加广泛和深入。未来,我们可以期待更多创新性的仿真技术研究成果出现,集成到CARLA平台中,推动自动驾驶技术向更高水平发展。


本文基于多篇学术论文的分析整理,仅供参考学习。

最后,本文提及的48篇国内论文,均已备份到Carla中文站(网址:https://bbs.carla.org.cn/),大家可以到Carla中文站搜索、阅读、下载。


来源:车路漫漫
化学UM自动驾驶控制
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2025-12-11
最近编辑:8月前
李慢慢
硕士 自动驾驶仿真工程师一枚
获赞 14粉丝 93文章 320课程 0
点赞
收藏
作者推荐

最新版CARLA 0.9.16通过NuRec应用3DGS仿真效果抢先看!

作者 | 张峻川编辑 | 李慢慢出品 | 车路漫漫大家好,我是峻川。上个月,CARLA官方发布了0.9.16的最新版本,其中包含了和NVIDIA联合开发的3项功能:Cos mos Transfer、SimReady和NuRec,今天笔者就NuRec功能进行简单尝试。在去年笔者曾经发过公 众号文章,将Luman AI的3DGS插件集成进CARLA:LumaAI+CARLA=无痛拥有自己的3DGS自动驾驶仿真器,使CARLA能够实时渲染训练好的3DGS模型,而今年,随着NVIDIA NuRec工具链的成熟,CARLA官方也终于将3DGS模型的渲染功能集成进自己最新版本中,形成了一套可用的自动驾驶仿真工具链。这也是本文将要着重复现的内容。注:NVIDIA的NuRec工具链不仅可以应用到CARLA中,还能集成到旗下Omniverse的其他仿真平台中,例如Isaac Sim,详情可以见笔者的另一篇文章:一文尽览神经渲染(NERF/3DGS)技术在具身仿真框架Isaac Sim中的实现1、实现过程Step 1:安装我们从CARLA的官方github地址:https://github.com/carla-simulator/carla 可以获取其发布的0.9.16版软件,按照官方文档安装编译即可。在此提醒大家注意,CARLA github仓库中的default分支是ue5-dev,是基于UE5.5开发的最新分支,但并不是0.9.16版,不包含本文所述的NuRec相关功能。0.9.16版仍然是基于UE4开发的。大家从github中获取CARLA代码后可以切换到0.9.16 tag。在此我选择的是build from source的方式安装编译,运行以下功能的系统配置是操作系统:Ubuntu22.04;GPU:RTX 3090,CPU 40核,内存128GB。安装编译0.9.16版CARLA后,还需要按照文末参考链接[1]中的描述部署NuRec相关内容:主要是部署一个docker,内部运行Neural Reconstruction Engine,实现3DGS模型渲染的功能;另外就是从NVIDIA的huggingface仓库[2]中下载NuRec工具链所需的制作好的3DGS模型等原始数据。需要注意的是,编译后的CARLA加上对应的UE,再加上刚刚提到的PhysicalAI-Autonomous-Vehicles-NuRec数据集,共会占约300GB的硬盘空间。Step 2:运行接下来运行CARLA server,再运行下面这个脚本即可激活功能。该脚本的命令行参数详见文末参考链接[1]。PythonAPI/examples/nvidia/nurec/example_nurec_replay_save_images.py 效果如下:图1-UE4运行界面(Server端)和pygame运行界面(Client端)CARLA server中可以看到脚本启动的world,其中可以看到地图和动态交通参与者,同时脚本还会启动一个pygame窗口,展示实时的NuRec渲染结果:前视、左视和右视图像。脚本可以选择保存这些渲染图像。2、自车轨迹和动态物体轨迹NuRec和CARLA联合仿真的架构如下图所示:图2-NuRec和CARLA联合仿真的架构example_nurec_replay_save_images.py是一个单纯的数据回放脚本,脚本从PhysicalAI-Autonomous-Vehicles-NuRec数据集的某条切片中提取主车轨迹、动态交通参与者轨迹和地图,在CARLA server中构建一个仿真场景,接下来在每一步的仿真运算中,根据数据切片中的主车轨迹、动态交通参与者轨迹更新CARLA world中的主车位姿和动态交通参与者这些actor的位姿,同时将ego位姿转化为相机位姿,和其他actor的信息一起传输给docker中的NuRec渲染引擎,获取该步的RGB图片。在CARLA world中的主车以外的actor是根据记录的数据做匹配选择的CARLA actor模型,这些动态交通参与者在CARLA中的位姿是脚本中提取的数据集中记录的轨迹控制的,如下图。图3-数据集中的目标物和CARLA中的目标物笔者认为在此基础上进行进一步开发,完全可以实现联合NuRec的闭环仿真,即借助CARLA成熟的工具链体系和3DGS模型渲染实现能够给算法提供高保真度图像的闭环仿真。首先很显然地,在闭环测试中,自车轨迹可以用算法输出的控制指令更新的主车位姿来代替。重点在于动态交通参与者的位姿是否可编辑,是否和主车可交互。即使不对动态交通参与者的轨迹进行改动,由于在CARLA world里,这些已经是actor了,因此起码可以进行碰撞检测等操作来丰富闭环测试功能。此外笔者认为对数据集中的动态交通参与者轨迹文件进行预编辑,以形成新的动态场景应该也是可行的。最后,动态交通参与者是否也可以实现单步控制位姿,以实现和主车的实时动态交互,从当前的示例代码来看应该是可以的,毕竟脚本每一步向Neural Reconstruction Engine发送的gRPC请求对象RGBRenderRequest中都包含了dynamic_objects列表。当然,如果被控的主车轨迹和动态交通参与者轨迹和原始数据相差太大,图像重建效果肯定会受很大影响。3、数据集解析最后我们来看PhysicalAI-Autonomous-Vehicles-NuRec数据集每一个切片都包含哪些信息,挑选一个切片直接解压缩,可以看到包含如下文件:图4-数据集切片的文件组成情况其中包含我们熟悉的map.xodr,用在线的读取OpenDrive地图的工具打开可以看到地图内容,如下所示。图5-数据集中的OpenDRIVE地图还有一些usda、usd、nurec后缀的文件,我们有了之前在Isaac Sim中应用NuRec的经验,可以知道这些就是和NuRec渲染3DGS模型有关系的文件了,因此我们打开Isaac Sim,加载default.usda,可以打开这一系列文件,如下所示。图6-Isaac Sim中加载usda文件可以看到,这和之前笔者文章中的应用3DGRUT模型的操作类似,模型除了渲染用的volume数据外,还连接了mesh文件,其中最主要的静态背景mesh用meshlab打开的效果如下所示。图7-meshlab打开mesh文件不过之前文章中用Isaac Sim打开usda文件加载3DGS模型后,Isaac Sim窗口显示的场景还带有色彩属性,如下图:图8-Isaac Sim打开usda文件的色彩这也许是因为CARLA中应用的NuRec和Isaac Sim中应用的NuRec在渲染方法上有一些差异,因为如果我们将数据集中的checkpoint.ckpt去掉,再运行example_nurec_replay_save_images.py,docker中就会报出checkpoint缺失的错误,可见在CARLA中应用NuRec时,模型训练出的checkpoint是必要的。而且图6中我们只看到了静态背景,我们必然需要额外信息来渲染动态物体。此外数据集中的一些json文件大多是track数据,包含主车轨迹、动态交通参与者轨迹等。深入了解NuRec数据集之后,我们就可以应用自己的方法来产生更多数据集,如可以选用一些更为先进的重建方法。现行的NuRec数据集在重建效果上还存在大量瑕疵,如下图的地面人行横道线。图9-NuRec重建技术的人行横道线的瑕疵更多CARLA相关视频,可关注作者阿b账号:https://space.bilibili.com/357483440本文参考链接:https://carla.readthedocs.io/en/latest/nvidia_nurec/https://huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles-NuRec以上,本文完。来源:车路漫漫

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈