大模型攻入自动驾驶

前言 11月10日，CARLA正式发布0.9.15版本！带来数字孪生程序化、大地图上新、素材一键导入等诸多新特性。这些升级显著的加速了CARLA的内容创作流程。本文由深信科创CTO、CARLA核心开发者潘余曦博士，深信科创工程师、CARLA Leaderboard核心开发者严宋扬撰写，为大家带来CARLA 0.9.15最新特性的技术解读。同时，深信科创也在自动驾驶仿真及数据闭环工具链SYNKROTRON® OASIS中集成CARLA 0.9.15版本，期待与CARLA开源社区一起将自动驾驶仿真能力推向新的高度。 CARLA 0.9.15的主要亮点 ① 加入全新地图Town 13与Town 15： Town 13是一张10x10平方公里的大型地图，与Town 12规格一致，但也存在诸多细节差异。Town 13和Town 12互为补充，可以通过训练验证组合帮助用户发现算法过拟合问题； Town 15是一张标准大小地图，复刻了一个大学校园，拥有丰富的迷你环岛和交通限制措施； ② 添加新的重型货车模型：新增了一款驾驶室前置式的重型货车模型，增强了CARLA车辆库的多样性； ③ 程序化三维地图与建筑生成工具： 数字孪生工具能够基于OpenStreetMap真实路网数据，程序化生成三维地图，其中包含了道路、建筑和植被；程序化建筑生成工具可以通过使用不同的建筑模组与调节参数，在建筑风格上创造出无限的变化；④ CARLA资产目录：增加了用户浏览带有图片信息的模型详情，帮助用户轻松选择所需的仿真资产； ⑤ 与英伟达Omniverse集成： 支持直接导入英伟达Omniverse平台SimReady的内容，加速三维仿真环境的构建。 一、加入全新地图Town 13与Town 15Town 13：100平方公里的全新大地图上个版本的CARLA引入了广受好评的Town 12大地图，相较于标准尺寸的地图，它为复杂的仿真场景提供了更广阔的舞台。这次CARLA 0.9.15版本带来了全新的100平方公里Town 13大地图，其拥有复杂的区域结构，从城市到乡村，从单行道到大型高速公路等仿真场景一应俱全。值得注意的是，Town 13在道路结构、建筑风格和模型参数等方面与Town 12有所不同。Town 13和Town 12互为补充，可以共同构成训练-验证模型的二元组。开发者可以在一个Town中训练，在另一个Town中进行验证，形成检测自动驾驶技术栈中过拟合问题的有效方法。Town 15：适用于校园、工业园区自动驾驶训练的新地图Town 15是一张标准大小的地图，复刻了巴塞罗那自治大学 （Universitat Autònoma de Barcelona, UAB） 的道路结构和一些标志性建筑。此地图特别展现了包括众多环形交叉口、路边停车位和一些陡峭地形在内的道路特点。大学内的计算机视觉中心和人文科学图书馆等标志性建筑也在地图中有精致的建模。Town 15适用于校园及工业园区等低速环境下，对交通安全有极高要求的自动驾驶系统，进行训练与测试。 二、添加新的重型货车模型CARLA 0.9.15版本的仿真车辆模型库中，新增了一款适用于物流运输场景的重型货物牵引车，新版本对此车辆提供了完整的支持。 三、程序化三维地图与建筑生成工具地图的构建一直是仿真工程师关注的领域，这是一项耗时耗力、复杂繁琐的工作。在CARLA 0.9.15版本中， CARLA推出了两项新的实验性功能，专用于程序化地生成新地图和建筑。这些工具将有助于提高地图生成的速度，并为自定义CARLA地图添加更多的多样性，帮助仿真工程师高效快速地构建地图。数字孪生工具数字孪生工具可以利用OpenStreetMap数据，制作独特的CARLA地图。用户可以下载一个区域的OSM数据作为输入，然后通过工具界面浏览地图。选择一个感兴趣的区域后，该工具会提取道路网络，并使用真实的道路材质进行渲染，同时生成三维建筑和植被，填充道路间的空隙。这样生成的CARLA地图与现实中的路网高度相似。地图中的建筑是根据OSM中提取的建筑轮廓和高度数据构建的，确保数字孪生中的建筑与选定区域中的真实建筑在比例上相匹配。建筑物采用了 CARLA 资产库中的各种风格的模组进行装饰，以创造视觉上的多样性。 程序化建筑生成工具程序化建筑生成工具为CARLA用户提供了创建新建筑的能力，用户可以使用不同的建筑物模组和调节参数来控制建筑的特征。 同时，可以向建筑物添加各种装饰，如窗花、门楣、窗台、水管、遮阳棚、百叶窗和天线等，以创造出不同程度的变化。 四、CARLA资产目录在CARLA 0.9.15版本中，CARLA提供了一个在线交互式目录，涵盖地图、车辆、行人和道具等主要资源。这个目录支持各种资源的可视化浏览，用户可以方便地在其中找到所需的资源，直接对应蓝图ID。此外，目录还提供了适用于Town 12和Town 13的在线导航工具，只需拖拽轻点，就可以在大型地图中轻松获取目标区域的坐标。 五、支持与英伟达Omniverse集成英伟达的SimReady规范是为仿真场景量身打造的，旨在支持专门针对仿真目的的3D内容构建，简化在机器学习和自动驾驶领域的3D虚拟环境的制作流程。通过Omniverse Unreal Engine插件（已整合进CARLA），用户能够轻松快速地导入已配备完整车灯、车门和车轮的车辆等SimReady内容，以及随手可得的模型来丰富CARLA地图。CARLA与Omniverse的紧密结合大幅提升了构建3D仿真环境的效率，并为Omniverse生态系统中的众多应用开启了新的可能性。 六、其他修复和改进新的API：仅在需要加载的地图与当前地图不同的时候进行加载添加了空的Actor蓝图具有AI或在重放模式下的行人现在快了大约10倍。在撞到车辆之前，它们的碰撞已被禁用修复了FPixelReader::SavePixelsToDisk（PixelData, FilePath）函数由于像素数组未正确设置而导致崩溃的错误修复了导入脚本，如果目标文件夹中有许多其他TilesInfo.txt，可以全部使用它们修复了传感器以检查数据流是否准备就绪（竞争条件下）为carla.TrafficManager Python API函数添加了关键字参数通过传递ARGS=–no-unity来启用Surface non-unity构建模式；允许解除遮蔽和修复IWYU类型的错误修复了Directx纹理中的额外数据，因此在Windows上需要逐行复 制以删除图像上的额外字节修复了TrafficManager中的一个错误，避免行驶到结束车道的车辆在变道时表现异常由碰撞传感器检测到的碰撞不再在每帧生成多个事件 七、立即尝试新的CARLACARLA 0.9.15在素材内容创作方面取得了重大进展。无论您是自动驾驶领域的研究人员、开发者还是爱好者，CARLA都提供了一个更加高效、实用、易上手的测试、开发和创新平台。欢迎大家使用，携手深信科创与CARLA 0.9.15一起将您的自动驾驶项目推向新的高度，深信不疑，科创未来！本文完。 来源：车路漫漫