盘点-自动驾驶仿真领域常见的开源工具
大家好，我是李慢慢。
从事自动驾驶仿真好些年了，期间有接触到or听闻过很多开源的仿真工具，这里把他们整理了一下，分享给大家。
内容有点多，建议先收藏。
目录如下：
以下，正文。
1、仿真软件
1.1、CARLA
CARLA 是一个开源的自动驾驶研究模拟器。它基于 Unreal Engine 运行模拟，采用 OpenDRIVE 标准定义道路和城市环境。其具有可扩展的服务器 - 多客户端架构，支持同一或不同节点的多个客户端控制不同参与者。通过灵活的 API，用户能控制交通生成、行人行为、天气、传感器等模拟相关的所有方面。用户还可配置包含激光雷达、摄像头、深度传感器和 GPS 等多样化的自动驾驶传感器套件。此外，CARLA 支持地图生成、交通场景模拟，能与 ROS 集成，并提供自动驾驶基准，为自动驾驶系统的开发、训练和验证提供了丰富的功能和工具。
仓库地址：
车路漫漫历史相关文章：
介绍一款开源的自动驾驶仿真模拟器-Carla
1.2、LGSVL
LGSVL Simulator 是 LG 电子美国研发中心开发的基于 Unity 游戏引擎的开源自动驾驶仿真系统。它提供端到端的仿真，通过自定义通信 Bridge 与多种自动驾驶算法引擎接口进行消息传递，支持 ROS、ROS2 和 Cyber RT 消息，能与 Autoware、百度 Apollo 等开源自动驾驶引擎便捷集成。用户可利用核心仿真引擎轻松定制传感器、创建新型可控对象等，还可通过地图工具导入导出多种格式的高精地图。其能模拟逼真的 3D 环境、动态交通场景和各类传感器，可用于自动驾驶系统的软件在环和硬件在环测试，助力开发者降低测试成本，加速自动驾驶技术的研发与验证。
仓库地址：
截图：LGSVL已经于2022年停止更新维护
1.3、Airsim
AirSim 是微软开源的跨平台仿真平台，基于虚幻引擎构建，也支持 Unity 引擎。旨在为无人机、自动驾驶汽车等自主系统提供逼真的视觉和物理仿真环境。它具有高度逼真的渲染效果和精确的物理模拟，能模拟多种传感器，支持软件在环和硬件在环仿真。提供丰富的 API 接口，支持多种编程语言，方便开发者控制车辆、获取数据和修改环境参数。此外，AirSim 还具有跨平台兼容性、灵活性和可扩展性等特点，为人工智能、计算机视觉和强化学习算法的研究与开发提供了理想的测试环境，降低了实际硬件测试的成本和风险。
仓库地址：
备注：AirSim本来是为了无人机设计的仿真软件，但是也可以用于自动驾驶汽车甚至于飞行汽车。
1.4、TADSim
TAD Sim 是腾讯发布的开源自动驾驶仿真测试平台。它是为智能驾驶系统研发和验证量身定做的跨平台分布式仿真系统，基于腾讯专业的游戏引擎、厘米级数字孪生三维重建技术等，集成工业级车辆动力学模型、物理级传感器仿真和数据驱动的 AI 交通流模型。其具备高保真场景还原、高精度车辆动力学模型等特点，可完成实车上全部模块的闭环仿真验证，支持模型在环、软件在环等车辆验证 V 字全流程，能与自动驾驶云工具链全流程打通。此外，平台采用模块化、标准化、合规化设计，支持 OpenX 国际标准格式，方便扩展和第三方对接。
开源仓库地址：
单机版 (标准版) 用户手册：
TADsim软件架构图
1.5、self driving car simulator
Udacity self - driving car simulator 是基于 Unity 游戏引擎的开源自动驾驶汽车模拟器。它主要用于 Udacity 的无人驾驶工程师纳米学位课程，帮助学生学习如何使用深度学习训练无人驾驶汽车。该模拟器能构建高度真实的 3D 世界，包括复杂路况、天气条件和多样的交通参与者。通过其简洁的 API，开发者可发送控制指令并接收车辆状态等数据。同时，它还能方便地整合机器学习框架，用于训练和验证自动驾驶算法，可载入内置场景或创建虚拟测试路线，为学生和研究人员提供了一个安全、低成本的实践平台，有助于推动自动驾驶技术的发展。
仓库地址：
1.6、Gazebo
Gazebo 是一款功能强大的开源机器人仿真软件。它能为机器人提供逼真的物理模拟环境，精确模拟机器人在现实世界中的运动、受力等情况。Gazebo 拥有丰富的模型库，包含各种机器人模型以及室内外场景模型，用户可方便地进行组合和定制。同时，它支持多种传感器模拟，如摄像头、激光雷达等，可帮助开发者测试机器人的感知系统。此外，Gazebo 还具有良好的开源生态，与 ROS 等机器人开发框架集成紧密，便于开发者进行机器人算法的开发、调试和验证，广泛应用于机器人研究、教学以及工业开发等领域。
仓库地址：
备注：Gazebo可以用于自动驾驶车辆仿真测试。它能提供逼真的物理模拟环境，精确模拟车辆的动力学特性和运动状态，包括车辆在不同路况、天气条件下的行驶情况。
1.7、mars
OPEN - AIR - SUN/mars 是用于自动驾驶仿真测试的开源工具。它聚焦于复杂场景的模拟，可构建出接近真实的交通环境，涵盖不同的道路类型、多样的天气状况以及复杂的交通流。其优势在于高保真度的传感器仿真，能精准模拟激光雷达、摄像头等设备的工作，为自动驾驶算法提供高质量的测试数据。并且，它具备灵活的场景编辑功能，开发者可以根据需求定制特定场景，实现对自动驾驶系统在极端或特殊情况下的性能测试。此外，该软件开源的特性，方便全球开发者共同参与优化和改进，促进自动驾驶技术的快速发展。
仓库地址：
1.8、渲染引擎
1.8.1、Unreal
Unreal 是一款强大的开源游戏开发引擎。它以高端的图形渲染能力著称，能够创建出极其逼真的游戏画面和沉浸式的虚拟环境。提供了丰富的工具和资源，涵盖建模、动画、特效等多个方面，方便开发者进行各种类型游戏的开发。其蓝图可视化脚本系统，让非专业编程人员也能轻松实现复杂的游戏逻辑。Unreal 还支持跨平台开发，可发布到 PC、主机、移动等多种平台。同时，它在影视制作、建筑设计、教育培训等领域也有广泛应用，凭借其出色的功能和性能，成为全球众多开发者和工作室青睐的开源软件。
前文提到的自动驾驶仿真软件CARLA / TADSim就是基于Unreal开发的哦。
1.8.2、Unity
Unity 是一款广泛使用的跨平台开源游戏开发软件。它提供了丰富的工具和资源，让开发者能轻松创建 2D、3D 游戏及其他互动内容。其可视化的开发界面便于操作，即使是初学者也能快速上手。Unity 拥有大量的插件和 Asset Store 资源，可帮助开发者节省开发时间和成本。同时，它支持多种平台发布，包括 PC、移动设备、主机等，能满足不同用户的需求。此外，Unity 还有活跃的社区，开发者可以在社区中交流经验、分享代码，获取技术支持，这使得 Unity 成为游戏开发领域中非常受欢迎的开源软件之一。
前文提到的自动驾驶仿真软件LGSVL / self driving car simulator 就是基于Unity开发的哦。
2、地图&场景
2.1、场景播放器-Es mini
Es mini 是一款由瑞典国家道路与交通研究所（VTI）开发的开源交通场景模拟器。它支持 OpenSCENARIO 标准，能依据该标准的场景描述文件精准创建各种复杂交通场景，为自动驾驶算法的开发与测试提供便利。通过 Es mini，用户可灵活定义交通参与者的行为、路线等元素，模拟逼真的交通环境。其基于 OpenSCENARIO 的特性，使得它能与其他遵循该标准的软件工具良好集成，方便研究人员和开发者在统一的场景描述规范下进行协同工作，推动自动驾驶技术的研究与发展，在自动驾驶领域有着广泛的应用和重要的地位。
仓库地址：
车路漫漫历史相关文章：
介绍一款开源的自动驾驶仿真场景播放器：es mini
2.2、地图制作软件-TrueVision
仓库地址：
车路漫漫历史相关文章：
2.3、OpenDrive查看器-网页版
网页版的OpenDRIVE文件查看器，不用注册，打开即用。
仓库地址：
2.4、场景泛化-Python库：scenariogeneration
scenariogeneration是一个用于生成汽车驾驶场景描述的 Python 库。它基于 OpenSCENARIO 标准，提供了丰富的接口和工具，能以编程方式创建复杂的驾驶场景。通过该库，用户可轻松定义道路、交通参与者、环境条件等场景元素，还能设置车辆的行为模式、交通规则等。其优势在于可实现场景生成的自动化，方便研究人员和开发人员为自动驾驶汽车的仿真测试创建各种不同的场景，有助于评估自动驾驶系统在多样化场景下的性能和安全性，在自动驾驶技术的研发和测试领域有着重要的应用。
车路漫漫历史相关文章：
如何用python库scenariogeneration来创建静态地图+动态场景进行自动驾驶仿真
2.5、交通场景制作器-RoadMate
RoadMate 是由动森数字科技（重庆）有限公司研发的交通场景编辑器。它是国产首款实现设计和仿真一体化的软件，基于三维引擎技术，支持工程级别交通三维场景一键还原及正向设计，同时可进行实时交通模拟分析。其具有二三维一体化设计模式、实时渲染更新、交通流量实时仿真等功能，能让用户在 2D 平面视图与 3D 立体视图间无缝切换，即时查看高保真效果，模拟车辆轨迹与流量。此外，RoadMate 还可实现 VR 漫游，让用户以模拟驾驶体验来感受工程场景，优化设计方案，并且支持将设计场景导出为 OpenDRIVE 格式，广泛适用于公路与市政建设、驾驶仿真测试与规划、交通管理等领域。 备注：RoadMate部分功能需要付费，但对于想要简单画画道路的朋友来说免费功能也是足够了。
备注：RoadMate不是开源的，但部分功能可以免费 使用，所以也放到这里给大家参考。
车路漫漫历史相关文章：
介绍一款国产交通场景编辑器-Roadmate
2.6、交通流仿真软件-SUMO
SUMO 是一款开源的微观交通流仿真软件。它能对城市交通系统进行详细建模与仿真，包括车辆、行人、自行车等交通参与者以及道路网络、交通信号灯等基础设施。其具有高度的灵活性和可扩展性，用户可通过配置文件自定义各种交通场景和参数。SUMO 提供了丰富的接口，支持与其他软件如交通规划工具、自动驾驶算法等进行集成。它还能生成多种可视化结果和统计数据，帮助研究人员和交通规划者分析交通流量、评估交通方案，进而优化交通系统设计与管理，在智能交通系统研究、城市交通规划等领域应用广泛。
仓库地址：
车路漫漫历史相关文章：
3、中间件&可视化
3.1、ROS / ROS2
ROS（机器人操作系统）是一个用于机器人开发的开源框架，提供了丰富的工具、库和约定，使开发者能更轻松地创建机器人应用程序。它采用分布式架构，通过话题、服务等机制实现节点间的通信，支持多种编程语言。ROS 2 是 ROS 的升级版，针对实时性、安全性等方面进行了改进，采用了更现代化的通信机制 DDS，提高了系统的可靠性和性能。ROS 2 还增强了对不同操作系统和硬件平台的支持，能更好地适应机器人领域不断发展的需求，无论是开发工业机器人还是科研用机器人，ROS/ROS 2 都是广泛使用的重要工具。
官网地址：
车路漫漫历史相关文章：
终于有人把ROS(机器人操作系统)讲明白了
3.2、Riviz / riviz2
RViz 和 RViz2 都是用于可视化机器人操作系统（ROS）的工具。RViz 是 ROS 最初推出的可视化工具，基于 Qt 和 OpenGL 库开发，能显示点云、激光扫描等多种数据，支持模块化插件。RViz2 是 RViz 的新版本，随 ROS 2 发布。它采用现代化的 Qt Quick 界面和新的图形渲染库，性能更好、渲染速度更快。RViz2 与 ROS 2 紧密集成，提供更多功能和改进，如对 2D 和 3D 导航的支持等。两者都有用户友好的界面，可同步显示机器人的传感器数据、模型等信息，帮助用户直观了解机器人运行状态，用户可根据需求和 ROS 版本选择使用。
3.3、Foxglove
Foxglove 是一款开源的数据可视化和分析工具，主要用于机器人、自动驾驶汽车等领域。它支持 ROS、ROS 2 等多种数据格式和协议，能实时显示机器人的运动、位置和状态，也可加载回放记录数据。通过直观的界面，用户可选择图表、3D 视图等多种方式展示数据，并利用时间轴工具、数据过滤等功能进行深入分析。此外，它还提供脚本编辑器、插件机制等高级特性，支持团队协作，方便成员共享数据和分析结果，有助于提高开发效率，优化机器人系统和自动驾驶技术。
备注：2024 年 3 月，Foxglove 发布 2.0 版本，将原来的开源项目 Foxglove Studio 和 Foxglove 数据平台整合为一个产品，以统一机器人的可观测性。为了专注于开发这个集成平台，Foxglove 决定停止 Foxglove Studio 开源版本的开发。此前，Foxglove Studio 遵循开放核心许可模式，大多数功能开源，官方二进制发行版包含一些闭源功能。但自 2.0 版本发布后，1.x 版本的开源代码虽仍在线，但不再更新维护。
4、被测对象-智驾软件
被测对象，是相对于仿真测试来说的，其实指的就是智驾软件。以下分享两类智驾软件。一类是基于规则的自动驾驶，一类是基于端到端的自动驾驶。
4.1、Autoware
Autoware 是基于 ROS 构建的领先开源自动驾驶软件。它集成车辆定位、物体识别、路径规划和控制等关键功能，提供全栈式自动驾驶解决方案。分为 Autoware.Core 和 Autoware.Universe 两大分支，前者基于ROS开发，注重稳定版本开发；后者基于ROS2开发，专注实验性、前瞻性探索。其优势众多，包括模块化架构便于定制扩展、可扩展性强能满足多种应用、持续进化提升性能、应用场景广泛。它支持多种传感器，拥有活跃的社区和详细的官方文档，为全球开发者提供共享协作平台，降低自动驾驶技术研发门槛，推动该领域技术发展。
仓库地址：
车路漫漫历史相关文章：
一站式搞定Autoware的下载、安装和试运行
4.2、openpilot
Openpilot 是由 the comma.ai 团队发起的开源自动驾驶软件。它基于 Python 和 C++ 编写，利用深度学习和计算机视觉算法实时理解驾驶环境并决策。通过集成摄像头、雷达等传感器数据，实现自适应巡航控制、自动车道居中、前向碰撞警告等功能。其具有开源免费、高度可定制、模块化设计等特点，拥有活跃的社区和详细的官方文档，为自动驾驶领域的研究者、开发者以及爱好者提供了良好的平台，可用于日常驾驶、研发测试和教育学习等场合。
仓库地址：
车路漫漫历史相关文章：
开源自动驾驶系统openpilot的下载及使用
4.3、Apollo
Apollo 是百度开源的自动驾驶平台，于 2017 年推出，目标是为开发者提供开放、完整且安全的解决方案，加速自动驾驶技术的发展。它提供了一套完整的工具链和参考代码，涵盖感知、规划、决策、控制等自动驾驶核心模块，支持多种传感器和硬件平台。同时，Apollo 具备强大的仿真能力，可模拟复杂场景进行算法测试和验证。此外，它拥有丰富的文档和社区资源，方便开发者学习和交流。许多企业和科研机构基于 Apollo 开展自动驾驶研发，促进了技术的快速迭代和落地应用，推动了整个自动驾驶行业的发展。
仓库地址：
Apollo 自动驾驶开放平台：
4.4、端到端模型-VAD
VAD （Vectorized Autonomous Driving）是由华中科技大学和地平线机器人公司的研究者共同开发的端到端自动驾驶开源软件（一段式）。它将驾驶场景建模为完全向量化的表示，摒弃了计算密集的栅格表示和手工设计的后处理步骤，有效提升了规划安全性和运行速度。其输入为多帧、多视角图像，输出是自车未来规划轨迹，框架分为图像特征提取、向量化场景学习、规划推理与训练等阶段。在 nuScenes 数据集和 CARLA 模拟环境中，VAD 都展现出了卓越的性能，实现了当前最优的端到端规划性能，为自动驾驶技术的研究和发展提供了有价值的参考。
仓库地址：
4.5、端到端模型-UniAD
UniAD 是 OpenDriveLab 开发的基于端到端自动驾驶的开源软件。它旨在构建一个统一架构来处理自动驾驶中的感知、预测、规划等多个任务。其原理是通过多模态数据融合，利用深度学习网络将摄像头、激光雷达等传感器数据输入，经神经网络处理后直接输出驾驶决策，减少了传统方法中各模块间的复杂交互。在使用效果上，它能适应复杂的交通场景，展现出较好的泛化能力，可在不同的环境中做出合理决策。该模型为自动驾驶研究提供了新的思路和方案，其开源特性也方便全球开发者进行研究、改进，推动端到端自动驾驶技术不断进步。
仓库地址：
4.6、端到端模型-ThinkTwice
ThinkTwice 是由 OpenDriveLab 开发、基于 PyTorch 实现的端到端自动驾驶开源模型，在 CVPR 2023 上发布。它采用鸟瞰图（BEV）视角，通过多传感器融合获取 BEV 特征。其创新的解码器包含 Look、Prediction 和 Refinement 模块，能利用时空先验知识和密集监督，以粗到细的方式预测车辆动作和轨迹。该模型在 Carla 模拟器上进行闭环评估，展现出先进的性能，为自动驾驶车辆在复杂场景中提供精确的路径规划和决策支持。其代码结构清晰，文档和示例详细，方便研究者和开发者使用，推动了端到端自动驾驶技术的发展。
仓库地址：
4.7、端到端模型-TCP
OpenDriveLab/TCP 是一个端到端的自动驾驶开源模型。它是结合轨迹规划和控制预测的统一框架，通过研究两种输出形式的特点并将其整合，加入交互，根据先验方案灵活结合两分支输出来获得最佳最终控制信号。该模型仅使用单一单目相机作为输入，就在 CARLA 自动驾驶排行榜上取得了第一名的成绩，在不同测试环境和场景下，能出色应对各类挑战性驾驶场景。其代码遵循 Apache 2.0 许可协议，可在 GitHub 上获取，包含了模型训练、数据生成、评估等相关代码和教程。
仓库地址：
5、评价方法
5.1、Leaderboard
CARLA Leaderboard 是基于 CARLA 仿真环境的扩展，用于评估自动驾驶算法的表现。它是一个开放平台，能对自动驾驶智能体在现实交通场景中的驾驶能力进行公平、可重复的评估。用户可通过配置文件定制评估流程，包括设定 CARLA 服务器地址和端口、测试路线、自动驾驶系统算法或模型、特殊场景、天气条件及日志记录等。自动驾驶智能体需按照预设路线行驶，路线涵盖高速公路、城区、乡村等场景及不同天气条件。用户可通过 sensor track 和 map track 两种方式参与评估，前者提供传感器模拟数据信息，后者在此基础上还提供高精地图信息。
仓库地址：
官网：
5.2、Bench2Drive
Bench2Drive 是首个以闭环方式评估端到端自动驾驶（E2E - AD）系统多种能力的基准测试平台。其官方训练数据由 200 万帧完全标注的图像组成，涵盖 44 个交互场景、23 种天气条件和 12 个城镇。评估协议要求 E2E - AD 模型通过不同地点和天气下的 44 个交互场景，共 220 条路线，以此全面评估其驾驶能力。Bench2Drive 采用成功率和驾驶分数等指标，还具备多样化大规模官方训练数据、细致的技能评估等特点，为研究人员提供了在现实、全面和公平的环境中优化和评估端到端自动驾驶系统的关键工具，推动自动驾驶领域的发展。
仓库地址：
车路漫漫历史相关文章：
介绍一个端到端自动驾驶的闭环评价方案
6、结语
这么多开源工具，组合起来使用，其实已经可以干很多事了。有实力的小伙伴甚至还可以魔改魔改几个软件，可玩性很强的。
小伙伴们如果还知道一些别的开源工具，可以在文末留言指出哈，非常感谢。
以上，本文完。
来源：车路漫漫
