对智能驾驶HIL仿真系统的一些总结与反思

 01

            前  言    

最近工信部对智能驾驶加强了“监管”。对于智能驾驶从业者来说，是喜是忧还无法判断。但是智能驾驶领域将继续夯实L1和L2技术能力，并向L3及以上高阶自动驾驶迈进是不争的事实。以安全为底座，建立包括仿真在内的完整测试体系是强制要求。其中，硬件在环（Hardware-in-the-loop, HIL）仿真系统已成为验证智驾系统基础功能、可靠性和安全性的核心工具。

HIL仿真系统的开发与应用是一个复杂的工程，在多方面仍存在提升空间。部分HIL架构方案陈旧老套，明显存在缺陷。而HIL提供商制定的方案与用户的实际需求脱节严重，最终导致整体HIL不可用或严重低于预期。

本文将结合笔者近几年多个智驾HIL系统的开发经历，做一些总结和反思。

 02

            智驾HIL之殇    

HIL仿真系统在汽车领域的应用已经接近20年了，在动力、底盘、车身控制等细分领域发挥了重要的作用。但是，HIL仿真系统应用到智能驾驶领域却只有短短10来年。与其它领域的HIL仿真系统相比，智能驾驶的HIL仿真要求更高，尤其是场景保真度、传感器模型精度、仿真实时性、数据带宽、数据接口稳定性等方面带来了巨大的挑战。很多智驾HIL系统由于仿真引擎、硬件架构、动力学模型、自动化能力等方面的缺陷，在企业投入数百万元甚至数千万元后，却无法发挥任何价值或收效甚微，最终成了摆设。

• 视频暗箱之殇

早期做过AEB或者ACC仿真的工程师对视频暗箱应该不陌生。其系统架构非常简单，在一个密闭的暗箱内，让一个摄像头对电子屏幕进行拍摄。屏幕中呈现不同的交通场景。

摄像头在环的仿真方案（示意图）

这种视频暗箱方案有很多企业提供解决方案。但是只要稍微思考一下，就会发现其中的天然缺陷。首先是电子屏幕（大多LCD）的刷新帧率与被测摄像头的帧率很难对齐，导致输入到智驾域控的图像与仿真引擎实际时间不一致。其次是LCD亮度、视场角以及与摄像头距离的偏差设置会引入更大的图像失真。原来仿真引擎的保真度就很难控制，再通过LCD呈现后，图像失真会进一步增加。畸变、色差、噪点等缺陷的引入，很难矫正。第三是多模态数据的同步困难。现在的智驾方案包括了多个Camera和多个Radar等传感器。多Camera时，需要多个视频暗箱，体积庞大。与Radar、Lidar等传感器的协同，更是难上加难。仿真数据的延迟大，时钟同步处理极其复杂。即使耗费巨大精力适配好，只要系统出现一些波动或参数调整，原来的适配成果将不再有效。

视频暗箱采集的图像（下）

• 视频注入卡之殇

视频注入卡一度被认为是智驾HIL仿真中图像传输的终极解决方案。经典的技术方案也从HDMI转GMSL 2逐步演进到PCIe转GMSL 2(or GMSL3)。

图：智驾HIL中的视频注入方案

在数据采集和基于采集数据的回灌测试上，利用视频注入卡来实现这些功能，无疑是有效的。但是在做高阶智驾的HIL仿真时，视频注入卡只在理论上可行，工程实践上几乎难实现，核心原因在于逆ISP的不可控性。

图：图像处理过程

从上图我们可以看到，ISP图像处理过程比较复杂，每一个环节都有特定的算法来支持。最让人抓狂的是，在RAW、RGB、YUV三个域的处理因不同的SOC而大相径庭。每次智能驾驶域控的升级或者切换（如华为MDC，地平线J6，英伟达Orin和Thor）,图像处理工程师都需要花很大精力重新调整ISP算法，甚至还需要用实车采集不同天气、时间段的数据进行反复优化。而ISP算法一旦调整，“逆ISP”需要重新适配。关键是HIL开发工程师，不一定能准确获取到ISP算法调整的内容。所以，视频注入开发难极大、周期很长。

当然，现在有些仿真引擎也支持RAW数据的生成，可以直接规避逆ISP处理。但是实际效果还没有经过考证。

• 仿真置信度之殇

过去很多HIL、SIL仿真 主要还是针对感知以外的模块。即使做了视频和点云注入，其实也很少报感知模块的issue（没底气）。这个话题是随着智能驾驶端到端等技术的引入，被越来越多的仿真从业者提及。虽然很多仿真引擎都在卖力宣传自身技术的突破，但是很少企业能拿出“仿真置信度评估报告”。这里也许涉及到置信度评估方法、评估标准与权威性问题，但是更多的还是达不到感知算法工程师的要求。

仿真置信度涉及的面非常广，如场景置信度、传感器模型置信度、动力学模型置信度等。其中最主要的还是仿真场景的置信度。该部分可以借鉴计算机图形学中的3D模型物理对齐的要求。

3D模型的物理对齐（Physical Alignment）通常指的是在物理世界或虚拟物理模拟中，使3D对象的位置、方向、比例等属性与现实世界或模拟环境的物理规则相匹配。

具体来说，物理对齐可以包括以下几个方面：

1 空间位置对齐（Position Alignment）

确保3D模型在正确的位置，例如将一个车辆模型准确放置在地面上，而不是漂浮在空中或嵌入地面。在AR/VR应用中，使虚拟物体正确地映射到现实世界的位置。

2 方向与旋转对齐（Rotation Alignment）

使3D对象的旋转角度与物理世界匹配，比如调整一个车辆模型的朝向，使其正确面对用户或其他物体。在游戏或仿真中，使物体按照物理法线（Normal）正确摆放，如汽车轮胎贴合地面。

3 比例对齐（Scale Alignment）

使3D模型的尺寸与现实世界物体相匹配，例如在建筑可视化或产品设计中，确保模型的尺寸符合实际比例。

4 碰撞检测与刚体对齐（Collision & Rigid Body Alignment）

在物理引擎（如Unity的PhysX或Unreal Engine的Chaos Physics）中，确保模型的“碰撞体（Collider）”与其可见网格对齐，以防止物体穿透或浮空。物理模拟中的惯性、重力、摩擦等参数也需要调整，以匹配现实世界的物理行为。

5 光照与材质对齐（Lighting & Material Alignment）

• 使光源、阴影投射以及反射等效果符合物理规律，例如PBR（Physically Based Rendering）渲染需要正确的法线方向和反射参数。

• 纹理的UV映射必须正确，以确保贴图不会错位或拉伸。

场景置信度是根本，传感器模型置信度则主干。所有的感知数据几乎都是通过传感器模型输入到智驾系统中的。笔者之前做过一些传感器模型置信度的工作，可供参考：

超级干货 | 智能驾驶仿真之Camera仿真置信度评测

超级干货 | 智能驾驶仿真之Lidar仿真置信度评测方法

总而言之，置信度是智能驾驶仿真有效性绕不开的话题。期待第三方机构（中汽中心、中汽研等）能集思广益，推出一些更具说服力的评估、认证方案，带动整个产业链的健康、长远发展。

• HIL仿真稳定性之殇

智能驾驶的HIL仿真，通常是一个联合仿真系统。无论从硬件链路还是从软件链路分析，都显得错综复杂。如果还要结合云端场景和测评体系，那整体链路会更长。

图：智驾仿真框架

以一个智驾HIL测试执行为例，需要启动的软件包括：HIL实时处理器的上位机、场景仿真引擎、测域控ADCU以及协同的电子ECU（如IVI、T-Box等）、动力学模型、控制器ECU模型。软件启动之后，需要加载虚拟地图、场景，download工程、激活AD系统等。以上步骤需要基于HIL的基本逻辑，控制好时序，一旦某个软件启动失败或者超时，整体的HIL启动或者测试执行就会中断。

调试过HIL系统的人，就能体会到这些过程的复杂性。有时一整天都在排查故障，真正有效的测试时间非常少。

 03

            突破路径与建议    

‌精简智驾HIL方案‌
一个系统越复杂，其稳定性越低，在成本、效率、质量上都不占优势。所以，应该显著精简HIL的软硬件链路。比如场景仿真器与动力学建模软件的统一；充分利用中间件技术，取消视频注入卡。

重点关注NeRF与3DGS技术带来的置信度提升

基于游戏引擎的场景仿真器在仿真置信度上有较大提升，但是必须看到NeRF与3DGS技术的突破，似乎是未来更有价值的一种方向。不过这些机器学习的场景合成方案在多模态传感器数据的输出上还有难点没有突破。可谨慎关注。

提升HIL工程师能力

如果一家企业的智驾HIL工程师只会写测试用例、设计几个智驾场景，执行几个HIL任务。那这个HIL仿真系统几乎无用武之地。学会场景的自动化生成、传感器配置、仿真接口开发、自动化评测是必不可少的要求。

后记：文章写得有些仓促，同时考虑到未来要和诸多HIL供应商合作，所有没有举例（主要是反例）。如有不当，还请各位批评指正。

以上，原文完。