深度好文 | 基于物理渲染的高保真相机怎么建模？怎么仿真？怎么验证？
1. 相机建模的意义与重要性
在高级驾驶辅助系统和自动驾驶系统中，相机作为核心感知传感器，凭借高分辨率和实时采集能力，为环境感知提供关键支持。相机捕捉的视觉信息帮助系统识别障碍物、行人、车辆、交通标志等要素，直接影响路径规划、速度控制和碰撞预警等功能。主流自动驾驶系统中通常配置4至17个相机，以满足不同感知需求。特斯拉的视觉主导型方案进一步凸显了视觉感知技术的潜力。此外，车载相机在车路协同控制中也至关重要。通过与路侧相机、信号灯等设施协作，车辆可获取更全面的环境信息，实现智能交通调度与风险预警，提升安全性并推动智慧交通的发展。随着自动驾驶技术的发展，车载相机在智能网联汽车和智慧交通中的地位日益重要。因此，构建精准高效的车载相机建模方案对于仿真平台的保真度、可信性和可靠性至关重要。
2. 当前虚拟相机建模的主流思路
目前，虚拟相机建模的主流方法包括基于光栅化渲染+图像后处理的相机建模方案、基于物理渲染（Physically Based Rendering， PBR）的相机白盒建模方案，以及基于神经辐射场的图像合成方案。
基于光栅化渲染的图像后处理方案是当前常见的技术路径。其主要通过光栅化技术快速生成基础图像，并利用后处理（如色彩调整、模糊处理等）模拟真实相机的成像效果。该方案优势在于计算效率高、实现简单、易于部署，尤其适合自动驾驶仿真等实时应用场景。但由于在全局光照和复杂光学现象的处理上较弱，图像的真实感仍有限。
基于物理渲染的相机白盒建模方案通过光线追踪技术，模拟光线的传播、折射和反射过程，重现相机成像的真实物理过程。该方法结合镜头、传感器、ISP等参数，精确还原成像效果，具有高保真度、高可控性和良好的可解释性。但其渲染速度无法满足实时，该方案更适合于对成像质量要求高但实时性需求较低的场景。
基于神经辐射场（NeRF）和3D Gaussian Splatting的图像合成方案利用神经网络学习3D场景的辐射场信息，以生成高质量、多视角的图像。其中，NeRF擅长模拟真实光照和细节，但对计算资源要求高，处理大规模场景时存在性能瓶颈。而3D Gaussian Splatting通过高斯函数显式建模场景中每个点的体积或表面信息，提升了渲染效率，适合实时大规模场景，但图像质量和细节处理稍有不足。两类合成方法在视角盲区、非刚性物体和动态场景合成上均存在一定局限。
可以说，三类建模技术方案具有其各自的特点和优势，在表1中对三类技术方案进行了对比，在实际仿真工程中，可根据仿真的实际需求进行选择。
表1. 三种虚拟相机建模技术路径的对比
3. 物理渲染白盒模型的技术路线
图1 PanoSim的基于物理渲染的相机白盒模型建模技术路线
在本篇中，将重点介绍PanoSim实施的基于物理渲染的相机白盒模型RAWCamera Model方案。本方案采用真实的物理规律进行建模，涵盖了从场景、光学系统到传感器及成像处理的每一个环节。方案利用高度逼真的全局光照模型和光线追踪技术，模拟光线的传播、反射与折射等光线路径变化、材质光学特性响应及能量变化。在建模过程中，它不依赖“黑箱”数据，而是通过深入解析相机系统的物理结构，确保建模过程的透明性与可控性，从而为后续的优化和调试提供充分的支持，具体为：
（1）全局光照渲染方程和材质：全局光照渲染方程为描述场景中光能的传播与相互作用提供了统一框架。根据该方程，光的出射量可视为自发光和表面反射光的总和，而后者又是入射光与表面反射率的结合。当光照射到材质上时，会经历表面反射和折射，从而形成可见颜色。表面反射通常由镜面反射和漫反射模型来描述，而折射则涉及光在介质内部的传输。光进入介质后，其传播路径会受到吸收、散射和自发光的影响。分析光与材质之间的交互时，关键参数包括粗糙度、反射率、入射角和复折射率，如图2所示。粗糙度影响表面细节对光的散射，亚表面结构复杂度决定了光传输方向的随机性，而复折射率决定了反射与折射光能量的比例，折射路径以及不同波长光在介质中的衰减。我们的方案中，结合全局光照渲染方程与光与材质交互的原理，更有效地实现了真实感渲染。
图2(1) 金属类材质反射率
图2(2) PVP塑料材料的复折射率曲线
（2）光谱渲染：在sRGB颜色模型中，简单的数学运算可以在一定程度上近似模拟光照效果，但要实现精确的物理建模，我们必须考虑更复杂的光谱相互作用。通过考虑光的不同波长，光谱渲染能够重现如色散等光学效果，从而生成更复杂和细腻的视觉效果。并且，不同材料对光的反应不同，光谱渲染也可以更精确地模拟材料的光学特性（如镜面反射、漫反射和透明度），使得呈现的效果更加真实。为此，PanoSim的RawCamera模型依据CIE - XYZ色度系统建立了光谱，并对360nm至830nm范围内的光线进行了细致划分。通过插值方法，我们可以获取该范围内任意波长的光谱值。在Raw Camera模型中，XYZ光谱与人眼视网膜对三种基本颜色光的响应基本一致，光谱匹配曲线如图3所示。
图3 光谱匹配曲线
图4 环境光照条件变化的模拟效果：上图为白天，下图为夜晚
（3）镜头建模：在实际应用中，镜头通常由多组镜片构成，这样的镜头组设计能够有效地控制光线的传播和成像质量。为了平衡仿真效率和性能，我们构建了一个薄透镜镜头模型。这一模型的核心是模拟透光材料所形成的简单光学系统，旨在提供一种高效且准确的方式来观察光的行为。我们的薄透镜模型支持多个可调参数，包括焦距、光圈F值、物距。这些变量使得用户能够根据具体需求对镜头进行调整，结合传感器的像元尺寸及分辨率等参数以获得理想的成像效果。此外，模型支持相机镜头的畸变模拟，能够真实地再现不同镜头所产生的光学畸变现象，同时也支持鱼眼镜头进行仿真，实现更广角的观察视角。镜头模型适用于环视系统的标定、匹配、拼接等算法验证，也可以支持视觉SLAM中关键算法评估。
图5 RawCamera开启景深仿真的效果（F-number 2.2，焦距10mm，聚焦点10m）
图6 鱼眼镜头的畸变模拟效果对比，上图为基于物理渲染的鱼眼镜头畸变模拟，下图为基于Cubemap的光栅化渲染模拟。能够看出，在边缘处像素锯齿化得到改善，这有助于环视系统算法在进行特征点提取及拼接过程中的精度。
（4）传感器建模：图像传感器模型模拟光能转换为数字信号的过程。在构建的三维场景中，我们建立的传感器模型计算通过镜头后进入相机的光线，采样每个传感器基元捕获的光子，在可见光波长范围内对多波段积分，以计算光子能量及对应的电压值，进而获得电压图。电压量化为数字信号，最终以单通道灰度图形式显示。由于通常传感器表面有彩色滤光片阵列（CFA），将传感器接收到的光信息分解为红、绿、蓝三种基本颜色通道，因此本方案提供可设定彩色滤光片模式的功能，如RGGB、BGGR、GRBG、GBRG等。在传感器捕获光子到电路传递数字信号的过程中，模拟了实际图像传感器由于自身缺陷出现的噪声，包括暗电流、读出噪声、泊松噪声和固定模式噪声等，固定模式噪声分为暗信号非均匀性和光响应非均匀性两个部分。
图7 传感器获取光子能量生成电压图
图8 通过彩色滤光片阵列将电压图转换为Raw数据
图9 使用去马赛克算法将Raw数据插值为sRGB图像
（5）ISP：生成的图像支持对白平衡、色彩校正和伽马校正等后处理效果的添加。
4. 物理渲染白盒模型的优势
高度真实与精准：通过物理学原理进行建模，能够提供高保真度的仿真结果，同时也避免经验参数设定导致的仿真误差。
透明可控：模型完全可调节，用户可以深入分析各个环节的影响因素，进行精确调试与优化。
适应性强：可以适应多种车载/路侧相机配置与不同光照、天气、动态场景等复杂条件，保证了模拟结果的普适性。
一致性高：全仿真流程基于能量守恒定律，使用统一的材质库和全局光照模型，不存在随机过程，可保证极高的仿真一致性。
可扩展性与兼容性：该白盒模型仿真结果能够与现有的视觉感知系统或端到端自驾系统进行高效对接，支持未来算法的拓展和优化。
5. 可控场景下模型定量验证结果
（1）测试目的
用于验证RawCamera模型与实际相机中的性能一致性，这里以评估其MTF值的匹配度及颜色性能为例进行介绍。
（2）相机参数及环境设置
实验1：MTF测试
实验2：颜色模拟测试
（3）测试方法与步骤
实验1：MTF测试
1.仿真测试：
1)在RawCamera工程中构建虚拟场景，固定目标物靶标，从1.0m开始，每移动0.1m记录一次数据。
2)在Panosim中虚拟场景，固定目标物靶标，从1.0m开始，每移动0.1m记录一次数据。
3)记录相机模型输出数据以及此时的距离。
2.实验测试：
1)在实测场景中，固定目标物靶标，从1.0m开始，每移动0.1m记录一次数据。
2)记录相机模型输出数据以及此时的距离。
3.对比分析：比较不同距离下MTF。
颜色测试：
1.仿真测试：
1)在RawCamera工程中构建虚拟场景，依照灯箱参数设置虚拟灯箱及光源，45°放置虚拟色卡，相机距离灯箱背板为60cm。
2)记录数据。
2.实验测试：
1)在实测场景中，在灯箱中45°放置虚拟色卡，相机距离灯箱背板为60cm。
2)关闭相机白平衡，记录数据。
3.对比分析：比较两次测试下各色块的均值及标准差。
（4）测试结果
MTF：
图10(1) Raw Camera仿真结果
图10(2) 实际相机测试结果
图10(3) 光栅化仿真的输出结果
图10(4) 三种输出对比结果（1m处）
图10展示的对比实验结果中，RawCamera模型仿真结果与实测结果MTF曲线类似，随距离增加呈现一定的波动，光栅化结果在不同距离下MTF曲线基本重合。在图10(4)的1m处对比可见，实测相机的MTF值（蓝色曲线），与RawCamera模型模拟的MTF曲线（绿色曲线）更为接近，而光栅化模拟结果（橙色曲线）的输出相对而言偏差更大。
颜色测试：
图11 标定板颜色提取
图12 仿真与实测图像24色卡的均值及方差对比
在颜色测试对比中可见，RawCamera结果与实测结果均值基本在对称参考线附近，二者均值基本一致。在STD点图中可以看到，在一些响应信号较小的色块中，STD相对更加接近，仿真更加真实，而在STD较大的色块中，随机颜色偏差更大，但是二者整体趋势一致。
6. 应用前景
环境感知和数据融合算法测试验证：通过模拟真实光学特性和环境条件，该模型为环境感知与数据融合提供了有效支持。它能验证算法在复杂场景中的表现，包括光照变化和动态障碍物的处理。
虚拟训练数据生成：该模型生成高质量的带标注图像，模拟不同环境中的光照变化、物体反射和阴影效果，为深度学习数据增强提供真实有效的图像，从而提高模型的泛化能力。
人机交互算法测试验证：该模型可以模拟复杂光照和反射条件，提升手势识别、表情识别与动作跟踪算法的评估与优化，确保人机交互系统在不同环境下的准确性。
