新文推送——面向车辆通信的视觉辅助信道预测：基于RGB图像的接收功率预测案例研究
北京交通大学
高移动性通信/智能交通电波传播研究组
文章概况
文章概况
以张雪剑（Xuejian Zhang）为第一作者，何睿斯（Ruisi He）和杨汨（Mi Yang）为通讯作者的文章近日于IEEE Transactions on Vehicular Technology ( Early Access )上发表。
文章题目为：“Vision Aided Channel Prediction for Vehicular Communications: A Case Study of Received Power Prediction Using RGB Images（面向车辆通信的视觉辅助信道预测：基于RGB图像的接收功率预测案例研究）”。
所有作者为：张雪剑（Xuejian Zhang）、何睿斯（Ruisi He）、杨汨（Mi Yang）、张正宇（Zhengyu Zhang）、戚子羿（Ziyi Qi）、艾渤（Bo Ai）
DOI: 10.1109/TVT.2025.3579333
内容介绍
内容介绍
近年来，视觉辅助方法已在无线通信的波束预测、阻塞预测、主动切换等任务中展现出良好潜力，但其在信道预测领域的研究仍较为有限。本文面向典型的毫米波车载通信场景，提出了一种基于RGB图像的视觉辅助双阶段信道预测模型，实现了无需依赖传统射频特征，仅通过环境图像即可精准预测接收功率。具体而言，首先通过RGB摄像头与信道测量设备同步采集车辆通信场景中的图像与接收功率数据。在第一阶段，构建一一对应的图像—信道数据对，并利用YOLOv8网络结合目标检测、实例分割与二值掩码等三种计算机视觉术，提取图像中关键的车辆特征（如位置、尺寸与外形）。在第二阶段，将处理后的图像输入ResNets网络进行训练与测试，预测结果以接收功率为标签。通过五组实验验证了该方法在预测精度、模型稳定性与泛化能力方面的优越性能。本研究不仅突破了传统信道预测方法对人工特征与特定测量设备的依赖，展示了视觉信息在无线信道建模中的巨大潜力，也为构建更具环境感知能力的智能通信系统提供了新思路。该方法未来有望应用于高精度环境感知、自主驾驶通信、无人系统协同通信等关键6G应用场景，为构建高效、智能、泛在的下一代车联网通信体系奠定基础。
（图1 两阶段的信道预测模型架构。）
本文提出了一种视觉辅助的双阶段深度学习模型，用于信道特性预测，重点以接收功率预测作为研究案例。模型整体框架如图1所示，可分为三个主要步骤：环境感知、图像处理与信道预测。具体实现流程如下所述：
步骤一：环境感知。在该阶段，需要采集两个独立的数据集。首先，由安装在基站或路侧基础设施上的摄像头持续采集传播环境中的RGB图像，构成原始图像数据集；其次，在相同环境下进行V2I信道测量，得到信道数据集。这里的信道数据主要指由信道冲激响应提取得到的典型信道参数。虽然图1所示的模型结构支持多种信道参数的预测，但本文主要聚焦于接收功率，因此此处的信道数据仅指一组接收功率值。在训练和测试过程中，原始图像数据作为输入，接收功率分别作为标签和预测输出。
（图2 三种不同的计算机视觉方法处理后的图像。）
步骤二：图像处理。图像处理的主要目标是利用多种计算机视觉技术对原始图像中的目标车辆进行显式标注，如图2所示，包括矩形边框的目标识别、彩色掩码的实例分割以及黑白掩码的语义分割等。这些预处理操作有助于下阶段预测网络更有效地学习图像特征，从而提升接收功率预测的准确性。在图2(b)中，目标车辆的轮廓被同一种颜色的像素覆盖，其他散射体保持不变；图2(c)中使用目标检测方法对车辆进行矩形框标注，其他区域同样不变；图2(d)中则采用二值掩码对整张图像进行处理，其中目标车辆以白色像素填充，其余区域则完全以黑色表示。在本阶段，原始图像数据首先输入网络1进行处理，生成图像标注后的视觉数据集。随后，需将信道数据与处理后的视觉数据进行筛选与同步，以建立一一对应的数据映射关系。这一步至关重要，因为并非所有原始采集数据都可直接用于模型训练和测试。
数据同步主要依赖时间戳对齐，要求图像与信道数据的时间戳至少精确到秒级，以解决摄像头与信道测量设备采样频率不一致的问题。数据筛选则主要剔除冗余或低价值数据，如时间戳无法匹配的图像/信道数据对、不含目标车辆的图像帧及其对应信道数据、以及车辆处于静止状态下采集的数据等。此类数据由于时空关联性不足，难以为预测网络提供有效学习信息。
步骤三：信道预测。在此阶段，处理后的图像数据输入至网络2，输出所需的信道参数预测值，本研究中以接收功率为示例。残差神经网络（ResNet）因其在计算机视觉任务中的广泛应用，具备良好的分类与回归能力，因此被选为本研究中的主要预测网络。本文采用了多种规模的ResNet架构，并基于接收功率预测任务进行了定制化调整。所使用的ResNets均在ImageNet2012数据集上进行了预训练，原有输出层被移除，替换为一个输出节点的全连接层，以适应接收功率为连续数值的回归任务。随后，利用标注有接收功率的环境图像数据对网络进行有监督微调，实现模型的训练与优化。
（图3 三种不同的计算机视觉方法处理后的图像。)
本文所使用的数据来源于著名的开源多模态数据集 DeepSense 6G。该数据集基于真实场景构建，旨在推动感知辅助无线通信相关应用的研究与发展。在本研究中，我们仅使用了其中的 RGB图像数据 与 接收功率数据，并选取了DeepSense 6G中的场景1–4与8–9，这些数据分别采集自三条不同的街道，本文将其称为街道1、街道2和街道3。需要说明的是，场景1与2分别对应街道1在白天与夜间的通信环境，场景3与4对应街道2的白天与夜间数据，场景8与9则记录了街道3在白天条件下的情况，如图3所示。为便于后续描述，本文将上述六个场景分别重命名为案例A、B、C、D、E和F。
选择这六个场景作为研究对象，主要基于以下几点考虑：（1）它们均为典型的 V2I毫米波通信场景，具备代表性；（2）图像中街道路面走向较为平缓，与摄像头视角近似平行，有利于图像中车辆目标的稳定识别；（3）所有场景使用相同的测量系统配置，包括天线布局、摄像头参数等，保证数据的一致性与可比性。尽管以上场景具备较高的一致性，它们之间也存在一定差异。例如，不同街道与基站（即接收端）之间的距离不完全相同，导致在相同视角下图像中发射端车辆的大小存在差异；三条街道上的测试车辆在颜色和尺寸上也有所不同。此外，各街道上还存在一些随机出现的非测试车辆与行人，这可能引起非视距传播，从而对无线信道传播特性产生影响。由于这些干扰因素同样会被RGB摄像头记录，因此也会对模型的预测精度产生一定程度的影响。
（图4 实验一中的预测结果：以案例A为例。)
实验一旨在验证：在训练集与测试集来自同一类场景的前提下，模型在不同测试集上的预测性能。我们选取了案例A、C、E和F，分别代表街道1、2和3的白天交通场景。以案例A为例，其接收功率预测结果如图4所示。图5(a)展示了三条街道上四个案例在使用不同类型图像时的预测误差（RMSE）。需要指出，本实验中使用了三种不同的图像处理方式（矩形框（BBox）、实例分割和二值掩码）进行独立预测，因而形成了三个子实验。每个子实验中的数据划分均为随机完成，因此图4中三个子图的测试集真值并不完全一致。整体来看，三种图像处理方式的预测误差均在4 dB以内，说明模型具备较好的接收功率预测能力。值得注意的是，实例分割图像的预测误差最小，而二值掩码图像的误差最大。我们推测其原因在于：实例分割图像不仅突出显示了动态散射体（如车辆），同时保留了静态环境特征，使模型能更充分学习传播环境信息；而二值掩码图像中仅保留了动态目标，静态背景信息被完全屏蔽，导致模型学习受限、误差增大。BBox图像则在两者之间，虽然保留了环境信息，但对动态目标的突出程度不及实例分割，因此表现居中。
由于RGB相机在光照充足的白天可以更准确地捕捉环境信息，而夜间光线较暗，图像中环境特征较为模糊，因此我们设计了交叉验证实验二：使用白天场景的数据训练模型，并使用相同街道的夜间数据进行测试，以验证所提出模型的泛化能力。具体而言，选取街道1、2和3的白天场景（即案例A、C、E、F）作为训练集，街道1和2的夜间场景（即案例B和D）作为测试集。图5(b)给出了不同图像处理方式下的预测误差，图6展示了案例B部分数据的预测结果。为了清晰展示，图6中仅随机选取了案例B中10%的数据进行可视化。
尽管模型仅基于白天图像进行训练，面对夜间图像输入时，仍能实现较为准确的接收功率预测。与实验一类似，实例分割图像具有最小的预测误差，而二值掩码图像表现最差，原因与前文分析一致：实例分割图像同时保留了动态散射体和静态环境信息，有利于网络提取特征；而二值掩码则屏蔽了背景信息，导致学习不足。
（文章引用）
@ARTICLE{11033218,author={Zhang, Xuejian and He, Ruisi and Yang, Mi and Zhang, Zhengyu and Qi, Ziyi and Ai, Bo},journal={IEEE Transactions on Vehicular Technology},title={Vision Aided Channel Prediction for Vehicular Communications: A Case Study of Received Power Prediction Using RGB Images},year={2025},volume={},number={},pages={1-13},keywords={Visualization;Accuracy;Predictive models;Millimeter wave communication;6G mobile communication;Feature extraction;Base stations;Training;Rail transportation;Fading channels;Channel prediction;vehicular communications;deep learning;vision information},doi={10.1109/TVT.2025.3579333}}
或
立足学术，艰苦奋斗
谱写交通强国建设新篇章
