首页/文章/ 详情

新文推送——面向通感一体化场景的基于深度学习的人体手势信道建模

北交大智能交通电波传播研究团队

4月前浏览746

北京交通大学

高移动性通信/智能交通电波传播研究组

文章概况

以张正宇（Zhengyu Zhang）为第一作者，何睿斯（Ruisi He）为通讯作者，联合美国国家标准与技术研究院（NIST）与意大利博洛尼亚大学等单位合作完成的论文，近日发表于IEEE Transactions on Antennas and Propagation。

文章题目为：“Deep Learning-based Human Gesture Channel Modeling for Integrated Sensing and Communication Scenarios（面向通感一体化场景的基于深度学习的人体手势信道建模）”。

所有作者为：Zhengyu Zhang, Neeraj Varshney, Jelena Senic, Raied Caromi, Samuel Berweger, Camillo Gentile, Enrico M. Vitucci, Ruisi He, Vittorio Degli-Esposti。

DOI：10.1109/TAP.2025.3648130

内容介绍

随着6G与通感一体化（ISAC）技术的发展，利用无线信号实现非接触式人体感知与手势识别，正成为智能交互、健康监测和智慧空间中的重要应用方向。与传统通信场景不同，人体手势会引起细微而复杂的多径变化，使信道不仅承担信息传输功能，同时也成为环境感知的重要载体。因此，如何准确描述和生成人体手势下的无线信道特征，已经成为ISAC系统设计、验证与数据增强中的关键问题。然而，现有人体手势信道建模方法仍存在明显局限。一方面，传统统计模型和确定性模型通常依赖简化的人体几何结构或平均传播特征，难以准确刻画真实人体动作所带来的细粒度随机变化；另一方面，部分数据驱动方法虽然能够直接生成时频图或微多普勒特征，却往往停留在表征层面，缺乏对多径结构本身的建模能力，难以保证信道在时延、增益、角度与微多普勒等多维特征上的一致性。针对这一问题，本文提出了一种面向人体手势的深度学习信道建模框架，力图在“可解释性、物理一致性与生成能力”之间取得平衡。

（图1 人体手势运动过程中的多径散射点分布变化。）

该工作提出的核心思想，是将人体分解为多个具有物理意义的身体区域，并在“人体动作—散射点分布—信道响应”之间建立统一映射关系，如图1所示。具体而言，论文首先将人体划分为左前臂、右前臂、左上臂、右上臂、头部和躯干六个部分；随后，基于实际测量数据学习每个身体部分在不同手势下对应的多径散射特征；最后，由生成得到的散射点进一步重建连续的信道冲激响应（CIR）与微多普勒特征，从而实现从人体动作到无线信道的完整建模。

（图2 人体手势ISAC信道测量及多径散射点分布。)

在测量系统方面，研究团队使用了一套28 GHz上下文感知信道探测平台，将毫米波信道测量、全景相机和3D LiDAR进行时空同步融合，如图2所示。实验中，4名受试者在统一测量环境下完成了16种动态手势，共获得64组带标签的手势序列。每条序列时长约3.9秒，包含1500个RF快照，并与RGB图像和LiDAR点云同步对应。借助这一高质量多模态测量数据集，论文实现了人体关键点提取、多径参数估计以及信道与动作之间的精确对齐。在数据处理上，论文首先利用视觉算法提取人体关键点，并将其映射到三维坐标系中；接着，基于SAGE算法估计信道中的多径参数，进而计算散射点位置及其雷达散射截面（RCS）；随后，提出一种基于人体部位的语义聚类方法，将多径轨迹与人体不同部位对应起来，从而为后续建模提供更强的物理解释能力。

（图3 基于深度学习的人体手势ISAC信道建模框架。)

在模型设计上，本文提出了一个两阶段深度生成框架，如图3所示。第一阶段采用Poisson神经网络预测六个人体部位各自对应的多径分量数量。由于多径数本身具有随机性和稀疏性，用Poisson分布建模可以更自然地描述这种“计数型不确定性”。第二阶段则为每个人体部位构建条件变分自编码器（C-VAE），用于生成散射点的局部空间位置与RCS特征。为了增强时空连续性，模型不仅引入当前手势特征作为条件输入，还额外加入前一时刻匹配路径信息与同一时刻相邻路径信息，从而提高生成散射点在时间和空间上的一致性。最终，基于这些生成散射点，可进一步重建人体手势下的CIR和微多普勒签名。

（图4 人体手势散射点分布生成结果与实测结果对比。)

实验结果表明，所提出方法在人体手势信道建模中表现出较高精度与较强泛化能力。如图4所示，在散射点生成方面，生成结果与实测结果在空间结构和RCS分布上高度一致，平均空间误差小于5 cm。在CIR重建方面，所生成的功率时延分布（PDP）能够较好复现真实测量信道，其与实测PDP之间的RMSE仅为2.34 dB；在时延扩展分析中，约90% 的快照误差控制在 0.1 ns 以内，说明模型能够较准确地捕获时变信道的统计特征与动态演化趋势。

在微多普勒建模方面，本文进一步验证了模型对人体局部运动和整体动作模式的表达能力，如图5所示。结果显示，对于典型手势 Up-Up 和 Right-Left，所生成微多普勒特征与实测结果在变化趋势、峰值位置和时频结构上均保持较高一致性。其中，本文方法在不同手势上的微多普勒重建可达到约 2 dB 量级的RMSE和 88% 以上的SSIM，明显优于传统基于骨架和解析运动假设的对比方法。

（图5 人体手势微多普勒细粒度特征对比。）

此外，论文还针对不同被试与不同手势进行了更全面的泛化验证，如图6所示。通过留一法交叉验证，研究团队对4名受试者、16类手势进行了系统评估。结果表明，该方法在所有64组测试中取得了平均 0.8929 的SSIM，且波动很小，说明该模型即使面对未参与训练的新受试者和新手势样本，仍能保持稳定而可靠的生成效果。

（图6 不同手势、不同个体的泛化性验证。)

总体来看，本研究提出了一种从真实测量出发、兼顾物理机制与深度学习生成能力的人体手势信道建模方法。该方法不仅能够在多径级别重建人体动作引起的时变信道特征，还能进一步生成具有良好一致性的CIR与微多普勒签名，为人体感知ISAC系统的数据增强、算法评测和信道仿真提供了新的技术路径。该工作也表明，未来面向6G的无线感知研究，不仅可以“识别动作”，还可以进一步“生成信道”，从而推动ISAC从感知应用走向更深层次的机理建模与系统设计。

（文章引用）

@ARTICLE{11322698,  author={Zhang, Zhengyu and Varshney, Neeraj and Senic, Jelena and Caromi, Raied and Berweger, Samuel and Gentile, Camillo and Vitucci, Enrico M. and He, Ruisi and Degli-Esposti, Vittorio},  journal={IEEE Transactions on Antennas and Propagation},   title={Deep Learning-Based Human Gesture Channel Modeling for Integrated Sensing and Communication Scenarios},   year={2026},  volume={74},  number={4},  pages={3456-3470},  keywords={Sensors;Radio frequency;Integrated sensing and communication;Laser radar;Wireless communication;Synchronization;Cameras;Wireless sensor networks;Three-dimensional displays;Delays;Channel modeling;deep learning (DL);human gesture;Integrated Sensing and Communication (ISAC);micro-Doppler signatures},  doi={10.1109/TAP.2025.3648130}}

或

Z. Zhang et al., "Deep Learning-Based Human Gesture Channel Modeling for Integrated Sensing and Communication Scenarios," in IEEE Transactions on Antennas and Propagation, vol. 74, no. 4, pp. 3456-3470, April 2026, doi: 10.1109/TAP.2025.3648130.

立足学术，艰苦奋斗

谱写交通强国建设新篇章

来源：北交大智能交通电波传播研究团队

著作权归作者所有，欢迎分享，未经许可，不得转载

首次发布时间：2026-04-21

电波讲堂系列讲座第八期：无线通信信道建模 —北京交通大学杨汨副教授

免费

还没有评论