旋转机械的轴承状态直接关系到设备运行安全与使用寿命。通过加速度传感器、麦克风和电流传感器采集运行信号,可以识别轴承的健康状态与故障类型。实际诊断面临故障标注样本有限、运行负载变化和测量噪声干扰等条件,单一振动信号提供的信息难以持续满足诊断需求。多传感器能够提供互补信息,如何保留不同信号的特征并有效融合,成为本文研究的核心。
研究者提出基于模态交叉注意力的多模态异构特征学习框架(Multimodal Heterogeneous Feature Learning with Modality-Cross-Attention,MHFL-MCA),围绕模态特定编码、双向特征交互和样本级模态重加权开展设计,并在振动—声学、振动—电流两类轴承数据上验证。完整翻译版可点击结尾左下角阅读原文~
题目:Multimodal heterogeneous feature learning with modality-cross-attention for robust fault diagnosis of machines under complex conditions
作者:Yuang Zhou、Tianci Zhang、Tongyang Pan、Jingsong Xie、Jinglong Chen
期刊:Advanced Engineering Informatics
原文:https://doi.org/10.1016/j.aei.2026.105277
代码:
https://github.com/yazyeah/MHFL-MCA-Codes-Datasets-and-Results
问题:异构信号使用相同编码结构、模态间交互不足和固定融合权重,限制了互补故障信息的利用。
方法:分别提取各模态特征,用双向交叉注意力建立特征之间的关联,再按当前样本计算模态权重,完成融合分类。
目录
本文研究同步采集的多模态轴承信号,输入同一时间窗内的两路信号片段,输出预先定义的健康或故障类别。振动、声学与电流信号在统计分布、频谱和噪声特性上存在差异。作者指出,采用同构编码器容易忽略模态特性;将独立提取的特征直接拼接或求和,难以充分建立跨模态依赖;等权融合则无法适应不同样本中各模态信息质量的变化。
传感器组合也受到试验条件约束。渥太华大学数据在轴承驱动端布置加速度传感器,并在轴承附近布置麦克风,同步获取振动与声音。
KAIST 变负载平台使用磁滞制动器施加载荷,制动噪声影响声学采集,因此作者选择各负载下均可获得的振动与电流信号进行跨负载诊断。
框架在特征提取、跨模态交互和融合三个环节分别进行改进。两路同步信号经过独立编码后形成时序特征,交叉注意力提取另一模态中的关联信息,重加权模块调整两路交互特征的贡献,最终由分类器输出类别概率。
模态特定异构编码模块(Modality-specific Heterogeneous Encoder Module,MSHEM)为两路输入分别配置一维卷积网络,独立设置网络深度、卷积核、激活与池化方式,以适应各模态的信号特征。
在振动—声学案例中,振动分支采用 4 个卷积块、长度为 16 的卷积核和平均池化;声学分支采用 5 个卷积块、长度为 8 的卷积核和最大池化。较深的声学分支支持对瞬态与宽带特征进行分层提取。两路网络保留各自的表示方式,输出的时序特征进入交互模块。
这一设计针对同构网络对异构信号适配不足的问题。作者在跨负载案例中将两路分支改为相同结构,检验差异化编码的作用。
交叉注意力交互模块(Cross-attention Interaction Module,CAIM)在两路特征之间建立双向关联。以模态 1 获取模态 2 的信息为例,模态 1 的特征经投影形成查询矩阵 ,模态 2 形成键矩阵 和值矩阵 :
表示两路特征在时间位置上的关联权重,按行归一化; 是依据该权重聚合模态 2 信息得到的交互特征。交换两路模态的角色,得到反向交互特征。
直接拼接保留的是各分支独立提取的表示,双向交互则使每一路特征都能够利用另一模态中的相关故障信息。注意力作用于编码后的特征序列,输入仍采用同步配对的信号片段。
自适应模态重加权模块(Adaptive Modality Reweighting Module,AMRM)将两路交互特征分别展平,通过独立的线性映射和 sigmoid 函数计算两个分数,再将分数组合,经线性映射与 softmax 得到和为 1 的模态权重。
其中, 为展平后的交互特征, 、 是随输入样本变化的权重,分号表示拼接, 为融合特征。该模块将固定的模态贡献改为由当前样本决定,使融合过程突出更有诊断价值的模态表示。
融合分类模块(Fusion Classification Block,FCB)通过全连接层和 softmax 输出各健康状态的概率,以最大概率对应的类别作为诊断结果。编码深度与训练超参数通过验证集搜索确定,随后固定。模型采用交叉熵损失和 Adamax 优化器进行端到端训练,各模块参数共同更新。
渥太华大学数据包含 7 类轴承状态,转速为 1750 r/min,两路信号采样率均为 42 kHz。每类使用两条同步记录,构建 400 对不重叠片段,每段 2048 点,使用原始幅值。每类选取 5~30 个训练样本,按配对片段划分训练集与留出集,同一留出集用于训练验证及最终评估。两案例主实验均重复 10 次,各指标剔除最高与最低结果后,对余下 8 次统计均值与标准差。
每类 5 个训练样本时,完整模型准确率为 92.79±2.88%,高于振动与声学信号一致特征融合网络(Vibration and Acoustic Signal Consistent Feature Fusion Network,CFFN)的 76.83±5.79%。同一条件下,单独使用振动和声音的准确率分别为 52.40% 和 32.88%,直接拼接为 63.73%,仅加入交叉注意力为 64.73%,仅加入重加权为 68.49%。完整模型的结果体现了跨模态交互与自适应融合联合使用的作用。
单个模块对各指标的影响存在差异。例如,每类 5 个样本时,仅加入交叉注意力的宏平均 F1 为 58.43%,直接拼接为 60.90%。在较多样本下,传统时频特征支持向量机也取得较高精度,每类 30 个样本时,其早期融合准确率为 99.73%,完整模型为 99.38%。
KAIST 数据使用轴承振动与电机 U 相电流,采样率为 25.6 kHz,转速保持 3010 r/min,包含正常状态及 4 类内、外圈故障。每个片段含 2048 点,在加噪前逐段进行 z-score 标准化,加噪后保留设定的信噪比。模型仅在 0 N·m 下训练,在 2 和 4 N·m 下测试。
训练时,两路基准视图均加入 0 dB 噪声,扰动视图的信噪比在 −10~0 dB 间随机取值,少量样本额外施加单模态扰动。训练目标同时约束基准视图的分类误差和两视图预测分布的差异。每类 5 个训练样本时,模型在 2 和 4 N·m 下的准确率分别为 97.39±1.95% 和 91.56±8.32%。
每类 30 个样本、4 N·m 条件下,完整模型为 99.25±0.96%,将两路编码器改为相同结构后为 92.61±4.81%,支持采用模态特定编码。将两阶段权重计算改为直接 softmax 门控后,准确率为 97.52±3.31%,为所提出的重加权方式提供了对照结果。
作者以固定随机种子和每类 30 个样本训练一个模型,在目标负载下重复加入独立高斯噪声,并对多次噪声实现进行统计。4 N·m、信噪比 −8 dB 时,准确率为 92.61±0.44%,采用可变形 Transformer 的多传感器多尺度融合网络(Multisensor Multiscale Fusion Network with Deformable Transformer,MSF-DFormer)为 64.72±0.57%。该结果反映了框架结合噪声增强与一致性训练后,在负载变化和强噪声共同作用下的诊断性能。
研究围绕两个公开轴承数据集的已知健康状态与单一故障分类展开。作者将复合故障、其他机械部件、长期退化以及模态缺失和不同步情形列为后续研究方向。
开源代码至https://github.com/yazyeah/MHFL-MCA-Codes-Datasets-and-Results。
第一作者:周宇昂,中南大学机械设计制造及其自动化2027届毕业生,深圳河套学院2027届直博生,联系邮箱:7803230223@csu.edu.cn
通讯作者:张天赐,工学博士,中南大学机电工程学院讲师,硕士研究生导师。2018年获西安交通大学工学学士学位,2023年获西安交通大学工学博士学位。研究方向为高端机械装备的动力学性能测试及预测性维护技术,主持国家自然科学基金青年基金(C类)、国家重点研发计划子课题等项目7项。连续入选“全球前2%顶尖科学家”榜单,研究成果获陕西高等学校科学技术研究优秀成果一等奖等荣誉,联系邮箱:modaoztc@163.com