论文题目:
Degradation-Aware Remaining Useful Life Prediction of Industrial Robot
via Multiscale Temporal Memory Transformer Framework
论文期刊:Reliability Engineering and System Safety
论文日期:2025年
论文链接:
https://doi.org/10.1016/j.ress.2025.111176
作者:Zhan Gao (a), Chengjie Wang (a), Jun Wu (a*),Yuanhang Wang (b), Weixiong Jiang (a), Tianjiao Dai (a)
机构:
a: School of Naval Architecture and Ocean Engineering, Huazhong University of Science and Technology, Wuhan, China;
b: Sino-German College of Intelligent Manufacturing, Shenzhen Technology University, Shenzhen, China
团队带头人简介:吴军老师,现任华中科技大学船舶与海洋工程学院教授、博士生导师,副院长。作为IEEE高级会员、斯坦福大学访问学者,他长期致力于复杂机电装备的智能运维与健康管理研究,重点涵盖健康监测、异常检测、状态评估、故障诊断、寿命预测及维修决策等方向,并积极推动人工智能、大数据、物联网、数字孪生等新兴技术与装备工程的深度融合。在科研方面,吴教授主持国家自然科学基金项目3项、国家重点研发计划课题1项及多项省部级与企业委托课题,发表学术论文160余篇(其中JCR Q1区论文70余篇,ESI高被引论文8篇),授权专利与软件著作权60余件,参与制定国家标准5项,多项成果获省部级科技进步奖。其学术影响力连续入选斯坦福大学全球前2%顶尖科学家“年度影响力”榜单。(来源: http://faculty.hust.edu.cn/Junwu/)
1 摘要
2 引言
3 理论基础
3.1 逆离散傅里叶变换
3.2 多尺度分块操作
4 多尺度时序记忆Transformer
4.1 特征提取与选择
4.2 基于MATNet的状态变化识别
4.3 基于MTTNet的RUL预测
5 实验研究
5.1 实验设置
5.2 实验结果
5.3 剩余寿命预测结果与分析
6 讨论
6.1 消融实验
6.2 参数分析
6.3 与其他先进方法的对比
7 结论
剩余使用寿命(RUL)的预测对于保障工业机器人(IR)的稳定运行至关重要。近年来,深度学习方法已在RUL预测任务中展现出良好性能,但其在感知IR由健康状态向退化状态转变的能力有限,且难以有效建模RUL预测所需的多重时序依赖关系。为解决这一问题,本文提出了一种多尺度时序记忆Transformer框架,将寿命预测与状态转变识别相融合。该框架由记忆自编码器Transformer网络与多尺度时序Transformer网络组成:前者用于捕捉时序信号中的潜在变化并检测状态转变点,后者则在此基础上挖掘跨尺度的时序依赖以实现精准的寿命预测。本文进一步构建了自主研发的IR实验平台对所提方法进行验证。实验结果表明,相较于其他先进方法,该框架不仅能够提前识别状态转变点,而且显著提升了IR寿命预测的精度。
关键词:剩余使用寿命,状态变化识别,Transformer模型,多尺度时序特征,工业机器人
工业机器人(IR)因技术进步和高产能需求在过去二十年中得到广泛应用。然而,复杂的工作环境导致其不可避免地出现损伤,因此需引入预测与健康管理(PHM)技术进行状态监测和健康维护。其中,剩余使用寿命(RUL)预测可有效防止设备退化并提升可靠性。
随着传感技术的发展,传感器可获取大量健康状态数据,推动了数据驱动的 RUL 预测研究。深度学习(DL)方法因强大的非线性建模能力在工业机器人的 RUL 预测中表现优异,但仍难以捕获全局时间依赖,导致预测存在不确定性与滞后。Transformer 网络通过多头注意力机制可高效捕获全局依赖,已被用于增强 RUL 预测。然而,现有方法仍存在两大问题:一是 IR 在初期运行稳定,退化在不确定状态变化点开始,传统 Transformer 假设退化从初始服役开始,难以提前感知状态变化;二是 IR 数据为长寿命周期序列,包含多期(长、中、短期)潜在退化模式,现有方法难以捕获多期特征,造成时间信息丢失与预测精度下降。
针对上述问题,本文提出多尺度时序记忆 Transformer 框架实现退化感知 RUL 预测。框架包括两部分:首先,记忆自编码器 Transformer 用于信号重建并识别状态变化点;其次,多尺度时序 Transformer 捕获多期依赖以增强状态变化点后的 RUL 预测能力。为验证方法有效性,搭建加速寿命测试 IR 平台。主要贡献包括:
提出退化感知 RUL 预测方案,通过多尺度时序记忆 Transformer 实现 IR 的高精度 RUL 预测,并可及时识别健康与退化状态。
设计记忆自编码器 Transformer 网络,挖掘动态时序依赖,实现状态变化点的提前检测。
构建多尺度时序 Transformer 网络,可选择预测路径并捕获多期依赖,实现无完全失效数据下的未来 RUL 预测。
离散傅里叶变换(DFT)及其逆变换(IDFT)共同组成一组可逆的变换对。通过 DFT,可将时域信号 映射为频域信号 ,其数学表达式为:
其中, 表示样本总数, , 表示频率索引, 表示时间索引。符号 与 分别表示 的实部与虚部。其幅值与相位信息表示为:
其中,
IDFT能够通过频率分量实现信号重构,从而支持数据压缩、噪声抑制,并保留关键频率以供分析。
3.2 多尺度切片操作
多尺度切片操作用于将输入数据或图像划分为固定大小的片段(patch),并将这些片段重构为向量序列,以作为 Transformer 网络的输入。切片操作的具体细节如图 1 所示。
图 1 多尺度切片操作的细节
对于输入序列
为了获得多尺度切片集 合,首先基于
如图 2 所示,提出了一种多尺度时间记忆 Transformer 框架,用于实现面向退化感知的 IR 剩余寿命(RUL)预测任务。该框架包含三个部分:特征提取与选择、记忆自编码 Transformer 网络(MATNet),以及多尺度时间 Transformer 网络(MTTNet)。
图 2 多尺度时间记忆 Transformer 框架流程图
4.1 特征提取与选择
特征提取与选择模块旨在从测量信号中提取退化相关特征。提取的特征包括 7 维时域特征与5 维频域特征,并通过欧氏距离对特征进行选择。7 维时域特征为:均值幅值(tf1)、均方根(tf2)、峰值(tf3)、平方均根(tf4)、偏度(tf5)、峰度(tf6)以及标准差(tf7);5维频域特征为:平均频率(ff1)、频率方差(ff2)、频率中心(ff3)、一阶矩(ff4)及频率偏度(ff5)。由于部分特征对IR 退化现象的表征能力有限,同时高维特征增加了计算开销,因此采用欧氏距离方法对特征进行筛选。
4.2 基于 MATNet 的状态变化识别
在正常状态向退化状态过渡过程中,可能出现微弱且受噪声干扰的异常信号。为准确捕捉这些细微变化并定位状态变化点,本文采用 MATNet。该网络由三部分组成:Transformer 编码器、增强记忆模块和密集解码器,其整体结构如图 3 所示。
图 3 MATNet 结构示意图
4.2.1 Transformer 编码器
Transformer 编码器用于将测量信号嵌入到潜在空间中。设
多头注意力(Multi-head Attention)的表达式为:
其中,
4.2.2 Dense 解码器
Dense解码器用于根据隐藏状态进行信号重构。它采用两层线性层将潜在空间映射回输入空间:
其中,
4.2.3 增强记忆模块
传统自编码器架构通常采用较小的重构损失来训练模型,但由于过度泛化及时间信息丢失,其重构能力有限。为解决该问题,引入了增强记忆模块,通过整合记忆机制来提升性能。该机制能够基于存储在记忆模块中的典型正常模式提取隐藏表示,同时限制编码器捕捉异常特征的能力。记忆机制包含两个阶段,即记忆更新阶段和查询更新阶段。
在记忆更新阶段,记忆项
其中,
其中,
在查询更新阶段,生成更新后的查询并将其输入密集解码器。采用 Softmax 函数对查询与记忆项进行计算,从而获得基于记忆的查询注意力:
此外,通过将记忆项
进一步地,将
退化状态下的状态评分高于正常状态下的评分。随后,通过设定阈值
当
4.3 基于 MTTNet 的剩余寿命预测
为在确定的状态变化点之后实现 RUL 预测任务,MTTNet 被用于揭示IR 的退化行为。如图 4 所示,MTTNet 包含切片构建模块、多尺度注意力模块以及路径融合模块。
图 4 MTTNet 结构示意图
4.3.1 切片构建模块
输入序列
在切片构建模块中,采用时间解缠(temporal disentanglement)方法从输入序列中获取周期模式和趋势模式。时间解缠包括周期分解和趋势分解,如图 5 所示。
图 5 时间解缠结构示意图
周期分解利用离散傅里叶变换(DFT)将输入序列
其中,
趋势分解用于区分周期性与非周期性成分,从而获得周期成分中潜在的趋势模式:
为提升趋势特征的表征能力,对
其中,
其中,
4.3.2 多尺度注意力模块
多尺度注意力模块用于从切片集 合中捕捉全局与局部时间依赖特性。该模块采用两种视角,即切片内视角(in-patch view)与切片间视角(patch-wise view),以同时挖掘全局和局部特征。在切片间视角中,建立切片内部不同时间步之间的关系,以提取局部特征。切片集 合中的每个切片
其中,
将所有切片的注意力结果整合,以形成切片间视角(patch-wise view)的最终输出:
切片内视角用于建立切片之间的关系,从而提取全局特征。首先采用嵌入操作对每个切片进行映射,并重新排列以形成切片内表示
其中,
其中,
双注意力机制的输出
其中,
4.3.3 路径融合模块
路径融合模块用于整合多尺度补丁的特征。
其中,
5.1 实验设置
为验证所提方法,构建了一套自研工业机器人(IR)平台。该平台由 6 个关节轴组成,用于驱动电机、减速器及传动系统,额定负载为 20 kg。在加速寿命测试中,IR 执行重复抓取铁块的任务,运行负载设定为额定负载的 1.5 倍,动作包括垂直抓取、320° 横向平移及垂直放置。每个轴配备振动、速度、位置和力矩传感器采集信号,每个采样周期包含 3000 个采样点,数据每 3 小时记录一次。测试过程中,第五轴与第六轴减速器在 1480 h 后因机械磨损出现噪声及润滑脂泄漏。平台结构示意如图 6 所示。

图 6 自建 IR 平台的结构细节
各传感器提取的 RMS 值如图 7 所示。速度、振动及位置信号未显示明显退化,主要因各关节采用闭环控制。第三轴与第四轴的力矩信号呈轻微退化,第五轴与第六轴表现明显退化。其中,第六轴减速器在 2325 h 发生故障,1480 h被定义为实际状态变化点。本研究以第六轴为 RUL 预测对象。

图 7 不同传感器提取的 RMS 值
5.2 实验结果
采集数据经归一化与移动平均平滑预处理后,对测量信号进行特征提取与选择。每个关节轴提取 7 维时域特征及5 维频域特征(图 8)。欧几里得距离阈值设为 0.1,最终选取转矩传感器的九个特征(tf3-t、ff4-t、tf1-t、tf6-t、tf5-t、ff2-t、tf1-t、ff3-t、tf2-t),作为状态变化识别及IR 剩余寿命预测的输入。

图 8 基于欧几里得距离的特征选择
为了实现 RUL 预测,首先训练MATNet 进行状态变化检测,其次训练 MTTNet 用于IR 的 RUL 预测。所提出 Transformer 框架的超参数列于表1。这些参数通过网格搜索确定,并采用 Adam 优化器,学习率分别为0.0005(MATNet 与MTTNet)。训练过程中使用早停策略以防止过拟合。
表 1 Transformer 框架的超参数设置

为评价检测性能,引入伪劣化(FD)与伪正常(FN)两类指标。FD定义为预测的状态变化点之前的错误劣化标签,FN 定义为预测的状态变化点之后的错误正常标签。前 200 个样本用于训练 MATNet,其余样本用于测试。样本点的 nf 值设定为 3。状态变化检测结果如图 9 所示。

图 9 MATNet 的检测结果
D 和 N 分别表示劣化状态与正常状态,红色与绿色 区域分别表示正常阶段与劣化阶段。检测出的状态变化点为 488,FD数量为 1,FN 数量为0。实验结果表明,本文提出的 MATNet 能够有效检测状态变化,并能够提前预警劣化状态。为定量评估方法的预测性能,采用三种评价指标:归一化均方根误差(NRMSE)、得分(Score)与准确率(AC)。
其中,
在已知样本点范围
图 10 已知样本点下的 RUL 预测性能
为进一步验证 MTTNet 的预测性能,分别选取退化状态下 90%、60% 和30% 的样本点进行短期、中期及长期预测,同时选取 20% 样本用于超长期预测。不同时间尺度下的不确定性量化 RUL 预测结果如图 11 所示,其中预测值取50% 分位数(QL),10% QL 与90% QL 之间的区间以灰色标记。结果表明,预测 RUL 在初期及中期退化阶段存在波动,而末期退化阶段逐渐收敛;长期与超长期预测的不确定性区间较宽,这是训练样本有限所致。该结果表明 MTTNet 能有效刻画 IR 的退化趋势,为维护计划设计提供依据。
图 11 不同时间尺度下的不确定性量化 RUL 预测结果
本节基于消融分析、参数分析以及与其他先进方法的对比,对所提出方法的性能进行了系统评估。在参数分析中,重点考察了补丁大小、Top-K 操作以及阈值
6.1 消融实验
针对 MTTNet 的RUL 预测性能,前 200 个样本用于训练,其余样本用于测试。五种方法用于消融对比:M1 为完整MTTNet;M2 去除状态变化检测;M3 去除补丁构建模块;M4去除 Patch-wise 视图;M5去除 In-patch 视图。结果表明(图12),完整方法能够实现最优 RUL 预测性能,说明状态变化检测、多尺度补丁构建及双视图注意力机制对预测精度均有显著提升。

图 12 不同方法消融实验的预测结果
与 M2 相比,M1的 NRMSE 与 Score 值更低,说明状态变化检测对于识别初始退化点具有重要作用。结合状态变化检测,NTNNet 的RUL 预测性能得到了显著提升。M3 的结果表明,多尺度操作能够使模型挖掘多时间尺度的特征,从而增强预测性能。当去除 Patch-wise 视图时,预测能力有所下降,这是因为 Patch-wise 视图提供了退化过程的局部时间信息。而去除 In-patch 视图则会导致全局时间信息的丢失。M4 的性能低于 M5,这可能是由于全局时间信息包含比局部时间信息更丰富的时间特征。综上所述,结合状态变化检测可以显著提升 RUL 预测性能;多尺度划分与多尺度注意力模块能够有效挖掘时间信息,从而增强预测能力。
6.2 参数分析
6.2.1 补丁大小
为研究补丁大小及补丁数量对模型性能的影响,构建了五种不同的补丁集进行对比实验(表 2)。实验中,前200 个样本点用于训练所提出的 MATNet,结果取十次运行的NRMSE 平均值。需要注意的是,各补丁大小需能够整除时间窗口值。随着补丁大小的增加,补丁集的尺度层次变得更加丰富,从而为多尺度特征提取提供更多选择。
表 2 不同补丁集的构建方案
如图 13 所示,随着补丁数量的增加,NRMSE 呈下降趋势。然而,当补丁大小进一步增大时,预测性能提升幅度逐渐减小。在超长期预测中,P3 的NRMSE 小于 P4,而在其他时间尺度下,P4 的NRMSE 又高于 P3。此外,P5 的NRMSE 超过 P4,可能因补丁数量过多导致模型过拟合。因此,选择补丁大小为 {1, 2, 4, 8} 的补丁集可获得最佳预测性能。
图 13 不同补丁集的 NRMSE 结果箱线图
6.2.2 Top-K 操作
Top-K 操作用于调控预测过程中补丁集的稀疏性。图 14 显示了不同K 值下的 NRMSE 与Score 结果。随着 K 值增加,NRMSE 改善幅度逐渐减小,而Score 并未呈现相同趋势。当 K 值超过 4 时,Score反而下降,这可能因引入过多多尺度时间信息而导致模型过拟合。综合考虑稀疏性与预测性能,K = 4 可实现最优的RUL 预测效果。
图 14 基于不同 Top-K 参数的NRMSE 与 Score 指标对比
6.2.3 阈值δ
为了研究不同阈值对检测性能的影响,选择了八个不同的阈值以确定最优阈值 δ。利用FN、FD 以及检测位置指标评估 MATNet 的检测性能。从图 15 可以看出,随着阈值的增大,FN 和 FD 的数量逐渐减少。同时,随着阈值增大,检测到的状态变化位置呈现延迟趋势。综合不同指标的检测结果,当阈值 δ 设置为0.9 时,MATNet 的检测性能表现最佳。
图 15 不同阈值下的检测性能
6.3 与其他先进方法的对比
为进一步验证所提出方法的优越性,本文对 MATNet 的检测性能与MTTNet 的预测性能分别与多种先进方法进行了对比。为评估 MATNet 的状态变化检测能力,选取了七种先进方法进行比较:Autoencoder (AE):编码器基于Transformer,解码器为全连接层;RVAE:变分自编码器(VAE),编码器与解码器均基于Transformer;STOC:改进自编码器,由 Transformer 编码器与卷积解码器组成;FCVAE:能够提取局部与全局时间信息进行异常检测的 VAE 方法;SSPCL:基于对比学习的状态变化检测方法;RSTRN:基于关系网络,通过评估健康状态与故障状态的相似性实现检测;CWTKB:考虑零故障样本的智能故障检测方法。
检测性能以状态变化检测位置(Location)、FD、FN以及平均训练时间(ATT, Average Training Time)为指标进行评估。状态变化识别结果如表 3 所示。
表 3 与其他先进检测方法的比较
与其他先进检测方法相比,MATNet 能够更早地识别状态变化,其 FD 与 FN 总数最少。相较于 AE 方法,MATNet 借助增强记忆模块具备较强的时间依赖捕捉能力,可揭示时间信息的动态变化以实现精确检测。此外,MATNet 在检测性能上优于其他改进型自编码器方法,显示出相较于现有先进方法的显著优势。然而,由于增强记忆模块结构复杂,MATNet 的平均训练时间(ATT)高于部分其他方法。
为进一步验证 MTTNet 的预测性能,选择了八种先进预测方法进行对比,具体如下:BiGRU-TSAM:基于双向GRU 与自注意力机制的 RUL 预测方法。CoT:结合多尺度卷积与Transformer 解码器的改进型 Transformer 网络。MTST:多分辨率Transformer,用于长期时间序列预测。TFT:基于多头稀疏注意力的改进型 Transformer,用于 RUL 预测。ATCN:基于自注意力的TCN,用于 RUL 预测。SCTCN:自校准模块增强的TCN,用于 RUL 预测。MR-LSTM:多尺度LSTM 网络,用于 RUL 预测。FF:增强频率信息的Transformer,用于时间序列预测。
选取退化状态下前 150 个样本点用于训练MTTNet,其余样本用于测试训练模型。图 16 展示了预测结果。
图16 各方法RUL 预测结果对比
结果表明,所提方法的预测分布更集中,离散度低于其他方法。尽管平均训练时间(ATT)显示MTTNet 在时间成本上相较于其他基于 Transformer 的方法并无优势,但在工业应用中,RUL 预测精度优先于训练效率。因此,本方法能够高效捕获时间依赖,实现高精度 RUL 预测。
基于 NRMSE 对预测结果进行了配对t 检验,如图 17 所示。星号 (*) 表示两方法结果存在显著性差异(*p<0.05,**p<0.01,***p<0.001,****p<0.001)。结果表明,本方法在约5% 统计显著性水平下优于其他八种方法。在短期 RUL 预测任务中,各方法预测性能差异较小;随着预测期延长,NRMSE 显著高于本方法的其他方法数量逐渐增加。
本文提出了一种用于滚动轴承剩余寿命预测的渐进式混合超图注意力网络(PHHGATN)。该方法通过双分支混合超图结构,同时建模高阶与低阶相关性,并实现自适应特征融合。在网络设计上,采用渐进式结构构建与通道信息融合策略,以突出关键节点与超边的重要性。基于两个全寿命数据集的系统性实验表明,该方法能够有效提升预测精度,并具备一定的可解释性;在变工况数据集上的案例研究进一步验证了其良好的泛化能力与计算效率。此外,本文还探讨了基于双通道信息的健康预测特性,结果显示该融合策略不仅有效增强了预测结果的因果性,也展现了双通道信息在设备健康预测中的应用潜力。