本期给大家推荐一篇融合了强化学习的故障诊断研究:一种用于旋转机械故障诊断的 Convolutional-Transformer 强化学习智能体,文章提出了一种创新的轻量化 Convolutional-Transformer 强化学习诊断框架LiteDPER-CTQN,用于旋转机械故障诊断。该方法融合CNN的局部特征提取与Transformer的序列建模能力,结合优化的经验回放与双Q网络机制,显著提升了在样本稀缺场景下的诊断精度与收敛速度。实验表明,其在多个真实数据集上优于现有主流方法,兼具高精度、高效率与良好可解释性,具有较强的工程应用价值。
论文题目:A convolutional-transformer reinforcement learning agent for rotating machinery fault diagnosis
论文期刊:Expert Systems With Applications
论文时间:2025年
作者:Zhenning Li, Hongkai Jiang*, Yutong Dong
机构:
School of Civil Aviation, Northwestern Polytechnical University, 710072 Xi’an, People’s Republic of China
论文下载:
https://drive.weixin.qq.com/s?k=AJAAiAeoAEgWdDKHTU
论文链接:
https://doi.org/10.1016/j.eswa.2025.126669
作者介绍:
姜洪开,男,1972年生,博士,西北工业大学教授/博导。西安交通大学仪器科学与技术专业博士学位。2006年5月进入西北工业大学航空宇航科学与技术博士后流动站从事博士后研究工作,并留校任教。主持航天科技创新基金、中国博士后科学基金等国家和省部级基金项目4项。参加国家973子课题项目1项、国家自然科学基金重点项目1项、国家自然科学基金面上项目2项、国家863高技术研究发展计划项目1项。(百度百科)
摘要
1.介绍
2.理论背景
2.1.强化学习
2.2.Transformer
3.所提方法
3.1.Convolutional-Transformer Q网络
3.2.轻量级双优先级经验回放
3.3.方法概览
4.实验验证
4.1.实验一
4.1.1.数据集描述
4.1.2.LiteDPER的比较研究
4.1.3.CTQN的比较研究
4.1.4.实验结果
4.2.实验二
4.2.1.数据集描述
4.2.2.LiteDPER的比较研究
4.2.3.CTQN的比较研究
4.2.4.比较分析
5.结论
在旋转机械的维护管理中,运行时的振动信号能够反映系统的健康状态。深度学习算法已实现振动监测与诊断技术中的自动特征提取,在智能设备管理领域获得广泛认可,但仍存在一些局限性。为提升有限样本场景下的模型性能并融入持续优化策略,本研究提出LiteDPER-CTQN(轻量双优先级经验回放的 Convolutional Transformer Q网络),这是一种融合强化学习的新型故障诊断。该智能体通过三大创新实现卓越的特征提取和模型适应性:轻量化强化学习框架确保高效稳定的训练过程、增强的基于Transformer的架构支持多尺度特征融合、以及集成式智能诊断系统。基准测试和电力机车数据实验表明,相较于现有最优方法,我们的方法在诊断准确率、收敛速度和计算资源消耗方面均表现更优,同时Q值函数的可视化设计显著提升了决策过程的可解释性。
关键词:旋转机械,故障诊断,Convolutional-Transformer,强化学习智能体
旋转机械在交通运输领域举足轻重,例如汽车发动机和喷气式飞机涡轮机(Liu等,2024;Xiao等,2024)。作为支撑核心部件的滚动轴承,直接关系到设备的安全性和运行效率。这类设备常在严苛工况下运转,容易出现磨损、腐蚀等问题(Yang等,2024)。随着工业技术的飞速发展,旋转机械日趋精密复杂,维护保养、状态监测及可靠性工程已成为工业应用中的关键领域(Xu等,2024)。
近年来,故障诊断研究逐渐转向基于深度学习的方法。这类方法在处理大规模、高维数据方面表现优异(Liu等,2024;Dong等,2024)。当经过海量数据训练时,深度学习模型展现出强大的泛化能力和特征提取能力(Zhang等,2024;Mu等,2024)。基于深度神经网络的故障诊断技术取得的重大突破,彻底改变了旋转机械系统的检测领域。Zeng等(Zeng等,2024)构建了一个多标签框架,通过自注意力机制和图技术利用故障关联性来提升复合轴承故障诊断效果。Wang等(Wang等,2025)提出了一种自适应生成模型进行数据增强,有效改善了非均衡数据集在滚动轴承故障诊断中的表现。
深度学习在智能故障诊断领域仍面临诸多重大挑战。这类模型对数据质量和数量都有极高要求,但在现实工业环境中往往难以满足这些条件——特别是当遇到故障特征耦合、样本稀缺等问题时(Yang等,2024)。其决策过程难以解释,可能导致故障诊断过程中的信任危机(Yang等,2024)。此外,深度学习模型所需的庞大数据计算资源,也给复杂架构的部署带来挑战。智能故障诊断领域仍需持续深入研究(Lao等,2024)。
强化学习通过自主获取环境反馈信息,为故障诊断提供了更具自适应性和灵活性的解决方案(Shao等,2024)。该技术能根据反馈动态调整策略实现自我优化,因此在应对动态复杂工业环境时表现出色。其在故障诊断中的应用包括交互式诊断和故障诊断模型结构优化(Nabeel等,2024;Li等,2024)
Li等(Li等,2023)提出基于强化学习的模型优化策略,通过自主设计和优化卷积神经网络实现故障分类。Zhao等(Zhao等,2023)开发了具有双阶段训练机制的对比增强深度强化学习方法,有效解决少数类故障识别问题。Yan等(Yan等,2024)提出结合混合数据增强的强化学习方案,弥补暖通空调系统故障检测中样本不足与分布不均的问题。Zhu等(Zhu等,2023)将强化学习与确定性学习理论相结合,为非线性系统构建了先进的故障诊断方法。然而,强化学习受限于自身模型性能与训练效率,通常需要大量计算资源,阻碍其在实时故障诊断中的应用。因此,亟需重点研发轻量化、高效的强化学习框架。
Transformer通过其多头自注意力机制高效提取多尺度特征,并在信号中建模局部到全局的关联关系(Wang等,2024)。在故障诊断领域,研究者们积极探索将Transformer与现有方法结合,以提升故障分类和预测性能(Li等,2024;Wang等,2024)。Cui等(Cui,2024)开发了一种基于Transformer的自监督特征提取方法用于故障诊断,通过时频数据增强在标注样本有限的情况下提升性能。Chen等(Chen等,2023)针对轴颈轴承转子系统提升了故障诊断精度,采用融合时频分析与自适应窗口位移的Transformer变体。Wang等(Wang等,2024)设计了Neural--Transformer模型用于机械故障诊断,该模型是融合脉冲神经网络与自注意力机制的脑启发式架构。Lei等(Lei等,2024)2024年研究提出改进型Transformer模型,通过融合超图嵌入与自适应信息融合技术,旨在提升强噪声干扰环境下的故障诊断性能。尽管Transformer在捕捉全局依赖关系方面表现优异,但其缺乏专门的局部特征提取结构,导致难以有效捕获信号中的细粒度。当处理故障信号中常见的细微、短期特征时,这种局限性变得尤为明显。因此,Transformer在故障诊断领域的实际应用仍面临重大挑战。
现有研究表明,无论是计算机视觉还是故障诊断领域,基于Transformer的框架都能有效应对传统深度学习方法面临的多尺度特征捕捉难题(Chen等,2024)。例如,Vision Transformer (ViT)(Dosovitskiy等,2020)将Transformer直接应用于图像块处理,使其能够捕捉不同图像块间的全局关联。而Swin Transformer(Liu等,2021)则借鉴了卷积神经网络的层次化特征提取机制,实现了对多尺度视觉信息的有效处理。这些架构创新在特征提取和表征学习方面展现出显著优势。
本研究提出了一种创新的故障诊断框架,将Transformer与强化学习相结合。针对计算资源有限和样本效率低下的双重挑战,我们对学习框架和智能体的基础模型进行了优化升级。首先,改进了强化学习框架,显著提升了运行效率和稳定性;其次,开发并微调了混合深度学习模型,专门用于提取多尺度特征以完成故障诊断任务;最后,将提出的Transformer模型整合到强化学习框架中,成功构建出具备在线故障诊断能力的智能体。
(1)本文提出了一种改进的强化学习方法,该方法受到深度Q网络(DQN)的启发,并融合了双DQN(DDQN)(VanHasselt等,2015年)和优先经验回放(PER)(Schaul等,2015年)的研究成果。通过对这些算法进行轻量级优化,既保持了算法稳定性,又显著提升了训练效率并降低了计算资源消耗。
(2)我们构建并优化了一种融合Transformer和CNN模型的混合架构,专门用于故障诊断任务。该模型充分发挥了CNN的局部特征提取能力和Transformer的序列处理能力。
(3)优化后的Transformer模型已无缝集成到增强型强化学习框架中。我们开发了一款基于Transformer的智能体,能够实现高质量的在线故障诊断,从而构建出一个稳健且自适应的故障诊断系统,适用于复杂的真实应用场景。
第二节对理论进行综述,第三节详细阐述研究方法,第四节分析实践验证过程,第五节评价重要成果及其意义。
2.1. 强化学习
强化学习是一种让智能体通过互动自主决策的框架。其学习过程包含状态 、动作 、转移概率 、折扣因子 和奖励 。智能体通过制定策略 来实现总回报最大化的目标。
智能体的短期目标是为每个状态确定最优动作。这需要学习动作价值函数(即Q函数),该函数用于估算在给定状态下执行动作的预期回报。为了推导出最优策略,强化学习采用贝尔曼最优方程逐步调整Q值。
Q-learning是一种基于价值函数的著名强化学习方法,作为无模型的学习方法,它不需要任何先验知识,其更新过程可以用贝尔曼方程来表示:
在这个公式中, 表示在状态 中的最佳动作 。 是即时奖励, 是折扣因子,而 表示后续状态。理想情况下,Q值会逐渐接近其真实值,从而确保最佳的长期结果。
DQN使用神经网络来管理具有大量状态空间的环境。在DQN框架中,传统Q学习的Q表被替换为卷积神经网络(CNN)。当输入状态时,该网络会为所有可行动作生成Q值。为确保学习稳定性,系统同时实现了经验回放和独立的目标网络。回放机制通过随机抽样技术维护历史交互数据库,打破连续更新间的关联性。目标网络更新频率较低,为Q值更新提供稳定基准值。DQN中的最优Q值通过以下贝尔曼方程推导得出:
其中, 表示在线网络参数,而 表示目标网络的参数。这些网络使DQN能够在复杂环境中学习策略。
通过梯度下降更新神经网络权重,使方程左边和右边的差异最小化,智能体就能做出最佳决策。
2.2. Transformer
Transformer专为序列建模任务设计,在多个领域展现出显著效果。与传统模型不同,它完全依赖注意力机制,而非卷积或循环操作。
核心自注意力机制通过将序列中的每个元素与其他元素进行比较来计算其重要性,从而能够捕捉长距离依赖关系。它使用查询值Q、键值K和数值V来评估输入不同部分之间的相关性,如下公式所示:
其中, 表示key向量的维度。这种机制有助于模型关注输入数据的不同方面。该机制通过多头注意力机制进一步扩展,即使用多组这样的key向量同时处理来自不同表征子空间的数据。
在注意力层之后,每个Transformer模块后都接一个位置感知的前馈网络(FFN)。该网络由两个密集层构成,这两个层通过ReLU激活函数分隔,并对每个位置独立处理。整个过程可用公式表示为:
其中, 、 、 和 是可学习的参数。
由于Transformer本身无法直接捕捉位置信息,因此需要通过位置编码对输入嵌入进行增强。为了表示序列中标记的相对位置,这些编码采用了具有不同频率的正弦和余弦函数:
自注意力机制允许Transformer有效地建模长程依赖关系,使其在基于序列的任务中非常有效,并被广泛应用于各个领域。
3.1. Cconvolutional-Transformer Q网络
本节将介绍CTQN(Convolutional-Transformer Q网络),这是在DQN框架下融合CNN与Transformer的创新模型。CNN擅长局部空间特征处理,而Transformer则能有效处理序列数据。这两种模型在故障诊断领域都展现出独特优势。CTQN巧妙结合了两者特性:CNN层负责初始特征提取,Transformer模块则对这些特征进行深度处理,捕捉复杂关联关系。
如图1所示,该模型在Transformer组件前设置了卷积层。具体来说,两个Conv2D卷积层后均接一个MaxPooling2D最大池化层。这些层通过提取局部特征并降低空间维度,其工作原理与传统CNN架构类似。完成特征提取后,二维特征图会被重塑为序列形式,随后通过全连接层进行投影处理,将特征映射到Transformer中。
图1 CTQN网络架构
模型的Transformer组件由输入模块和编码模块构成,两者均专为故障诊断任务量身打造。在输入模块中,首先对特征维度进行调整以适配Transformer的输入要求,随后应用位置编码技术为模型提供关键的序列位置信息。经过编码处理后的输入数据将被送入Transformer模块进行处理。
Transformer模块由两个编码器组件构成,每个组件均采用多头注意力机制与全连接网络(FFN),并通过残差连接和层归一化技术进行增强。这种纯编码器架构专为故障诊断任务优化设计,在保持捕捉输入序列中复杂关系和长程依赖能力的同时,显著提升了训练稳定性和效率。为系统化描述该架构,其数学表达式可表示如下:
其中, 表示层归一化, 表示全连接神经网络, 表示多头注意力机制。
Transformer的输出被输入到全局平均池化层,不再像原始Transformer那样使用特殊分类标记或序列末尾时间步。这种设计源于强化学习框架,其中模型输出代表了对应状态的动作值。本文认为全局平均池化能更全面地呈现整个输入状态。全局池化操作可形式化表述为:
其中, 表示特征图中的元素总数, 表示特征图中的每个元素。
最终值将以向量形式输出,表示每个操作可能的Q值,以便评估该操作。计算采用与独立动作输入向量进行逐元素相乘的方式,使智能体能够根据输入动作计算当前状态-动作对对应的最终Q值:
其中, 表示每个动作的输出Q值, 是动作输入向量的对应元素。
通过在Transformer结构中集成卷积层,故障诊断智能体能够捕获空间和时间特征。
3.2. 轻量级双优先级经验回放
本节将介绍LiteDPER(轻量级双优先经验回放算法)。该创新框架融合了深度双先验Q网络(DDQN)和经验回放(PER)的简化版本。虽然DDQN能有效抑制经验过估计偏差,而PER侧重关键经验的优先级排序,但这两类方法在计算复杂度和实现难度方面仍存在明显短板。我们提出的LiteDPER方案通过整合这两种技术的优势,同时保持轻量化特性,其整体架构如图2所示。
图2 LiteDPER运行架构
原始的DDQN通过将动作选择与动作评估解耦,解决了标准DQN中存在的高估偏差问题。DDQN中的目标Q值计算方式如下:
其中, 是当前网络的参数, 是目标网络的参数。
我们提出的方法保持了DDQN的核心思想,但引入了两个关键的修改,一个目标网络的软更新和一个简化的损失函数。
与当前网络和目标网络之间的周期性复 制权重不同,LiteDPER引入了一种软更新机制,在每个训练步骤后执行渐进式更新。更新过程如下:
其中 表示软更新率。这平滑了目标网络的演变,防止可能破坏学习稳定的突然变化。通过保持当前网络与目标网络之间的更紧密关系,该机制提高了稳定性并增强了收敛特性。
损失函数使用当前Q值和目标Q值之间的简单均方误差(MSE):
其中,目标 的计算采用DDQN原理:
标准经验回放机制会从回放缓冲区中均匀采样状态转移,对所有经验一视同仁。但有些经验可能比其他经验更具信息价值。原始的PER方法通过基于时间差分误差(TD误差)对经验进行优先级排序,并采用复杂的数据结构和采样流程来解决这一问题。 我们提出的方法通过引入一个简单的采样机制简化了PER,同时保持了其优先级计算。
使用绝对TD误差计算每个转换的优先级:
其中, 表示转移i的TD误差, 是一个正的常数,确保所有转移的概率不为零。
我们没有使用总和树结构,而是采用一个简单的列表来存储经验及其优先级。转换i的采样频率将根据其优先级进行加权:
其中 是一个超参数,用于确定优先级的大小。
重要性抽样权重的引入可以缓解优先级抽样带来的偏差。在我们的简化版本中,这些权重的计算方式如下:
其中 是回放缓冲区的大小, 在整个训练过程中从初始值退火到1。
尽管LiteDPER通过简化DDQN和PER算法提升了计算效率,但必须认识到效率与模型性能之间存在潜在的权衡关系。简化的更新策略降低了周期性目标网络更新带来的开销,但这种渐进式更新需要在更新频率与速率之间取得平衡,以最小化目标网络与当前策略之间的延迟。简化版PER通过避免使用求和树等数据结构,有效减少了内存占用和复杂度。考虑到故障诊断任务中的决策过程通常具有离散性且重放目标具有随机性,简化版PER对整体性能的影响微乎其微。
尽管存在这些潜在局限性,LiteDPER的设计目标是在保持计算资源节约的同时兼顾效率与稳定性。其轻量级模块化设计使其能够轻松集成到现有故障诊断系统中,或与其他深度学习方法结合使用。
3.3. 方法概览
如图3所示,本研究开发的故障诊断框架将LiteDPER与CTQN模型有机结合。LiteDPER创新性地融合了分词错误率(PER)的动态重要性评估与深度双Q网络(DDQN)的稳定学习特性,而CTQN则巧妙结合了卷积神经网络的空间特征提取能力与Transformer的序列化处理优势。通过这种强强联合,我们成功设计出一款轻量化故障诊断系统,该系统不仅具备强大的特征提取能力,在复杂故障场景中也能游刃有余。
图3 所提方法的示意图
高级故障诊断框架精简版(LiteDPER):该框架整合了简化版的经验聚合器(PER)和深度确定性量子神经网络(DDQN),在保持计算效率的同时提升传统深度确定性量子神经网络(DQN)的性能。训练过程通过将交互经验存储在回放缓冲区,并利用简化的PER机制进行策略性采样。该方法根据绝对时间差分误差计算经验优先级,并通过重要性采样权重消除采样偏差。精简版DDQN框架采用软更新机制处理目标网络,实现知识迁移的渐进与稳定。主网络损失函数简化为当前Q值与目标Q值之间的均方误差。通过这种双重优化策略,LiteDPER显著加速了智能体在故障诊断任务中的收敛速度,并有效抑制了高估现象。
CTQN的增强型特征提取:CTQN采用混合架构显著提升故障诊断中的特征提取能力。该模型首先通过卷积神经网络(CNN)层提取局部空间特征,随后引入Transformer模块对这些特征进行深度处理,捕捉复杂关联与长程依赖关系。接着运用全局平均池化机制整合空间信息,并通过正则化技术防止过拟合。输出层采用逐元素乘法计算对应每个动作的Q值。通过融合CNN和Transformer组件,CTQN同时捕获空间与时间特征,从而构建出更稳健、更精准的模型,适用于复杂的故障诊断任务。
4.1. 实验一
4.1.1. 数据集描述
首次实验使用的数据集由KAt数据中心(Less meier等,2016)提供。如图4所示,该实验装置包含驱动轴、测试轴承及两台电动机。数据采集采用扭矩负载0.7 Nm、横向力1000 N的6203型轴承完成,以900转/分钟恒定转速运行,以64 kHz采样率记录加速度信号。数据集涵盖七种工况:一种健康状态和六种单故障状态,这些故障具有不同程度和不同部位的损坏特征(详见表1)。故障条件通过电火花加工、钻孔等人工方式诱发形成。完整数据集包含770个样本,每个工况条件对应10个训练样本和100个测试样本,每个样本由1024个数据点构成。
图4 6203轴承的实验装置
表1 6203轴承数据集的样本分配
4.1.2. LiteDPER的比较研究
我们使用数据集1对提出的框架进行评估,采用LiteDPER方法并以CNN作为智能体模型。传统深度Q网络(DQN)作为对比分析的基准模型。DQN与LiteDPER共享的学习参数包括:学习率设为0.8、每16步更新一次以及折扣因子设为0.99。LiteDPER的特定参数设置为:软更新率 设为0.1、TD误差优先级 设为0.1、优先级指数 设为0.8以及重要性采样指数 设为0.3。DQN的更新周期设定为128步,经验回放缓冲区容量为256。CNN架构包含两个卷积层(分别含16和32个神经元,卷积核尺寸3×3),每个卷积层后接最大池化层(2×2)、全连接层(128个神经元并使用ReLU激活函数)以及一个dropout层(比例为0.5)。实验共进行十次独立训练,在整个训练过程中实时监测并记录准确率数据,具体过程如图5所示。
图5 跨框架的时间准确性轨迹和平均性能
实验结果分析表明,LiteDPER与传统深度Q网络(DQN)存在显著性能差异。在训练初期,LiteDPER展现出加速收敛的优势,但其准确率波动明显,这可能源于PER机制对高时间差误差经验的偏好。随着训练推进,得益于软更新机制带来的优势,LiteDPER的波动范围逐渐收窄。相比之下,DQN在整个训练过程中持续出现准确率波动,反映出其在利用经验数据方面效率较低。
为评估所提方法的计算成本并对比其与传统方法的效率,我们在相同条件下进行了系列实验,测量每次训练迭代所需时间。该方法与四种基准算法(DQN、DDQN、PER及PER-DDQN)进行对比。为确保公平性,我们沿用先前实验的超参数设置,所有方法均采用卷积神经网络作为骨干模型。所有实验均在相同数据集上进行,每种方法均通过10次独立运行验证性能。
如图6所示,DQN和DDQN方法的训练时间最短,而本文提出的Lit-eDPER方法所需时间略高于前两者,但明显少于PER和PER-DDQN方法。这表明样本回放策略对计算效率的最显著影响,而软更新策略并未显著增加计算开销。所提出方法的轻量化特性显而易见,相较于原有方法展现出相当大的优势。
图6 不同方法中单个实验的总训练时间比较
4.1.3. CTQN的比较研究
在实验中,我们采用了三种不同的数据集划分方案:Subset1、Subset2和Subset3,每个类别分别包含10、8和6个训练样本,所有子集共享100个测试样本。提出的CTQN模型与四种主流深度学习模型进行了基准测试,包括ResNet(He等人,2015)、DenseNet(Huang等人,2016)、Transformer和CNN。Transformer模块包含两个Transformer块,每个块均采用前馈网络(隐藏层大小为64)和多头注意力机制(4个头),并配有位置编码和层归一化,特征维度为16。ResNet作为强基线模型,以其通过残差连接解决性能衰减问题的方法而闻名。DenseNet具有创新的密集连接模式,能够促进特征复用和参数高效利用。我们在各模型间保持了公共参数的一致性,特别是在CNN特征提取层和Transfo-rmer块中适用时,并针对不同架构单独优化了特定超参数以确保最佳性能。
针对ResNet架构,我们设计了包含两个残差块的结构,每个残差块由两个卷积层(滤波器数分别为16和32,卷积核尺寸为3×3)和最大池化层(2×2)组成。在连接层中采用1x1卷积进行维度调整,并在每个卷积层后应用批量归一化处理。对于DenseNet架构,我们构建了包含两个全连接块的结构,每个全连接块同样由两个卷积层(滤波器数分别为16和32,卷积核尺寸为3×3)构成。全连接块之后是一个过渡层,该层由批量归一化、1×1卷积和2×2平均池化组成。我们为密集连接层设定了16的增长率,并在过渡层中采用了0.5的压缩因子。每个模型经过十次独立运行的结果展示在图7中。
图7 模型的比较准确度谱
从准确率和标准差的测试结果来看,CTQN模型在四个对比模型中表现更优。ResNet和DenseNet在小数据集上的准确率较低,表明它们可能不太适合此类场景下的故障诊断。Transformer虽然平均准确率高于CNN模型,但其标准差显著更大,这可能是由于该模型依赖大规模数据,容易导致过拟合风险。本文提出的CTQN模型通过将CNN作为特征提取前端,既降低了Transformer的计算复杂度,又提供了稳健的初始特征表示,展现出显著的协同效应,验证了模型融合策略的有效性。
4.1.4. 实验结果
为全面评估LiteDPER-CTQN模型的性能,我们开展了系统性对比研究。实验将提出的CTQN模型与ResNet、DenseNet、Transformer和CNN等算法在多种强化学习框架下进行性能测试。研究采用的强化学习范式包括DQN、PER、DDQN以及我们提出的LiteDPER。为进一步验证LiteDPER-CTQN方法的有效性,我们还与DQN进行了更细致的对比分析。为直观呈现决策过程,我们采用Q值核密度估计(KDE)图展示所有样本分布。该图表中,高于0的数值对应预期奖励,低于0的则代表决策置信度。这类似于softmax函数中置信度通过最大输出值体现的方式,而Q值分布则反映了对不同决策的判断置信度,从而揭示其决策机制的内在逻辑。此外,我们还通过混淆矩阵和t-SNE散点图对结果进行了可视化呈现。
对比研究结果清晰明了。如图8所示,LiteDPER-CTQN方法在所有测试方法中展现出最高准确率。PER和DDQN两种方法的准确率较基准方法均有提升。进一步观察图9可知,在Q值类别估计方面,模型对大多数类别的预测都表现出高度置信度,且预测标签间存在明显区分。但针对第1类和第4类,分类区分度略有下降,部分低于零值区域的样本还显示出细微的分层现象。
图8 跨模型和强化学习框架的性能比较分析
图9 LiteDPER-CTQN与DQN的详细比较
这种现象可能源于PER算法带来的估计偏差,或是样本特征区分本身存在固有难度。通过混淆矩阵分析和t-SNE可视化图可以发现,LiteDPER-CTQN在多数分类类别中都取得了优异效果。相较于原始方法,本研究提出的方法展现出显著的性能提升。
4.2. 实验二
4.2.1. 数据集描述
实验2采用了一台在9800 N负载下运行的电力机车轴承单元数据(Xing等人,2022)。加速度数据通过安装在552732QT轴承上的加速度计采集,该设备灵敏度为100 mV/g。每种工况状态下,数据采集时长为32秒,采样频率为12.8 kHz。轴承在七种不同工况下接受测试,包括正常工况、两种复合故障工况及四种单一故障工况。实验过程中轴承转速约为每分钟500转。图10展示了实验装置及典型故障工况。数据集2包含770个样本,每个样本含1024个数据点,其中70个样本作为训练集,700个样本用于测试,具体分配如表2所示。
图10 机车试验台
表2 机车轴承数据集的样本分配
4.2.2. LiteDPER的比较研究
我们使用数据集2复现实验,沿用了与数据集1实验相同的框架和方法论。大部分参数保持与初始设置一致,但本次迭代进行了两项调整:针对LiteDPER方法,将优先级指数 调整为0.4,重要性采样指数 调整为0.6;CNN架构中,卷积层包含32和64个神经元(均采用3×3卷积核),全连接层则由256个ReLU激活神经元构成。最大池化层(2×2)和dropout层(比例为0.5)保持原样。实验还进行了十次独立训练并实时监测准确率,改进实验结果如图11所示。为深入评估算法计算成本,我们使用数据集2重复了计算成本实验,将LiteDPER方法与DQN、DDQN、PER及PER-DDQN等基准算法进行对比。实验设置和测量标准与之前实验保持一致。
图11 跨框架的时间准确性轨迹和平均性能
实验结果与数据集1中的表现基本一致。DQN的收敛速度明显慢于LiteDPER,且随着训练推进,LiteDPER的精度波动幅度显著更小。此外,LiteDPER方法能生成更均匀的学习曲线,并在长期训练中保持稳定准确率,展现出更强的泛化能力。虽然LiteDPER相比DQN需要更多计算资源,但其更快的收敛速度提升了整体计算效率。如图12所示结果所示:LiteDP-ER所需时间略高于DQN和DDQN,但明显少于PER及其DDQN版本。这种跨数据集的一致性验证了所提出的方法在计算成本和训练效率之间达到了平衡。
图12 不同方法中单个实验的总训练时间比较
4.2.3. CTQN的比较研究
本实验使用数据集2重复验证,将CTQN模型与四个主流深度学习模型进行对比,包括ResNet、DenseNet、Transformer和CNN。针对CT-QN、CNN、ResNet及DenseNet的卷积层进行了调整,使其均包含两个卷积层(滤波器数量分别为32和64,卷积核尺寸为3×3)。所有模型(含Transformer)后均接续一个全连接层(256个神经元并采用ReLU激活函数)。数据集2同样通过相同方法划分为子集1、子集2和子集3。图13展示了经过10轮训练后的评估结果。
图13 模型的比较准确度谱
该模型在数据集2中也呈现出相似趋势,所提出的方法在准确率方面显著优于其他四个模型,这表明该方法成功实现了Transformer的序列模式捕捉能力与CNN的空间层次识别能力的有机结合。Transformer在数据集2上的表现更优,这可能与其数据集的特定特征有关。
4.2.4. 比较分析
与第4.1.4节的方法类似,我们采用强化学习与模型的不同组合进行综合评估。此外,我们还进一步通过Q值KDE图、混淆矩阵和t-SNE可视化散点图比较LiteDPER-CTQN与DQN的性能。
如图14所示,实验结果验证了先前的观察结论。所提出的方法在准确率方面优于其他方法,展现出良好的鲁棒性。在对比中,CTQN模型和LiteDPER框架均表现优异。图15进一步支持这一结论:在Q值类别分布中,该模型的预测精度显著高于所有类别,超越了Transformer与DQN的组合方案。混淆矩阵显示绝大多数故障类型都能有效区分,仅在类别1与3、类别4与5之间存在少量误判。t-SNE散点图清晰呈现了各分类间的明确分离特征。这些结果进一步印证了LiteDPER-CTQN方法的优势。
图14 跨模型和强化学习框架的性能比较分析
图15 LiteDPER-CTQN与DQN的详细比较
本文研究了基于改进型Transformer的强化学习方法在旋转机械故障诊断中的应用。我们构建了一个适用于多种网络架构的轻量级强化学习框架LiteDPER,以及基于改进型Transformer的智能体模型CTQN。该方法在测试平台数据集和工程实验数据集上均验证了有效性。LiteDPER方法结合了优先经验回放与软更新技术,在保证训练稳定性的同时加速了收敛速度。相较于原始Transformer,CTQN通过引入CNN特征提取模块和紧凑化表示层,显著提升了智能体模型的性能表现。
然而,LiteDPER和CTQN方法仍面临若干挑战。相较于原始DQN模型,LiteDPER引入了大量超参数,需要针对具体任务进行调整,否则可能导致性能下降。尽管CTQN模型提升了性能上限,但其冷启动问题依然存在,且随着模型层数增加,这一问题可能愈发突出。未来研究将重点探索自适应参数优化技术、知识迁移方法及联邦学习策略,以增强模型适应性、提升先验知识利用率和学习效果,从而推动旋转机械智能故障诊断技术的发展。
编辑:陈莹洁
校核:李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、海洋、Tina、王金、赵诚、陈宇航、肖鑫鑫
该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除