强化学习故障诊断 | 一种基于数据增强的旋转机械故障诊断新型强化学习智能体

1. 介绍

旋转机械广泛应用于航空航天、铁路运输、石油化工等众多领域[1,2]。这类设备的稳定运行直接关系到行业的耐用性、效率和产能。然而，旋转机械常在振动应力、腐蚀性环境及高强度运转等严苛条件下工作。一旦关键部件发生灾难性故障，不仅可能引发安全事故，还会造成重大经济损失[3]。因此，对旋转机械实施状态监测与故障诊断，对于提升设备可靠性和安全性至关重要[4]。

深度学习技术在旋转机械故障诊断领域取得了重大突破，为传统方法提供了强大而高效的替代方案[5]。该技术通过分层特征变换和反向传播训练，自动从原始数据中提取有效特征，展现出卓越的特征提取能力。这种特性使得深度学习模型无需人工特征工程即可捕捉复杂故障模式[6]。此外，其分布适应性使其能够在多种环境中同时应用[7,8]。因此，近些年许多深度学习技术在故障诊断领域都展现出创新潜力。特别是Liu等人[9]提出了一种多源对抗差异匹配自适应网络，用于跨域故障诊断。Yan等人[10]则利用数字孪生技术构建了框架，在数据失衡条件下检测齿轮箱故障。

尽管深度学习在故障诊断领域已展现出显著效果，但其应用仍面临诸多挑战。究其根源，主要是故障样本的稀缺性——由于机器在多数情况下都能正常运行，导致训练数据严重不足。这种数据匮乏往往会导致深度学习模型性能大幅下降[11]。更棘手的是，深度学习模型的学习过程往往缺乏可解释性和自主性，使得人们难以理解其决策逻辑[12]。因此，优化学习算法以提升效率和智能化水平至关重要，这样才能获得更精准、更可靠的诊断结果。

生成对抗网络（GANs）[13]凭借其强大的数据生成能力，已广泛应用于图像合成、文本转图像等多种场景。在故障诊断领域，GANs常被用于生成多样化且逼真的样本[14,15]。Wang等人[16]提出了一种通过自适应特征提取增强滚动轴承数据故障诊断性能的GAN架构。Wang等人[17]提出了一种用于核电站故障诊断的卷积条件生成对抗网络。Sun等人[18]在逆变器故障诊断中，采用基于Wasserstein距离和辅助分类的生成对抗网络（GAN）结构。Wang等人[19]提出了一种多尺度对比生成对抗网络（GAN）用于单领域机械故障诊断的数据增强方法。Li等人[20]构建了一个用于航空发动机预测的数据增强框架，该框架采用时间序列生成对抗网络（GAN）和基于Transformer的多任务模型。尽管GAN在故障诊断领域已取得显著进展，但训练过程中仍存在模式坍塌、梯度消失等挑战。此外，GAN缺乏学习样本表征的能力，导致生成样本特征不可靠，无法完全逼近真实数据。

强化学习（RL）以其自主和自适应学习特性而闻名，在大规模模型的训练和优化以及目标导向决策问题的解决中发挥了重要作用[21,22]。深度Q网络（DQN）[23]由DeepMind于2017年提出，该技术采用深度网络替代传统Q函数，专门用于解决高维状态空间中的复杂问题。通过仅利用系统输入输出数据即可生成高效策略，强化学习方法已在故障诊断领域得到广泛应用[24]。Wang等人[25]提出了一种基于深度特征增强的强化学习方法，用于滚动轴承的可靠且鲁棒的故障识别。Yan等人[26]采用基于数据的架构，通过约束强化学习实现嵌入式动态故障诊断与控制。Yu等人[27]提出了一种基于图的方法，利用有偏强化学习在有限且含噪的数据条件下提升旋转机械故障诊断的准确性。Li等人[28]将强化学习应用于旋转机械故障诊断，实现了图神经网络结构搜索过程的自动化。Zhu等人[29]通过结合确定性学习与强化学习，针对非线性系统中的鲁棒故障识别问题，有效应对了不确定性因素和环境变化带来的挑战。但强化学习存在明显局限：其训练过程具有随机性特征，且对训练样本提出了严苛要求。因此，开发可靠有效的RL技术势在必行。

在数据失衡或有限的情况下，故障诊断面临巨大挑战。为解决这一难题，本研究提出了一种独特的智能体方案，通过深度强化学习结合生成对抗网络的数据增强技术来提升性能。该智能体采用主动诊断策略，通过与环境的持续交互不断丰富训练样本。此外，引入GAN架构的设计确保了即使在数据极度匮乏的场景下也能保持稳健性能。

本文的主要创新点如下：

1)本文提出了一种新型的故障数据生成方法，该方法结合了变分自编码器（VAE）[30]和带有梯度惩罚的Wasserstein生成对抗网络（WGAN-GP）[31]的优点。这种方法不仅确保了潜在表示的有效性，还显著提升了生成样本的质量水平。

2)本文提出了一种新的强化学习智能体训练方法，将集成学习的概念引入强化学习中。该方法通过整合多个智能体的估计结果来训练单个智能体。这可以促进智能体的决策能力，从而提高策略优化的有效性。

3)我们提供了一个集成框架，其中包含数据增强模块，用于丰富诊断模块的数据集。该框架将高质量生成数据与高效的训练策略相结合，以提升强化学习智能体的性能。

第二节将是一个简略的概念概要，第三节将提供对方法的深入描述，第四节将列出对该方法的经验验证，第五节将讨论主要发现并描述其影响。

2. 理论背景

2.1.带有梯度惩罚的Wasserstein生成对抗网络

WGAN-GP是生成对抗网络的一个广泛应用变体，相比基础GAN框架有显著改进。虽然仍以生成新数据为最终目标，但WGAN-GP更侧重于解决GAN训练过程中的稳定性问题和模式坍缩问题。

在传统的GAN和WGAN-GP框架中，生成器提供合成样本，而判别器（通常在WGAN-GP中被称为“评论家”）的工作是辨别由生成器创建的数据和真实数据。

WGAN-GP中的生成器与标准GAN类似，其目标是生成与真实数据分布模式基本一致的数据。生成器损失函数的定义如下：

然而，WGAN-GP中的判别器与传统GAN中的判别器存在本质区别。它不输出数据真实与否的概率值，而是直接输出一个无 界数值。其核心目标是为真实数据赋予更高评分，而对生成数据则给予更低评分。判别器的损失函数定义如下：

为确保训练稳定性，我们在WGAN-GP中引入梯度惩罚项，该惩罚项可保证评估器在所有数据上的梯度范数接近于1。梯度惩罚损失函数如下所示：

其中，表示真实数据与生成数据之间的插值。

总体而言，WGAN-GP中评论家的总损失函数为：

其中    是梯度惩罚的权重系数。

尽管存在这些改进，WGAN-GP可能仍无法完全实现最优的生成性能和特征表示。WGAN-GP的一个显著局限在于其缺乏捕捉并保留原始数据内在特性和特征的能力。

2.2.变分自编码器

VAE是一种将自编码器架构与概率推理相结合的生成模型。它在编码过程中将数据压缩到低维潜在空间，然后利用这种表示在解码过程中重建数据。

VAE使用概率编码将输入映射到一个分布，而不是直接映射到潜在空间中的固定点：

对于每个输入    ，其在潜在空间中的表示    是从由    和    参数化的高斯分布中采样得到的。这种概率方法使得潜在空间更加密集且连续，这对生成任务非常有利。

VAE还采用KL散度作为正则化工具，以确保潜在空间分布    与先验分布    保持一致：

其中，    通常采用标准高斯分布    。KL散度不仅能提高潜在空间的可解释性，还能有效防止模型过拟合。

在重建过程中，VAE通过从编码分布中随机采样来实现随机解码。这种随机性增强了模型的变异性并提升了生成能力。

虽然VAE在结构化潜在空间表征方面表现优异，但在生成高质量、逼真的样本时常常力不从心，这限制了其实际应用效果。因此，需要将VAE的优势与先进的生成技术相结合，才能突破这些局限并提升性能表现。

2.3.DeepQ网络

在强化学习中，Q函数表示当遵循最优策略时，在给定状态下某个动作的预期累积奖励。DQN是一种先进的算法，它利用深度神经网络来近似这个Q函数。这种近似对于处理具有大状态空间的环境至关重要，因为在这些环境中，传统的基于表格的Q学习方法是不切实际的。

Q值指导智能体的决策过程，表示每个动作的潜在奖励。训练过程的目标是通过损失函数捕捉预测Q值与目标Q值之间的差距：

其中，    和    分别表示在线网络和目标网络的参数，而    则代表在下一个状态s中可能采取的每个动作a的最大Q值。

在训练过程中，深度Q网络（DQN）采用    贪婪策略来平衡探索与利用。这意味着最佳估计动作将以    的概率被选中，而其他动作则以    的概率随机选择。智能体通过与环境交互获取状态s，并根据策略选择动作a。随后获得奖励r和下一个状态    ，整个交互过程如图1所示。经验元组    会被存储在经验回放缓冲区，使在线网络能够从随机采样的批次中进行更新。同时，目标网络权重会定期更新。

 

图1 DQN智能体-环境交互图解

原始的DQN算法需要大量的数据集进行训练，这可能是一个很大的限制。此外，其固有的随机性和非线性可能导致不稳定和次优策略。因此，迫切需要为DQN开发一个更稳定和可靠的训练框架，以促进更一致的学习过程。

3. 所提方法

3.1.基于WassersteinGAN和梯度惩罚的变分自编码器

本文提出了一种集成式VAE-WGAN-GP模型，旨在结合VAE的结构化潜在空间和GAN的多样化样本生成能力，并通过改进WGAN-GP的两个特性来增强GAN组件的稳定性。该模型被设计为一种数据导向的数据增强算法。该方法专注于在有限的样本量下捕获用于故障诊断任务的内在数据特征。

3.1.1.模型组件

本方法采用的编码器承担着与VAE结构中编码器相同的核心功能——在潜在空间中学习数据表征。其核心任务是掌握数据分布的统计规律，并将原始输入数据映射到潜在空间。这种编码机制至关重要，因为它既能保留数据的关键特征，又能有效降低原始数据的维度。

该模块具有双重功能，既是VAE的解码器，又是GAN的生成器。作为解码器时，它能将压缩数据还原为原始形态；同时作为生成器，它还能创建合成样本以欺骗评估机制。这种设计使VAE与GAN之间形成了桥梁，显著提升了整体运行效率。

该批评机制继承了WGAN-GP的架构，用于评估样本的真实性。它不仅能引导生成器产出更高质量的输出结果，还能确保训练过程稳定可靠。具体实现方式是通过测量生成数据与真实数据之间的分布差异，从而促进更逼真样本的生成。其复杂结构如图2所示。

 

图2 VAE-WGAN-GP集成架构

3.1.2.损失函数

所提出的方法允许平衡和组合以下损失函数，这使得模型能够在训练的不同阶段调整每个损失的贡献，以优化模型性能。重建损失（    ）衡量初始数据与潜在空间中重建数据之间的差异，确保模型准确地捕获和复 制输入数据：

KL散度损失（    ）确保学习到的潜在分布保持在标准高斯先验分布附近，从而促进有意义的潜在空间表征：

Wasserstein损失（    ）旨在减少实际数据分布与生成数据分布之间的距离，确保生成高质量的样本：

梯度惩罚损失（    ）对梯度偏离1的评论器进行惩罚，从而促进更平滑和更稳定的训练动态：

综合上述损失函数，总损失函数可表示为：

其中    、    、    和    是用于平衡损失函数的超参数。通过根据模型性能调整各损失项的相对重要性，从而实现最佳功能。

3.1.3.培训战略

为了保证VAE和WGAN-GP组件之间的协调交互和稳定收敛，我们提出了两种训练策略：交替训练策略和正则化技术。

由于模型具有集成特性，VAE和GAN组件采用交替训练模式。编码器和解码器通过VAE损失进行更新，而生成器和判别器则使用WGAN-GP损失进行优化。在更新任一组件时，另一组件保持固定状态。这种设计有效降低了两个组件之间的相互干扰。

梯度裁剪作为一种正则化技术，其主要优势在于确保训练过程的稳定性，尤其对于对抗性训练中的判别器而言。它能有效防止权重过度增长，从而平衡训练动态并避免梯度爆炸现象。因此，该技术不仅使训练过程更加平滑，还能显著提升模型性能。

通过采用本文提出的训练策略，VAE-WGAN-GP结构将VAE的可理解潜在空间与WGAN-GP生成高保真样本的能力有机结合。该方法确保了在故障诊断任务中生成的样本既具有真实性又易于理解。

3.2.均衡深度Q网络

为解决深度Q网络（DQN）中存在的价值高估和训练随机性问题，我们提出了一种均衡深度Q网络（Equilibrium-DQN）用于故障诊断。该模型通过多目标网络预测目标Q值，旨在最小化这些预测误差并提升故障诊断智能体的训练稳定性。为满足均衡深度Q网络对样本量的要求，我们采用变分自编码器-变分自编码器-生成对抗网络（VAE-WGAN-GP）作为数据增强模块。

3.2.1.目标网络更新

为了增强DQN的稳定性，我们改进了Equilibrium-DQN中目标网络的维护和更新过程。不再像传统方法那样固定间隔将权重从在线网络复 制到目标网络，而是同时维护N个目标网络的历史记录。通过这种方式，更新过程能够更加动态且稳定。

更新通过丢弃最旧的网络并添加最新的网络来执行。同时，目标网络权重也会通过以下公式被修改：

其中，     是第    个目标网络权重。

3.2.2.均衡目标值

在均衡深度Q网络（Equilibrium-DQN）中，目标Q值会根据目标网络的历史数据动态调整。这种设计与传统DQN截然不同——后者仅依赖当前目标网络的状态。对于特定状态-动作对    ，其目标Q值是通过平均最近    个目标网络的Q值计算得出的：

在此公式中，    表示使用权重    计算第    个目标网络。对于每个样本，使用平均目标Q值计算时间差（TD）目标    ：

其中，    是奖励，    表示状态    中的可能动作，    是折扣因子。

总损失是根据计算出的TD目标和在线网络的预测结果来计算的，然后使用反向传播算法用这个损失来更新在线网络的权重。图3显示了详细的结构。

 

图3 均衡-DQN架构概览

3.2.3.优点和计算成本

均衡深度神经网络（Equilibrium-DQN）通过跨多个网络平均估计值来增强学习稳定性，这一特性在模型训练初期尤为显著。该方法有效降低了单网络预测中固有的波动性，从而提升模型性能。不过，由于需要维护多个目标网络并在更新过程中执行更多前向传播，计算成本会相应增加——但考虑到由此带来的性能提升，这种额外开销通常是可以接受的。此外，将均衡深度神经网络与变分自编码器-变分自编码器-生成对抗网络-生成过程（VAE-WGAN-GP）方法结合使用，可以进一步放大这些优势，有望在更广泛的环境和场景下提升模型的鲁棒性和有效性。

3.3.方法框架

如图4所示，本研究提出的框架将均衡深度神经网络（Equilibrium-DQN）与变分自编码器-变分生成对抗网络-高斯过程（VAE-WGAN-GP）相结合。在完成原始数据的采集并划分训练集和测试集后，通过VAE-WGAN-GP对训练集进行样本扩充以增加数据量。最终将包含原始训练集和生成样本的扩充数据集作为均衡深度神经网络（Equilibrium-DQN）的训练数据集。

 

通过VAE-WGAN-GP增强故障诊断数据：该方法首先利用VAE编码器将真实数据样本编码到潜在空间，捕捉复杂的数据分布特征。随后，VAE解码器从潜在空间重建新样本，并将其输入WGAN-GP判别器。通过学习潜在空间表征，VAE能够捕捉故障诊断数据的核心特征，确保生成样本继承这些丰富特征。WGAN-GP判别器则负责验证样本真实性，从而保证生成的高质量样本符合预期标准。该过程包括计算VAE的重构损失和KL散度损失，以及WGAN-GP的Wasserstein损失和梯度惩罚。

优化故障诊断的均衡深度Q网络（Equilibrium-DQN）：训练均衡深度Q网络时，首先需要为主网络和多个目标网络设置初始参数。算法通过迭代状态观测数据，利用目标网络计算每个动作对应的平均Q值。该平均Q值随后用于在ϵ-贪婪策略下确定动作选择。当执行动作后，环境会返回奖励和后续状态，这些经验将被存储。主网络通过从存储的经验中采样，并基于目标网络的平均Q值最小化损失来更新。目标网络权重则定期通过从主网络转移权重并重新计算其平均值进行调整。这种设计使均衡深度Q网络能够有效降低Q值估计的方差、稳定学习过程并提升准确度，从而增强模型在故障诊断中的鲁棒性和性能表现。

4. 实验验证

4.1.实验一

4.1.1.数据集描述

意大利都灵理工大学机械与航空航天工程系为本研究提供了由动态与识别研究组（DIRG）[32]提供的完整数据集。该装置包含高速主轴和一组用于加速度数据采集的传感器，如图5所示。测试在不同速度、载荷及损伤程度下进行，实验数据包含七个子集：分别记录三种尺寸(150、250和450微米）压痕引发的故障情况，这些压痕出现在单个滚动体或内圈表面，另有一个无缺陷数据集。所有数据均在约1.4 kN的载荷下采集，采样频率为51.2 kHz，转速为12k rpm，取自受损轴承座。如表1所示，共提取540个样本，每个样本包含1024个数据点。

 

表1 航空轴承数据集的详细说明

 

4.1.2.数据增强

VAE-WGAN-GP方法对现有数据集进行增强，增加了每个类别设置80个样本。超参数α、β和λ的设定为1，以平衡重建损失、KL散度损失和Wasserstein损失，同时根据原始WGAN-GP设计将γ设置为10以保证稳定性及样本多样性。图6展示了原始信号与增强信号在频域和时域表示中的对比。蓝色部分为原始信号，红色部分为VAE-WGAN-GP生成的信号。

 

图6 原始数据与VAE-WGAN-GP增强数据的并排视图

对比结果显示，VAE-WGAN-GP方法能有效保留原始数据特征。增强后的数据在时域振幅、位置和频域分布方面与真实信号高度吻合，这种相似性凸显了该方法在保持时域特征方面的优势。VAE-WGAN-GP框架中的VAE组件对保留原始信号的时域和频域特征至关重要。然而，生成对抗网络（GAN）可能在频域引入平滑效应，并在样本生成过程中产生随机变化，导致频域分布出现差异。尽管存在这些变化，VAE-WGAN-GP方法仍基本保留了时域特征及频域分布的关键特性。

4.1.3.数据分析

为评估VAE-WGAN-GP方法生成的数据对故障诊断流程及结果的影响，我们通过增强数据集对训练数据进行优化。针对7个数据集，每个数据集选取20个样本用于训练，剩余原始数据作为测试集。本研究将提出的改进方法与原始WGAN-GP和VAE-GAN方法进行对比，扩展数据集详情见表2。最终基于该扩展数据集完成了故障诊断模型的训练工作。

表2 使用上述方法构建的数据集

 

针对每个数据集，我们采用卷积神经网络（CNN）作为基准模型进行故障诊断，诊断准确率越高表明数据质量越好。考虑到网络结构对故障诊断的影响，为提高基准测试的可信度，我们使用了四种具有不同结构参数的卷积神经网络（CNN）。表3列出了每种CNN结构的具体参数。

表3 用于比较分析的详细CNN架构

   

诊断结果如图7所示。观察发现，仅使用原始故障数据集的模型表现最差。值得注意的是，通过各类基于生成对抗网络（GAN）的方法生成的增强数据集，故障诊断的有效性得到了显著提升。这证实了使用GAN网络增强数据集的有效性。特别地，在所有参数设置下，VAE-WGAN-GP方法均取得了最佳诊断效果，相较于两种基准方法，其生成的数据质量尤为突出，尤其在该数据集上表现最为优异。

 

图7 不同结构下的诊断结果

4.1.4.故障诊断结果

在原始数据集上，均衡DQN（Equilibrium-DQN）与传统DQN及双DQN（Double DQN，简称DDQN）[33]进行了对比实验。两组模型共享参数设置为：学习率0.8、折扣因子0.99、更新迭代次数128次、回放缓冲区大小64。奖励函数设计旨在提升诊断准确性，正确诊断可获得累计奖励增加10分，错误诊断则会减少1分。将探索率设定为0.1，并在训练过程中逐步降低以平衡探索与收敛。采用前一章展示过最佳效果的结构-3网络架构。均衡DQN配置了10个独立的目标网络，每个模型均进行了10轮训练，并记录了各训练周期在测试集上的准确率。最终性能趋势如图8所示。

 

图8 独立运行的智能体训练准确性和平均性能

在训练初期，Equilibrium-DQN和DQN的收敛速度相近，而DDQN则展现出显著更快的收敛效率。这种更快的收敛性可归因于DDQN决策过程的改进。随着训练的推进，Equilibrium-DQN的平均准确率开始超越DQN和DDQN。这一提升主要得益于Equilibrium-DQN中强化的网络更新机制。此外，如先前分析所示，Equilibrium-DQN在训练过程中表现出更小的准确率波动，表明其稳定性更强且诊断效果更优。

为评估所提出的方法，将VAE-WGAN-GP生成的数据与Equilibrium-DQN结合，并与其他多种方法和数据配对进行比较，如图9所示。同时，我们进行了性能对比分析，将WGAN-GP方法与原始DQN方法及本文提出的方法进行比较。该对比包括通过t-SNE分析进行评估，并使用混淆矩阵检查诊断结果，如图10所示。

 

图9 不同方法和数据配对的准确度结果

 

图10 诊断结果和特征可视化

在最终诊断结果中观察到有趣的规律。值得注意的是，虽然原始DQN模型在使用原始数据集时表现与CNN相当，但偶尔会因训练不稳定而表现欠佳。然而，当DQN与任何基于GAN的方法结合时（即便是相对基础的VAE-GAN方法），我们看到了显著提升。这种改进表明，相较于CNN，DQN可能更依赖于数据集的丰富性，这凸显了利用GAN为强化学习智能体增强数据的重要研究价值。这种数据增强似乎产生了协同效应——两种方法相互促进，从而获得更优的诊断结果。

最重要的是，与所有其他测试方法相比，所提出的方法——将VAEWGAN-GP与Equilibrium-DQN集成——在故障诊断中实现了最高的准确率。结果不仅验证了所提出方法的有效性，还突显了其在提升故障诊断流程中的优越性。研究结果表明，通过战略性地结合先进的数据生成技术和强化学习技术，可以显著提升诊断模型的性能和可靠性。

4.2.实验二

4.2.1.数据集描述

在实验2中，研究人员从一台承受9800牛顿[34]载荷的机车轴承单元采集数据。安装在552732QT轴承顶部的100 mV/g加速度计记录了32秒的振动数据（如图11所示）。实验共监测了8种不同工况，包含7种故障状态和1种正常状态。数据采样频率为12.8 kHz，转速调整至约500 rpm。故障类型涵盖内圈缺陷、外圈缺陷、滚珠缺陷及其组合形式。最终收集到610个样本（如表4所示），其中训练集160个，测试集450个，每个样本包含1024个数据点。

 

图11 电力机车轴承试验设备

表4 机车轴承数据集的详细说明

 

4.2.2.数据增强

在实验2中，我们同样采用VAE-WGAN-GP方法对现有数据集进行扩充，为每个类别生成了额外的80个样本。图12展示了8个类别中增强后的信号（红色）与原始信号（蓝色）在时域和频域中的对比效果。

 

图12 原始数据与VAE-WGAN-GP增强数据的并排视图

实验结果充分证明了VAE-WGAN-GP方法在保留原始数据特征方面的卓越性能。生成的数据在频域分布、幅值以及时域位置等方面均与原始数据高度吻合。这种一致性不仅验证了振动信号数据特征的有效保留，更凸显了该方法在提升旋转机械信号数据质量方面的巨大潜力。

4.2.3.数据分析

本节采用与第4.1.3节类似的方法，使用VAE-WGAN-GP方法进行数据增强，并将其与由WGAN-GP和VAE-GAN方法生成的数据集进行比较。对于每个类别，训练集都增加了从原始数据集中抽取的20个样本。训练集和测试集的配置详见表5。

表5 使用上述方法构建的数据集

 

与前一节相同，我们采用四种不同参数设置的CNN结构作为故障诊断基准模型，各CNN结构的详细参数如表6所示，各模型的诊断结果如图13所示。

表6 用于比较分析的详细CNN架构

 

 

图13 不同结构下的诊断结果

与第4.1.3节的研究结果一致，测试结果呈现出相似的规律。WGAN-GP方法的表现优于VAE-GAN，这表明梯度惩罚和Wasserstein距离对模型增强效果贡献更大。尤为重要的是，VAE-WGAN-GP方法在所有参数设置下始终保持着最佳诊断效果。这一结论进一步印证：在扩展旋转机械数据集等任务中，所提出的VAE-WGAN-GP方法有望取得更优的成果。

4.2.4.故障诊断结果

使用原始数据集，将Equilibrium-DQN方法的有效性与传统的DQN和DDQN方法进行了对比。相同的超参数设置如第4.1.4节所述。三个模型均采用了相同的参数设置，包括学习率、折扣因子、回放窗口大小、网络更新频率、奖励函数和探索率。所有智能体均采用前一章表现最佳的结构1方案。Equilibrium-DQN通常使用单个目标网络，而DDQN则采用双网络架构以缓解高估偏差问题。每个诊断模型均进行了十次独立训练。

如图14所示，与数据集1相比，平衡DQN、传统DQN和DDQN在工程数据集2上的表现均出现下滑。这种下降趋势可归因于两个数据集诊断复杂度的差异。值得注意的是，DQN和DDQN在后期阶段偶尔会出现准确率下降，这可能是因为训练样本数量有限导致的过拟合现象。相比之下，均衡DQN保持了稳定的准确率提升且波动较小，展现出更优的性能。尽管DDQN在早期收敛性方面表现更佳，但即使在训练样本有限的情况下，均衡DQN仍始终保持着优于其他两种方法的优势。

 

图14 独立运行的智能体训练准确性和平均性能

最后，对各种诊断模型和数据配对进行了全面的性能比较，如图15所示。研究还进一步对比了WGAN-GP与原始DQN结合的故障诊断能力，并与本文提出的方法进行了比较。该对比包括t-SNE评估和使用混淆矩阵的诊断结果，如图16所示。

 

图15 不同方法和数据配对的准确度结果

 

图16 诊断结果和特征可视化

对比实验结果表明，生成对抗网络（GAN）能显著提升深度强化学习智能体的性能，这说明数据增强对深度强化学习具有积极影响。本研究提出的结合变分自编码器-变分自编码器-生成对抗网络（VAE-WGAN-GP）与均衡深度Q网络（Equilibrium-DQN）的方法，在性能上较单纯的WGAN-GP与原始DQN组合方案展现出显著提升。这一点在t-SNE分析中很明显，诊断智能体具有更好的特征提取和更高的诊断准确性，结果进一步验证了所提出方法的效率和优越性。

5. 结论

本研究探索了VAEWGAN-GP与Equilibrium-DQN方法在旋转机械故障诊断中的应用价值及其协同优势，实验结果证实这两种方法在实验室环境和电力机车场景中均展现出显著效能。通过整合多个目标网络，Equilibrium-DQN方法显著提升了诊断智能体的稳定性和准确性。与此同时，VAEWGAN-GP方法为故障诊断提供了高质量且具有实际意义的数据表征。这些方法的协同效应充分展现了强化学习与数据增强技术在复杂工业场景中的应用潜力。

然而，VAE-WGAN-GP和Equilibrium-DQN算法在当前实现中仍存在一些局限性。VAEWGAN-GP由于其网络结构的限制，在收敛性方面面临挑战，这可以通过优化梯度惩罚项或采用渐进式训练策略来解决。Equilibrium-DQN在早期阶段表现出较差的训练效率，这可以通过优化经验回放机制或采用预训练技术来缓解。因此，未来研究将聚焦于通过整合更复杂的深度学习模型和强化学习策略来进一步开发这些算法，旨在实现更高的故障诊断准确率，并提升复杂工业环境中的实时性能表现。