顶刊论文学习 | 一种用于旋转机械故障诊断的可跟踪多域协同生成对抗网络（上）

摘要

获取足够的平衡数据在实际旋转机械故障诊断任务中颇具挑战。准确地从不平衡数据中诊断故障是一个紧迫的实际问题。生成对抗网络已成为解决这一问题的主流方法。然而，其复杂的训练机制和不透明的架构引发了信任危机，导致用户无法完全信任输出结果。因此，提出了一种可追踪的多领域协作生成对抗网络（TMCGAN）用于旋转机械故障诊断。TMCGAN的核心贡献在于实现全局可解释生成和可信分类，这包括三个具体方面。首先，构建了多领域协同对抗策略，依次学习来自不同领域的信号的关键特征信息，从而实现多领域协同能源供应的全面训练。其次，设计了并行频率损失，以整合多维频率细节信息，丰富反馈，形成更高效的对抗训练闭环。最后，开发了流跟踪因子，阐明内部工作机制，提供实时跟踪反馈，解释底层决策原理，从而提高可解释性。两个案例研究表明，由TMCGAN赋能的分类器在旋转机械故障诊断中表现出色，同时保持高度可信。

1 介绍

随着物联网技术的快速发展，工业中机械设备的健康管理正朝着高智能和高可靠性方向发展[1,2]。然而，在重载、高速等极端操作条件下，关键机械部件长期使用时发生故障在所难免。这会严重影响旋转机械的性能[3]。因此，对关键机械部件进行精确诊断的重要性不容小觑[4]。

传统的机械故障诊断通常需要大量的经验知识，然后使用相关的方法进行分析以得出诊断结果[5,6]。鉴于人工智能技术的迅速发展，研究人员最近在机械部件健康状态评估的背景下应用了深度学习[7-9]。为了训练深度模型并提高其精确诊断故障的能力，需要一个包含标记的良好平衡的数据集。遗憾的是，由于设备运行的安全要求较高，目前缺乏用于机械故障诊断[10-12]的故障数据。与稀疏故障数据相比，正常数据造成了显著的不平衡，影响了深度模型的诊断。因此，解决这种不平衡对于准确诊断至关重要[13,14]。

为了诊断故障，已经进行了大量关于不平衡的研究。Chawla等人[15]通过提出一种过采样方法增强了数据集。Ramentol等人[16]在此基础上建立了粗糙集理论，通过减少不一致性来提高性能。Gao等人[17]通过为使用过采样方法的辅助分类器分配权重来平衡数据集。为了应对非线性问题并更有效地解决不平衡问题，Mathew等人[18]提出了核加权以改进过采样。Mohammed等人[19]设计了模糊C均值中心化SMOTE来处理样本不平衡问题。Zhang等人[20]开发了一种实例加权SMOTE算法，在类别不平衡条件下提高了分类准确性。当数据不平衡时，上述技术可以在一定程度上改善诊断[21]。由于特征提取不足，大多数方法只能产生少量高质量的数据，这使得平衡数据集难以获得，并且难以实现有效的诊断[22-24]。

生成对抗网络（GAN）能够提取数据的深层特征，可以生成大量与原始数据非常相似的数据[25]。GAN是由Goodfellow等人通过结合生成器和判别器提出的，它根据目标数据的特征生成数据[26]。然而，对抗网络训练不稳定，这限制了它们捕捉新特征的能力，甚至会导致梯度崩溃[27,28]。在这个领域，许多学者进行了大量的研究。网络拓扑和损失函数是改进GAN网络的两个主要方面。为了提高从网络数据中提取特征的效率，Radford等人开发了具有深度卷积架构的GAN，以增强其网络结构[29]。Arjovsky等人。[30]使用Wasserstein距离修改GAN损失函数以解决梯度崩溃问题。Gulrajani等人[31]改进了梯度惩罚，减少了因梯度变化引起的不稳定。许多研究人员利用了GAN的强大数据生成能力。这些模型已成功应用于设备故障诊断和状态预测。He等人[32]引入了一个带有辅助分类器的GAN，提高了设备磨损预测的准确性。Liu等人[33]开发了一种小波胶囊GAN，可以有效应用于机械故障诊断。Ren等人[25]设计了由子推理训练策略增强的GAN，有效提升了诊断效果。

由于其优越的生成效果，GAN已被广泛使用，但客观上存在可信危机。用户无法完全信任GAN的输出，因为其架构不透明且训练方法复杂[34]。随着可解释深度学习的发展，用户将能够理解深度模型的内部决策和行为，并逐步提高模型的透明度。Jiang等人[35]设计了一个小波核特征提取层作为第一层以实现可解释性。Jiang等人[36]提出了一种基于信号分析的多层小波卷积网络，以提高可解释性能。随着生成对抗网络在实际应用中的广泛应用，可解释生成对抗网络的研究变得越来越流行。Dong等人[37]开发了嵌入流形空间的生成对抗网络，利用受控向量实现可解释生成。Ma等人[38]开创了稀疏预训练GAN，以实现特征的可解释表示。Wang等人在[39]中引入了卷积注意力机制到胶囊GAN的介绍中，通过分割注意力焦点来提高模型的可解释性。

尽管可解释的生成对抗网络（GANs）近年来取得了显著进展，但仍面临诸多挑战。首先，目前可解释领域的范围相对有限。随着领域信息的增加，信号特征将更加全面；当多个领域的可解释协同效应得以实现时，将带来显著优势。其次，从方法论的角度来看，当前的方法强调注意力机制和信号分析。这两种力量是分散的，无法汇聚成一个整体。最终，在模型本身方面，可解释性主要局限于局部。无论是对输入或预处理层的单层可解释改进，还是单个内部模块中的可解释嵌入，其在全局可解释性的贡献都是有限的。

为了解决上述问题，本研究提出了一种可追踪的多域协同生成对抗网络（TMCGAN），用于数据增强，使分类器能够在数据不平衡的情况下实现智能故障诊断。本研究的主要贡献如下：

(1)多域协同对抗策略旨在从多个领域视角捕捉信号的关键特征信息。网络拓扑结构在空间、频率和时频域中有序排列。创新地构建跨域对抗模式，共同激发模型训练。

(2)并行频率损失旨在引入多维频率细节信息。频率反馈不仅强调生成数据本身的频率变化，还强调随时间变化的频率特征。因此，反馈回路得到增强，对抗训练闭环变得更加有效。

(3)流跟踪因子旨在解释GAN的内部工作机制。它贯穿整个框架系统，随着数据流动。模型训练过程中兴趣点的变化被明确指出。每个样本都有详细说明，重点关注特定架构。这样，可以解释相关决策原因，从而产生可信的结果。

以下部分构成了剩余的内容。基本概念在第2节中得到了详尽解释。所提模型的详细描述见第3节。多方面的案例分析分别展示于第4节和第5节。整个研究的展望与总结则在第6节中提供。

2 生成对抗网络

Goodfellow等人[26]在2014年创建了GAN，受博弈论的启发，其结构安排包括生成器（用G表示）和判别器（用D表示）。图1显示了GAN的基本结构。

   和    进行竞争，以超越彼此的能力。    的目标是有效地从原始样本中捕捉关键特征并复 制它们。最初，在训练开始前建立了变量    。然后，    学习真实数据的分布和属性，从诱导的随机噪声中采样    。这些合成样本与原始样本一起呈现给    ，    随后学习识别其复杂特征。通过    和    的迭代训练，当    无法再区分假样本和真样本时，过程结束，表明达到了纳什均衡状态。训练的目标在公式(1)中明确指出：

其中训练目标函数用    表示，实际样本用    表示，噪声向量用    表示，先验分布用    表示，真实样本分布用    表示。

对于    ，训练目标是通过增加损失函数来增强两个样本之间的对数似然。同样地，    的目标是尽量减小公式(1)中的第二项，以避免判别器的准确识别。

 

图1 基本GAN框架

3 所提出的方案

3.1 多域协同对抗策略

在生成对抗网络领域，先前的研究通常会创建专注于一两个领域特征信息价值的网络。另一方面，多领域训练由于信号背后特征的多样性，可以从多个角度挖掘信号的关键特性。因此，GANs可以生成更好的结果。为了同时利用空间域、时频域和频率域来增强GAN，构建了多领域协同对抗策略。图2展示了多领域协同对抗过程。对抗训练以有组织的方式接收域信息，而对信息协同的彻底训练使GAN能够更准确地提取各种数据类型的特征信息。

图2 多域协同对抗策略

在对抗网络中，空间注意力机制旨在从数据中提取空间域信息。它跳过了空间注意力中的常规全局池化。全局池化分为两个过程来编码一维特征。给定输入    ，网络输入是两位的。    的高度为    ，宽度为    ，通道数为    。使用两个空间范围的池化核来编码每个通道在水平和垂直坐标上的特征。公式(2)显示了在高度    、通道    处产生的输出    。

同样，通道    中宽度为    的输出如公式(3)所示：

通过在两个方向上聚合特征，可以生成两对方向感知特征图，在单个空间方向上，这代表了数据的长程依赖关系，同时在另一个空间方向上也保留了精确的位置数据。将前两次变换的结果合并后，输入到共享卷积变换函数H1中，以实现对两个空间域数据的利用。根据公式(4)：

其中    表示非线性激活函数，    是一个1×1卷积层，    符号代表空间维度连接操作，    是中间特征图，它在水平和垂直轴上封装了空间细节。

中间特征图表示为    ，其中    表示通道减少率。具体来说，    在空间维度上被分割成两个不同的张量：    和    。为了将    和    转换为与输入具有相同通道数的张量，使用    和    。在这种情况下，    和    均为1×1的卷积层。因此，最终结果为：

其中σ是    型函数，是通道的相同特征张量。两个空间方向张量的乘积即为空间注意力机制，它通过捕捉输入信号的空间特征来指导生成器更高效地训练。如公式(7)和公式(8)所示：

其中    表示融合空间注意力，    表示输入数据，    表示输出数据。

在考虑信道信息的同时，空间注意力编码输入信号在水平和垂直方向上的空间信息。通过在两个不同的方向上映射注意力，网络可以更好地识别空间域中的显著特征，并更精确地定位相关信息。

对抗网络设计用于利用连续小波来提取数据的时间-频率特性。通过使用小波对信号进行低频和高频部分的分割，网络可以更轻松地获取信号的时间-频率特性。一维振动信号在进入网络前被转换成二维数据，以便通过二维卷积技术提取一组有限的数据特征。网络中放置了多个连续的二维离散小波，并使用具有可分离滤波器的二维Mallat算法进行小波变换。

这里选用的波形为haar，通过二维离散小波变换分解二维特征。列过滤最初以列为导向进行，随后立即进行降采样。接下来，前一阶段的结果再次被降采样，并在行方向上进行列过滤。完成所有列过滤后，得到四个不同的频带——一个近似成分和三个详细成分（水平、垂直、对角）。最终，每个结果都被合并。以下是相应的变换方程：

其中    是二维尺度函数，而    、    和    分别是沿水平边、垂直边及对角线方向变化的二维小波函数。

通过缩放和平移，实现了信号的多尺度细化。在对抗网络中引入的小波域，使得时间频率的局部研究成为可能。这不仅能够实现低频段的分割，还能进行高频段的时间分割，从而展示了低频和高频段的重要性。小波之所以得名，是因为它能够根据网络关注的点，对不同的频率成分给予不同程度的重视。利用小波加性容量，对抗网络自动适应时频信号，获得更高的细节感知。

本小节讨论了空间和时频域的设计，而频率域的介绍则在接下来关于损失函数设计的小节中进行。多个域同时作用时，它们之间的适应性成为一大挑战。为了减少跨域干扰，该方法采用了深度卷积生成对抗网络（GAN）架构，其中空间域由生成器负责，时频域由判别器负责。此外，损失计算也包括了频率域。构建了一个多域协作对抗策略，形成了一个在空间、频率和时频域之间有序的网络结构。通过整合多个域的信息，增强了生成对抗网络（GAN）的能力，显著提升了其综合性能。

3.2.频率同步丢失

在前一节中创建的GAN中的生成器专注于空间域信息，而判别器则致力于捕捉时频域信息。换句话说，前者通过分析信号的空间域特征来生成新的信号。后者通过识别生成数据与原始数据之间的时间-频率信息差异，来调整判断视角，从而确定数据的真伪。众所周知，训练过程中GAN损失反馈同样重要。因此，设计了并行频率损失（PFL），旨在将损失集中在频率上。这种损失函数与数据频率变化的信息协同工作，贯穿整个判别器网络层，形成一个频率增强的反馈机制，持续为GAN训练提供多维频率细节信息。

PFL的并行特性体现在对数据点的频率变化信息和提取的连续时频特征同时进行考虑，图3具体说明了PFL的实现过程。

图3 并联频率损耗的计算过程

对数据点频率信息的关注基于欧拉公式。公式(13)展示了将欧拉公式应用于二维训练数据形式的离散傅里叶变换的结果。此外，公式(14)是一个补充说明。

其中a和b表示数据在二维空间域中的位置，    和    表示数据点在二维频率域中的位置，而    和    表示数据的长度和宽度。

此时，进入频域，数据的频率特征显现出来。根据条件公式(13)，可以使用实部和虚部计算来确定精确的幅度和相位信息。公式(15)描述了如何利用生成的数据频率点    和量化后的实际数据频率点    来定义单个点的频率间隔。

二维对象上的每个点都用于实现全面考虑，每个点根据其在特定频率下的表现获得不同程度的关注。最后，如公式(16)所示，计算数据中每个离散点的频率损失。

其中β是灵敏度因子，用于控制频率损失影响的程度。

判别网络中捕捉了并发的时间-频率特征问题。每一层的卷积都记录了时间-频率信息，这些信息通过连续频率特征逐个案例地考虑。生成的数据和原始数据是该角色的两个目标。判别器采用了三层卷积结构。根据公式(17)和公式(18)的研究，从判别器的每一层输出的生成数据与匹配的原始数据频率特征    和T(r_i)一起依次输出。

其中，    表示卷积层在处理真实数据时的第    层输出，而    则代表该层在处理原始数据时的的第    层输出。

为了明确区分后续输出，使用了差值的2-范数平方。接下来的阶段涉及逐层求和，同时考虑常频反馈的影响。如公式(19)所示：

其中α表示控制影响程度的灵敏度因子，    表示目标输出的数量，在本网络中取为3。

PFL包含离散的频域特征和连续的时间-频率特征。每个离散点的数据之间的频率差异反映在离散的频域特征中。每个连续层之间随时间变化的数据频率反映在连续的时间-频率特征中。在公式(20)中展示了PFL。

两个灵敏度参数，    和    ,根据需要进行调整，以提高模型的适应性。两者在训练过程中同时反馈给生成器，共同指导模型训练。

PFL扩展了模型训练的关注领域，将重点转向离散点频率特征及随时间变化的频率信息。此外，多维频率信息增强了损失反馈循环，构建了对抗训练中更为高效的闭环系统。

图4 流量跟踪因子工作流程图

3.3.流跟踪因子

学术界和工业界一直受到主流GAN设计低可解释性的困扰。用户由于其复杂的结构和不透明的决策过程，难以完全信任GAN的输出。为了阐明GAN的内部运作机制，在该网络架构中开发了流跟踪因子（STF）。流跟踪因子的核心是全局跟踪链的设计。包含流跟踪因子的框架系统包括GAN的生成器、判别器和损失反馈。它实时提供GAN的内部决策，同时跟踪训练数据流。因此，内部训练变得透明，显著提高了可信度。

训练的目标样本由流跟踪因子进行，对于多域协同对抗训练，跟踪因子在训练开始时吸收样本点，经过一段时间的训练后，跟踪因子将跟踪结果注入到起始位置。训练的内部决策信息是在回到起点时获得的。过程如图4所示。根据生成器、判别器和损失反馈，对抗训练分为三个阶段。跟踪因子跟踪数据流的移动，每个迭代步骤的每个阶段都经历整个过程。

具体来说，数据在生成过程开始时进入生成器，该生成器模仿数据特征以进行数据生成。开发的生成器主要强调空间域信息。当数据进入空间域时，流跟踪因子被应用于数据。如公式(21)和公式(22)所示。

其中，    表示数据的水平空间特征，    代表数据的垂直空间特征，    是融合的空间域特征，    显示空间域输入，    代表空间域跟踪因子。

当存在流跟踪组件时，生成器显然会集中于数据中的每个数据点。生成器明确表示在每次迭代中都会关注特定的数据区域。因此，关于生成器训练的决策是透明的。

数据生成后，判别器开始参与任务。判别器同时处理生成的数据和原始数据，进行区分。判别器从时频域提取信息，将小波分布在参与区分过程的每一层中。小波用于逐层分解特征。公式(23)和公式(24)展示了匹配尺度    和平移基函数    。

其中    和    表示小波域前的原始位置信息，    和    表示小波域中的数据位置信息，    是表示小波阶数的频域参数，    表示垂直方向，    表示水平方向，    表示对角线方向。在    和    的指导下，流跟踪因子参与数据的时间-频率域变换。用户可以利用流跟踪元素来确定每个判别层对低频和三个不同高频方向的敏感度。这可以提供关于判别点的兴趣点的见解，如公式(25)和公式(26)所指出的。

其中    表示小波域中的输入数据，    表示小波域前的数据长度值，    表示小波域前的数据宽度值，    表示低频跟踪因子，    表示高频跟踪因子。

在判别器中，流跟踪因子对于信号低频和高频部分的细分是完全可逆的。如公式(27)所示。

由于深度卷积的设计以及频率聚焦，判别过程整体上是可逆的，也就是说，该过程是透明和可解释的，并且在阐明判别器的兴趣区域的同时提供了理论上的支持。

判别器的工作紧接着是损失函数的计算，该函数包含了流跟踪组件。为了实现同时覆盖，流跟踪因子被分成两半，并同时计算损失。流式跟踪因子允许在连续的时间-频率损失中对生成数据和原始数据之间的时频判别差异进行逐层量化。如公式(28)和公式(29)所示。

其中    表示生成的时间-频率特征，    表示原始的时间-频率特征，    表示对应层的时间-频率特征差异，    表示连续时间-频率上的跟踪因子。

通过这样做，用户可以指示每个数据点的输出趋势。足够小的量化值意味着出色的生成质量。这与区分结果一致，并通过提供合理的解释来增强结果的可信度。

同时，流跟踪因子感知离散频率域损失计算。它通过跟踪数据流入频率域的过程，指示后续训练迭代的重点区域。根据公式(30)和公式(31)。

其中，    表示原始数据的频率点，    表示生成数据的频率点，H表示数据之间的频率差，α表示尺度缩放因子，    是离散频域上的跟踪因子。

损失计算中的跟踪因子使用户可以在下一次迭代中指定模型优化目标的选择，明确了迭代模型优化机制。

通过开发的流跟踪因子，实现了GAN的透明度。用户可以了解生成器、判别器和损失反馈的内部运作机制。首先，用户可以理解每个架构在不同样本和阶段中的独特关注点，以及这些选择背后的理由。其次，用户可以看到每个样本如何进入GAN，以及模型如何全面理解这些样本。失败机制与这些模型问题和优化技术相关联。流跟踪组件为GAN模型的设计提供了一个可解释的范式。实验验证详细说明了具体案例。

3.4.所提方法的过程

TMCGAN实现故障诊断的流程如图5所示，表1给出了算法中各步骤的操作顺序，关键步骤如下：

第一步：传感器采集旋转机械的原始信号。数据标准化后，每个后续的1024个数据点被拆分为一个样本。根据实际工程要求，采用正常数据与故障数据之间10：1的不平衡比，创建不平衡的数据集。

第二步：模型输入数据的自重叠处理与变分自编码器的引入相结合，实现数据特征预提取。通过合并处理后的特征，形成多域协同对抗策略，完成从原始数据中学习特征和生成数据的任务。训练过程中，流跟踪因子实时记录模型的内部信息，以便进行训练。

第三步：生成的高质量数据用于增强不平衡数据集中的少数类故障数据，这有助于构建平衡的数据集，并将训练集和测试集作为分类器的输入。通过使用分类器进行故障诊断的实验，验证了TMCGAN在不同场景下能够生成高质量数据，并能产生准确的故障诊断结果。

图5给出了TMCGAN的具体架构，生成器的三层二维卷积核大小分别为3、5和5，步长均为2。此外，对于判别器，三层二维卷积的内核大小均为5，步长分别设为1、1和2。TMCGAN的其他关键参数详见图3、案例的第一段和表4。

图5：所提方法实现的故障诊断过程

表1 TMCGAN的算法步骤