顶刊论文学习 | 一种用于旋转机械故障诊断的可跟踪多域协同生成对抗网络（下）

本期给大家推荐的文章是《数字孪生增强的基于相对比电流点模式的半监督电机故障诊断框架》。本文基于多物理场仿真建立了精确的感应电机DT模型，并提出了一种新颖的PCCDP方法，将三相电流信号转换为有序排列的灰度图像。适合于数字孪生和电机故障诊断的学习者。论文基本信息论文题目：A digital twin-enhanced semi-supervised framework for motor fault diagnosis based on phase-contrastive current dot pattern论文期刊：Reliability Engineering and System Safety论文日期：2023年作者：Pengcheng Xia (a,b), Yixiang Huang (a,b,∗), Zhiyu Tao (a,b), Chengliang Liu (a,b), Jie Liu (c)机构：a: State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University, Shanghai 200240, PR China;b: MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai 200240, PR China;c: Department of Mechanical and Aerospace Engineering, Carleton University, Ottawa, ON K1S 5B6, Canada第一作者：夏鹏程，上海交通大学博士后，分别于2018和2023年在上海交通大学获学士和博士学位。主要从事复杂机电系统健康评估、诊断与预测研究，以第一作者在IEEE TII、IEEE TNNLS、RESS等期刊发表多篇论文。入选国家资助博士后研究人员计划、上海市“超级博士后”激励计划，曾获SDPC2021、PHM2024等国际会议Best Paper Award。联系方式：xpc19960921@sjtu.edu.cn通讯作者：黄亦翔，上海交通大学副研究员，博士生导师。从事智能维护理论与应用研究，近年来，主持国家自然科学基金项目3项、国家重点研发计划课题2项等，发表SCI期刊论文42篇，EI期刊论文14篇，授权中国发明专利62项，软件著作权4项。获中国机械工业科学技术奖特等奖、江苏省科学技术奖一等奖。联系方式：huang.yixiang@sjtu.edu.cn目录 摘要1 引言2 预备知识2.1 数字孪生2.2 问题公式化2.3 域自适应3 物理电机实体和数字孪生模型3.1 物理电机实体3.2 电机数字孪生模型4 所提出的半监督电机故障诊断框架4.1 框架概述 4.2 PCCDP 4.3 样本生成 4.4 知识迁移 4.4.1 空间注意力 4.4.2 残差块 4.4.3 故障分类器 4.4.4 域判别器 4.4.5 分布差异 4.5 基于聚类的度量学习 5 半监督诊断实验及结果5.1 实验设置5.2 与近期提出的方法比较5.3 消融实验5.4 结果分析5.5 PCCDP的有效性6 结论摘要电机在多数工业设备中起着重要作用，对电机进行精确故障诊断至关重要。数据驱动方法虽取得显著进展，但在工业应用中获取足够的标记数据来训练模型既昂贵又费力，且如何有效利用三相电流信号仍是一项挑战。为解决这些问题，本文提出数字孪生增强的半监督框架，用于标签稀缺情况下的电机故障诊断。首先，基于多物理场仿真建立精确的电机数字孪生模型，并进行从虚拟空间到物理空间的知识迁移。其次，提出一种新型的相对比电流点模式（Phase-Contrastive Current Dot Pattern, PCCDP）表示方法，将三相电机定子电流转换为有序排列的灰度图像，以便在紧密区域对比三相特征实现高效处理。然后，提出空间样本生成方法用于连续特征流形学习，以解决空间差异问题。最后，引入空间内样本生成和基于聚类的度量学习，提升半监督故障诊断性能。除此之外，进行了感应电机故障实验并构建了相应的数字孪生模型。实验验证了所提框架的有效性和优越性。关键词：数字孪生；故障诊断；电机；半监督学习；迁移学习1 引言作为大多数工业设备的核心部件，电机在现代工业生产中应用广泛。在这些生产场景中，维持机器部件的健康状态至关重要。然而，电机在长期运行过程中，不可避免地会受到各种外在压力的影响，从而出现意外故障。随着工业设备的复杂性不断增加，进而降低整个设备的可靠性。例如，由于包含多个耦合子系统导致电机的轻微故障，可能会对其他部件产生干扰等。尽管整机系统的可靠性主要由其可靠性设计所决定，但通过修复或更换故障部件进行有效的状态监测与维护，能够防止轻微故障给系统引入更多风险因素，使其达到固有设计可靠性。监测信号能够为设备的主动维护提供指导，通过这种方式识别电机健康状况，可以维持系统的可靠性，减少意外故障甚至严重事故的发生，从而降低巨大的经济损失，确保生产安全。基于信号特征分析的电机故障诊断方法在学术界和工业界都有广泛应用。由于振动信号和电流信号测量的有效性和低成本，故障通常通过信号处理和分析技术来检测。然而，由于实际工作条件的多样性和故障特征信号的低信噪比，导致上述方法难以应对复杂的实际情况。近年来，数据驱动方法，尤其是基于深度学习的方法成为主流。这些方法利用深度神经网络处理原始振动或电流信号，无需先验知识即可直接给出诊断结果，提高了复杂条件下的诊断性能。例如，有研究提出了具有多尺度内核的残差卷积神经网络和全局上下文残差卷积神经网络，用于从原始电机振动信号中进行故障诊断。电流信号也被应用于基于深度学习的方法中。由于电流信号受电源频率的高度调制，故障特征可能会被噪声污染，因此在输入网络之前通常需要进行预处理。例如，有研究利用最大重叠离散小波变换对电机电流信号进行预处理，并提出了瞬时电流残差图来反映故障相关行为。尽管基于深度学习的智能电机故障诊断方法取得了巨大成功，但在实际应用中仍存在一个主要限制。深度学习算法高度依赖大量数据来训练模型，而这一要求在工业环境中往往难以满足。当电机投入生产使用时，频繁检查其健康状况既不现实，又成本高昂且耗费人力。更重要的是，收集带有故障标签的大量样本意味着设备需要在已发生故障且已被检测到的情况下长时间持续运行，这一过程会损害整个系统的可靠性，甚至可能导致安全事故。因此，出于安全考虑，只有在设备维护阶段才能获得非常有限的有标签样本，而其他大量数据则是未标记的。这些未标记数据无法直接用于训练模型，仅利用有限的标记数据会导致模型过拟合，从而使其泛化能力较差。 这种从部分标记数据集学习的问题可归类为半监督学习（Semi-Supervised Learning, SSL）。未标记数据可通过利用其数据结构来辅助模型构建或提高诊断准确性。已有一些研究使用自动编码器（AutoEncoder, AE）对没有标签的数据进行特征提取器预训练，如将SSl用于变速箱故障诊断；结合聚类的基于AE的诊断方法等。SSL的另一种直观方法是通过数据增强或生成方法增加现有有标签样本的数量。类似于二维图像常用的旋转、裁剪和翻转等变换，一些针对一维序列的数据增强技术，如数据反转、缩放、切片等方法也广泛用于增强信号样本。生成对抗网络（Generative Adversarial Networks, GANs）也被研究用于生成与真实标记数据相似的合成样本。与AE相关的方法充分利用了未标记数据，使学习过程更高效。数据增强和生成方法则利用生成的数据提高模型的泛化能力。然而，一个主要问题是这些方法无法增加类别信息，因此模型性能仍然受到标签数量的限制，并且过拟合的风险依然存在。因此，解决数据稀缺问题最直接有效的方法仍然是获取更多类别信息。但从实际场景中收集更多标记数据大多不切实际或成本高昂。随着智能制造技术的快速发展，数字孪生（Digital Twin, DT）应运而生，它通过将物理实体与其虚拟模型相连接，为获取物理实体的状态提供了新途径。通过DT模型收集仿真条件数据来丰富标签稀缺的数据集，有望实现更可靠的故障诊断。已有一些初步研究，例如，Wang 等人建立了液压系统的DT模型，在实际故障数据不足时丰富故障数据集，并在故障数据积累时利用更多真实数据。尽管DT技术发展迅速，但DT仿真数据仍不可避免地与真实数据不完全一致。如何克服这种差异，并将可靠的诊断模型推广到实际实体中，是确保诊断准确性的关键问题。Xia 等人利用三缸泵DT模型的仿真数据对稀疏去噪AE进行预训练，然后在真实数据集上微调模型参数。Xu 等人提出利用车身侧生产线的DT来辅助故障诊断，并使用迁移学习，通过堆叠稀疏AE提取特征，利用最大均值差异来估计DT数据与真实数据之间的分布差异。这些研究为DT辅助故障诊断提供了初步范例。然而，据我们所知，尚未涉及对电机等主要机械部件的精确多物理场建模，且将模型推广到物理实体的方法也相对基础。鉴于上述讨论，本文提出一种结合深度知识迁移的DT增强半监督电机故障诊断框架。首先，为填补DT辅助电机故障诊断的空白，基于多物理场仿真构建了感应电机DT模型。生成各种故障状态下的电机状态数据，用于扩充带有少量有标签样本的数据集，并通过深度域自适应（Deep Domain Adaptation, DDA）实现从虚拟空间到物理空间的知识迁移。其次，在实际应用中，电流测量完全是非侵入性的，与振动信号相比，电流信号在复杂系统中受其他部件的影响较小。对于电机DT模型，定子电流信号的仿真也比振动信号更精确和简化。然而，由于电机电流信号在电源频率的正弦波上受到高度调制，如何对电流信号进行预处理以突出故障特征并有效融合三相信号是一项具有挑战性的任务。本文提出一种相对比电流点模式（Phase-Contrastive Current Dot Pattern, PCCDP）表示方法，将三相电流信号转换为灰度图像。将各相电流信号映射到极平面上的图形中，使各相的幅值和频率能够在特定区域内有序排列并直观对比。此外，为进一步解决数据差异问题，我们提出设计一种空间样本生成方法，用于在特征空间中进行连续流形学习。同时，进行空间内样本生成，以增加标记的物理样本数量。最后引入基于聚类的度量学习，通过减少类内结构差异性来增强诊断能力。 本文在一个感应电机实验数据集上对所提框架进行了验证，并建立了相应的DT模型。实验结果表明了所提方法的有效性和优越性。所提框架为工业应用中标签稀缺的电机故障诊断提供了DT辅助解决方案。该方法只需少量有标签样本，同时通过DT仿真获得大量样本，确保了生产过程中数据收集的安全性。高诊断准确率可为电机的主动维护决策提供可靠指导，有效提高工业设备的可靠性。本文的主要贡献可总结如下：1.首次提出用于电机的DT增强故障诊断框架，以解决标签稀缺问题。基于多物理场仿真建立精确的感应电机DT模型，并通过基于DDA的从虚拟空间到物理空间的知识迁移，获得用于实际实体的可靠诊断模型。2.提出一种新颖的PCCDP模式，用于高效的电流信号处理。将三相电流信号转换为有序排列的单幅灰度图像，在极平面的特定区域内可直观对比三相的幅值和频率，进而进行高效处理。3.提出一种空间间样本生成方法，通过在特征空间中引导连续流形学习来解决空间间的数据差异问题。此外，引入空间内样本生成和基于聚类的度量学习，以提升半监督诊断性能。本文的其余部分组织如下：在第 2 节中，介绍了一些理论描述，包括DT概念、问题公式化和DDL；在第 3 节中，给出了物理感应电机实体的DT模型；第 4 节详细描述了所提出的半监督电机故障诊断框架；第 5 节展示了半监督故障诊断实验及结果；第 6 节对本文进行总结。2 预备知识2.1 数字孪生 图1 所提出的方法中数字孪生的说明DT是智能制造领域的一项新兴技术，可以理解为一个多物理、多尺度和概率性的集成仿真过程。DT通过各种数字技术在物理空间中建立真实实体的仿真模型，实现虚拟空间和物理空间的连接与相互通信。如今，DT的五维模型已被广泛接受，该模型将DT定义为五个部分的集成：物理空间、虚拟空间、DT数据、服务以及它们之间的连接。DT数据存储来自其他部分的所有数据，并进行数据处理和融合。服务模型包含利用这些数据和知识提供诸如监测状态、预测和诊断结果等信息的服务。在本文中，DT用于辅助物理电机实体的故障诊断过程。图 1 展示了本文DT方案的示意图。首先，根据物理空间中真实电机的详细结构和参数，在虚拟空间中使用多物理场仿真建立DT模型。然后，DT模型根据来自物理空间的信息，包括真实电机的工作条件，模拟所关注的工作状态，并生成仿真监测数据。接着，将来自两个空间的仿真数据和物理测量数据传输到DT数据部分，进行数据融合和处理。在服务部分建立诊断模型，利用这些数据为物理电机实体做出故障诊断决策，以便及时进行维护。2.2 域自适应域自适应是最流行的迁移学习方法之一，已被用于智能故障诊断。在实际场景中，源域中的数据通常与目标域中的数据具有不同的概率分布，即 ，这被称为域迁移问题。域自适应旨在学习域不变特征，使基于源数据集建立的模型仍能准确诊断目标数据集中的故障。通过减少特征空间中的域差异，学习一个具有映射函数 的共享特征提取器，使得 。一种常用的域自适应方法是使用差异度量，包括相关对齐（CORrelation ALignment, CORAL）损失和最大均值差异（Maximum Mean Discrepancy, MMD）来最小化分布差异。域对抗是另一种域自适应方法，通过对抗训练特征提取器和域判别器来识别域标签。在本文中，为电机故障诊断任务设计了一个具有空间注意力和熵正则化的深度残差网络，并采用一种结合差异最小化和对抗训练的DDA方法进行知识迁移。3 物理电机实体和数字孪生模型在本研究中，我们使用一个真实的电机实体进行研究，并基于多物理场仿真构建其DT模型。在本节中，将描述物理电机实体和DT模型，并展示在物理空间和虚拟空间中进行的实验。3.1 物理电机实体图2 在物理和虚拟空间中进行电机实验。(a)感应电机实验平台。(b)感应电动机的数字孪生模型。表1 试验电机参数用于实验的真实电机安装在 SpectraQuest 公司的传动系统动力学模拟器（Drivetrain Dynamics Simulator, DDS）平台上，如图2(a)所示。该平台主要由一台测试电机、电机控制器、电流传感器、变速箱以及电磁制动器/负载组成。测试电机是一台三相鼠笼式感应电机，额定转速为 3450RPM。电机的一些主要参数列于表1中。在实验中，信号是在转速为 2700RPM（45Hz）的稳定条件下采集的，并通过电磁制动器施加 6.1N·M 的恒定负载。以 5120Hz 的采样率采集三相电流信号。分别更换一台正常电机（N）和三台有不同故障的电机，以获取不同健康状态下的电流信号。这三种故障类型分别是：断条故障(Broken Rotor Bar Fault , BRB)，即三根转子导条断裂；定子绕组故障(Stator Winding Fault, SWF)，由匝间短路引起；转子不对中故障(Misaligned Rotor Fault, MR)，由转子平行不对中导致。3.2 电机数字孪生模型使用 COMSOL Multiphysics 软件建立并仿真真实电机的DT模型。建模和仿真过程主要包括五个步骤：首先，参考实验中使用的真实电机的详细结构和几何参数构建电机的几何模型。将气隙内部和转子设置为转子域，气隙外部和定子设置为定子域，并配置两个域之间的身份对。几何模型如图 2(b)所示。需要注意的是，一些外部部件，如冷却风扇及其外壳，并未完全精确构建，因为它们对电磁场的影响较小，而复杂的结构会带来大量计算量。其次，为各部件设置材料参数，定义并加载工作条件变量。实时采集物理电机的工作条件并传输到虚拟空间，然后通过加载条件参数对DT模型进行多物理场仿真。工作条件包括电机转速和负载。在仿真中，电机转速由电源电压频率控制，负载通过施加在电机轴上与旋转方向相反的扭矩来模拟。第三步，使用旋转机械磁接口定义电磁场，定义边界条件和约束，并构建电路模型。然后通过将电路部分与定子绕组连接，将电路与电磁场耦合。第四步，使用三角形网格对定子、转子域和气隙进行网格划分，气隙和转子导条的最大单元尺寸分别为 0.25mm 和 0.5mm，其余部分为 3mm。最后，配置瞬态求解器并使用 MUMPS 求解器进行仿真，初始时间步长为10-6秒，最大时间步长为 1/5120 秒，输出步长为 1/10240 秒，即电流信号的输出频率为 10240Hz。图3 多物理场仿真模型(a)电机四分之一部分的二维网格模型 (b)正常电机运行时的磁势分布截图由于电机内部轴向电磁场的变化较小，而三维仿真计算量远高于二维仿真，根据学术界的常见做法，我们使用二维电磁模型进行仿真，以在精度和计算量之间取得平衡。然而，这样无法对轴端的电磁场进行建模，会给仿真结果带来一些误差。此外，仿真中使用标准正弦电源电压，而实际电压由近似正弦波的变频驱动器产生，且未对电源不稳定和其他部件干扰引起的电压变化进行建模。这些因素会使仿真电流信号过于理想，与物理信号存在差异。由于电机具有对称几何结构，为更清晰地展示，图 3(a)给出了电机四分之一部分的二维网格模型，图 3(b)展示了正常电机运行时的磁势分布截图。 图4 (a)BRB故障电机电流密度;(b)MR故障电机的最窄（顶部）和最宽（底部）气隙区域对处于正常状态和所有潜在故障状态的电机DT模型进行仿真，以辅助物理电机的故障诊断。在完成正常状态的仿真后，通过修改正常状态下DT模型的特定结构或参数，对电机DT模型的三种故障状态进行仿真。1.断条故障：转子导条的断裂相当于相应导条电导率的降低。在DT模型中，将三根转子导条的电导率设置为 1s/m，以模拟断条故障状态。图4(a)展示了运行时带有断条故障的电机的电流密度。可以看到，三根断条中没有电流通过，周围的转子导条承受较高的电流密度。2.定子绕组故障：定子绕组的匝间短路相当于匝数的减少。将 A 相一个定子绕组的匝数减少 5%，以模拟定子绕组故障状态。3.转子不对中故障：平行不对中意味着定子和转子的中心线不重合。因此，将转子从定子中心线偏移 0.01 英寸，以模拟转子不对中状态。从图 4(b)中转子不对中故障模型中最窄和最宽气隙的几何示意图可以看出，气隙宽度分布不均匀。综上所述，转子不对中故障状态通过调整几何结构来模拟，而断条故障和定子绕组故障则分别通过改变转子导条电导率和定子绕组匝数来模拟。其余结构和参数与正常状态下的DT模型保持一致。换言之，只有针对特定故障修改的结构或参数的变化引起电机健康状态的变化。 图5 各种健康状态下的三相定子电流仿真信号针对每种健康状态，模拟电机启动和稳定运行的过程，并在稳定运行状态下使用三相定子电流模拟信号进行后续处理。图5为各健康状态下的信号片段。可以看出，正常状态下的电流信号具有三相平衡的正常和稳定正弦波形。此外，断条故障故障信号的波形和幅值随时间变化，定子绕组故障信号三相明显不平衡。此外，转子不对中故障故障信号与正常状态下的信号肉眼观察差异不大。4 所提出的半监督电机故障诊断框架本节将首先给出所提出的DT增强型半监督电机故障诊断框架的总体概述，然后将详细介绍框架中的各个方法细节。4.1 框架概述图6 DT增强的半监督电机故障诊断框架概述图6展示了所提出框架的概览示意。整个框架主要包括以下五个阶段：1）数据采集:从物理空间中的真实电机采集标签稀缺的三相定子电流信号。同时，在多物理场仿真环境中建立该电机的DT模型，将真实电机的工作条件参数捕获并传递到DT模型中进行相同工况下的仿真，进而在虚拟空间中获得三相定子电流仿真信号。需要注意的是，高保真仿真通常需要一定的计算时间，无法实时完成。如果希望在实际应用中尽可能实现准实时的DT仿真，可以将典型的工作条件参数离散化为多级（如高速/中速/低速或按需负载等级），并提前在这些工况下完成仿真，将仿真数据存储后按实时工况加载。虽然这样会降低仿真精度，但能够实现准实时的DT仿真。2）PCCDP图像生成:首先，将物理空间和虚拟空间中的三相信号划分成固定长度的一系列样本。由于仿真环境理想化，在虚拟空间样本中注入高斯白噪声以模拟实际应用中的背景噪声。然后，将两个空间的所有样本统一转换为固定尺寸的灰度PCCDP图像，供后续处理。3）样本生成:为了进一步应对数据分布差异问题，首先在特征空间中进行跨空间样本生成，以实现连续流形学习。同时，还在物理空间内部进行样本生成，以增加带标签的物理样本数量。这些合成样本与原始样本一起输入到后续的知识迁移阶段。4）跨空间知识迁移:通过DDA网络，将诊断知识从虚拟空间数据集迁移到物理空间数据集。源域由虚拟空间的带标签样本组成，目标域由物理空间的带标签和未标注样本，以及前一阶段生成的样本组成。为了学习领域不变的特征，设计了一个包含空间注意力机制的共享深度残差网络。5）基于聚类的度量学习:首先，提取物理空间中带标签和未标注样本的深层特征。然后，使用K-means方法对降维后的特征进行聚类。接着，引入度量学习，减少结构性类别内变异，即使同类样本在特征空间中更加接近。最终，通过深度网络给出故障诊断结果。4.2 所提出的半监督电机故障诊断框架定子电流是电机故障诊断中一种关键的信号类型，具有非侵入性和干扰较小的优点。然而，电流信号在供电频率的正弦波上高度调制，因此使用某些预处理技术以突出故障成分至关重要。本文提出了一种PCCDP表示方法，用于实现电机电流信号到图像的转换，灵感主要来源于以下两个方面：1）电流信号具有很强的周期性，这意味着电流信号样本中包含大量重复的冗余信息。理想的预处理方法应减少冗余，同时保留重要的幅值和频率信息。对称点模式（Symmetrical Dot Pattern, SDP）是一种将一维序列转换为图形的时间序列变换算法，已在一些故障诊断任务中用于振动信号到图像的转换。在SDP中，序列中的数据根据其幅值及其相邻数据被映射到归一化的极坐标平面上的点。因此，本文基于SDP原理开发了电流信号到图像的方法。2）感应电机的定子电流信号具有三相。当电机处于正常工作状态且电源平衡时，三相电流应具有相同的幅值和模式，唯一的区别是相位偏移。然而，某些类型的故障会导致各相之间的幅值和形状出现差异。因此，理想的预处理方法需要突出这些差异。为此，本文提出将三相电流信号按顺序映射到极坐标平面的特定区域上，在同一张图中直观地对比多个相位的幅值和频率。图7 (a)PCCDP原理图；(b)-(e)健康状态和三种故障类型的示例PCCDP图7(a)展示了所提出PCCDP的示意图。整个单位极坐标平面被划分为六个60°的扇区，每个扇区映射两相电流信号。在这些紧密的扇区区域内，对相同或不同相位的信号特征进行对比。每一相的信号序列分别映射为两个凸起的瓣片和两个凹陷的瓣片。对于序列中时间点 的数据 ,其在PCCDP中的半径被定义为: 其中， 和 分别表示当前信号的最小值和最大值。需要注意的是 和 是在三相信号中共同计算得出的，以便反映各相之间的幅值差异。在凸瓣（convex flap）内的偏转角 计算公式为: 其中， 表示在时间点 处的幅值， 是预定义的时间间隔因子， 表示角度放大因子。在凹瓣（concave flap）内的偏转角 计算公式为： 在六个扇区中绘制的图形形成了一个不对称的雪花形状图像。上半部分平面包含同一相的图形，每个扇区的两个瓣片由单一相电流绘制，分别对应三相。下半部分平面包含不同相的瓣片，每个花瓣由两个不同相的电流绘制。 为了实现相同或不同相位之间的有效对比， 和 被设置为25°和2，以使得同一扇区内的两个瓣片绘制得接近但不重叠。随后，PCCDP图像被转换为灰度图并调整为128*128的尺寸。图7(b)–(e)展示了四种不同健康状态下物理电机的灰度PCCDP图像示例。 可以看到，SWF样本在不同相的瓣片形状和长度上存在明显差异，而MR样本则与正常样本相比在瓣片的曲率上有细微差异。这些差异将被深度网络捕捉并用于有效的故障识别。4.3 样本生成虽然采用了DDA来减少虚拟空间与物理空间之间的分布差异，但在特征空间中样本无法完全对齐仍然是不可避免的。这意味着来自不同空间但属于同一类别的映射特征可能彼此独立聚集。根据SSL中的常见假设，决策边界应穿过边缘数据分布的低密度区域，决策边界可能会穿过两个空间聚类之间的低密度区域，从而导致部分样本被误分类。本文提出通过生成合成样本的方法来应对这一问题，引导模型在特征空间中学习连续的流形。我们提出了一种跨空间样本生成方法，用于在两个空间的聚类之间的低密度区域生成新的特征。通过这种方式，可以增加这些聚类之间区域的密度，并使同一类别的特征流形变得更加连续。因此，分类器的决策边界更有可能远离这些区域，并穿越其他密度更低的区域，从而减少误分类并提高模型的准确率。在跨空间样本生成中，我们提出对来自两个空间、属于相同类别的PCCDP样本进行线性插值。插值系数采用Mixup中使用的Beta分布生成，但需要注意的是，物理空间样本的系数 要大于虚拟空间样本的系数，以便更多地利用稀缺的真实标签信息，指导分类器更好地识别目标样本。对于来自物理空间的一个有标签样本 我们随机选择一个来自虚拟空间、类别相同的样本 ，即 ，然后，生成样本的公式如下： 其中， ， ， 是Beta分布的参数。生成样本 的标签与两个输入样本相同，即 。由于PCCDP图像具有特定的雪花形状和固定的花瓣角度，所提出的生成方法具有保留PCCDP固有模式的优势。因此，合成样本可以成为网络理解中自信且逼真的PCCDP图像。为了增加物理空间中有标签样本的数量，将跨空间生成方法扩展为空间内样本生成。对于每一个物理空间中的有标签样本，随机选取另一个同类别的有标签样本，并按照上述第一式进行线性插值，在此过程中不再采用上述第二式中的系数约束。然后，将跨空间生成的样本与空间内生成的样本结合，用于后续的模型训练。4.4 知识迁移图8 知识迁移网络的结构设计了一种深度残差网络，用于将诊断知识从虚拟空间迁移到物理空间。该网络结构如图 8 所示，基于残差学习并结合了域自适应技术。网络输入为来自虚拟空间和物理空间的尺寸为 128×128×1 的灰度 PCCDP 图像。骨干网络由预处理层、一个空间注意力块以及一系列堆叠的残差块组成。在故障分类器中输出电机故障标签，其中结合了熵正则化损失和交叉熵损失。采用域判别器和分布差异模块进行域自适应。4.4.1 空间注意力输入的 PCCDP 图像 ，经过一系列预处理层以获得浅层特征。首先，使用一个具有 16 个 7×7 内核的卷积层，接着是一个带有校正线性单元（Rectified Linear Unit, ReLU）激活函数的批量归一化层(Batch Normalization, BN)。然后，将这些特征输入到一个最大池化层，以获得下采样特征 。空间注意力块以预处理后的特征为输入，学习聚焦于提取的 PCCDP 特征图 的重要区域。首先通过跨通道的最大池化操作和平均池化操作生成两个特征图，然后将这两个特征图连接起来，并通过7×7 内核的卷积层进行处理，得到注意力图，其表达式如下： 其中， 表示Sigmoid函数， 和 是该卷积层的可训练参数。最后，通过注意力图与输入特征图的逐元素相乘得到输出，即细化后的特征图： 。4.4.2 残差块采用四个堆叠的残差块（Residual Blocks, RBs），其结构与 ResNet34 类似，用于处理由空间注意力块细化后的特征图。每 个残差网络中使用两个内核大小为 3×3 的卷积层。第个残差网络的输出可以计算如下： 其中， 表示 ReLU 函数， 和 分别是两个卷积层的函数。 和 分别表示第 个和第 个残差网络的输出。之后，将最后一个 RB 的输出展平为一维向量，作为高级特征表示。4.4.3 故障分类器故障分类器 使用一个全连接层(Fully Connected, FC))来获得预测的故障状态。采用交叉熵损失来计算来自虚拟空间的样本、来自物理空间的有标签样本以及生成样本的分类损失，公式如下： 其中， 示生成样本的数量。为了使虚拟空间样本的特征紧密聚集在真实类别的中心，在分类损失中添加了熵正则化损失。通过最小化这个损失，模型可以为虚拟空间样本给出更可靠的预测结果。熵正则化项的表达式如下： 4.4.4 域判别器域判别器模块用于使特征提取器学习无法被识别属于哪个域的域不变特征，通过域对抗学习实现。它由三个全连接层组成，输出是一个一维标量，表示输入样本 来自虚拟空间的预测概率。域对抗损失通过二元交叉熵损失函数来衡量，如下所示： 其中，如果 则 ，如果 ，则 ， 是域判别器模块的映射函数。为了进行对抗学习，在第一个全连接层之前添加了一个梯度反转层 。在反向传播优化骨干特征提取器网络时，梯度的符号将被反转。4.4.5 分布差异为训练使两个域之间的特征分布差异最小化，引入多核 MMD 来衡量由堆叠残差块提取的特征表示的分布差异。这个损失项的表达式为： 其中， 和 分别是一批虚拟空间样本和物理空间样本， 表示骨干特征提取器的映射函数， 表示多核 MMD 函数。知识迁移网络的总损失变为： 其中， 、 和 都是权衡参数。通过梯度下降算法最小化这个损失来训练网络，网络参数更新如下： 4.5 基于聚类的度量学习在知识迁移网络训练完成后，在后续阶段进行基于聚类的度量学习，以减少结构类内方差。通过聚类算法，物理空间的未有标签样本可以根据其空间结构分布被聚类成几个组。这个阶段的度量学习旨在使它们紧密聚集到组质心，以便不同类别的特征可以更清晰地映射，减少误分类。 首先，通过 PCA 算法对物理空间中所有样本的特征表示进行降维。通过计算第k类所有特征表示的平均向量，得到第 类的质心 总共得到 个质心，这些质心可以很好地代表每个类别的位置。然而，在本文中，旨在处理有标签样本极少的半监督学习问题。因此，当有标签样本非常稀缺时，由于高随机性和低代表性，它们的平均向量可能无法很好地代表每个类。在这种情况下，从虚拟空间数据集中随机选取几个样本，使其数量达到预定义的数量（本文中为 10 个），并将这些样本组合起来计算类质心。然后，将这些K个质心作为 K-means 聚类算法的初始质心，如文献所述。对物理空间中未有标签样本的所有特征进行 K-means 聚类，每个样本 被分组到一个类 ，结构类内变异通过每个未有标签样本与其相应类质心之间的平均 L1 范数距离来衡量，定义为： 其中， 是第 类的初始质心。在基于聚类的度量学习阶段，通过最小化总损失 来训练网络，其中 是度量学习损失的权衡参数。5 半监督诊断实验及结果5.1 实验设置使用来自实际电机实验和DT模型仿真的数据集对方法进行验证。将收集到的实际电机信号分割成长度为 1024（即 0.2 秒）的片段，形成一个包含 2000 个样本的数据集，每个健康状态有 500 个样本。只有一小部分样本（不超过 10%）被分配标签，其余样本未标记。我们的目标是预测它们的故障类别。在实验中，测试了 7 个具有不同有标签样本数量的半监督学习任务，每个类别的有标签样本数量分别为 1、5、10、15、20、30 和 50。DT仿真信号用于知识迁移。对每个健康状态进行 9 秒的仿真，并丢弃电机启动过程的前 0.5 秒信号。由于输出频率为 10240Hz，是实际电机实验频率的两倍，因此对仿真信号进行下采样，得到两个长度相同的 5120Hz 信号。这些信号也被分割成长度为 1024 点的片段，相邻样本之间有 50% 的重叠以增加样本数量。然后每个健康状态下获得 168 个样本。向每个样本添加标准差为 0.1 的高斯白噪声，以模拟实际工作场景中的背景噪声。表2 本文中的训练参数将物理空间和虚拟空间数据集中的所有样本转换为 PCCDP 图像。由于虚拟空间数据集中的样本比物理空间中的少得多，在生成小批量样本时，将虚拟空间中的每个样本复 制 5 次并打乱。每个小批量包含来自物理空间数据集的 64 个样本和来自虚拟空间数据集的 64 个样本。使用 Adam 优化器训练网络，一些主要的训练参数列于表2中。此外，在知识迁移阶段，根据文献建议，域对抗损失 和 分布差异损失的权衡参数随着训练过程逐渐增加，其中， 在知识迁移阶段的训练过程中从 0 线性增加到 1，在度量学习阶段 ,所有实验重复 5 次以减少随机性。5.2 与近期提出的方法比较为了验证所提出的DT增强半监督学习框架的优越性，实现了三种近期提出的半监督学习方法进行性能比较。其中两种是在半监督图像识别任务中取得巨大成功的前沿半监督学习方法。第一种是无监督数据增强（Unsupervised Data Augmentation, UDA），它通过为多次增强引入无监督一致性损失来处理未有标签样本。另一种是MixMatch，它是一种整体的半监督学习方法，通过猜测未有标签样本的低熵标签，并使用Mixup对标记和未有标签样本进行混合增强。需要注意的是，MixMatch中采用了知识迁移，因为它在每个小批量中使用相同数量的标记和未有标签样本，在标签稀缺的任务中训练样本太少，无法训练模型。UDA 在每个小批量中使用 256 个未有标签样本，且不进行知识迁移。这两种方法的网络结构与我们提出的方法中的骨干网络相同。此外，还引入了一种基于混合分类自动编码器（Hybrid Classification Autoencoder, HCAE）的用于机械故障诊断的新型半监督学习方法。通过添加一个softmax分类器并修改自动编码器的损失函数，同时使用标记和未标记数据训练模型。自动编码器采用文献中设计的堆叠卷积自动编码器结构。所有这些方法都使用 PCCDP 图像作为输入，并且在将PCCDP图像输入到HCAE方法之前，将其归一化到0到1的范围。由于传统的图像变换方法不适合PCCDP图像，会破坏其固有特征，因此在 UDA 和 MixMatch 中使用随机 60° 倍数的旋转来增强数据，以保持PCCDP的雪花形状和花瓣角度。图9 所提出的方法和对比方法的诊断精度图 9 展示了这三种对比方法和我们提出的方法在不同半监督学习任务中的诊断准确率。可以看出，我们提出的方法在所有七个任务中都取得了最佳性能。两种基于数据增强的方法在有标签样本极其稀缺时表现不佳。在这种情况下，增强信息可能无法帮助模型学习通用知识，反而可能引入较大干扰，导致模型性能下降。当有标签样本相对充足时，这两种方法取得了有竞争力的性能，尽管UDA的结果在不同任务中的稳定性不是很好。HCAE 的准确率随着有标签样本的增加而提高，并且与我们提出的方法接近，但由于缺乏DT模型的辅助，仍然较差。比较结果验证了所提方法的优越性。5.3 消融研究为了验证所提方法中每个部分的有效性，设计了一系列基线方法进行比较。这些方法的描述如下：1.基础方法（Basic）：DT增强半监督学习的基本方法。仅进行知识迁移，不进行样本生成和基于聚类的度量学习。2.无空间内生成（NoIntraGen）：不进行空间内样本生成。3.无空间间生成（NoInterGen）：不进行空间间样本生成。4.无样本生成（NoGen）：既不进行空间内也不进行空间间样本生成。5.无基于聚类的度量学习（NoCML）：不进行基于聚类的度量学习（Clustering-based metric learning, CML）。在进行空间内和空间间样本生成的同时进行知识迁移，并去除度量学习阶段。表3 不同标记样本数的SSL任务中消融研究的测试准确率（%）这些方法的其他设置和网络结构与所提方法完全相同。所有这些方法都以灰度 PCCDP 图像为输入。7个半监督学习任务的实验结果如表3所示。可以看出，几乎所有方法的诊断准确率都随着有标签样本数量的增加而提高。所提方法在大多数半监督学习任务中优于其他对比方法，并在七个任务中取得了最高的平均准确率。这些实验结果表明了所提方法的有效性。5.4 结果分析从表 4 中可以注意到，在每个类只有1个有标签样本的标签极其稀缺的情况下，其他方法的结果不稳定，标准差相对较大。这是合理的，因为仅从一个有标签样本中学习物理数据集的类别信息存在很大的不确定性。而且，如果分类准确率不够高，许多不同类别的未有标签样本就无法很好地分离，因此聚类可能无法为度量学习提供太多结构类别信息。因此，三种基于聚类的度量学习的基线方法仍然具有不理想的结果和较大的方差。在这种情况下，通过基础方法和无基于聚类的度量学习方法的结果比较，样本生成方法显著提高了诊断准确率和稳定性。这表明在标签信息极其稀缺时，合成样本生成可以带来显著的改善。此外，去除空间间样本生成导致平均准确率下降最大，这表明通过空间间样本生成提出的连续特征流形学习起着重要作用。图10 不同任务中的混淆矩阵(a)-(d)基本方法；(e)-(h)所提出方法为了进一步检查不同任务中的诊断结果，我们计算了所提方法和基础方法在不同任务中的混淆矩阵。每个类有1、10、20 和50个有标签样本的任务中第一次试验的混淆矩阵如图10所示。可以观察到，无论有标签样本是稀缺还是相对充足，所提方法和基础方法都能很好地识别定子绕组故障和转子不对中故障。这是可以解释的，因为如图 7 所示，定子绕组故障和转子不对中故障的 PCCDP 图像与正常状态有明显差异。定子绕组故障样本几乎能被准确识别，并且所提方法对转子不对中故障的识别准确率更高。然而，当有标签样本量非常小时，两种模型都无法令人满意地区分断条故障和正常状态。图11 基于聚类的度量学习前后通过t-SNE实现的特征表示可视化(a)-(b)在每个类具有10个标记样本的任务中；(c)-(d)在每个类有20个标记样本的任务中为了探究特征学习的结果，并直观展示基于聚类的度量学习的有效性，我们通过t分布随机邻域嵌入技术对学习到的特征表示进行可视化。我们对每个类别有10个和20个有标签样本的两个任务，在基于聚类的度量学习前后对特征图进行可视化，结果如图11所示。可以看出，源数据集不同类别的样本被很好地分离，并且大多数目标数据集样本被分配到源数据集相同标签的簇中，尤其是对于定子绕组故障和转子不对中故障状态。至于正常状态（N）和断条故障状态，目标数据集样本存在一些重叠。值得注意的是，在基于聚类的度量学习阶段之后，这两种状态的重叠减少了。并且属于同一类别的样本变得更加集中，不同类别的簇之间的距离也更远。这些结果验证了基于聚类的度量学习的有效性，即减少了类内变异，使不同类别在映射时更加分离，从而实现更好的分类。5.5 PCCDP的有效性图12 PCCDP转换方法之间的消融实验。(a)在任务中的虚拟空间数据集上训练精度曲线，每个类有20个标记样本；(b)测试不同任务的准确性（误差条表示95%置信区间）图13 不同任务下不使用PCCDP方法的混淆矩阵图14 使用Grad-CAM实现不同健康状态下PCCDP图像的重要性可视化图 为了验证所提PCCDP在电机故障诊断任务中的有效性，我们设计了一种不使用PCCDP的方法，该方法以原始三相电流信号为输入进行比较。与许多端到端故障诊断方法一样，三通道顺序电流信号由一维卷积网络进行处理。我们将所提知识迁移网络中的所有二维卷积和池化操作修改为一维操作，空间注意力变为一维时间注意力，旨在聚焦重要的序列片段。由于最后一个残差块的输出形状为32×128，展平后的向量维度过高，因此添加一个全连接层将其维度降至256维。其他参数与所提方法保持相同。由于本文提出的样本生成方法是为二维图像设计的，为了进行公平比较，我们采用不进行样本生成和基于聚类的度量学习的基础方法，为了直观理解，将其记为使用PCCDP的方法。 图12(a)展示了两种方法在虚拟空间数据集上训练过程中的训练准确率曲线。可以注意到，以PCCDP图像为输入的方法收敛更快，振荡更少，而未进行PCCDP转换的方法在训练后期无法保持完全稳定的训练结果。这表明PCCDP能够更有效、更高效地辅助模型捕捉故障特征。图12(b)中不同任务的诊断准确率也显示，所提PCCDP在电机故障诊断任务中具有显著的提升和更高的结果稳定性。图13给出了未进行PCCDP转换的方法的混淆矩阵。当有标签样本非常有限时，所有故障状态都无法被很好地识别，即使是使用PCCDP方法仅用一个有标签样本就能几乎准确区分的定子绕组故障样本。随着使用的有标签样本增多，正常状态和定子绕组故障的诊断准确率有所提高，但其他状态的性能仍然不理想，尤其是断条故障。因此，所提的PCCDP表示法能够有效地辅助模型区分那些从原始三相电流信号中难以识别的故障。我们试图研究深度模型如何从PCCDP图像中捕捉判别部分并识别不同的故障状态。这里，引入了一种先进的可视化方法Grad-CAM，它通过网络梯度计算不同空间区域的重要性，用于分析不同故障条件下PCCDP图像的空间重要性。图14展示了使用Grad-CAM对每个健康状态的示例进行重要性可视化的结果。可以清楚地看到，不同健康状态下的图像具有非常不同的重要性分布。对于正常状态的图像，高重要性集中在上部瓣的外端和左下部瓣，而网络关注断条故障图像中下部和右下部瓣的内部部分。这表明网络捕捉到了这些区域的一些差异，如尖端的形状和瓣内部的宽度，以区分这两种状态。对于定子绕组故障状态，高重要性分布在从中心到外端的下半平面，这与我们在4.2节中观察到的瓣长度差异相符。对于转子不对中故障状态，模型更关注多个瓣的内部部分，这也与观察到的瓣曲率差异和一些从中心开始的瓣长度差异相符。可视化结果验证了网络能够捕捉到明显的判别特征以及其他用肉眼难以观察到的特征，从而完成故障状态识别。电机的故障诊断结果可以为主动维护决策提供指导，以确保系统可靠性。首先，准确且早期的诊断结果可以帮助维护人员有效且及时地发现和定位故障部件。因此，在有标签样本仍然有限的情况下给出尽可能准确的诊断结果对于维护决策至关重要。从图9中可以明显看出，使用所提框架，每个类别仅用1个有标签样本就能实现超过76%的准确率，而UDA和MixMatch方法的结果甚至低于50%。这意味着在仅收集1个有标签样本时，借助所提框架可以做出准确率高得多的决策。其次，结果的稳定性对于方法的可靠性至关重要。如图12(b)所示，与未进行PCCDP转换的方法相比，所提方法的准确率方差较低，结果稳定性明显更高。这意味着所提方法单次试验的诊断结果在决策中更可靠、更值得信赖。此外，所提的PCCDP图像可以帮助决策者从图像的几何形状判断诊断结果的可靠性。这些直观的图像和模型的智能诊断结果相结合，有助于做出更可靠、更有效的维护决策，以确保系统的可靠性。6 结论本文提出了一种DT增强的半监督框架，用于有标签样本较少情况下的电机故障诊断。首先，基于多物理场仿真建立了精确的感应电机DT模型。通过基于DDA的知识迁移，利用DT模型的电机状态数据扩充了来自物理实体的标签稀缺数据集。其次，为了更有效地处理电机电流信号，提出了一种新颖的PCCDP方法，将三相电流信号转换为有序排列的灰度图像，以便在紧密区域对比三相特征。此外，提出了空间间样本生成方法来引导连续特征流形学习，并引入了空间内样本生成和基于聚类的度量学习，以提高诊断性能。本文开展了感应电机故障实验，并构建了相应的DT模型进行实验验证。结果表明，所提方法能够在有标签样本不超过10%的标签稀缺情况下有效识别电机的健康状况。对比研究表明，所提方法在不同任务中优于一些近期提出的半监督学习方法，验证了所提DT增强方法的优越性。消融研究验证了所提样本生成和基于聚类的度量学习的有效性，特别是在标签极度稀缺的条件下，并且PCCDP转换能够使电机故障诊断更加有效和高效。在未来的工作中，可以对更多电机故障模式进行实验和DT仿真，以进一步验证所提框架，并缩小与实际应用之间的差距。编辑：曹希铭校核：李正平、陈凯歌、赵栓栓、赵学功、白亮、任超、Tina、陈宇航、海洋、陈莹洁、王金、赵诚、肖鑫鑫该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除来源：故障诊断与python学习