TIM论文学习 | UDDGN：一种用于通用域泛化诊断的领域无关紧凑边界学习方法

欢迎关注我们的专题文章——“3min创新点Get!”。本专题我们将按照“问题来源——解决途径——创新点”的结构帮助读者了解文章结构并快速捕捉创新点。(投稿方式点击这)本期关键词：注意力机制，可解释性，二阶卷积神经网络如因网络及权限问题无法获取原文及代码，通过点击本文左下角的阅读原文进行在线阅读及下载论文基本信息论文题目：Attention-Embedded Quadratic Network (Qttention) for Effective and Interpretable Bearing Fault Diagnosis论文期刊：IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT论文日期：2023年论文链接: 10.1109/TIM.2023.3259031开源代码：https://github.com/asdvfghg/QCNN_for_bearing_diagnosis作者：Jing-Xiao Liao, Hang-Cheng Dong, Zhi-Qi Sun, Jinwei Sun, Shiping Zhang and Feng-Lei Fan机构：(a) School of Instrumentation Science and Engineering, HarbinInstitute of Technology, Harbin 150001, China(b) Weill Cornell Medicine, Cornell University, Ithaca, NY 14850 USA作者简介：廖敬骁， 现为哈尔滨工业大学和香港理工大学双学位博士生。曾获香港理工大学研究生奖学金，哈尔滨工业大学特殊奖学金等荣誉。研究方向为机械故障诊断，非平稳信号处理，非线性神经网络等，在IEEE TII，MSSP，IEEE TIM，IEEE TAI，IEEE JBHI等期刊等国际著名学术期刊发表研究论文10余篇(ESI高被引论文1篇)，公开授权国家发明专利1项。摘要 轴承故障诊断对于降低旋转机械的损坏风险从而提高经济效益具有重要意义。近年来，以深度学习为代表的机器学习在轴承故障诊断方面取得了很大进展。然而，将深度学习应用于此类任务仍面临着有效性和可解释性等重大挑战：1）当轴承信号受到噪声的严重破坏时，深度学习模型的性能会大幅下降; 2）深度学习是黑箱模型，即很难知道一个模型是如何对正常信号和故障信号进行分类。为了解决这些问题，首先，我们使用二阶神经元来建立卷积网络的原型。由于二阶神经元具有较强的特征表示能力，该网络能够有效地滤除含噪轴承数据。此外，我们通过将学习到的二阶函数分解成与注意力类似的形式，独立推导出了二阶神经元的注意机制，称为qttention，从而使得由二阶神经元构成的模型具有内在的可解释性。实验结果表明，本文提出的神经网络能够有效地进行轴承故障诊断。关键词：轴承故障诊断，深度学习，二阶卷积神经网络（Quadratic Convolutional Neural Network, QCNN），二阶神经元诱导注意力模块（Attention-Embedded Quadratic Network, qttention）1 问题来源 基于信号处理的方法通常利用傅里叶变换、短时傅里叶变换、希尔伯特-黄变换等将信号序列变换到频域或时频域。然后，进行频谱分析以捕获故障轴承的功能。尽管这些方法在理论上是合理的，但它们存在以下缺点：1）由于轴承总是安装在复杂的机械系统中，因此测量信号中充满了来自其他机械部件的干扰和来自测量设备的背景噪声。这要求从业者仔细地设计复杂的去噪模型以从复杂的噪声环境中提取各种故障特征；2）因为不同的轴承结构和直径导致故障的不同特征频率，所以在执行基于信号处理的方法时需要手动确定的参数以最大化它们的诊断性能，由于工业领域的复杂性，其既不智能也不可扩展。2 解决途径 2.1 研究现状为了克服上述弱点，在过去的几年里已经开发了各种深度学习模型。Wen等人将一维时域信号折叠成二维图像，然后使用LeNet-5作为骨干对这些图像进行分类。同时，很多研究直接使用1D-CNN模型对1D时域信号进行研究。例如，WDCNN(Deep Convolutional Neural Networks with Wide first-layer kernels)在第一层中采用宽卷积核作为一维信号的信号提取器，并在几个轴承故障上取得了令人满意的结果。此外，注意力机制有助于网络关注故障特征并进一步增强特征提取能力，因此广泛研究在轴承故障诊断中引入了注意力模块。这样不仅提高了网络的分类精度，而且使网络具有可解释性。2.2 当前研究局限性尽管深度学习模型在轴承故障检测方面取得了很大的进步，但仍然存在需要解决的挑战：1）有效性：目前，深度学习模型可以表现出色，即，当信号干净或经过调试后，准确率超过90%。然而，当信号被噪声严重破坏时，深度学习该模型的性能会大幅下降。如果想要在工业领域中实现深度学习模型，则应该解决该问题; 2）可解释性：深度学习等一系列非线性或递归操作，是黑盒模型。由于模型缺乏可解释性，因此很难知道模型提取故障信号的物理原理。3 创新点 3.1 二阶卷积神经网络图1 所提出的QCNN框架受生物神经系统中神经元多样性的启发，提出了一种称为二阶神经元的新型神经元，以促进深度学习中的神经元多样性。二阶神经元是对输入信号计算两个线性卷积的乘积再加上输入信号平方的卷积。根据神经元的多样性，我们将所提出网络分为两个部分：神经元设计和结构设计。图1展示了提出的二阶卷积神经网络（Quadratic Convolutional Neural Network, QCNN）。在神经元设计中，我们采用二阶神经元，希望借由其强大的特征表示能力用于轴承诊断。具体地说，QCNN在卷积层中用二阶卷积运算代替传统的卷积。在结构设计上，QCNN继承了WDCNN的结构作为所提出模型的结构。因为，WDCNN是一个成熟的模型，其设计已被许多后续研究所考虑。这种结构堆叠了六个CNN块和一个全连接层。二阶神经元在表示能力方面在本质上有所提高，这种提高并非来源于所增加的参数量而是由于所涉及的非线性计算。首先，传统神经元的非线性映射仅由激活函数提供，而二阶神经元从二阶聚集函数获得额外的非线性映射。因此，单个二阶神经元可以实现传统神经元无法实现的异或逻辑。其次，二阶神经元不等同于三个传统神经元的组合或总和。假设激活函数是ReLU，常规神经元的组合只能是分段线性函数，但二阶神经元是分段多项式函数。多项式函数比线性函数更适合于逼近复杂函数。3.2 二阶神经元诱导注意力模块图2 在卷积运算的框架中为整个信号建立qttention映射的工作流程注意力模块最初是为自然语言处理等序列任务而衍生的。如缩放点积注意力机制等在Transformer模型中被广泛采用。同时，通道和空间注意力模块被用来增强CNN。然而，注意力机制的关键在于引入了一个关于输入重要性的映射，即(𝑾𝒙) · 𝒙，从而促使网络有区别地利用输入信息。 基于上述观察，我们发现二阶神经元也包含一个注意机制，称为qttention，通过分解学习的二阶函数模拟注意力。在卷积层中，qttention与卷积运算紧密耦合。图2展示了为整个信号建立qttention图的工作流程。每个卷积核被认为是单个神经元，卷积运算是以恒定步长在输入上移动核。在每个感受野，卷积核的计算并生成一个qttention图。通过连接局部感受野处的所有qttention图来导出整个信号的最终qttention图。当步幅小于感受野的长度时，两个相邻的感受野重叠。然后，我们对重叠位置的注意力得分求平均值。与传统的全局注意力模块相比，该注意力模块是局部的。qttention的局部性更适用于轴承故障诊断。通常，在将信号划分为若干个小块之后应用注意力模块。然后，将注意力得分分配给每个小块，并且注意力图针对整个信号。相反，注意力与卷积有关，卷积出现在每个局部感受野。由于故障信号在时域中会表现为周期性的瞬态脉冲，因此qttention的局部性更适合于提取故障特征。编辑：曹希铭校核：李正平、陈凯歌、赵栓栓、赵学功、白亮、任超、Tina、陈宇航、海洋、陈莹洁、王金、赵诚、肖鑫鑫该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除点击左下角阅读原文，即可在线阅读论文。来源：故障诊断与python学习