首页/文章/ 详情

中科院一区Top论文学习|基于MC-CNN-TimesNet模型的锂离子电池SOH评估与RUL预测

4月前浏览964

本期给大家推荐一区TOP期刊RESS的论文由于人们对电池系统安全性的关注日益增加,在实践中对锂电池的健康状态和剩余使用寿命进行精确快速的工作是必要的。文章提出了一种MC-CNN-TimesNet模型来预测锂电池的SOH和RUL。该模型通过捕获不同时间尺度内部和之间的依赖关系,来捕捉锂电池老化的深层状态特征。此外,在模型参数优化中使用了树形Parzen估计算法。在本研究中,还通过皮尔逊相关系数对输入的电压、电流、温度、时间和容量数据进行了相关性分析,以选择与SOH和RUL相关性较高的特征。基于主成分分析,对PCC的结果进行重构,以去除冗余的特征信息。然后,使用最小-最大特征缩放算法对所有特征进行归一化,以加速训练过程

论文链接:通过点击最左下角的阅读原文进行在线阅读及下载

论文基本信息

论文题目:SOH evaluation and RUL estimation of lithium-ion batteries based on MC-CNN-TimesNet modelg
 

论文期刊:Reliability Engineering and System Safety

DOIhttps://doi.org/10.1016/j.ress.2025.111125

作者:Yanming Li a , Xiaojuan Qin a, Min Chai a, Haoran Wu a, Fujing Zhang a, Fenghe Jiang a, Changbao Wen b
论文时间: 2024年
机构: 

a College of Electronic and Control Engineering, Chang’an University, Middle-section of Nan’er Huan Road, Xi’an, Shaanxi Province, 710054, China

b Institute of Micro-nanoelectronics, School of Energy and Electrical Engineering, Chang’an University, Middle-section of Nan’er Huan Road, Xi’an, Shaanxi Province, 710054, China

作者简介:李演明,男,博士,长安大学电子与控制工程学院副教授、硕/博士生导师、创新创业导师,陕西省电子学会理事。 [1]2005年和2009年分获西安电子科技大学电子科学与技术专业硕士、博士学位,2010年起任教于长安大学。主要从事高性能混合信号集成电路、新能源汽车电子与控制系统、物联网智能电子与传感系统、新型传感器技术及其应用、人工智能软硬件技术及其应用等领域研究,主持陕西省自然科学基金项目2项、西安市科技计划项目2项,参与国家自然科学基金项目3项,主持设计30余款集成电路芯片实现商业化量产。在IEEE Transactions on Power Electronics等国际期刊发表论文60余篇,申请专利超百项。指导学生获全国大学生电子竞赛国家二等奖、集成电路设计应用创新大赛国家二等奖,培育国家级创新创业项目。担任IEEE Transactions on Power Electronics等期刊审稿人,《半导体技术》编委,获评科技工作先进个人、优秀毕业论文指导教师等称号。(摘自百度百科
通讯作者邮箱:ymli@chd.edu.cn

摘要

由于人们对电池系统安全性的关注日益增加,在实践中对锂电池(Lithium Batteries, LIBs)的健康状态(State of Health, SOH)和剩余使用寿命(Remaining Useful Life, RUL)进行精确快速的工作是必要的。本文提出了一种MC-CNN-TimesNet模型来预测锂电池的SOH和RUL。该模型通过捕获不同时间尺度内部和之间的依赖关系,来捕捉锂电池老化的深层状态特征。此外,在模型参数优化中使用了树形Parzen估计(Tree-structured Parzen Estimation, TPE)算法。在本研究中,还通过皮尔逊相关系数(Pearson Correlation Coefficient, PCC)对输入的电压、电流、温度、时间和容量数据进行了相关性分析,以选择与SOH和RUL相关性较高的特征。基于主成分分析(Principal Correlation Analysis, PCA),对PCC的结果进行重构,以去除冗余的特征信息。然后,使用最小-最大特征缩放算法对所有特征进行归一化,以加速训练过程。最后,在NASA数据集、CALCE数据集和MIT数据集上对不同模型进行了对比验证。结果表明,SOH和RUL的平均均方根误差(Root mean Square Error, RMSE)可控制在1.5%以内。

关键词锂离子电池;状态健康;使用寿命预测; CNN-TimesNet    

目录

1 引言

2 方法

2.1 卷积神经网络

2.2 TimesNet

2.3 提出的方法

3 实验

3.1 数据处理

3.2 实验设置与评估指标

3.3 超参数优化

4 结果与分析

4.1 NASA数据集上的实验

4.2 CALCE 数据集上的实验

4.3 基于MIT数据集的实验

4.4 单通道与双通道对比实验

结论

1  引言

1.1. 文献综述

锂离子电池在不同领域(如军事和新能源汽车(Energy Vehicles, EV))的二氧化碳减排中发挥着关键作用[1]。这是因为锂电池具有重量轻、能量密度高和充放电速率快的特点[2]。然而,由于电池内部复杂的老化机制,锂离子电池在运行过程中可能会发生故障,导致停电、火灾或爆炸[3]。锂电池的预测与健康管理(Prediction and Health Management, PHM)技术已成为评估电池设备安全性和可靠性的热门研究领域[4]。目前,锂电池SOH评估和RUL预测的研究方法主要可分为三类:实验方法、基于模型的方法和数据驱动的方法。

实验方法涉及使用专用测试设备对电池组进行充放电,同时通过既定程序收集SOH和RUL数据。例如,Xia等人通过电池充放电循环实验,获取了随着电池健康恶化而变化的电压、电流和温度的增加值[5],将这些数据指标定义为电池SOH的指示器,并通过神经网络建模提取了所定义的SOH指标与锂电池SOH值之间的非线性和复杂相关性。同样,Ji等人通过在真实条件下对三元锂离子电池进行充放电,研究了环境温度、放电速率和放电深度对电池内阻的影响[6]。随后构建了一个SOH预测模型,用于评估电动汽车电池的剩余容量。尽管这些方法可以精确测量锂电池特定的SOH数据,但它们通常在操作复杂性和在线测量的可行性方面存在挑战。

基于模型的方法旨在开发数学或物理模型来描述动力电池的退化趋势[7]。这些方法分为三类:电化学模型(Electrochemical ModelsEM)[8]、等效电路模型(Equivalent Circuit ModelsECM)[9]和经验模型[10]。近年来,针对这三种类型的模型,许多研究者通过结合观测器方法(如伦伯格观测器)[11]、滤波算法(如卡尔曼滤波算法和粒子滤波算法)[12,13]和神经网络算法[14],能够准确获得电池的RUL和SOH。然而,这些方法要求研究人员深入了解电池内部的复杂反应并确定内部参数。此外,电池固有的电化学特性复杂,且易受湿度和温度等外部因素影响,这对其在复杂实际工况下的推广和应用提出了挑战[15]。

相比之下,数据驱动方法不需要锂电池的专业知识。它们通过研究模型输入和输出之间的关系来预测锂电池未来的容量数据。然后,可以利用预测的容量数据来评估电池的SOH并预测RUL[16]。现有的数据驱动方法可分为两类。第一种是统计技术,通常用于推断变量与其先验之间的关系。第二类是神经网络算法,如卷积神经网络(CNN)[17]、GBLS网络[18]、图神经网络[19]和GRU网络[20],在此背景下常用。此外,基于神经网络的混合模型通过有效地以和谐的方式整合不同架构的优势,也提高了SOH和RUL估计的准确性。例如,Ansari等人使用混合引力搜索算法和粒子群优化模型优化了级联前向神经网络模型的参数,以解决单一网络收敛慢的问题[21]。Chae等人提出了一种结合去噪CNN和CNN的模型,以解决单一模型中环境噪声的影响[22]。Carlos等人提出了一种基于改进灰狼优化算法和深度极限学习机模型的数据驱动SOH和RUL联合预测方法[23]。

1.2. 挑战分析与贡献

一个能够完美解决锂电池SOH评估和RUL预测问题的、基于数据驱动方法的混合优化框架,应该包括特征选择模块、SOH评估和RUL预测的核心算法模块以及预测误差分析模块。然而,现有的大部分研究工作并未完全整合这些模块,且每个模块中使用的算法模型仍存在一定局限性。

(a) 许多传统框架设计从全局角度看并不完整。

文献[24]使用WOA优化VMD参数,使得WOA-VMD能在指定周期内充分分解锂电池的容量信号,然后使用LSTM对分解后的容量信号进行预测,实现了锂电池的RUL预测。文献[25]使用自回归和粒子滤波方法预测锂电池的寿命。文献[24]和[25]都使用不同的模型实现了锂电池的RUL预测。然而,由于缺乏选择数据特征(如电压、电流和温度)的模块,电池的健康状态(State of Health, SOH)未被评估。为了解决SOH评估问题,Hong等人提出的框架提取了锂电池的高频特征,如恒流充电时间、最高温度时间、同步电压差和同步电流差,并使用斯皮尔曼相关系数验证它们与SOH的相关性[26]。然而,该框架未考虑锂电池的RUL预测问题。在文献[27]中,使用混合神经网络联合预测锂电池的SOH和RUL。该模型集成了多个神经网络,提高了预测精度,但也增加了模型的复杂性和过拟合的风险。

(b) 整体框架中的特征提取和选择模块效率低下。

Ungurean等人使用LSTM和GRU从电池放电容量数据中提取特征用于SOH评估,但容量数据在线应用时难以直接测量[28]。Yang等人从充电/放电时间、增量容量曲线峰值(ICC)、内阻和能量等方面提取特征,以评估锂离子电池的SOH[29]。虽然这些数据可以方便地在线收集,解决了文献12中的局限性,但他们未考虑噪声数据对评估和预测的影响。Hu等人引入VMD来处理数据中的不相关特征[30],但VMD方法在处理长时间序列信号时耗时,需要更多的计算资源和时间。Vignesh等人通过重构电动汽车应用中日产Leaf 电池2011型号的电压和容量曲线来测试健康指标,以更深入地了解SOH和RUL[31],有助于克服充放电电压限制的影响。然而,在实际应用中,这种方法不仅耗时,而且昂贵。目前,研究人员正在不断研究新的预测模型[32,33],但这些参考文献没有解决框架缺失的挑战。

(c) 选择能够准确且一致地评估SOH和预测RUL的深度学习算法是一个重大挑战。

SOH评估包含从锂离子电池健康特征到容量标签的复杂映射,这需要一个具有强大特征提取和映射能力的模型。此外,RUL预测是一个非线性的长时序列预测问题,它包括使用先前时间间隔的数据来预测下一个容量值,以便模型在时间序列学习中表现良好。一个理想的多任务学习方法必须在SOH评估和RUL预测两方面都表现出色。大多数现有解决方案是在CNN之后连接LSTM层或GRU[34]层。我们需要挖掘新的算法来扩展这一研究领域。最近,Wang等人利用2017年提出的Transformer模型来获取RUL[35]。Zhou等人提出了一种基于优化CatBoost算法的多尺度健康特征RUL预测和SOH评估方法[36]。Wang等人提出了一种新的多元胞LSTM网络模型,通过分层划分细胞来确定输入数据的重要性[37]。Yao等人提出了一种基于图神经网络(GNN)的新框架CLGraphSAGE来预测电池SOH[19]。然而,研究表明,这些算法缺乏强大的特征提取和映射能力,不足以完全满足SOH和RUL估计的性能要求。

为了解决上述挑战,本研究构建了一个用于多通道特征提取的多通道CNN模型(MC-CNN),然后将其与TimesNet网络集成,形成MC-CNN-TimesNet模型,用于评估锂离子电池的SOH和预测RUL,如图1所示。在本研究中,使用PCC和PCA方法来消除原始数据中的冗余信息和噪声。此外,应用树结构帕尔岑估计器(TPE)方法进行超参数优化,以最大化模型的性能。主要贡献总结如下:

(1) 本研究提出了一个集成且创新的SOH评估和RUL预测核心模型:MC-CNN-TimesNet。TimesNet将一维时间序列转换为二维张量集 合,利用多个周期捕获周期内和周期间的关系和依赖。为了更准确地处理SOH评估和RUL预测任务,该模型还引入了CNN,通过对输入特征进行卷积运算来捕获更深层的空间特征。此外,增加了树结构帕尔岑估计(TPE)模块以提高模型的泛化能力,使其性能更优。

(2) 选择充电过程中的电压、电流、温度和时间以及放电过程中的容量数据作为模型的输入,构成多通道输入。该方法结合了间接预测和直接预测,考虑了影响电池老化的多种因素,避免了放电过程中电流随时间快速变化导致的电压测量误差和使用随机性。

(3) 在特征预处理模块中使用PCC评估输入变量之间的相关性,并选择相关性较高的特征。此外,我们还使用PCA去除不相关和干扰特征。重构特征矩阵以减少冗余信息,降低数据维度,减轻模型的计算负担。然后,为了加快训练过程并最小化成本函数,所有特征都经过最小-最大归一化处理。

(4) 在NASA数据集、CALCE数据集和MIT数据集上进行了不同模型的对比验证。多个数据集和多个模型的比较充分证明了本文提出的模型的优势。

 

图1 RUL预测与SOH诊断框架

 

2. 方法

2.1. 卷积神经网络

CNN是一种特殊的多层感知器(Multilayer Perceptron, MLP)。它分为三个基本层:输入层、一系列隐藏层和输出层。输入层始终用于将原始数据传递到第一个隐藏层。输出层负责为后续程序生成给定输出。隐藏层包括全卷积层、最大池化层和全连接层[38],具体网络配置如图2所示。卷积层是CNN的主要模块,它从高层输入中获取局部属性,并将所有信息传递到后续层以获取更复杂的特征。卷积层对输入数据应用卷积操作生成特征,并将获得的特征数据传递到下一层[39]。如果设锂电池历史容量数据      ,其中       代表变量数量,归一化后的数据为       ,则第一个卷积层的输出为:

   

其中,      代表卷积核的权重,      代表滤波器数量,      代表相应的误差项,      代 表ReLU,ReLU是激活函数,其作用是将权重和偏置参数添加到前一个卷积步骤的局部区域以生成特征映射。那么第       层的卷积输出为:

   

电池历史容量数据经过卷积处理后,对卷积输出数据进行最大池化处理,突出局部特征并减少总体计算量。最大池化操作为:

   

在等式(3)中,      表示从卷积层获得的特征向量,      表示池化层执行池化处理的输出,      表示取最大值的采样操作函数。

 
   

图2 CNN结构图

   
 

2.2. TimesNet

TimesNet是一种深度学习模型,它将时间序列中的单个时间点视为相对独立的,将时间序列折叠成二维形式[40],从而允许显式地展示周期内和周期间的差异。TimesNet网络主要由TimesBlock模块组成,这些模块以残差方式堆叠连接。图3展示了TimesNet的整体架构,其中第一层TimesBlock专门处理一维时间序列。此处理过程可用以下公式表示:

   
 
 
   
       

图3 TimesNet网络体系结构

     
 

最初,TimesBlock将一维时间序列转换为二维张量表示。给定一个长度为       、具有       个通道的时间序列,TimesNet主要利用快速傅里叶变换 (FFT)技术在频谱中研究该序列的时间重复模式。此转换的数学公式详述如下:

   
   
   

其中      表示对时间序列数据应用快速傅里叶变换。      表示 FFT 结果的幅度。随后,      )取C维的平均值以获得每个周期的强度       。符号       表示基于强度最突出的       个分量,而       表示对应于这       个选定分量的周期长度。

在从时间序列的 FFT 分析中获取        个有效周期持续时间后,原始的一维时间序列       会经历一个折叠过程,可以使用下面给出的公式进行数学表述:

   

为了确保兼容性,       函数在时间序列       的尾部追加零。随后,一旦生成 2D 张量,TimesBlock 就会采用 Inception Block [41] 方法来发现张量内的特征表示。此过程不仅提取单个时间序列周期固有的时间模式,而且捕获这些周期之间的相互作用。概述此过程的数学公式由以下等式给出:

   
   

从 Inception 获得的二维表示经历重塑过程,将其转换回一维时间序列。然后利用 Trunc 函数将此重构序列缩放到其原始长度       。随后,应用 softmax 操作,以平均幅度为基础,确定每个项的相应权重。最后,将这些        项相应地加权并求和。

   

由于其能够捕获多尺度时间数据中的二维细微差别,与在一维时间序列上直接训练相比,TimesBlock 提供了更有效的信息提取。

2.3. 提出的方法

本文建立了四个并行的 CNN 网络,从充放电曲线中提取特征,形成多通道特征提取过程。这种模型结构通过多个卷积头独立提取特征,不仅增加了特征的多样性,还减少了特征冗余,加速了训练过程,并提高了模型的泛化能力。具体来说,四种类型的数据序列——充电电流、电压、温度以及放电容量——各自通过独立的一维卷积层和池化层进行处理。多个卷积头减少了模型对单一特征的依赖,允许根据每个输入和输出的相关性灵活调整卷积头的结构。每个一维卷积层专注于捕获相应时间序列中的局部空间特征,而后续的池化层有助于降低特征维度并增强模型的鲁棒性。充电电流、电压、温度和放电容量可分别表示为                    和       ,其中       下标 1、2、3 和 4 代表通道编号。具体过程如下:

   

经过这些操作后,每个分支生成的特征表示在合并层中集成在一起,形成一个全面且丰富的特征向量。然后将 MC-CNN 的结果传递到 TimesNet 层进行进一步处理,形成 MC-CNN-TimesNet 融合模型。具体过程如下:

   

在 TimesNet 网络层中,一维时间序列特征通过时间块划分方法分解为多个时间段,每个时间段代表不同时间尺度上的局部特征。随后,这些时间段通过时间嵌入操作映射到二维空间,形成二维张量。这种变换不仅捕获了同一时间尺度内的依赖关系,而且揭示了不同时间尺度之间的潜在关系,从而显著增强了模型表示时间动态特征的能力。MC-CNN-TimesNet 模型的具体结构如图 4 所示。

 
   

图4 MC-CNN-TimesNet结构图

 

为了更好比较,本文还提出了一个单通道 CNN-TimesNet 模型(SC-CNN-TimesNet),如图 5 所示。主要区别在于只使用一个 CNN 来提取容量退化特征。在单通道模型中,我们只遵循传统的直接预测方法,输入放电过程中的容量数据。

     
         

图5 SC-CNN-TimesNet结构图

   

3. 实验

关于锂电池 SOH 评估和 RUL 预测的研究通常依赖于通过大量充放电循环获得的大型数据集。NASA 数据集 [42]、CALCE 数据集 [23] 和 MIT 数据集 [43] 作为进行电池 SOH 评估和 RUL 预测研究的基础。

锂离子电池的操作主要分为两个阶段:充电和放电。在充电阶段,电池通常遵循恒流和恒压模式,使得健康特征数据更稳定且易于提取。与受控的充电过程相比,电池在放电阶段的性能常常受到环境条件、使用行为等因素的影响,导致数据出现波动和不规则性。例如,驾驶员的加速、减速和制动行为,以及车辆的负载重量,都会影响放电电流和电压,使得放电数据的提取更为复杂和不稳定。相比之下,充电阶段的电压和电流变化更为标准化,更易于测量和分析。

此外,传统的 SOH 评估和 RUL 预测通常仅依赖于直接健康因子(如容量数据)。然而,当训练数据有限时,预测精度可能不理想。因此,为了更全面地捕获电池在老化过程中的变化,我们引入了间接健康因子,如电压、电流和温度。通过将这些特征与放电容量数据相结合,并同时使用间接和直接预测方法,可以提高 SOH 和 RUL 预测的准确性。

为了更清楚地了解电池的运行情况,本文分析了特定循环中的完整电流-电压(CV)曲线和相应的容量变化,如图 6 所示。一个典型的 CV 循环包括三个主要阶段:恒流充电(CCC)、恒压充电(CVC)和恒流放电(CCD)。

   
       
         

图6 特定循环中的充放电过程(a)电压-电流曲线(b)容量变化曲线

     
 

3.1. 数据处理

锂电池 SOH 评估和 RUL 预测模型的好坏取决于从初始数据集中提取的特征。然而,一些特征与预测结果的相关性非常低,如果直接用从原始数据集中提取的特征进行预测训练,必然会增加模型的训练时间,并且一些噪声干扰特征也会阻碍模型的训练。因此,在本节中,我们阐述了为模型准备输入数据的方法和步骤。

3.1.1. 特征选择

PCC [44] 是输入变量的协方差与其各自标准差乘积的比较。根据比较结果,它随后提供了变量之间关系强度和方向的洞察。PCC 可以使用以下公式计算:

   

在样本数据集中,       代表        变量的离散测量值,而        表示所有       值的算术平均值。类似地,      表示样本中      变量的具体值,而         是这些        值的平均值。

PCC 的范围通常从 −1 到 1,其中绝对值正好等于1表示变量        和        之间存在完美的线性相关。值为零表示变量之间没有线性依赖关系。通过 PCC 分析为锂离子电池 SOH 评估和 RUL 预测模型选择输入。对于每个放电循环,提取了五个关键参数:容量(Ah)、电压(V)、电流(A)、温度 (      ) 和采样时间(S),如图 7 所示。

 

图7  PCC分析结果

使用五种不同程度相关的分布尺度对这些特征之间的线性相关性进行了定量评估,这些相关性被分类为非常强(1-0.9)、强(0.89-0.7)、中等(0.69-0.4)、弱(0.39-0.1)和可忽略(0.1-0)。所表示的值为绝对值,表明无论符号如何,分类保持一致。这五个特征的组织产生了 25 个相关系数,如图 7 所示。

以我们预测的目标电池容量为例,相关性分析结果表明,它与温度(0.681)和电压(0.413)呈中等相关,与电流(0.382)呈弱相关,与采样时间(0.035)呈可忽略相关。因此,该模型利用电压、电流、温度和容量作为核心输入特征来预测锂电池的 SOH 和 RUL。

3.1.2. 特征降维

主成分分析(Principal Component Analysis, PCA)[45] 通过消除无关信息同时保留大部分关键细节来降低数据集的维度。数据处理中的 PCA 有助于防止离线训练期间的模型过拟合,并减轻神经网络的计算负担。

给定        维的原始数据矩阵       ,我们引入一个新维度       ,其中        小于或等于       ,用于分析。

最初,       经历自动缩放,通过每列除以其标准差使每列的均值为零且方差为单位。这一步是必要的,因为变量是使用不同的单位和方法测量的。自动缩放确保所有变量在平等的基础上进行分析。       的协方差矩阵由等式 (15) 给出:

   
   

接下来,矩阵      通常被分解以使用两种标准算法获得特征向量:非线性迭代偏最小二乘法(NIPALS)和奇异值分解(SVD)。得到特征向量        以及相关的特征值       ,排序使得       

任何向量        的新低维表示形式获得如下:

   

原始的      可以近似重构为:

   

因此,主成分分析方法将原始数据集从      维压缩到      个主成分。 给定一个具有参数        的模型,预测器的任务是基于历史序列        预测下一个值        ,通过最大化似然函数。

   

此外,在本研究中,估计结果被配置为使得        也必须满足以下标准:

   

为初始 PCC 选择了四个特征输入模型(容量、温度、电流和电压)。应用主成分分析后,特征数量减少到三个。然而,这三个特征不仅仅是原始四个特征的子集;它们是使用 PCA 和 MLE 方法转换得到的新派生特征。图 8 显示了 PCA 前后的位置变化。具体来说,对于每个元素,从总共 432000 个点中选择了 370 个点。经过 PCC 和 PCA 后,总数据点从 3,050,700 减少到 1,659,300。

 

图8  PCA变换前后的特征图示(a)变换前(b)变换后

 

3.1.3. 特征归一化

在特征选择和降维之后,我们将数据集中的所有特征归一化到 [0, 1] 区间 [46]。这个过程有助于模型的优化机制快速达到最小成本函数,从而提高训练性能。我们使用最小-最大缩放方法进行此归一化,详情如下:

   

其中      是原始数据,      代表归一化后的数据,            分别是原始数据的最小值和最大值。

3.2. 实验配置与评估指标

为了验证所提出方法的有效性,我们进行了一系列详细实验,如下所述。以下测试中使用的硬件是 12th Gen Intel(R) Core(TM) i5-12500H 2.50 GHz,16G RAM 和 NVIDIA GeForce RTX 3050 显卡。该模型使用 Python 3.10 开发,并借助 PyTorch 深度学习框架实现。PyTorch 提供了一个灵活的 API,便于使用现成的工具包,如卷积层、池化层和全连接层。此外,基于时间序列特性,我们自己定义了一些与 TimesNet 网络相关的组件和主模型 Mode。在 TimesNet 网络层中,每个 2D 张量的长度是统一的,时间序列基于检测到的周期进行分割。序列根据周期长度被分成段。每个段对应一个 2D 张量,其中行数是周期长度,列数是周期数。如果输入序列长度 (self.seq_len) 不能被周期长度 (period) 整除,我们通过在序列末尾补零来调整序列长度,使其成为周期长度的倍数。

   
   
   
   
   
   

EOL 表示电池被认为不再可用的点。SOH 在等式 (22) 中定义,表示剩余容量占电池额定容量的百分比 [47]。      表示电池的实际SOH,      表示其当前容量,C_{initial}表示电池的初始容量。      指从实验数据获得的 RUL 值,而      表示数据驱动模型预测的 RUL 值。      是实验测量的循环次数。      表示预测的循环次数。      指预测误差或残差,而      表示 RUL 误差率。为了评估模型的有效性,我们使用均方根误差(RMSE)和决定系数 (      )值来验证预测的精度和整体模型的准确性。此外,我们采用引入误差 (      )、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)进行性能评估 [48]。这些误差指标的计算过程在数学上概述如下:

   
   
   
   

其中        表示数据驱动模型预测的 SOH 值。

3.3. 超参数优化

MC-CNN-TimeNet 模型包含众多超参数,确定最佳组合对于显著提高其性能至关重要。本研究利用了基于贝叶斯优化原理的 TPE [49] 算法来寻找模型的最佳超参数。在每次实验中,对于每个超参数,TPE 维护两个高斯混合模型:      用于与最佳目标值相关的超参数,以及      用于其余的。它选择最大化       的超参数用于下一次搜索迭代。这种方法允许 TPE 动态调整参数搜索空间,并以最少的迭代次数有效地定位全局最优解。特别是在高维问题中,TPE 算法在寻找最佳超参数方面优于其他超参数优化方法,如网格搜索和随机搜索。

基于锂电池健康评估领域的知识、先前经验和实验反馈,本研究定义了 MC-CNN-TimeNet 模型的超参数空间范围如下:学习率 (lr): 1e-6 到 1e-3;卷积层输出通道数 (out_channels): 20 到 50;卷积核数 (num_kernels): 0 到 10;块数 (e_layers): 1 到 6;输入步长 (seq): 0 到 20;批大小 (batch_size): 10 到 25;单次训练迭代次数 (epochs): 0 到 200;丢弃概率 (Dropout): 0.1 到 0.5。同时,MAE 作为 TPE 算法的目标函数。例如,对于 B0006,TPE 算法总共进行了 1500 次试验,每次 CNN-TimeNet 训练持续 150 次试验。在进行的 1500 次测试中,有 985 次被剪枝,得到的最佳超参数值为      =0.0015,out_channels =32,num_kernels =5,e_layers =2,seq =5,epochs =100,batch_size =15,dropout =0.1。其他电池的超参数结果详情参见表 1

表1 超参数优化结果

 

4 结果与分析

锂离子电池的 SOH 代表其容量退化,EOL 设定为其额定容量的 80%。RUL 表示从电池当前状态到 EOL 或指定 SOH 水平的剩余循环次数。图 9 展示了 SOH 和 RUL 之间的关系。图 10 显示了 SOH 评估和 RUL 预测在实验结果图中的呈现方式。

 

图9  SOH与RUL之间的关系示意图

 

图10  SOH与RUL之间的关系示意图

4.1. NASA 数据集上的实验

在本研究中,使用 LSTM、Transformer、TimesNet、GRU 和 MC-CNN-TimesNet 模型进行对比预测。LSTM 是处理序列数据和预测电池 SOH 和 RUL 的典型方法。LSTM 主要用于处理长时间跨度问题,其核心是引入记忆状态和各种门控机制来构建基于记忆的框架,以有效管理信息的写入、读取和遗忘。这种架构解决了梯度消失和爆炸的问题,使其在处理长序列数据方面表现出色。然而,LSTM 的结构相对复杂,计算开销大。与 LSTM 相比,GRU 将遗忘门和输出门合并为一个更新门,简化了整体结构,同时提高了性能。GRU 减少了参数数量,但仍然能够捕获时间序列数据中的长期依赖关系,因此在许多任务中表现与 LSTM 相当甚至更好,尤其是在计算效率方面。Transformer 模型是第一个完全依赖自注意力机制来计算输入和输出的模型。其过程包括词向量初始化、多层自注意力机制、用于特征提取的前馈神经网络,以及通过残差连接获得最终输出。由于 Transformer 模型不需要对数据进行顺序迭代,其计算速度快于 LSTM 和 GRU。此外,自注意力机制可以捕获序列中任意两个时间步之间的关系,从而更好地建模全局依赖关系。然而,在处理长序列时,Transformer 可能面临高计算复杂度的挑战。TimesNet 模型通过傅里叶变换提取周期信息,将一维时间序列转换为二维时间序列,并将多个周期并排放置以提取局部和全局特征。TimesNet 网络主要由 TimesBlock 模块通过残差连接堆叠而成,其结构比 Transformer 简单。相比于 Transformer,TimesNet 在短期和长期时间序列预测任务中都表现良好,能更好地捕获时间序列中的多尺度特征,同时避免了 Transformer 中高维注意力计算的开销。

对于本实验,从 NASA 数据集中选择前 60 个循环作为训练集,而相应的剩余数据作为测试集。图 11 显示了四种电池 B0005、B0006、B0007 和 B0018 的实际剩余容量曲线与实验预测容量曲线之间的比较。误差以绝对值形式绘制在曲线下方。黄色曲线表示 TimesNet 模型具有更强的跟踪能力和准确性。紫色曲线表示 MC-CNN-TimesNet 模型最接近实际曲线,并且在所有四种电池型号中保持最低的误差。我们还可以看到,MC-CNN-TimesNet 模型在转折点处也能很好地预测峰值,防止过拟合和欠拟合。对 RMSE、MAE、MSE 和 MAPE 这四个评估指标的分析如图 12 所示。基于所列指标,我们可以得出以下结论:(a) 在 RMSE 方面,所提出的 MC-CNN-TimesNet 方法的性能在1.389% 和 1.482% 之间波动。相比之下,提出的 MC-LSTM、MC-GRU、MC-Transformer 和 MC-TimesNet 方法的 RMSE 范围分别在3.22% 到3.458%、2.6% 到 2.99%、2.312% 到2.41% 和2.037% 到2.209% 之间。在 MAE 方面,所提出的方法范围在0.76% 和 0.901% 之间,而其他四种模型的范围分别在2.189% 到2.361%、1.765% 到 1.92%、1.358% 到 1.46% 和1.212% 到1.39% 之间。在 MAPE 方面,所提出方法的性能范围在0.831% 和 1.055% 之间,而其他四种方法的性能范围分别在 1.94% 到2.101%、1.69% 到1.897%、1.45% 到 1.688% 和1.7% 到2.005% 之间;在 MSE 方面,所提出方法的性能范围分别在1.297% 和1.47% 之间,而其他四种方法的性能范围分别在2.925% 到3.285%、2.3041% 到 2.619%、2.508% 到2.812% 和 1.571% 到1.762% 之间。(b) 基于上述指标分析和对比验证,可以总结出 MC-TimesNet 模型的预测性能优于 MC-LSTM、MC-GRU 和 MC-Transformer,而 MC-CNN-TimesNet 模型的预测精度高于 MC-TimesNet,这表明引入 CNN 网络显著提升了模型性能。此外,无论使用哪种算法,四种电池的预测指标值波动范围均保持在0.2% 左右,这进一步验证了多通道特征提取方法的有效性。预测结果凸显了所提出方法的优点,该方法结合了多通道并行结构的优势以及直接和间接预测的结合,能够更好地探索特征与容量退化之间的内在规律。

 

图11  NASA数据集实验结果(a)电池B0005(b)电池B0006(c)电池B0007(d)电池B00018

 

图12  NASA数据集测试结果的误差分析

4.2. CALCE 数据集上的实验

本研究采用 CALCE 数据集的前280个周期作为训练集,剩余数据作为测试集。与NASA和MIT数据集相比, CALCE 数据集的充放电电流值较小。图13展示了五种不同预测模型在 CALCE 数据集上的应用结果。预测结果与NASA数据集表现相似,其中MC-CNNTimesNet模型的预测准确率高于TimesNet模型,而TimesNet模型又优于其他三种模型。表2列出了 CALCE 数据集的实验性能指标。以CS2-36数据集为基准,MC-CNNTimesNet模型的 RMSE 较TimesNet、Transformer、 LSTM 和GRU模型分别降低51%、74.56%、83.50%和82.66%。 MAPE 指标则分别下降51.72%、77.47%、75.38%和74.67%。

 

图13 CALCE 数据集实验结果(a)电池CS2-35(b)电池CS2-36(c)电池CS2-37(d)电池CS2-38


表2 CALCE 数据集实验的性能指标

 

为更清晰地评估MC-CNN-TimesNet模型的性能表现,本实验以 CALCE 数据集中的CS2-35锂电池为例,展示了其对电池剩余使用寿命(RUL)的预测误差(如表3所示)。CS2-35电池的实际RUL终止周期为643小时,而采用TimesNet模型、Transformer模型、 LSTM 模型和GRU模型的MC-CNN-TimesNet模型预测 ERUL 分别为4、7、11、17和14小时。由此可见, MCCNN -TimesNet模型在RUL终止周期预测结果中误差最小,表明其预测精度较高。此外,通过观察预测曲线可以发现,MC- LSTM 、MC-GRU、MC-Transformer和MC-TimesNet模型在 CALCE 数据集上的预测误差均高于NASA数据集,这主要源于 CALCE 数据集的容量波动幅度更大,且 CALCE 数据集的循环次数多于NASA数据集,导致训练迭代次数更多。时间序列数据的预测基于前次结果的迭代计算,后期误差累积会显著影响预测效果。然而,本文提出的MC-CNN-TimesNet模型凭借卓越的建模能力成功规避了误差累积问题,有效避免了梯度消失、梯度爆炸和过拟合等现象,展现出更可靠的预测性能。

表3 不同模型对 CALCE 数据集CS2-35细胞中RUL终止点的预测误差

 

4.3. MIT数据集上的实验

与NASA和 CALCE 数据集相比,MIT数据集包含更多循环次数和更丰富的数据量。值得注意的是,MIT数据集是在30摄氏度环境下测试获得的。该实验采用不同训练方法处理MIT数据集:以电池A01的数据作为训练集,而电池A02和A03的数据则作为测试集。这种设计方式能更有效地验证模型的鲁棒性与泛化性能。 MIT 数据集的实验结果比较和误差如图 14 所示。显然,MC-CNN-TimesNet 的跟踪能力和准确性仍然最高,预测误差波动范围最小。这证明本研究所提出模型在高温下的预测拟合度也很好。此外,图 15 展示了所有五种模型的性能评估。与其他四种模型相比,MC-CNN-TimesNet 具有最佳的预测性能。实验结果表明,该模型在 SOH 评估和 RUL 预测方面均超越了对比模型。与其他模型相比,MC-CNN-TimesNet 利用 CNN 和 TimesNet 捕获输入数据的全局和局部特征。这种方法允许 MC-CNN-TimesNet 利用跨不同维度的关系,使其能够揭示更多有价值的潜在特征。与在 NASA 和 CALCE 数据集上的实验相比,MIT 数据集上的实验训练集数据量更大,数据更平滑,预测误差更小,这表明预测精度在最终性能上也与数据量和数据噪声有关。

 

图14 MIT数据集实验结果(a)电池A02(b)电池A03

 

图15 MIT数据集的实验评估指标(a)电池A02(b)电池A03

4.4. 单通道与双通道对比实验

本文提出的预测模型的一个创新点在于,它通过结合间接预测方法(充电时的电压、电流和温度作为输入)和直接预测方法(放电时的容量),充分利用了容量的特性,提高了 SOH 和 RUL 预测的准确性。通过并行地从多个可测量数据(电压、电流、温度和容量)中提取特征,称为多通道特征提取,理论上,所提出的模型比仅提取容量特征的传统单通道模型考虑了更多因素并揭示了更丰富的特征。因此,我们进行了实验,将本文提出的多通道 MC-CNN-TimesNet 模型与相应的单通道 SC-CNN-TimesNet 模型在 Battery B0005 和 CS2-37 数据集上进行预测,结果如图 16 表 4 所示。

 

图16. 单通道与双通道对比实验 (a) 电池B0005 (b) 电池CS2-37


表4 单通道与双通道实验性能规格

 

显然,MC-CNN-TimesNet 模型的预测误差小于 SC-CNN-TimesNet 模型。例如,在 MAE 方面,MC-CNN-TimesNet 模型在 B0005 电池上的 MAE 为0.76%,比 SC-CNN-TimesNet 提高了63%,

在 CS2-37 电池上,MC-CNN-TimesNet 模型的 MAE 为1%,比 SC-CNN-TimesNet 提高了58%。从预测曲线来看,SC-CNN-TimesNet 模型在某些情况下也表现出略好的性能,在这些情况下,电池表现出稳定的退化趋势,并在峰值和曲线转折点处显示出良好的预测。这表明 CNN-TimesNet 模型可以同时获得空间和时间特征,并且模型理解和预测时间序列数据的能力是有效的。然而,与实际容量曲线存在较大误差。与单通道预测方法相比,MC-CNN-TimesNet 模型通过融合间接预测和直接预测,其预测曲线更接近实际曲线,误差更小,这充分证明了这种混合预测策略的可行性。

5 结论

为了实现锂离子电池的 SOH 评估和 RUL 预测,本文提出了一种新方法:MC-CNN-TimesNet。该模型全面探索了电池退化的不同维度特征,包括数据集、电池类型和训练集。CNN 组件提取局部的个体数据信息,而 TimesNet 组件专注于提取全局信息。这种协同方法提高了模型识别锂离子电池数据集固有容量退化特征的有效性。此外,本研究结合了间接和直接预测方法,充分利用了容量的特性,提高了 SOH 和 RUL 预测的准确性。本研究使用 LSTM、Transformer、TimesNet、GRU 和 MC-CNN-TimesNet 模型进行了对比预测。使用不同充放电条件下的数据集进行了验证。计算机仿真实验表明,与其他四种模型相比,MC-CNN-TimesNet 模型的评估指标值减少了 50% 到 80%,RMSE 保持在 1.5% 以内,表明其具有工程应用潜力。此外,与 TimesNet 模型相比,该模型的特征提取能力得到提高,模型的泛化能力得到增强。未来的研究工作计划探索其他技术,以进一步提高锂电池 SOH 评估中 RUL 预测的准确性

 

编辑:Tina

校核:李正平、陈凯歌曹希铭、赵学功、白亮、任超、海洋、赵栓栓、Kira、陈宇航、王金、赵诚、肖鑫鑫、张优

该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除


来源:故障诊断与python学习
ACTSystem疲劳非线性化学旋转机械电路航空汽车电子ANSApython新能源芯片UM参数优化理论电机数字孪生人工智能
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2026-04-14
最近编辑:4月前
故障诊断与python学习
硕士 签名征集中
获赞 87粉丝 152文章 327课程 0
点赞
收藏
作者推荐

故障诊断大模型 | BearLLM :基于统一振动信号表示的先验知识增强轴承健康管理框架

现有的健康管理方法多局限于有限的工况条件,并且通常只能执行单一的健康管理任务,难以满足复杂工业场景的需求。本期推荐论文:BearLLM: A Prior Knowledge-Enhanced Bearing Health Management Framework with Unified Vibration Signal Representation,由中国科学院沈阳自动化研究所智能检测与装备研究室的科研团队发表在人工智能领域国际会议AAAI 2025,该项工作构建了首个多模态轴承健康管理数据集(MBHM)。该数据集融合机械振动信号与健康语料,覆盖数百种工况,显著提升了数据的复杂性与现实代表性。在此基础上,提出 BearLLM 框架:基于工业大模型,通过频域差异分析提升诊断精度,并将振动信号与语义对齐,实现了多种任务的统一自然语言响应。实验结果表明,这一框架在数百种复杂工况条件下表现出了领先的性能。论文基本信息论文题目:BearLLM: A Prior Knowledge-Enhanced Bearing Health Management Framework with Unified Vibration Signal Representation论文日期:2025论文链接:https://arxiv.org/abs/2408.11281数据集:https://hf-mirror.com/datasets/SIA-IDE/MBHM作者:Haotian Peng(1, 2, 3, 4*), Jiawei Liu(1, 2, 3*), Jinsong Du(1, 2 ,3), Jie Gao(1, 2, 3†), Wei Wang(1, 2, 3†)机构:1 Shenyang Institute of Automation, Chinese Academy of Sciences2 Liaoning Liaohe Laboratory 3 Key Laboratory on Intelligent Detection and Equipment Technology of Liaoning Province4 University of Chinese Academy of Sciences作者邮箱:{penghaotian, liujiawei, jsdu, gaojie, wangwei2}@sia.cn作者简介:高洁,中国科学院沈阳自动化研究所副研究员,主要从事信号检测,雷达信号处理的研究与开发工作。目录摘要1 引言2 相关工作3 多模态轴承健康管理数据集4 方法 4.1 基于先验知识的振动信号统一表示方法 4.2 特征抽取 4.3 特征对齐5 实验 5.1 实验设置 5.2 与故障诊断方法的比较 5.3 消融实验与泛化 5.4 用户研究6 结论摘要我们提出了一种基于大型语言模型(BearLLM)的轴承健康管理框架。BearLLM是一种新型多模态模型,通过处理用户提示和振动信号,将多个轴承相关任务统一整合。具体而言,我们引入了先验知识增强的统一振动信号表示方法, 以应对多数据集中的不同工况。该方法包含三个关键步骤:根据传感器采样率自适应采样振动信号、通过频域统一输入维度、 以及使用无故障参考信号作为辅助输入。为从振动信号中提取特征,我们首先训练故障分类网络,将提取的特征转换并对齐为词嵌入,最终将这些特征与文本嵌入拼接后输入语言模型。为评估该方法的性能,我们构建了首个大规模多模态轴承健康管理(MBHM)数据集,包含配对的振动信号和文本描述。通过统一的振动信号表示方法,BearLLM仅需一组预训练权重,便在九个公开可用的故障诊断基准测试中取得顶尖表现,超越了专为单一数据集设计的特定方法。我们提供数据集、模型及代码, 旨在激励未来研究开发更强大的工业多模态模型。1 引言轴承是机械旋转设备的核心部件,但由于复杂的运行和环境条件,其故障率较高[40] 。轴承健康管理(如异常检测、故障诊断和维护建议)在工业安全生产中具有重大实际意义 ,可减少经济损失和维护成本[32,44,35]。当前轴承健康管理框架依赖于为不同工况和任务设计专门方法,如图1(a)所示。为将特定方法应用于复杂的真实工业场景,领域适应与泛化技术已引发广泛关注。领域适应技术通过降低领域偏移或差异,使在一个源领域训练的模型能够在不同但相关的目标领域中表现良好[43,46] ,但当源域和目标域类别不一致时(例如从具有四种故障类型的工况C1 过渡到具有五种类型的C 2 ),其准确性会降低。领域泛化旨在提取领域不变特征以提升未见领域上的性能[19,47,4] ,但通常受限于差异较小的有限工况数量,例如[5,22]中少于十个工况。这些纯数据驱动的方法往往难以在高准确性和强泛化能力之间取得最佳平衡,从而影响故障诊断效果。本文提出了一种增强先验知识的轴承大语言模型(BearLLM),如图1(b)所示,该模型能够整合来自多个数据集的数百种不同工况下的轴承健康管理任务。为应对多样化工况,我们创新性地引入了增强先验知识的统一振动信号表示方法。与多数采用固定长度输入片段的故障诊断方法不同,我们采用可变长度但固定时长的振动信号采样片段。这些时长一致的片段经频域转换后进行对齐处理。我们进一步利用无故障参考信号作为先验输入,从而省去了针对不同轴承类型进行复杂机构分析的步骤[47]。 图1:现有轴承健康管理框架[3,28]与我们提出方法的对比。我们的BearLLM替代了针对不同条件和任务设计定制化方法的复杂操作。具体而言 , 我们首先设计一个故障分类网络(FCN),基于差异特征提取故障特征。通过分析查询信号段与无故障参考信号段之间的频率成分差异,这种基于频率的新型特征提取范式在轴承故障诊断中展现出更优的性能(即更快的收敛速度和更高的准确率) ,并实现了更强的泛化能力,相较以往直接从振动信号中提取故障特征的方法更具优势。提取的特征经过转换和对齐后生成词嵌入,随后与用户文本嵌入结合作为大语言模型(LLM) 的输入。为评估该方法的性能,我们构建了首个大规模多模态轴承健康管理(MBHM)数据集,包含配对的振动信号和文本描述。尽管九个公开数据集的振动信号分布存在显著差异,但采用预训练权重的BearLLM通过统一的振动信号表征,取得了与当前最先进方法相当的性能,甚至超越了针对单一数据集设计的专用方法。本文的主要贡献总结如下:• 我们提出一种新型轴承多模态大语言模型,通过比对振动信号与文本提示,实现多项轴承健康管理任务的统一。• 我们提出一种基于先验知识增强的统一振动信号表示方法,以处理来自多个数据集的多种工况。• 我们构建了首个面向轴承健康管理(MBHM) 的大型多模态数据集,包含振动信号及其对应的文本描述。• 实验结果表明,我们的BearLLM在九个公开基准测试中均优于当前最先进的故障诊断方法。2 相关工作多工况: 由于测试设备、传感器和环境的差异导致采集信号的异质性,使得从多个数据集在不同工况下进行故障诊断具有挑战性,难以获得统一特征[41] 。现有领域适应方法[6,38,25,14] 通常在已知工况(源域) 下训练模型 , 随后将知识迁移至未知工况( 目标域) 。然而这些方法在实践中仍需针对每个工况进行单独迁移微调,限制了其跨场景泛化能力。领域泛化方法通过多工况训练, 旨在通过网络架构和损失函数的设计使不同域的特征分布对齐[15,48,12] 。但这些方法往往依赖复杂的数据预处理和增强技术来帮助模型从振动信号中学习故障特征。多任务: 数据驱动的机械健康管理已获得显著发展[37] 。健康管理的概念通常涉及多项任务[29,49] ,包括异常检测 、故障诊断 、性能退化预测 、维护决策等。LLMs如ChatGPT-4[30] 在广泛任务中展现出卓越能力 。 LLaMA 3[27]和Qwen 2[1]等开源基础模型的出现,进一步赋能了各学科研究人员将这些模型整合到自身应用中。在航空领域,Liu等人[23] 应用广义线性模型实现多项任务,包括航空发动机装配指导与装配误差识别。在石油工业中,Eckroth等人[9] 设计了一种基于大语言模型(LLM)和知识图谱的问答系统,能够检索地层数据和地质年代测定等功能 。然而,利用LLMs整合多项任务进行轴承健康管理的研究仍较为有限[20]。3 多模态轴承健康管理数据集尽管表1中包含多个轴承相关数据集,但这些数据集通常仅采集单一测试装置的振动信号,工况条件有限,且缺乏用于训练语言模型(LLM) 的对应文本描述。为此,我们构建了一个大规模的公开多模态轴承健康管理数据集(MBHM)。 表1:不同数据集的对比。我们的 MBHM 数据集包含最多的工况、最完整的故障类型以及最长的文本提示/响应配对时间。该 MBHM 包含135,516对振动信号片段与故障类型,以及542,064对文本提示与响应,每个样本如图3所示,包含振动信号、故障标签、运行状态ID 、用户提示及文本响应 , 即 。我们的数据集包含从九个公开数据集收集的262种工作状态 , 即 CWRU [2] 、 DIRG [7] 、HIT[11] 、IMS[33] 、 JNU [16] 、JUST[34] 、 MFPT [10] 、PU[18] 、 XJTU [39] 。针对每个振动信号,我们设计了四项任务:通过ChatGPT[30]生成文本响应进行异常检测、故障诊断、维护建议及潜在风险分析。数据集构建的详细方法见附录A.3 。我们的 MBHM 数据集包含以下特征:• 多模态 : 每个振动信号均配有四个文本提示与响应,支持多模态多任务模型的训练与开发。 图2:我们提出的BearLLM架构。给定查询振动信号片段 和用户指令 作为输入,模型从数据库中检索出工况相似的无故障振动信号片段 作为参考。通过 DCN 将两个振动信号转换为统一表示。特征编码器识别两个信号之间的故障相关残差。对齐层将这些特征转换为词嵌入 。最后,利用LLM结合用户文本嵌入 生成多任务自然语言响应,其中 表示编码文本嵌入的长度。 图3:本 MBHM 数据集的示例案例 ,包含振动信号 、故障标签 、工作状态 、具体任务提示文本 以及响应文本 。• 多工况: 我们的数据集覆盖更广泛的工作场景,能更精准地模拟真实工业生产环境。4 方法本节提出BearLLM——一种整合多种轴承相关任务的新型多模态模型。为应对不同数据集中的多样化工况,我们在第4. 1节引入了基于先验知识的统一振动信号表征方法。该统一振动信号被输入故障分类网络进行特征提取(第4.2节) ,随后将提取的特征转换为词嵌入并进行对齐,最终与文本嵌入拼接后作为输入送入大语言模型(LLM)(第4.3节)。4.1 基于先验知识的振动信号统一表示方法BearLLM旨在管理数百种工况下的多种轴承相关任务。其核心在于构建统一的振动信号表示方法,包括根据传感器采样率自适应采样振动信号片段、通过频域整合统一输入维度, 以及利用无故障参考信号计算残余量作为辅助输入以提高数据利用效率。自适应采样 为监测不同工况和工业场景下的各类机械设备 ,振动传感器被部署为不同名称和采样率 。然而,大多数故障诊断方法[48,8]使用时域中固定长度的信号段作为输入,其中输入的故障频率分量偏离其原始固有值并随采样率变化 , 阻碍了准确的故障诊断。我们不采用固定长度信号段采样,而是利用传感器采样率的先验知识,对振动信号进行自适应采样,生成可变长度但固定时长的信号段。我们通过公式1从原始信号 中提取第 个查询信号段 ,并控制 的长度。 其中 表示传感器的采样率。频域输入对齐 自适应采样后,每个查询段( )具有相等的持续时间,且 X_v 的频率被对齐。然而, 由于采样率不同导致 长度变化,会产生不同数量的频率分量,使其不适合输入网络。我们设计了一种离散余弦归一化(DCN),该方法通过离散余弦变换(DCT)将振动信号转换至频域,使用填充或裁剪统一 个频率分量,并通过归一化 对振幅进行标准化。归一化频率表示 通过以下方式获得 采样率低于 的信号会被零填充,而超过 的信号则会被截断。为平衡计算资源与故障分类精度,我们通过经验设定 (更多细节见表3)。为增强训练稳定性,将频率序列的幅度归一化至[−1,1]范围内, 其中 为缩放因子,通过统计分析 MBHM 数据集确定为0.01。无故障参考信号为消除不同输入在各种运行条件下的分布差异,我们引入无故障信号作为参考信号。1) 在实际使用中,当设备正常运行时(例如工厂验收或维护后),可采集并保存参考信号段 ;2) 在 MBHM数据集上进行训练时, 的获得通过 这表明当我们的 MBHM 数据集中的信号( )无故障(即 )且与 具有相同工况(即 )时,会选择 。我们将查询频率信号( )、无故障频率信号( )和残余频率信号( )作为统一的振动信号表示进行组合, 4.2 特征抽取为提取振动信号的特征,我们提出一个故障诊断网络(FCN),该网络包含由 参数化的特征编码器和由 参数化的线性分类层,如图4所示。我们通过三个独立的卷积层(采用大核[45]且无权重共享)从统一振动信号表示( )中提取特征。随后通过三个多尺度通道注意力模块(MSCAB)对特征进行变换,其中多尺度特征通过通道注意力模块(CAM)[42]进行融合。最后使用两个线性层进行故障分类。我们的 FCN 以统一表示( )作为输入,并输出故障类型( )。 的形状为 , 表示故障类型数量。我们使用交叉熵损失进行训练,以故障标签 作为真实标签。训练过程如算法1所述。随后将 FCN 训练良好的特征编码器权重 ( )用于Bear- LLM并冻结(见图2),同时使用 FCN 分类器权重 ( )初始化对齐层。 图4:我们提出的 FCN 结构。在特征编码器中,首先使用三个宽卷积层提取主特征,随后通过三个 MSCAB块对多尺度特征进行转换和融合, 以实现故障分类。预训练 FCN 用于初始化BearLLM的特征提取器和对齐层。4.3 特征对齐我们提出一个特征对齐层,将振动特征嵌入词嵌入中,该 MLP 由三个线性层(即 , , )组成。对齐层的权重为 ,其中 是 & (即 FCN 中的两个线性分类层)的权重, 是 的权重。我们使用 将 的输出 转换为词嵌入 ,即, 其中 表示转换后的标记长度, 是LLM的隐藏层大小。 的权重 通过所有故障类别的文本描述 进行初始化 其中T代表文本域。E和T分别表示预训练LLM的嵌入层和分词器。通过使用分词器T和嵌入层E ,我们从 生成词嵌入,随后将其重塑为权重矩阵 。关于权重初始化的更多细节,请参见附录C.3。我们使用预训练的Qwen2-1.5B[1]作为由 参数化的LLM,实现了基本的人机交互。然而,其对特定领域的知识掌握和生成质量仍有待提升。我们采用现有的LoRA技术[13]和通用 PEFT[26] ,对LLM和我们提出的对齐层进行同步微调,具体细节详见算法1。 5 实验5.1 实验设置我们使用PyTorch[31]实现了所提出的方法。预训练和微调均在单个Nvidia RTX 4090 GPU上完成。在预训练、对比试验和消融实验中,我们采用AdamW[24]作为优化器,批量大小设为1024,训练最多50个epoch。微调使用现有PEFT[26]库完成。为评估本方法的有效性,我们提供了故障诊断、关键部件消融及语言响应质量评估的定量对比结果。为解决标签泄露问题,我们将9个公开数据集按7:2:1比例进行分割。MBHM 数据集的训练集由各子数据集的训练集拼接而成,确保与对应测试集无重叠。其他任务(包括异常检测、维护建议及潜在风险分析)详见附录D。5.2 与故障诊断方法的比较我们将BearLLM与以下故障诊断方法进行了比较。BearFM[17]和MagNet[36]旨在诊断交叉作业条件下的故障,而 WDCNN [45] 、 TCNN [6]和 QCNN [21]则针对特定作业条件设计。这些方法的详细描述可参见附录B 。为确保公平比较,我们在第5. 1节中重新实现了这些方法并在相同设置下进行测试。结果展示于表2。 表2:与现有方法的准确率对比。“DCN”表示在原有方法基础上添加 DCN ,“FCN” 则表示用 FCN 替换原有方法的网络结构,“(+108%)”代表从48.01%提升至100%的相对改进。我们的方法不仅在 MBHM 数据集上超越了SOTA 的准确率,其结果还优于专为单一数据集训练的模型。 DCN 和 FCN 组件在多种场景中均展现出广泛适用性。与BearingFM[17]相比,我们的 DCN 在相同 FCN 下实现了更高的精度(见图5(a))。这种提升的原因可能是BearingFM在包络谱 FFT 后使用绝对值。该方法仅捕捉振幅而忽略关键相位信息。相比之下,DCN 利用实数计算,有助于减少潜在信息损失,且运行时间不到比较方法的20%。将 DCN 与MagNet[36]结合,并利用对齐数据进行融合增强,显著提升了在分布差异显著数据集上的性能。如表2所示 ,三种缺乏数据增强或对齐技术的方法(WDCNN 、 TCNN 、 QCNN)在某些特定数据集上表现出较高准确率。然而,当在 MBHM 数据集上训练时,它们处理大规模分布差异的能力受到限制。引入DCN 技术可缓解 QCNN [21]中明显的过拟合现象,从而显著提升验证准确率(见图5(b))。类似地, 同时对WDCNN [45]和 TCNN [6]添加 DCN 也提高了准确率。在所有测试方法中,我们提出的方法不仅达到最高准确率,收敛速度也最快(如图5(c))所示,在 MBHM 数据集上仅需20个epoch即可收敛)。 图5:不同模型训练过程中的准确率与学习率变化趋势。(a)用 FCN 替换BearingFM网络后,准确率提升且收敛速度加快。(b)将 DCN 纳入 QCNN 显著缓解了过拟合问题。(c)我们提出的方法展现出最快的收敛速度和最高的准确率。5.3 消融实验与泛化测试在 DCN 中使用了四种不同的 设置(参见等式2),如表3所示。 由于振动信息主要存在于低频范围内,截断不太可能显著影响准确性。通过增加频率分量的数量,可以最小化截断引起的失真,从而提高MBHM数据集的精度;然而,这也增加了 FCN 中的参数和计算量。为了在准确性和性能之间取得平衡,我们选择24,000作为 。 表3:不同nf 设置下 FCN 的参数数量、浮点运算次数(FLOP)及在 MBHM 数据集上的准确率对比。为验证所提方法中各组件的有效性,我们开展了消融实验。通过直接使用原始时域振动信号(固定长度片段)作为输入,并分别及联合移除无故障通道与残余通道,对性能进行了评估。 表4的实验结果表明,仅使用时域信号时会出现显著的准确率和泛化能力下降,这进一步凸显了DCN 方法的有效性。通过应用t-SNE算法,我们对比了包含故障通道与无故障通道的输出可视化效果。图6(b)中的蓝色方框显示, 同一数据集的信号片段在特征空间中呈现高度聚类,这表明模型首先识别数据集类型,再进行故障分类细化。与之相反,如图6(a)所示,我们提出的方法有效缩小了数据集间的差异。该模型通过捕捉查询信号片段与无故障信号片段之间,创建在不同工况下实现统一的特征表示,并提升泛化能力。 表4:展示了不同消融设置的准确性和泛化能力比较。 图6:t-SNE可视化输出特征。(a)我们的方法显示出明显的类间可分离性。(b)去除无故障通道和残余通道后,同一数据集中的信号呈现相似特征。我们通过零样本场景评估所提方法的泛化能力。在公开数据集中,JUST[34]和IMS[33]是规模最大的数据集。我们使用仅占 MBHM 训练数据35%的 MBHM(不含JUST 和IMS)数据集进行训练 ,并分别在JUST 和IMS数据集上进行零样本测试。在JUST数据集上,我们的方法无需任何微调即可达到90.22%的准确率。相比之下,未使用无故障通道和残差通道的方法准确率仅为87.54%。图7(a,b)展示了IMS数据集[33]在零样本测试中,配置故障通道与保留残余通道时的混淆矩阵对比。由于IMS 数据集存在不平衡性(多数样本为无故障通道),整体准确率从98.52%略微下降至97.81%。但未配置两个辅助通道的方法存在严重低估故障严重程度的倾向:例如,61%的严重外环故障被误判为中度故障,23%的中度外环故障被误判为轻微故障。CWRU [2]和 XJTU [39]数据集是唯一包含全部十种断层类型的数据集。为验证构建统一表征的潜力,我们分别在 MBHM(无 CWRU)和 MBHM(无CWRU & XJTU)数据集上训练模型。 随后在常用 CWRU 数据集上进行零样本测试,混淆矩阵结果如图7(c,d)所示。我们的方法在未训练的 CWRU 数据集上分别达到90.26%和89. 14%的显著准确率,该结果甚至优于部分基于 CWRU 训练的方法,这表明了我们统一表示方法的普适性,且不依赖于任何特定的完整数据集进行训练。 图7:不同场景下零样本性能的混淆矩阵对比。(a)在 MBHM(无IMS&JUST)数据集训练并在IMS上测试的方法,展现出相对可靠的准确率。(b)在 MBHM(无IMS&JUST)数据集训练并在IMS上测试的无故障通道与残差通道方法,准确率较低且存在低估严重性的倾向。(c)在 MBHM(无 CWRU)数据集训练并在 CWRU 上测试的方法,验证了泛化能力。(d)在 MBHM(无 CWRU & XJTU)数据集训练并在 CWRU 上测试的方法,进一步证实了统一表征的泛化效果与有效性。5.4 用户研究表5汇总了四项不同任务的测试结果,用户在盲测中从 FCN 、未调优的BearLLM和微调后的BearLLM中选择最佳输出。值得注意的是,在简单任务中,选择故障代码输出的用户较少,而多数用户更倾向于自然语言输出。 图8展示了微调前后的输出示例。附录D提供了各任务的进一步对比数据。微调对简单异常检测任务的输出影响不显著。在故障诊断任务中,未进行微调的模型有时会遗漏故障严重程度信息,这一问题通过微调得到解决。对于两项更复杂的任务,微调模型生成了更准确、更详细的响应。我们的方法解决了非专家因系统复杂性而难以有效利用维护系统的挑战,降低了所需的专业知识门槛。 表5:用户研究投票结果 。任务A-D分别对应异常检测、故障诊断、维护建议及潜在风险分析。经过微调的BearLLM在所有任务中均获得最高支持率。 图8:BearLLM的输入与输出示例。振动信号和任务要求作为用户输入,生成相应的自然语言文本输出。经过微调的BearLLM表现出响应质量的提升。6 结论我们提出BearLLM ,这是一个创新的多模态轴承健康管理框架,首次尝试利用大语言模型(LLMs)整合异常检测、故障诊断、维护建议及潜在风险分析等多重轴承相关任务。为构建该统一框架,我们开发了适用于数百种工况的先验知识增强型振动信号表征方法,并构建了首个大规模多模态轴承健康管理(MBHM)数据集。在九个公开故障诊断数据集上的实验结果表明,Bear-LLM的性能超越了当前最先进的方法,甚至超过了专门针对单个数据集训练的模型。此外,我们设计的频域输入对齐和特征提取模块采用即插即用模式,显著提升了其他故障诊断模型的性能。我们希望这项工作能为未来构建更强大的工业多模态模型研究提供灵感。编辑:Kira校核:李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、海洋、陈宇航、Tina、王金、赵诚、肖鑫鑫、张优该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除来源:故障诊断与python学习

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈