最新重磅！上海交大团队发布RmGPT：面向旋转机械故障诊断与预测的生成式基础模型
本期给大家推荐上海交大团队发布RmGPT：面向旋转机械故障诊断与预测的生成式基础模型。该文将会公开源码。
论文基本信息
论文题目：
RmGPT: A Foundation Model with Generative Pre-trained Transformer for Fault Diagnosis and Prognosis in Rotating Machinery
论文期刊：
IEEE Internet of Things Journal
论文时间：2025年
论文链接:
10.1109/JIOT.2025.3580823
作者：
Yilin Wang(a,b); Yifei Yu(a); Kong Sun(a); Peixuan Lei(a); Yuxuan Zhang(a); Enrico Zio(c,d); Aiguo Xia; Yuanxiang Li(a)
机构：
(a)School of Aeronautics and Astronautics, Shanghai Jiao Tong University, Shanghai 200240, China
(b)Shanghai Innovation Institute, Shanghai, China
(c)MINES Paris-PSL University, Paris, France
(d)Energy Department, Politecnico di Milano, Milano, Italy
(e)Beijing Aeronautical Technology Research Center, Beijing, China
作者介绍：
李元祥，上海交大航空航天学院教授、博导。2001年获清华大学信号与信息处理专业博士学位；2002-2004年在新加坡国立大学计算机学院作Research Fellow。发表论文40多篇(第一作者)，被SCI、EI收录30篇，论文被引用百余次，申请专利10项。近年来，主要从事目标跟踪与识别、气象信息处理、文字识别以及航电系统应用研究。主持多项国家自然基金、国家863项目；中国宇航学会光电技术专业委员会委员，新加坡模式识别与机器智能学会会员。
王艺霖，上海交通大学与国家人工智能学院联培博士，研究方向为时序智能与工业多模态大模型，聚焦人工智能在工业运维中的应用。在ICML、RESS、ADVEI、IoTJ、AST等顶级会议期刊上作为第一作者已发表7篇论文，总计发表20余篇。研究致力于推动大模型与工程系统的深度融合，提升新一代复杂工业系统的的智能维护能力。
目录
摘要
1.问题的背景
2.方法的概述
2.1 RmGPT框架概述
2.2 问题定义与理论贡献
2.3 RmGPT的核心创新
2.4 实验数据集与测试
2.5 实验结果与性能分析
3.总结与思考
摘 要
关键词：旋转机械，可靠性，预测与健康管理，剩余使用寿命预测，故障诊断，基础模型，自监督学习
1. 问题的背景
旋转机械是许多工业应用中的关键组件，确保其可靠性对生产效率和安全至关重要。设备健康管理（PHM）包含一系列旨在评估和预测设备当前和未来健康状态的方法论，其结果能够实现及时维护以防止意外故障。当前的PHM故障诊断和预测方法通常依赖于针对特定设备类型、运行条件和特定故障模式定制的任务特定模型。这些方法通常涉及手工特征和机器学习算法，旨在从历史数据中识别特定的故障模式。虽然在特定场景下有效，但这些任务特定模型在应用于具有不同信号特征、故障模式和运行环境的多样化数据集时遇到重大挑战：
荐读论文解决的主要问题包括：
信号动态的变异性：不同类型的诊断设备在传感器数量、安装位置、监测信号类型和采样频率方面表现出显著差异。在统一框架内建模这些多样化信号具有高度挑战性；
故障机制和模式的多样性：设备类型及其不同设计和故障机制的广泛范围使得定义统一的诊断和预测任务变得复杂。每种设备类型可能表现出独特的故障行为，难以泛化到其他类型；
缺乏旋转机械基础模型：输入信号和诊断任务的差异导致难以拥有一个能够使用单一参数集在多种设备类型上有效执行诊断和预测任务的基础模型；
2. 方法的概述
2.1 RmGPT 框架概述
旋转机械广泛应用于工业领域，其可靠性对生产效率和安全至关重要。传统的预测与健康管理（PHM）方法通常依赖于针对特定设备或故障模式的任务特定模型，难以适应多样化的信号类型、故障机制和运行环境。
图1展示了提出的RmGPT框架，该模型旨在解决当前PHM面临的多样性与泛化难题。受到生成式预训练模型（如ChatGPT和SAM）成功的启发，RmGPT采用生成式方法，通过自监督学习和“下一个信号Token预测”机制，从原始传感器信号中提取通用的健康特征。
与传统判别式模型不同，RmGPT基于统一的Token设计，引入了包括信号Token、提示Token、时频任务Token和故障Token在内的模块化结构，使其能够自适应处理不同设备的多源信号和故障模式。图1中体现了这一设计如何帮助模型生成一致的健康状态表示，并无缝用于故障诊断和健康预测等下游任务。RmGPT并非语言模型，而是为多变量时间序列信号量身打造的生成式基础模型。通过图1可以清晰看出，该模型实现了PHM任务的统一化、高效性与强适应性，克服了信号动态、故障机制多样性和模型泛化性的长期挑战。
2.2 问题定义与理论贡献
在旋转机械PHM领域，传统方法往往针对特定设备、工况和故障类型分别设计模型，难以实现跨设备、跨任务的统一建模。RmGPT的理论贡献在于首次将”基础模型”范式引入工业PHM领域，提出了如下统一问题定义：
PHM基础模型定义：论文中将PHM基础模型定义为：“一个通用模型，通过自监督学习在异构时序数据集
上训练，具备共享参数 
，能够输出任务相关的表示，无需修改模型结构即可支持不同设备、工况下的诊断与预测任务；
统一输入输出建模：不同设备的数据集
在信号通道数、采样频率、任务类型等方面高度异构。RmGPT通过Token化和统一架构，实现了输入和输出的统一建模；
自监督学习范式：采用自监督预训练任务，在无标签数据上学习通用表征，再通过少量有标签样本微调，实现诊断（分类）和预测（回归）任务的统一。
Prompt学习与微调统一：通过引入可学习的Prompt Token，支持参数高效的任务适配，兼容全参数微调和Prompt微调两种范式，提升模型在小样本和新任务下的泛化能力;
Few-shot/One-shot能力：基础模型通过共享参数和统一表征，天然支持小样本（Few-shot）甚至单样本（One-shot）学习，极大降低工业场景下的标注成本。
RmGPT首次在旋转机械PHM领域实现了”诊断-预测-跨设备-小样本”四统一的基础模型理论框架，为工业智能诊断从”专用模型”向”通用基础模型”转变提供了理论基础和技术路径。
2.3 RmGPT的核心创新
受ChatGPT和SAM等生成式预训练模型突破的启发，提出了RmGPT，一个设计用于适应旋转机械中多样化故障诊断和预测任务的生成式基础模型。
RmGPT引入了一个统一的基于Token的框架，如图2所示。包含四种核心Token：
Signal Tokens（信号Token）：捕获输入信号中的基本趋势和模式；
Prompt Tokens（提示Token）：结合序列时域统计信息和可学习嵌入；；
Time-Frequency Task Tokens（时频任务Token）：设计用于封装输入数据的健康语义
·Fault Tokens（故障Token）：表示不同故障模式的原型特征。
(a) 预测未来信号Token的预训练策略，(b) RmGPT的内部架构，(c) 基于生成式Token和提示技术的诊断与预测通用范式。
2.4 实验数据集与设置
1）数据集信息
论文中在多个公开旋转机械数据集上进行系统评估，涵盖轴承、齿轮等多种设备：
这些滚动轴承和齿轮数据集是广泛用于验证各种算法有效性的流行基准数据集。但由于这些数据集之间的显著差异，此前没有任何工作尝试在所有这些多样化数据集上使用具有相同参数的模型同时进行诊断和预测任务。
2）实验配置
硬件环境：配备8块NVIDIA RTX 3090 GPU的计算服务器；
数据预处理： - 所有信号统一下采样至约5kHz - 标准化输入窗口为2048时间步 - 训练/测试分割比例：8:2；
模型配置： - Transformer层数：4层 - 隐藏单元：512 - 总参数量：68.50M - Tokenizer步长和patch长度：256 - Prompt Token长度：10 - Fault Token长度：1；
训练参数： - 批量大小：256 - 学习率：3.00×10^(-7) - 预训练轮数：20 - Prompt学习轮数：5 - 全参数微调轮数：3。
2.5 实验结果与性能分析
1）主要实验结果
在多个公开旋转机械数据集上进行了全面评估。RmGPT在所有任务中均显著优于现有最先进算法：
故障诊断性能对比：
小样本学习能力：
在CWRU数据集上进行的小样本学习实验显示了RmGPT的卓越适应能力：
在16类1-shot极小样本场景下，RmGPT-Prompt实现了82.46%的诊断准确率，显著超越其他模型。在4-shot场景下，RmGPT-Prompt达到98.53%的准确率，进一步突出其鲁棒性和有效性。
2）计算效率分析
提出的基于patch的分块方法和通道-时间注意力机制对降低计算复杂度和提高性能的影响显著。原始配置显示推理时间为4.970ms，FLOPS为51.097 GFLOPS。移除基于patch的分块会将推理时间增加到337.773ms，FLOPS增加到3813.998 GFLOPS。类似地，排除通道-时间注意力机制会导致推理时间为9.281ms，FLOPS为102.214 GFLOPS。
3）Token空间可视化分析
RmGPT能将噪声输入信号转换为具有清晰类别边界的CLS语义空间。通过t-SNE降维可视化分析发现： - RmGPT将原始噪声信号映射到结构化语义空间 - 不同故障类别在CLS Token空间中边界比原始信号空间更加清晰 - 模型学习的Fault Token准确表征了不同类别的原型特征 - 不同故障模式在不同类别中心周围紧密聚集，表明RmGPT准确学习并区分了数据中的内在故障模式
图1 DQN智能体-环境交互图解
原始的DQN算法需要大量的数据集进行训练，这可能是一个很大的限制。此外，其固有的随机性和非线性可能导致不稳定和次优策略。因此，迫切需要为DQN开发一个更稳定和可靠的训练框架，以促进更一致的学习过程。
3. 总结与思考
荐读的论文中，提出了RmGPT——一个面向旋转机械统一故障诊断与预测的基础模型。该模型在多个数据集上使用统一参数，显著优于当前最先进（SOTA）算法，在诊断与预测任务中展现出卓越的准确性与鲁棒性。RmGPT能够有效处理不同类型的设备、信号通道、故障类别及采样频率，充分验证了在PHM（预测与健康管理）领域采用统一方法的可行性与适应性。
少样本学习实验的结果进一步突出了RmGPT在数据有限情况下的强泛化能力，即便训练样本极少，依然取得了令人瞩目的表现。Token空间分析表明，RmGPT能将带噪声的输入信号转化为结构化语义空间，具备清晰的类别边界，表明其在学习与区分内在故障模式方面表现出色。
该研究是将基础模型理念引入旋转机械领域的首次尝试，初步验证了类似于自然语言和计算机视觉领域的成功基础模型，也可以适用于复杂的工业时间序列场景。论文中不仅在理论上验证了构建统一PHM基础模型的可行性，还在实践中提供了一个性能优越的模型框架，可广泛适用于多种故障类型和数据集。
编辑：李正平
校核：陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、陈莹洁、Tina、王金、赵诚、陈宇航、肖鑫鑫
该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除
来源：故障诊断与python学习
