论文题目:Diffusion Bridge-Based Gradual Domain Adaptation for Fault Diagnosis: Concept, Algorithms and Applications
论文日期:2026年06月
论文期刊:IEEE Transactions on Industrial Informatics
期刊分区:JCR Q1中科院 1 区
论文链接:https://ieeexplore.ieee.org/document/11543420
作者:Chuang Wang1,2,3、Zidong Wang4、Hongli Dong1,2,3
作者单位:1、东北石油大学人工智能能源研究院;2、黑龙江省网络化与智能控制重点实验室;3、东北石油大学三亚海洋油气研究院;4、英国布鲁内尔大学计算机科学系
DOI:https://doi.org/10.1109/tii.2026.3694336
作者说明:
1、Chuang Wang:东北石油大学人工智能能源研究院教授,主要研究方向为进化计算与迁移学习技术;
2、Zidong Wang:英国布鲁内尔大学计算机科学系讲席教授、IEEE Fellow、欧洲科学院院士,主要研究方向为动力系统、信号处理、生物信息学与控制理论应用;
3、Hongli Dong:东北石油大学教授、黑龙江省网络化与智能控制重点实验室主任、IEEE Senior Member(本文通讯作者),主要研究方向为鲁棒控制与网络化控制系统。
渐进域适应(GDA)通过将较大的分布差异分解为一系列渐进适应步骤,使知识能够更平滑地从源域迁移到目标域,因此被认为是缓解域偏移的一种有效策略。然而,现有 GDA 方法仍面临两项主要挑战:中间域的构造通常依赖启发式方法且约束不足,可能导致不稳定或不可靠的适应轨迹;与此同时,语义信息在渐进适应过程中可能逐步失真,从而造成分布错位和性能下降。为解决这些问题,本文提出基于扩散桥的数据适应(DBDA)框架。具体而言,框架构建前向—反向扩散桥,以可扩展且灵活的方式将目标域特征逐步映射到源域;引入知识保留机制,以维持整个适应轨迹上的语义一致性;并设计历史感知边界扩展损失,以提高模型在分布外条件下的决策稳健性。在跨域管道故障诊断数据集和公开 Sleep-EDF 数据集上的大量实验表明,DBDA 在准确率、泛化能力和稳定性方面持续优于现有 GDA 方法。
关键词:渐进域适应;扩散桥;跨域适应;故障诊断;知识保留;扩散模型
凭借较强的非线性建模能力和特征提取能力,深度神经网络已广泛用于计算机视觉、语音识别和工业故障诊断等任务 [11]、[22]、[23]、[32]。但其性能往往依赖大规模标注数据,而这类数据的获取成本高、耗时长,且有时因隐私保护约束而无法获得 [21]、[42]、[44]、[45]。为缓解这一问题,迁移学习利用相关源域的有标签数据辅助无标签目标域学习 [27]、[35]。然而,源域与目标域的数据分布通常存在显著差异,模型在目标域上的性能会明显下降,即出现域偏移。天然气管道故障诊断就是典型场景:不同工况会产生不同分布的监测信号,使在一种工况下训练的模型难以推广到其他工况。因此,缩小有标签源域与无标签目标域之间的差距,成为跨域诊断模型研究的核心目标。
源域与目标域之间的差距通常表现为协变量偏移、标签偏移或概念漂移,这些情况都会破坏独立同分布假设并削弱模型泛化能力。现有域适应方法通常采用分布对齐正则项或对抗式域判别器来缩小域间差异 [9]、[31]、[34]。例如,Su 等 [31] 通过最小化域间决策差异来对齐分布;Chen 等 [9] 采用双重对抗引导的无监督多域适应网络,融合多源知识进行协同诊断。但多数方法在共享的高维特征空间内仅执行一次对齐,难以刻画复杂或渐进的域变化,决策边界的调整可能不稳定或并非最优。
近年来,研究者开始利用中间域嵌入缓解分布差异。渐进域适应通过构造一系列相邻分布差异较小的代理分布来跨越较大的域间差距。Chen 等 [5] 使用渐进式域判别器发现粗粒度中间域;Yang 等 [43] 通过生成中间分布并最小化分布差异,实现面向目标的迁移学习。与传统域适应相比,GDA 将大尺度分布偏移分解为多个较小且更易处理的转移步骤,避免把所有压力集中到一次对齐上。然而,现实工业目标域常呈现动态、不连续特征,难以收集可充当代理分布的真实数据;伪样本的有效性、可解释性及公平评价准则也仍待解决。
为此,本文提出 DBDA。该方法把传统域适应重新表述为数据适应问题,并整合三个模块:其一,由目标域前向桥和源域反向桥串联构成目标域到源域扩散桥(TSDB),将目标样本编码到潜在域,再通过逆扩散过程解码分布轨迹;其二,在中间分布轨迹上保留目标域的主要语义信息;其三,使用历史感知边界扩展损失,增强诊断模型对转换样本所引入多工况差异的稳健性。
DBDA 可作为跨域故障诊断的即插即用方案,具有三项特性:一是可扩展,可处理时间序列与图像等不同模态,并适用于无源域和标准数据适应场景;二是灵活,通过解耦并重组两个独立训练的扩散模型建立目标域到源域的转换通道,同一域专属反向桥可复用而无需重新训练;三是简洁,直接在数据层面缓解域间差距,减少对复杂域匹配模块的依赖。
本文的主要贡献如下:
经典深度学习通常假设训练数据与测试数据来自相同分布,但现实应用经常违背这一假设 [8]、[23]。无监督域适应利用语义相关但分布不同的源域知识,使模型能够在目标域上工作。现有方法大体分为基于度量学习的分布对齐和基于对抗学习的分布判别两类。Wang 等 [36] 提出原型辅助的对比对抗网络,通过对比式对抗差异策略同时缩小全局与局部域差距;Liu 等 [18] 面向多工况风机故障诊断构建跨设备深度子域适应网络,联合统计度量和几何度量提高域混淆能力。
另一类方法聚焦对抗学习式知识迁移。Su 等 [30] 构建双重对抗适应框架,让两个域判别器与目标模型进行极小极大博弈;Wang 等 [39] 设计动态协同对抗域适应网络,用双系统协同机制动态调整网络训练结构。但现有方法仍难以构造同时捕获域共享特征与域特有特征的映射策略或正则项,尤其难以兼顾特征重要性和超参数调节。
无论采用度量学习还是对抗学习,现有方法本质上都通过一次性对齐源域和目标域的边缘分布或条件分布来实现跨域泛化。当分布差异较大时,仅靠特征空间中的一步对齐通常表现不佳。于是,近期研究转向数据层面的数据适应,包括三类范式:域转换,即将一个域映射为另一个域的样式;样本重加权,即提高与目标域更相关或更难对齐样本的训练权重;样本生成,即用生成模型合成具有目标分布特征的样本。本文 DBDA 属于域转换分支。
GDA 使用连续的无标签样本序列作为中间域,使源域分类器通过自训练逐步适应目标域 [48]。现有研究主要沿两条路径展开:一是用生成模型产生中间域;二是采用语义相关的真实数据集作为中间域。对于第一类,Chen 等 [4] 提出生成式外观回放方法,使分割模型利用无标签数据依次适应新域;Zhang 等 [47] 通过逐渐降低源域数据比例并提高目标域数据比例构造演化中间域,同时用采样策略缩小相邻分布之间的距离。对于第二类,Wu 等 [41] 在轴承故障诊断中利用真实中间数据集训练一系列域适应模型,跨越不同故障类别和工况下的源域与目标域。尽管如此,可靠中间域的构造或选择仍是开放问题,生成数据和真实数据方案都面临可靠性、覆盖范围和统一评价准则不足等挑战。
不同于上述两类方法,DBDA 用扩散模型对跨域分布演化进行可控、渐进的建模。生成轨迹受到源域与目标域共同定义的可行演化路径约束,而不是合成现实中不存在的伪中间域;同时,DBDA 建立显式的目标域到源域映射,使目标样本在源域中保留语义一致且可判别的表征,从而直接复用源域诊断模型的判别能力,无需沿中间域增量对齐。
扩散模型是当前代表性的生成建模技术之一,通过马尔可夫链上的迭代细化生成多样化样本。其训练目标是去除样本噪声,并通过梯度优化从简单高斯分布生成数据。Chen 等 [6] 提出的 DiffusionDet 将目标检测表述为去噪扩散过程,把含噪边界框逐步转换为准确的目标预测。
近年来,布朗桥、Doob 的 h 变换和薛定谔桥等桥式扩散形式被用于任意概率分布之间的最优传输和图像翻译。Li 等 [15] 以布朗桥扩散过程建模图像到图像的转换;Zhang 等 [46] 通过生成域对齐样本构建域引导条件扩散模型;Gao 等 [12] 利用源域扩散先验,把受损输入投影回源域分布。DBDA 与这些扩散式翻译和适应范式在概念上相关,但聚焦时间序列故障诊断中的 GDA,目标是在不改变判别性故障模式的前提下转换时间特征与常规特征。为此,DBDA 串联两个独立扩散模型,构造渐进的目标域—源域转换路径,并把轨迹级语义保留与下游边界正则化结合起来。
沿用文献 [37] 的记号,源域记为 S,目标域记为 T。二者分别包含从 d 维边缘分布 p(s)(x) 和 p(t)(x) 中采样的实例数据集 x(s) 与 x(t),以及对应标签集 y(s) 与 y(t)。表 1 汇总全文使用的符号,图 2 给出 DBDA 总体框架。
表 1 本文主要符号说明
给定从初始分布 x0∼p0 采样的时间序列,前向过程在 T 个时间步内逐步加入高斯噪声,得到先验分布 pT。任意时间步 t∈[0,T] 的扩散过程可表示为如下随机微分方程 [14]、[33]:
其中,wt 为维纳过程,f(t) 为 xt 的向量值漂移系数,g(t) 为标量扩散系数。沿前向过程演化后,最终变量 xT 受约束服从先验分布 pprior(x)。相应地,从边缘分布出发可定义从时间 T 到 0 的反向随机微分方程:
其中,pt(x)=p(xt,t) 为时间 t 的边缘分布,wt 为反向过程中的标准维纳过程,∇xlog pt(x) 为每个时刻噪声扰动分布的评分函数。实际计算使用参数为 θ 的噪声预测模型 εθ(xt,t) 估计评分函数 −∇xlog pt(x)。
随机微分方程会通过注入随机噪声模拟数据演化,但随机性可能给转换样本带来不期望的波动,影响要求特征一致性的域适应任务。本文沿用文献 [28],在 TSDB 中引入概率流常微分方程,使样本沿确定性轨迹转换,同时保持与相应随机微分方程相同的边缘分布。式(1)的等价确定性概率流常微分方程为:
本文使用 DPM-Solver [20] 求解上述概率流常微分方程,并用算子 DPMSolve 表示从 x0 到 xT 的映射:
其中,λ0=log(α0/σ0) 是与 t=0 噪声调度相对应的严格递减函数,λT 同理;φθ=dx/dt 表示由 θ 参数化的速度场。
给定源域样本 x(s)、目标域样本 x(t)、源域扩散模型 φθ(s) 和目标域扩散模型 φθ(t),TSDB 首先在目标域上调用 DPMSolve,得到终止时刻 T 的中间表示 x(i),把它视为与先验分布对应的潜在编码。随后,以中间域 I 为初始条件,使用源域扩散模型执行 DPMSolve,生成经转换的目标域样本。转换过程定义为:
式(5)在目标扩散模型下求解前向概率流,将目标样本映射到潜在空间;式(6)在源扩散模型下求解反向过程,把潜变量解码回源数据流形,生成具有源域风格的样本。TSDB 由此耦合两条扩散轨迹,通过多次渐进转移而非一次映射实现目标域到源域的转换。
从理论上看,概率流常微分方程可视为数据分布与潜在分布之间、具有线性或退化漂移的特殊薛定谔桥问题的解 [7],也可解释为最优传输问题,因此 TSDB 相比其他方案具有较高转换效率。
说明 1:源域扩散模型与目标域扩散模型在各自域内独立训练。TSDB 的转换过程可解释为两个扩散桥的串联:前向桥把目标域映射到中间域,反向桥把中间域连接到源域。由于无需域对之间的成对训练,域专属扩散模型可在不同域对中复用,无论该域充当源域还是目标域;这也有利于保护域数据所有者的隐私,使 DBDA 适用于无源域适应场景。
TSDB 的目标是在将目标样本转换到源域的同时,尽可能保留目标域语义信息,从而避免任务策略学习退化,并提高融合域 F 中决策边界的可迁移性和可判别性。然而,扩散过程本身不会为此提供显式引导。为兼顾域转换与判别语义保留,本文在反向过程中引入以目标输入为条件的迭代潜变量细化步骤,引导整条轨迹朝更优结果演化,同时避免过度一致。
傅里叶滤波器利用频域统计特征,将时变分量与时不变分量解耦,以刻画分布轨迹上的转移动态。定义 τ 为序列上的滑动窗口,滤波器对 x 的分解为:
其中,FT 与 FT−1 分别表示傅里叶变换及其逆变换,Gδ 为滤波器,Gδ 为其补集,并满足 FT(x)=x−xinv 以避免信息损失。在反向过程的每一步,可从 p(x̂t−1|xt) 得到 t−1 时刻的估计 x̂t−1。故障信号的语义主要体现在非平稳分量中,因此使 x̂t−1 朝缩小 xvar(T) 与 x̂var(t−1) 差异的方向移动:
γ 为控制细化步长的缩放超参数。若缺少显式引导,语义漂移会在反向去噪轨迹上累积;式(10)用轻量的逐步细化缩小目标语义分量与转换样本对应分量之间的差异,沿轨迹反复更新后使转换保持语义一致。
输入:目标样本 x(t),源模型 φθ(s),目标模型 φθ(t),扩散步数 T,傅里叶滤波器 FT
输出:x̃(s)
TSDB 使用两个分别在源域和目标域训练的扩散模型。由于两者形式相同,下文仅描述源域扩散模型。给定来自 p(s)(x0) 的源样本,扩散模型学习参数化分布 pθ(s)(x0) 去逼近真实分布。去噪扩散概率模型 [10] 可写为:
其中,x1,…,xT 是中间样本空间中的潜变量。训练通过优化数据似然的变分下界,使模型依据先验信息准确重建数据:
实际计算以如下简化代理损失替代式(13)的变分下界:
εθ(s) 为源域噪声预测网络,用于从 xT 预测 ε∈N(0,I)。训练完成后,式(4)的概率流常微分方程在 t−1 时刻的解为:
αt 与 αt−1 是参数化关系 xt=αtx0+σtε 中的确定性缩放项;λt=log(αt/σt) 与 λt−1 是对应的对数信噪比。x̂λ 为按 λ 参数化的连续反向轨迹上的中间潜在状态,e−λ=σ/α 按瞬时信噪比缩放预测噪声,εθ(x̂λ,λ) 为模型预测噪声。
DBDA 既可与上游数据预处理方法配合,也可与下游策略学习方法结合。在实际场景中,来自不同且未见过的目标域高层语义信息被注入后,真实源域会自然扩展为融合域,其特征空间和样本多样性随之增加。为适应跨域变化的故障模式,本文设计边界扩展损失,包括历史感知交叉熵项和源分类器置信误差正则项。
在每个步骤 t,源分类器不只使用当前融合域 Ft 的样本,而是通过指数衰减权重汇总从步骤 1 到 t 的真实标签,形成历史聚合软标签。该机制在适应最新域偏移的同时保留较早域中学到的稳定模式。历史感知分类损失为:
M 为融合域中的样本数,C 为类别数,z 表示诊断模型在每个推理步骤从融合域 F 提取的信号特征。本文采用标签空间一致设定,即源域与目标域具有相同类别集 合,跨域知识迁移只处理分布差异而非类别不匹配。历史聚合标签计算为:
其中,k=1,…,t 为历史步骤索引,指数衰减权重定义为:
其中 0<γ<1 为衰减系数。边界扩展损失还加入置信误差正则项,避免位于决策边界附近的困难样本获得较低置信奖励:
ei 与 ej 分别是融合域第 i、j 个样本的误差;当 ei>ej 时,指示函数取 1,否则取 0。置信差异为:
Pi(c) 表示诊断模型对第 i 个样本属于类别 c 的预测概率。源分类器由三层长短期记忆网络和两层全连接网络组成。式(16)—(19)借助历史决策信息稳定边界更新;式(20)—(21)进一步惩罚模型对分布外或不确定特征的过度自信,防止不可靠样本主导训练。二者共同促使决策边界在渐进域迁移过程中更平滑、更具可迁移性。
说明 2:如果分类器在每一步只用当前域训练,非平稳特征空间可能引起决策边界不稳定和灾难性遗忘。历史感知机制联合使用 {F1,…,Ft} 的监督信息,并通过指数衰减权重融合历史标签,在保留早期判别线索的同时更重视近期分布一致信息,使分类器能够捕获域对齐的时间演化并逐步细化决策边界。
输入:有标签源数据集 DS,无标签目标数据集 DT,源扩散模型 φθ(s),目标扩散模型 φθ(t),分类器 fψ,扩散步数 T,傅里叶滤波器 FT
输出:转换后的目标样本 x̃(s) 与稳健分类器 fψ
在全部域偏移场景中,DBDA 在管道数据集和 Sleep-EDF 数据集上均取得最佳表现。管道数据集包含 9 项跨域任务,DBDA 的平均准确率为 72.84%,并在全部任务中排名第一;域差距越大,改进越明显。Sleep-EDF 上的平均准确率为 66.73%,高于 TemSR 的 64.72%。消融实验显示,移除傅里叶知识保留模块后,HP→LP 和 HP→AWD 任务的准确率分别下降 4.93% 和 8.25%;继续移除 L2 置信正则项,准确率进一步下降。这些结果说明目标知识保留能够缓解语义漂移,历史感知边界扩展能够稳定融合域中的决策边界。训练期间扩散转换引入的额外计算开销总体可控。
实验采用两类基准数据:自采集天然气管道数据集 [37] 和公开 Sleep-EDF 数据集 [13]。管道数据包含负压波数据集(NPWD)与声波数据集(AWD)。NPWD 由 ZJ-CSGD 型平台模拟,管道长 180.2 m,采样频率 1024 Hz,流量 10 m³/h,包含高压(HP)、中压(MP)和低压(LP)三种工况。AWD 由 HD-II 型平台模拟,管道长 160 m,采样频率 5000 Hz,流量 60 m³/h,压力 0.5 MPa。两个数据集均通过切换阀门设置大、中、小泄漏(LL、ML、SL)三类故障。
Sleep-EDF 用作睡眠分期分类基准。实验使用 Fpz-Cz 脑电通道,数据来自 20 名不同受试者,每名受试者视为一个独立域。睡眠阶段分为清醒、浅睡期 1(N1)、浅睡期 2(N2)、深睡期 3(N3)和快速眼动期(REM)五类。
4.2.1 神经网络架构。DBDA 采用扩散 Transformer(DiT)[25] 作为骨干网络,共 12 个 DiT 模块,每个模块的隐藏维度为 384,包含 6 个注意力头。训练采用 Adam 优化器,学习率为 1×10−4,训练 1000 个 epoch,批量大小固定为 64。
4.2.2 训练策略。DBDA 不依赖现有无监督域适应方法常见的域对成对训练,因此在数据稀缺场景中具有更强的泛化能力。本文通过与多种代表性域适应算法进行比较来评价模型性能。
4.2.3 基线方法。管道数据集采用 DDA [12]、CoTTA [38]、FixBi [24]、SASA [2] 和 OUDA [37] 五种成熟模型作为基线,所有超参数均在验证集上通过网格搜索确定。Sleep-EDF 的对比结果采用文献 [26]、[40] 中报告的 NRC、AaD、BAIT、MAPU 和 TemSR。
4.3.1 管道数据集。表 2 给出各算法的平均准确率与标准误差,结果来自 5 个不同随机种子。DBDA 在 9 项任务中均取得最优结果,平均准确率达到 72.84%。OUDA 显式建模域不变特征和域特有特征,但仍不及 DBDA,说明基于特征对齐的方法在隐私受限场景中灵活性不足。DDA 虽是计算机视觉中的先进算法,但其线性低通滤波器主要面向图像高层特征,且依赖成对训练,因此在多个时间序列任务中表现受限。DBDA 在序列转换中保留频率特征,更适合此类任务。
表 2 管道故障诊断结果(%),结果为所有随机种子的平均值
4.3.2 Sleep-EDF 数据集。图 6 比较 DBDA 与其他方法在五项跨域任务上的表现。NRC、AaD 和 BAIT 是基于对比学习的无源域域适应方法,通过增强局部邻域预测一致性和全局预测多样性实现无监督适应,但它们仅凭时间序列的静态特征相似度构建伪监督,在决策边界模糊或不确定性较高时容易失效,其平均准确率分别为 56.84%、59.11% 和 61.53%,均未达到 64.72% 的基准均值。MAPU 为 64.04%,TemSR 为 64.72%,DBDA 为 66.73%。生成机制类方法在充分建模源域结构后能有效完成跨域迁移,而 DBDA 的结构解耦设计使其在全部任务上继续优于 TemSR。
4.4.1 表征分析。为直接评估 DBDA 的分布转换能力,本文在具有复杂非线性结构的合成同心环数据集上进行可视化。源域中的每个点被赋予唯一颜色,以便在转换后追踪同一实例。DBDA 的转换平滑且连贯,相同颜色的点在转换后保持局部一致并形成连续轨迹,而非发生不连续跳变;环状几何结构也大体保留。这说明模型不只匹配全局统计量,还维持邻域结构、避免模式坍塌,并能够稳定地把目标分布的内在非线性结构映射到源分布。
4.4.2 消融实验。TSDB 作为 DBDA 的基础,通过扩散桥执行目标域到源域转换和渐进对齐,为后续傅里叶目标知识保留模块(FT)和 L2 提供基础。按顺序移除组件后,HP→LP 和 0→11 任务分别下降 2.16 与 7.36 个百分点;在此基础上继续移除 L2,性能进一步下降,说明 L2 对调节分布外特征的分类置信误差具有重要作用。把 L2 加入 DDA 和 TemSR 也带来稳定改进。
表 3 各组件带来的性能下降或提升;DBDA 消融先移除 FT,再在此基础上移除 L₂
4.4.3 超参数敏感性。本文评估学习率 lr、Transformer 深度 L 以及 L1 与 L2 的平衡参数。学习率影响较大,需要谨慎选择;增加 Transformer 模块数量并不一定改善性能,说明更大的模型配置未必更优;平衡参数变化对 DBDA 整体性能的影响较小。
4.4.4 计算复杂度与运行时间。DBDA 包含三步:训练源域和目标域扩散模型;通过 TSDB 完成域转换;在融合域上训练分类器。相较仅训练特征提取器和分类器的标准域适应,额外开销主要来自前两步。实验把反向步数设为 T=1000,推理采用 50 步加速求解器,因此一次求解需要 50 次解码器计算。每个目标样本需要一次目标扩散模型的前向求解和一次源扩散模型的反向求解,约为 100 次解码器计算。目标知识保留步骤是可选的,其开销与细化步数线性增长。融合域上的分类器训练与常规域适应相当,因为只需在扩增数据集上优化判别网络。实际应用可通过设置求解步数预算并按需启用知识保留来控制运行时间。
本文面向故障诊断提出用于渐进域适应的 DBDA 模型。考虑到运输需求等因素会使运行工况以非平稳方式逐步演化,DBDA 利用扩散模型的分布转换能力,在保持语义一致性的同时实现目标域到源域映射,从而快速复用源域诊断模型。
框架由三部分组成:双向 TSDB 通过潜在空间映射和反向解码完成渐进的目标域到源域转换;目标知识保留机制在适应过程中保存目标域关键语义特征,缓解语义漂移并增强泛化;历史感知边界扩展损失通过稳定融合域中的决策边界,提高诊断模型在多种工况下的稳健性。多个数据集上的实验表明,DBDA 能获得更高的诊断准确率与效率,验证了其有效性和实用性。
后续工作将从三方面展开:一是引入工况感知扩散建模,把 DBDA 扩展到多域和持续适应等更具挑战性的场景 [3]、[17];二是提高效率,并研究 DBDA 在不同漂移模式下的理论性质 [1]、[16];三是把 DBDA 与控制理论结合,以支持更广泛工业应用中的有效、合理实施 [19]、[29]。