本期给大家分享一篇小编近期阅读的1区top综述文章。如果有故障诊断相关方向研究人员希望宣传自己研究成果,欢迎大家在公 众号后台与小编联系投稿,大家一起交流学习。故障诊断是当前工业设备领域的研究热点。
本期推荐的这篇是葡萄牙阿威罗大学博士后研究员约瑟夫·卡康的文章,本文系统综述了XAI(Explainable AI:可解释性人工智能)在工业故障检测与诊断中的最新进展,围绕设备、过程、产品及网络安全四大场景,梳理SHAP(Shapley Additive Explanations:沙普利加性解释)、Grad-CAM(Gradient-weighted Class Activation MappingShapley Additive Explanations:梯度加权类激活映射)、LIME(Local Interpretable Model-agnostic Explanations:局部可解释模型无关解释)等方法的应用现状,指出黑箱信任、法规合规、数据稀缺与解释粒度不足等挑战,提出构建模型内在可解释、混合解释范式、多模态输出及人机共创验证的未来方向,填补工业落地与监管审计的研究空白,推动工业AI从“可用”走向“可信、可审、可控”。
由于文章篇幅过长,小编将分两次为大家翻译介绍这篇论文,第一篇推文1区Top论文推荐! ||可解释性人工智能在工业故障诊断中的应用:系统综述(上)阐述XAI在工业故障诊断中的研究背景、核心挑战与系统分类,重点剖析了“黑箱”模型在设备、过程、产品和网络安全四大场景下的信任鸿沟,并首次提出面向工业落地的XAI统一框架与评估指标。
论文题目: Explainable AI for industrial fault diagnosis: A systematic review
论文期刊:Journal of Industrial Information Integration
Doi:https://doi.org/10.1016/j.jii.2025.100905
a TEMA - Centre for Mechanical Technology and Automation, Department of Mechanical Engineering, University of Aveiro, 3810-193, Aveiro, Portugal
b LASI - Intelligent Systems Associate Laboratory, Guimarães, Portugal
c DETI - Department of Electronics, Telecommunications and Informatics, University of Aveiro, 3810-193, Aveiro, Portugal
d IT - Institute of Telecommunications, 3810-193, Aveiro, Portugal
1 引言
2 理论背景
2.1 基础概念
2.2 XAI 分类法
2.3 XAI 输出呈现与评估
3 研究方法
4 文献细节分析
4.1 应用领域与问题范围
4.2 XAI方法与应用范围
4.3 依据所提出分类法的归类
4.4 XAI输出呈现与解释工具
5 综合讨论
6 结论
本节对所选文献展开详细分析与讨论,以回应第1节提出的主要目标;内容涵盖:主要应用场景与问题类型的梳理、所用XAI方法及其按第2.2节分类法的归类、各案例实现可解释性与可说明性的途径,以及为支持解释所采用的具体工具。
鉴于所评审文献数量庞大且内容复杂,作者另行编制了一份外部表格,以提供对每篇论文的综合概览。该表格涵盖以下关键信息:应用领域、所提出解决方案的简要描述、所用机器学习与可解释人工智能技术、XAI相关评估指标,以及从各篇文献结果中提炼出的核心见解,旨在为所有被分析的单篇出版物提供一站式参考。
4.1 应用领域与问题范围
本分析首先评估每篇论文的主要研究领域与应用场景,并剖析作者如何借助机器学习与可解释人工智能方法应对各自用例;表1与图7提供了这些方面的详细信息。
表1 所评审文献的研究领域、应用场景与问题范围概览
图7 所评审论文的问题类型与关注焦点(FD = 故障检测,FC = 故障分类,FDD = 故障检测与诊断,DD = 缺陷检测,DDC = 缺陷检测与分类,ID = 入侵检测)
首先从全局研究领域来看,制造业在33篇论文中占据主导地位,共13篇(39.5%),涉及设备、过程与产品的异常检测与分类;网络安全作为现代工业尤其是工业物联网(IIoT)环境的关键领域,在5篇文献(15.2%)中被用于入侵检测研究。其余论文则分布于制药、医疗、航空航天和能源等多个行业。此外,部分研究通过多案例展现了方法的通用性:Nor等[72]将深度学习(DL)与SHAP结合,用于燃气轮机和涡扇发动机的无监督故障检测;Anello等[73]提出结合加速模型无关解释(AcME:Accelerated Model-Agnostic Explanations)的无监督故障检测方法,同时提供局部与全局可解释性,并应用于过山车(娱乐业)和压实机(制造业);Kakavandi等[80]将基于梯度的XAI方法与DL分类器结合,用于船舶发动机与医疗装配过程的故障检测;另有两项研究未指定具体工业领域,但使用基准数据集验证方法:Barbado等[103]提出新型聚类规则提取方法,Kang与Kang[104]则提出具有内在可解释性的基于DL的无监督故障检测模型。
如图7所示,在应用与问题性质方面,所评文献可归入四大应用领域:设备、过程、产品与网络安全。设备相关研究在故障检测(FD:Fault Detection,通常为二分类)与故障分类(FC:Fault Classification,多标签问题)上各占5篇(15.1%)。设备故障检测中,Lorenti等[74]提出CUAD-Mo无监督异常检测流程,用于数控机床失效监测:以孤立森林(iForest)分类器结合基于深度的孤立森林特征重要度(DIIFI:Depth-based Isolation Forest Feature Importance)计算局部特征重要度,预处理阶段用t-SNE分割输入数据以区分不同刀具-程序组合;Li等[76]采用一维卷积神经网络处理振动信号进行轴承故障检测,并提出多层梯度加权类激活映射(MLG-CAM:Multilayer Gradient-weighted Class Activation Mapping),在多个卷积层生成激活图,捕捉不同抽象层次的特征及其演化。设备故障分类方面,Brito等[81]用1D-CNN对旋转机械故障分类,训练数据为含多种故障的合成振动信号,事后用GradCAM可视化网络输出;Wen等[78]提出梯度可解释图卷积网络(GIGCN:Gradient-based Interpretable Graph Convolutional Network),融合图卷积网络与Grad-CAM,在时域和频域高亮关键信号分量,通过一维热力图实现分类结果的事后可视化。其余3篇(9.1%)聚焦故障检测与诊断(FDD:Fault Detection and Diagnosis ),结合异常检测与故障判别,因工业场景故障数据稀缺而倾向采用无监督方法,易致数据不平衡。例如,Serradilla等[82]用仅在正常数据训练的二维卷积神经网络自编码器检测压力机异常,SHAP定位并可视化异常信号,聚类方法按相似性分组以诊断新故障;Kim等[83]在无监督情形下用iForest加分层聚类实现船舶发动机故障检测,局部与全局特征归因均用SHAP;Baek与Kim[84]把卷积自编码器与多层感知机(MLP:MultiLayer Perceptron)分类器结合,识别半导体设备多种故障类型,事后再次用SHAP找出导致预测故障的传感器交互。
在产品相关应用中,占比24.2%的研究聚焦于缺陷检测(DD:Defect Detection)与缺陷检测分类(DDC:Defect Detection and Classification)任务。由于产品检验多在生产末段进行,绝大多数研究依赖图像数据识别成品表面潜在缺陷;鉴于卷积神经网络在基于图像的分类与缺陷检测中已获验证的有效性,多项研究将其用于产品检验。Saleh 与 Metin Ertunç [96] 提出可解释注意力融合CNN(XAFCNN:Explainable Attention-based Fused CNN),利用X射线扫描进行轮胎缺陷检测与分类,通过特殊注意力模块提升性能,并采用Grad-CAM以二维热力图可视化关键缺陷区域。Gerschner 等 [90] 借助迁移学习的VGG与ResNet卷积架构对机械密封件表面缺陷进行检测,再次使用Grad-CAM突出显示被分析部件的缺陷区域。同样,Raab 等 [91] 亦利用通过迁移学习预训练的VGG16 CNN,针对药品胶囊视觉检验与缺陷检测,事后采用Grad-CAM与SHAP以输入热力图高亮表面缺陷。例外的是Matos 等 [92],其利用装配与功能测试的表格数据对车辆显示系统进行二元缺陷检测,并实施敏感性分析提取相关特征。另一创新方法由Bordekar 等 [95] 提出,其在3D打印过程中采用CT扫描,通过像素级分类与聚类(K-means与DBSCAN)检测并可视化打印件内部缺陷,同时采用局部可解释模型无关解释(LIME:Local Interpretable Model-Agnostic Explanations)作为特征归因方法,对特定像素的个体模型预测进行解释。
在面向流程的相关用例中,全部5篇入选论文均聚焦流程故障检测与诊断(FDD)。多数研究采用两步法:先以二分类器识别故障,再用多标签模型区分潜在故障类型。例如,Agarwal等[85]构建两个动态深度监督自编码器-神经网络分类器(DDSAE-NN:Dynamic Deep Supervised Autoencoders combined with Neural Network classifiers),分别用于化工过程的二元故障检测与多标签故障诊断;其XAI方法——逐层相关性传播(LRP:Layerwise Relevance Propagation)——在训练阶段迭代应用:每次迭代中,LRP相关性得分被用来剪枝输入特征,形成嵌入式特征选择机制。Harinarayan与Shalinie[86]同样针对化工过程FDD,采用XGBoost分类器并辅以两种事后XAI方法:SHAP提供局部与全局特征相关性洞察,多样化反事实解释(DiCE:Diverse Counterfactual Explanations)生成反事实样本,指出恢复正常运行状态所需的输入变化。在网络安全应用中,全部5篇论文均聚焦入侵检测(ID:Intrusion Detection),其中4项研究开发了区分正常与异常数据实例的二元方法;例如,Wawrowski等[98]采用梯度提升分类器检测网络流量入侵,通过Shapley值给出局部事后解释,识别最能指示异常行为的输入特征;Keshk等[102]提出基于可解释长短期记忆网络的物联网入侵检测框架,结合局部与全局可解释方法SHAP、个体条件期望(ICE:Individual Conditional Expectation)、偏依赖图及置换特征重要性(PFI:Permutation Feature Importance)。相反,仅Namrita Gummadi等[100]将分析扩展至对不同入侵类型的分类,该研究对多种多标签分类器与事后XAI方法进行了比较。
关键要点
XAI 已融入工业流程的多领域。在工业环境中,XAI 应用横跨四大核心区域:(1) 工业设备,主要用于故障检测、诊断与预测性维护;(2) 工业过程,用于连续过程监控与控制;(3) 产品检验,在生产末段进行缺陷检测与零件质量评估;(4) 网络安全,更聚焦于 IIoT 系统中的数据安全与保护。
XAI 在各应用中展现多样性。尽管制造业似乎是文献关注最多的领域,但综合结果显示,XAI 正日益应用于其他区域:化工行业,尤其用于过程监控与异常检测 [85–87,89];IIoT 环境中,服务于网络安全目的 [98–102];以及零件质量评估,其中 3D 打印 [94,95]、汽车 [92] 和航空航天等关键领域均在利用 XAI 测试产品质量。
XAI 强化无监督学习场景。多项研究在无监督情境下借助 XAI 支持故障判别 [82–85,87–89,94,96]。尤其在结合二元与多标签分类的综合方法中,XAI 通过聚类与验证无监督分类器帮助阐释不同故障类型,促进新故障模式的识别。
4.2 XAI方法与应用范围
在先前针对领域、应用以及基于机器学习(ML:Machine Learning)问题的性质所进行的初步分析基础之上,本节聚焦于受评论文中为促进可解释性与可说明性而采用的可解释人工智能(XAI:Explainable AI)方法;它探讨了所用具体技术、实施背后的理由以及应用结果。为支撑这一分析,表2提供了受评文献中常见目标、实现可解释性的途径/方法论以及XAI方法应用输出的汇总,表3则将这些信息映射至每一篇出版物并列出各自所用的具体XAI方法;最后,图8以条形图形式对表3中详述的信息进行了数量化展示。
表2 论文中识别的常见范围、实现可解释性的方法及其输出列表
表3 对每篇论文所采用方法、实现可解释性的途径、目标及XAI应用输出的详细回顾(基于表2)
图8 各出版物所采用XAI方法、实现可解释性的途径、目标及输出的图形概览(依据表3)
在分析不同研究的过程中,针对 XAI 实施的目标、实施方式与输出,识别出了若干“指标”(如表 2 所示);这些指标被归入以下类别:
解释范围( SE: Scope of explanation ):该类别界定实施工作聚焦于解释单个、局部数据实例( ),还是提升整个数据集的全球可解释性( );某些情况下,两者同时被探讨。
如何实现可解释性 (INT:How interpretability is achieved): 各论文中识别出多种提升模型与输出可解释性的途径。文献中最常见的是计算特征相关性得分( ),从局部与全局角度揭示最重要的输入变量;部分研究引入可推导数值规则以界定特定数据类别的XAI方法( ),另有研究生成反事实解释( ),即确定需对输入变量做出何种改变才能使模型预测发生变化(通常从异常变为正常)。也存在使用第二个“白盒”模型来解释“黑盒”模型决策的做法( ),或将可解释性直接嵌入ML分类器( )。其他情况基于模型设计或架构本身即具备可解释性( );最后,部分作者直接在输入特征与其对分类器输出的影响之间进行(多为图形化的)分析( )。
解释呈现格式(EPF:Explanation Presentation Formats):这些格式代表作者向终端用户传递可解释性的方式;包括使用数值指标与度量( )、图形化展示( )、热力图表示( ,高亮原始数据中最影响输出的区域,主要用于图像数据)、聚类表示( ,帮助在视觉上识别多类数据,常与无监督ML分类任务结合),以及通过文本展示XAI技术输出( )。关于诱导用户可解释性的方法及数值评估指标的更详尽回顾见第4.4节。
其他指标(OTH:Other indicators):不属于前述类别的指标包括:联合两种或以上XAI方法并融合其输出以提升解释质量( );引入专家知识以验证或辅助解释生成过程( );以及利用基于XAI的特征相关性得分执行降维与模型剪枝任务( )。
与表2所定义并描述的准则相一致,表3依据这些准则对所有被评审的出版物进行了详细分类,图8则以图形方式对表3的结果进行了展示。
根据不同应用及所开发框架的复杂性,各研究在解释范围、实现可解释性的途径以及结果输出方式上呈现出差异,正如表3所示。其中 特别值得关注的是Lee等人[93]、Jang等人[89]以及Meister等人[97]的工作,它们“勾选”了更多的分类项。Lee等人[93]将两种XAI方法——逐层相关性传播与透明的决策树模型——相结合以提升可解释性,并将其应用于神经网络,聚焦于利用图像数据进行产品缺陷检测。通过融合LRP的热力图与基于网络输出的DT决策规则,他们在输入层和输出层均提供了相关的局部洞察。此外,其混合XAI方法通过一项结构化调查得到了验证,领域专家报告称,相较于缺乏XAI支持的先前实现,该方法在信任度、感知有效性和满意度方面均有提升。Jang等人[89]将模型无关的解释器SHAP与无监督对抗自编码器相结合,用于诊断化工过程中的故障。通过将SHAP的特征相关性排序与层次聚类相结合,他们能够在无监督场景下区分不同的故障类型。Meister等人[97]则针对复合材料产品缺陷检测,探索了一种采用支持向量机(SVM:Support Vector Machine)与CNN分类器的模型交叉验证策略;其方法融合了SVM的超平面距离分析、用于CNN可解释性的SmoothGrad,以及在预处理阶段使用t-SNE聚类以可视化不同故障群组。这些示例展示了融合多种XAI方法以增强可解释性的潜力,不仅提供了更丰富的洞察,而且在Lee等人[93]的案例中,还通过领域专家评估对其有效性进行了实证验证。
就解释范围而言,局部与全局方法在受评研究中并无显著优劣。在33项被评审的实现中,24项(72.7%)包含某种形式的局部解释(主要通过特征相关性计算),18项(54.5%)包含全局解释;此外,如表3所示,多项研究将两者结合,既提供个体样本层面的洞察,也呈现数据集整体趋势。
就“可解释性如何达成”而言,研究呈现出明显偏好:31 项(93.9%)采用基于 ML 分类器输出计算输入特征相关性排序的方法,无论局部、全局或两者兼具;这一策略的主导地位与 SHAP 这一成熟、模型无关且数学基础坚实的方法被广泛使用[63]直接相关。此外,针对深度学习模型,利用反向传播识别关键输入特征的梯度类方法亦常见。这些趋势表明,尽管可解释性正被积极探索,多数作者仍优先关注特征相关性计算,而非深入挖掘 ML 方法背后的推理机制;他们主要聚焦输入-输出解释,而非直面模型的“黑箱”本质,使得模型的决策过程依旧大体不透明且未被充分探索。
第二最常探索的可解释性实现途径,是在33篇受评论文中占5篇的“内在可解释分类器”方案;其中3篇聚焦深度学习(DL:Deep Learning)。Lee等[93]以决策树(DT:Decision Tree)作为代理模型解释神经网络输出,使输出概率与不确定性更清晰;Kumar等[94]针对3D打印缺陷检测提出零偏置CNN(Zero-bias CNN),通过余弦相似度层提升可解释性,并基于其输出计算马氏距离(Mahalanobis distance)衡量样本输出与已知类别模板的相似度;Yang等[88]则构建用于工业过程故障检测的贝叶斯网络(Bayesian Network),利用网络的层次结构实现可解释性,其方法可依据父子关系进行根因识别,并通过网络图示为用户提供图形化解释工具。
其余方法包括:三处研究 [92,100,102] 采用直接输入–输出分析,所用手段涵盖 ALE、PDP及敏感性分析;三处场景 [75,86,102] 探索反事实解释,给出假设示例展示输入如何改变模型预测(通常由异常转为正常);另有两项研究 [93,103] 尝试规则提取:Barbado 等 [103] 将单类 SVM输出与聚类算法(K-Means++ 与 K-Prototypes)结合,迭代生成二维规则,并以量化指标评估规则复杂度、覆盖率与重叠度;Lee 等 [93] 则从决策树(DT)提取决策规则,并且是唯一使用代理“白盒”模型解释“黑盒”系统的作者。总体而言,这些替代路径显示出学界对“超越事后解释、迈向内在可解释模型与技术”的兴趣日增,但其采用率相较于基于特征相关性的方法仍相当有限。
在解释呈现格式方面,图形工具占据明显优势:33项研究中28项(84.8%)采用图形方式,其中输入热力图占45.5%,主要用于图像数据分析,通常与基于反向传播的深度学习分类器联用;聚类热力图占18.2%,多用于无监督场景以识别并区分不同故障群组。图形工具的广泛采用体现了其在提升人类可解释性上的有效性,视觉表示对人类而言更直观易懂。相比之下,数值指标仅用于7项研究(21.2%),可能因其复杂性高且跨场景适用性低;文本解释最少,仅两处研究[83,93]采用。尽管使用有限,文本输出在工业环境中仍具潜力,易于理解的描述性解释可辅助决策、报告生成与事后分析。第4.4节将对图形与数值XAI指标及度量进行更详细讨论。
聚焦于分析中的其他相关准则,11 项研究(33.3%)探讨了两种或更多 XAI 方法以提升可解释性;这些组合通常带来更全面的解释目标覆盖,反映在表 3 中更高的指标数量。此外,3 项研究 [72,85,99] 将 XAI 方法的应用延伸至可解释性之外,展示了其在降维、数据集简化和模型优化方面的多功能性与附加价值。最终,仅两项研究 [80,93] 成功融入人类领域知识以支持解释的开发与/或验证。尽管此类整合仍相对稀缺,专家知识的引入对于建立对基于机器学习(ML)系统的信任以及使解释贴合用户特定需求至关重要;未来研究应着力拓展这种以人为中心的路径,以实现更有效、更契合用户的可解释性框架。
关键要点
特征相关性评分主导可解释性方法。绝大多数研究(93.9%)将输入特征相关性排序作为其 XAI 工具之一;这虽表明对输入可解释性的关注,但也暗示作者主要聚焦于输入-输出关联,而非阐明 ML 模型内在的决策机制。
图形输出是首选解释工具。图形指标——即输入相关性热力图与聚类可视化——在 84.8% 的研究中被采用,因其通用性强且易于人类解读而受青睐;相比之下,数值指标仅用于 21.2% 的案例,可能因其复杂且适用性较低。
组合 XAI 工具以增强可解释性。三分之一的研究在框架内融合两种及以上 XAI 技术,这种组合带来互补的分析与洞察,同时实现关键特征识别、数据聚类区分(如不同故障群组)、决策规则提取及反事实解释与样本生成,从而提供更全面的模型行为理解,对实际工业应用尤具价值。
现有方法被优先采用。虽未在上文讨论,但表 3 显示,大部分研究沿用已建立的 XAI 方法,且多与输入特征相关性计算相关,反映出此类方法的成熟度与广泛可用性;相反,仅 24.2% 的受评论文旨在提出新颖且定制的可解释性改进方案。
4.3 依据所提出分类法的归类
继前文对多种场景下XAI实施主要目标与范围的分析之后,本节通过识别所有被采用的 distinct XAI方法并按第2.2节所提分类法进行归类,对此予以补充;为此,表4与表5分别对所有既存方法与作者提出的方法进行分类,图9则对两表信息予以图形化汇总。
表4 受评论文中识别的所有既有XAI技术概览,并依据第2.2节所提分类法进行归类;聚类技术因可能存在双重分类而被单独列出
表5 综述论文中识别出的全新XAI方法概览,并依据第2.2节所提分类法进行归类
图9 依据第2.2节分类法及表4、表5信息对XAI方法进行的图形化分析(注:Ex=示例生成,RE=规则提取,cluster=聚类,Simp=简化解释,InpVis=输入可视化,FeatAtt=特征归因)。此外,通用性、解释范围、解释方法论与输出分析仅适用于事后(post-hoc)方法
在受评论文中,共识别出30种不同的XAI方法,以及3种基于聚类的方法(如前所述,由于其应用具有双重性,未被纳入分类法)。在这30种方法中,26种(86.7%)为事后方法,表明研究强烈倾向于采用代理模型来提升可解释性。在这26种事后方法中,模型无关方法略占多数,共17种(65.4%),其余9种(34.6%)为模型专属方法。所采用的模型专属方法大多针对神经网络设计,如用于CNN的Grad-CAM与MLG-CAM等;有一种方法[75]针对树模型,其余3种则适用于更具体的情境(见表5)。尽管模型无关方法可能存在模型泛化能力差、忽视特征间依赖关系等缺点[63],但其因更强的通用性和适用于多种ML方法而受到青睐。尽管如此,对内在可解释方法的关注正在增长,因为这类方法在模型决策过程及其计算结构方面提供了更高的透明度[50,105,106]。在受评论文中,30种方法中有4种(13.3%)为内在可解释方法,包括决策树(DT:Decision Tree)模型及其基于规则的内部结构,以及3种深度学习方法:贝叶斯网络[88]、可变时序Transformer[104]和零偏置CNN[94]。总体而言,如表4所示,SHAP成为最常被采用的方法,在33篇受评论文中被使用于13项研究;Grad-CAM次之,被使用5次。这两种方法均属于特征归因类别,反映出对输入特征相关性分析的明显趋势,正如第4.2节先前所强调的那样。
接下来的两项分类——解释范围与解释方法论——与第4.2节提供的洞察完全一致。在26种事后方法中,仅输出局部解释的与同时输出局部和全局解释的方法各占11种,另有4种方法(ALE与PDP及其两种改进[75,103])仅能提供全局解释。此外,方法论上以特征归因(feature attribution)为主,占比69.2%,其余30.8%分布在示例生成(2种)、规则提取(1种)、简化解释(1种)及输入可视化(4种)。在18种特征归因方法中,进一步包含基于扰动的5种、基于梯度的6种、基于遮挡的3种、基于博弈论的2种(SHAP与Shapley值)、1种基于权重的方法(ProfWeight),以及Kim等[75]提出的1种自定义归因方法。
接下来的两个分类——解释范围与解释方法论——与第4.2节提供的洞见完全吻合。在26种方法中,仅输出局部解释的方法与同时输出局部和全局解释的方法各占11种,另有4种方法(ALE与PDP及其两种改进方案[75,103])仅能提供全局解释。此外,基于特征归因的方法占据明显优势(占69.2%),其余30.8%分布在示例生成(2种方法)、规则提取(1种方法)、简化解释(1种方法)以及输入可视化(4种方法)。在18种特征归因方法中,进一步包括5种基于扰动、6种基于梯度、3种基于遮挡的方法,2种基于博弈论的方法——SHAP与Shapley值,1种基于权重的方法,以及Kim等[75]提出的1种自定义归因方法。
最后,尽管文献中普遍偏好图形输出(见第4.2节),图9的分析却显示,在受评论文中识别的事后方法里,73.1%主要产生表格输出;这一比例居高与特征归因方法占主导直接相关,后者通常以输入特征的数值排序呈现结果。相比之下,仅9种方法(34.6%)典型地产生图像输出,4种方法(15.4%)产生图形输出,而仅两种方法——多样化反事实解释与对比解释法(CEM:Contrastive Explanation Method)——常直接与文本输出结合实施。
关键要点
事后方法占据绝对优势。在受评论文中,86.7%采用事后方案,通常以代理模型形式附加于机器学习分类器;尽管这类方法在生成基础解释方面有用且有价值,但仍常缺乏对模型决策过程本身的透明洞察。内在可解释模型虽相较于事后方法仍显不足,却开始受到关注——4种被识别的方法中,有3种为全新提案。
SHAP 是文献中的首选方法。在 33 篇受评论文中,13 篇实施了 SHAP,排名第二的 Grad-CAM 仅 5 次实施;其流行程度印证了前述观点,即研究强烈偏好特征相关性分析,尽管其对模型内部推理的揭示仍有限。
对模型无关方法的偏好。在识别出的单一方法中,65.4% 为模型无关途径,其余 34.6% 为模型专属;模型无关方法因可适用于多组、多族机器学习方法而具备更强通用性,这解释了其更受青睐的原因。此外,在模型专属方法中,多数针对深度学习分类器及特定族系,如卷积神经网络。
特征归因方法占主导。如图 9 所示,在受评论文识别的 26 种不同 XAI 方法中,18 种(69.2%)依赖特征归因,且大多通过基于梯度与基于扰动的方式实现;这再次表明文献中明显倾向于利用 XAI 进行输入–输出相关性分析。其他途径,如规则提取与输入可视化,则远为少见。
表格输出最为常见。对所有事后方法而言,73.1% 常产生表格输出(包括特征相关性得分、反事实样本示例等);而根据第 4.2 节分析,在文献中用于输出 XAI 结果最为常见的图像与图形输出,分别仅由 34.6% 与 15.4% 的方法常见产生。基于文本的解释则极为稀少,仅两种方法通常提供此类输出。
4.4 XAI输出呈现与解释工具
在分析了不同作者采用的多种可解释人工智能方法之后,本节聚焦于 XAI 输出如何传递给终端用户。受评论文中识别出两大输出类别:图形与数值。图形输出以多种插图形式呈现,格式多样(图像、图形、文本等);数值输出则作为量化指标,常用于对机器学习可解释性的不同方面进行直接比较。
在受评论文中识别出多种图形工具;因其种类繁多,类似第4.2节进行的范围与应用分析,本文按表6所列准则对其进行分类,具体包括:
可视化类型(VT:Visualisation Type):指向用户传递解释的方式;热力图(Heat:Heatmap)通过色彩方案高亮关注区域,聚类图(Cluster:Clustering Plot)在二维空间展示样本群组,对无监督学习场景尤为有用,输入-输出图(InOut:Input–Output Visualisation)聚焦输入与输出之间的关系且大多独立于XAI方法,特征相关性图(Rel:Feature Relevance Visualisation)则显示输入变量的排序或得分。
可解释性范围(SI:Scope of Interpretability):与XAI方法分类类似,该维度将图形化可解释性工具按其能力划分为:提供局部(L:Local)——即单个样本分析,或提供全局(G:Global)——即面向整个数据集的分析;需指出的是,某些方法同时具备两种能力。
应用范围(SA:Scope of Application):同样关联XAI事后方法“通用性”准则,区分为模型专属(MS:Model-Specific)输出——针对特定XAI方法及输出定制,以及模型无关(MI:Model-Independent)输出——具有广泛适用性。
可解释性水平(IL:Interpretability Level):更侧重实施端,将方法分为两类:任何用户均易于理解和掌握的用户友好型(UF:User-Friendly),以及需要专家知识方可实现可解释性的专家导向型(EO:Expert-Oriented)。
终端用户用途(EU:End-User Purpose):在实用性与前一类别相似,该分类聚焦终端用户,依据实际用途将图形化XAI可解释性工具划分为:用于实时监控与决策(Mon:Monitoring);用于模型验证与调试(Val:Validation);或用于根因分析与诊断(Root:Root-Cause Analysis)。
依据表6所定义的上述准则,表7汇总了在文献评审过程中识别出的全部图形化可解释性工具,图10则对其进行了图形化分解展示。
表6 图形化XAI输出表示的分离准则列表,并附简要描述
表7 已识别图形化XAI输出表示概览,并依据表6准则进行分类
图10 依据表6所定义准则及表7所示结果,对受评论文中识别的全部图形化解释工具进行的图形化分析
在识别出的23种图形化工具中,使用最为频繁的是1D/2D输入热力图表示与类别聚类图,各自被采用6次。由表7可见,热力图尤为通用:它们将特征相关性排序与热力图表示相结合,适用于时间序列(1D)或图像(2D)数据,能够直观地向用户展示输入中的关键区域,并可直接用于根因分析;此外,其与任何特征相关性排序方法均兼容,因而适用范围广泛。相比之下,类别聚类图通常用于无监督场景,且往往需要领域专家知识;它们在探索性数据分析阶段以及故障类型与数据分组识别中具有重要价值。就涵盖分类数量最多的工具而言,当属LIME图。尽管该图专属于XAI LIME算法及其Python实现,其表示却融合了多项简洁的解释要素:(1)类别概率,展示分类器的置信程度;(2)最具影响力特征,局部揭示对特定输出最重要的特征;(3)对应特征值。尽管简洁,LIME图仍体现了整合多种可解释性元素以提升用户理解的潜力。
进一步分析表7与图10的结果可知,在可视化类型(VT:Visualisation Type)准则下,占主导地位的图形/可视化工具为与特征相关性排序相关的表示,共12/23(52.2%),这与特征归因方法的广泛应用——尤以SHAP为甚——保持一致;直接输入-输出可视化工具亦被有效采用(39.1%),作为通用途径,在获取过程知识方面可带来显著收益;而最少被探索的工具为聚类方法(13%),此类方法或对过程需额外知识,故与实时生产分析的兼容性较低。
就可解释性范围(SI:Scope of Interpretability)而言,全局范围的解释工具更为普遍,在23种已识别图形工具中占12种(52.2%);仅4种(17.4%)局限于提供局部洞察。其余7种中,6种具备足够通用性以同时支持局部与全局分析,剩下1种(分类器架构表示)属特殊情况,更侧重于推断模型的决策系统。总体而言,全局方法的主导地位反映出对模型整体评估的重视,而非实例级决策分析;此外,该趋势也与最后分析的终端用户用途(EU:End-User Purpose)准则相关。诱发局部可解释性的工具被认为更适用于对模型针对特定决策的行为进行快速、直接分析,因此大多用于直接向任何用户展示模型决策;相反,聚焦于样本群体与整个数据集的全局方法,可能无法直接代表某一特定决策,而是使特定分类器的整体行为得以开展更复杂、更深入的分析,因此此类工具适用于模型开发与优化阶段(如降维与性能优化任务),以及由领域专家进行的整个过程行为的事后分析。由此,在EU准则下,仅6种图形指标(26.1%)更关注结果的直接分析,而13种工具(56.5%)专注于为模型开发与优化提供有价值的洞察,18种工具(78.3%)诱发事后分析,后两者因而需要对过程有更深入的理解。
应用范围(SA:Scope of Application)分类展现了所采用的各种图形化XAI输出表示的通用性。23种中的17种(73.9%)被标记为模型无关,其余6种(26.1%)为模型专属,意味着它们仅限于特定XAI技术的实现。拥有模型无关的工具,包括输入热力图和聚类图,以及基于特征相关性的工具,如汇总图和瀑布图,表明这些类型的可解释性可独立于所采用的XAI方法轻松实现。
最后,就可解释性水平(IL:Interpretability Level)而言,仅5/23(21.7%)的图形化解释表示被归类为用户友好型,即任何用户都能轻松理解;其余18种(78.3%)被认为更难解读,需要对建模过程有一定专业知识和了解。这些结果与之前讨论的其他标准一致,主要是可解释性范围和终端用户用途。用户友好型工具最适合实时分析,此时需要快速理解机器学习分类器的输出及其决策,以便直接对特定决策采取行动。因此,局部分析工具数量较少与用户友好型方法数量较少相一致。相反,文献中对需要一定领域知识的全局工具的关注,表明一种趋势,即更多复杂的分析工具旨在面向开发人员和过程工程师,而非操作人员。
与图形表征相比,数字XAI输出指标的探索频率较低。也许由于其更大的复杂性、更难的可解释性和更高的特异性,有更少的作者专注于开发和使用这些指标。表8描述了在所审查的出版物中确定的所有相关的XAI产出指标和指标。需要指出的是,尽管特征相关度排序是大量著作中探索的数值型指标,但作者选择将其排除在分析之外,而将重点放在那些不太常见的指标上。
表8 部分作者采用的具体数值指标(排除特征相关性得分,因其应用广泛)
如前所述,XAI的数值输出在文献中的探索非常少,在被审查的33篇出版物中,只有9篇( 27.3 % )开发和探索了这些工具,以提高用户的可解释性。与图形工具相比,数值输出通常针对特定的XAI技术或问题类型,包括规则提取[ 103 ]和反事实样本生成[ 75、86 ],针对特定的方法或方法组,如SVM [ 97 ]和基于树的分类器[ 83 ],甚至针对特定类型的输入数据和问题,如涉及频域信号的问题[ 76 ]。 此外,在大多数情况下,这些数值指标大多被视为性能指标,用于以定量的方式评估和比较特定XAI方法的性能。
数值指标的这种特定性可能是一把双刃剑。一方面,它限制了其适用性,尤其是对于终端用户而言。与一些图形工具(如输入相关性热力图)相比,后者可以直接向任何终端用户提供有关模型行为及其决策的信息,大多数数值指标需要更深入的分析。它们似乎对模型开发人员最有价值,提供了反映机器学习和/或可解释人工智能模型性能的若干重要见解,或者对任何旨在获取有关建模过程有用知识的过程工程师也有帮助。此类指标的例子包括分类器的正确隔离率[88](用于评估模型有效性)、针对规则提取评估的可理解性、代表性、稳定性和多样性指标[103],以及反映类别分离的SVM超平面距离[97]。可能更容易被解释的数值指标包括反事实和“归一化”样本[80,86],它们直接向用户展示样本所需的变化。另一方面,这些数值指标的实施可能为整体ML和XAI框架提供了图形工具无法实现和传达的额外可解释性。特别是在模型构建和优化过程中,例如,能够分析规则提取方法所提取规则的复杂性,有助于开发更简单的方法,并相应地改进这些规则及其向用户的传达方式。此外,它还允许在实施步骤之前评估特定XAI方法对用户的影响。
总体而言,数字指标往往比图形工具更难定义,在某些情况下更难解释。因此,它们在文献中的探索仍然较少。然而,当与图形工具一起有效地开发和使用时,数值度量可以显著地增强可解释性,并对模型行为提供更深入的见解。
关键要点
图形化XAI解释工具主导XAI输出。文献中探讨了众多图形工具,包括输入热力图、聚类图以及各类特征相关性评分图。这些工具提供更直观、通用的表示方式,同时支持局部与全局可解释性,且多数与所选XAI方法无关。
对全局洞察与模型优化的强烈关注。大多数图形工具(78.3%)用于事后分析与模型验证,为模型行为与决策提供高层次洞察;相反,面向操作员层级的实时监控工具仍相对探索不足。
数值指标适用性较低。仅27.3%的受评论文采用并探讨数值指标;这些度量常较复杂且针对特定应用,限制了其通用性,尽管如此,它们仍为模型及解释开发阶段提供有用信息。
将图形与数值指标相结合可增强可解释性。利用可视化工具的直观理解力,再辅以数值指标更深入、更复杂的分析能力,能够实现更优解释,从而在操作员层级的用户友好决策支持,与开发及后处理分析阶段所需的深度分析之间架起桥梁。
在对现有关于工业故障检测与诊断范围内可解释人工智能的文献进行全面综述的基础上,本节概述并讨论了综述的主要发现,将其与先前研究进行比较,并提出了关键挑战及未来研究的可能方向。
尽管可解释人工智能在工业故障检测与诊断中的实际应用仍相对有限,本综述发现其已在若干关键工业领域得到探索,包括设备监测、过程控制、产品检验与网络安全。此外,虽然制造业仍是主要关注领域,化工过程、汽车工程及航空航天等其他行业亦开始受益于XAI应用。在实施层面,本综述证实了其他研究强调的主要趋势——特征归因方法占主导地位[57,107–109]:33篇受评论文中,31篇(93.9%)采用了至少一种输入特征排序方法,其中SHAP使用最为广泛(13次),其次是Grad-CAM(5次)。这些发现与文献一致:SHAP始终被视为局部与全局可解释性的领先技术[34,35],而卷积神经网络在图像数据处理中的日益普及[110–112],尤其在本综述范围内的产品缺陷检测与分类中,促使Grad-CAM成为首选解释方法[57,111,112]。
纵观本综述,共识别出30种不同的XAI方法;其中26种(86.7%)为事后途径,仅4种具备内在可解释性。这一主导地位可归因于此类方法简单易用且在文献中更易获取[42,50,69]。然而,事后方法——尤其是聚焦特征归因者——主要仅提供输入-输出相关性分析,往往无法揭示并解释模型的潜在决策机制[106,113]。在这些事后方法中,模型无关途径最为常见,在26次中出现17次(65.4%),可能源于其在不同机器学习模型与架构间的灵活性与适用性。
鉴于可解释人工智能天生以人为中心的目标,本综述最后一部分聚焦于评估不同作者如何向用户传递 XAI 输出;识别出两种主要解释/输出形式:图形与数值。图形工具占主导地位,出现在 28 项研究(84.8%)中,涵盖 23 种不同可视化方法;这种多样性反映了 XAI 对不同终端用户角色的适应性——既可为操作员提供实时决策支持的局部、实例级分析,也可为数据科学家提供模型验证与优化,还能为工程与管理层团队开展根因分析。这种灵活性支撑了多模态解释框架的发展,即融合两种或以上方法与 XAI 输出的混合方法论,能够满足不同利益相关者的可解释性需求;尤其 Lee 等 [93] 通过领域专家调查证明,组合多种 XAI 输出可提升用户信任与满意度。相比之下,数值解释工具探索甚少,仅出现在 9 篇受评论文中;其采用受限可能源于复杂性高且针对特定应用,妨碍了非专业用户的可解释性。尽管如此,它们在模型开发中仍可发挥重要作用,为比较与基准不同 XAI 方法提供量化工具。
总体而言,本综述印证了通用可解释人工智能文献中报道的若干趋势,即事后特征归因方法占主导、SHAP被广泛使用,以及内在可解释途径探索有限;这些发现亦揭示了将XAI应用研究拓展至工业故障检测与诊断的挑战与机遇,包括亟需混合方法以满足不同终端用户画像的多样化可解释性需求。本节余下部分概述作者识别出的若干关键挑战,并据此提出未来研究方向。
性能与可解释性的权衡
尽管可解释人工智能技术在工业环境中的应用日益增多,性能与可解释性之间的权衡仍是现实挑战。如本综述所述,大多数XAI实施采用仅提供零阶解释的事后方法,这些方法通常聚焦于展示输入特征与输出之间的相关性或呈现特征相关性分析。虽然提供了一定程度的可解释性,它们却未能对复杂模型——尤其是深度学习架构——的决策理由给出透明洞察。
DL方法的卓越性能往往以牺牲可解释性为代价;随着这些方法在文献中被越来越多地探索用于与关键行业相关的应用,这种缺乏透明度可能削弱用户信任。因此,未来研究应优先开发能够提供清晰、人类可理解的深度学习模型决策过程说明的解释策略;若无此类努力,这一性能-可解释性权衡极有可能持续存在,并限制先进人工智能系统在安全关键工业领域中的实际可行性与实施。
透明模型与模型内在可解释性
承接前述观点,弥合可解释性差距的最有前景策略之一,便是开发并采用具备模型内在可解释性的透明方法论;这类技术旨在将可解释性直接嵌入模型架构与输出之中,从而突破事后解释的局限。当前的内在可解释模型包括基于规则与基于决策树的系统,以及诸如贝叶斯网络的概率图模型;这些模型通过规则提取或显式表示变量间的依赖关系,固有地提供一定程度的可解释性。然而,在高维复杂的工业场景中,其可扩展性低与计算复杂度高的限制使得适用性受限;随着特征与关系数量的增加,在不牺牲性能的前提下保持透明度变得困难。
未来研究可探索混合方法,将内在可解释模型与事后解释方法的优势相结合;通过此举,有望提供更全面的解释,并在透明度、可扩展性与性能需求之间取得平衡。
在基于人工智能框架的不同阶段整合可解释性
另一种提升工业AI系统可解释性的可行方案,是将可解释机制贯穿整个人工智能框架——从数据预处理、模型开发、优化到部署——的各个环节。
在数据预处理阶段,采用数据归一化以降低模型偏差、输入数据可视化以识别特定数据趋势、聚类方法以应对无监督学习场景,以及降维以简化特征等技巧,均可降低问题与模型的复杂度;本研究中多项工作已展示XAI方法在引导这些任务上的效用,例如基于相关性的特征选择已被探索用于简化复杂数据集并优化模型结构[72,85,99]。在模型训练与验证阶段,纳入可解释机制——注意力机制、特征相关性追踪及可解释损失函数——有助于识别模型偏差、过拟合及其他不良行为;尤其Lee等人[93]的工作展示了如何将逐层相关性传播整合进模型构建与拟合过程,迭代地剔除无关变量。在部署阶段,事后解释方法可补充内在可解释性,提供实例级洞察与实时决策支持;这些解释可采取特征重要性得分、反事实示例或针对不同利益相关者需求与兴趣定制的基于规则的摘要等形式。
探索多模态解释
在采用可解释人工智能方法时,仅依赖提供输入特征排序的特征归因技术,或展示直接输入-输出关系的输入可视化方法,是远远不够的;尽管这些方法提供了重要洞察,但它们对更广泛的决策过程视角有限。
有鉴于此,未来研究应探索多模态解释策略,即结合互补的XAI技术以提供更丰富、更全面的解释。此类方法可将全局解释——提供对模型及问题整体行为与趋势的洞察——与局部解释相结合,后者提供实例级、特定的解读。例如,来自SHAP或LIME方法的表格化特征相关性输出,可与视觉热力图、聚类表示或反事实场景相结合,提供针对不同利益相关者的多种可解释性模态。生产操作员受益于简单直接的视觉解释,如实时高亮异常,而过程工程师与数据科学家则可能受益于指导模型改进与系统/过程优化的完整报告。这种多模态方法不仅增强了可解释性,还支持不同用户角色与专业水平,促进人机协作与信任。
传递XAI输出
贯穿本综述所发现的一项重大挑战,是缺乏用于评估并向用户传递可解释人工智能输出的标准化框架;现有大量工作聚焦于可解释性的理论与哲学原则,却忽视了解释对终端用户的实际效用。为弥合这一差距,未来研究应着力开发同时纳入定性与定量指标的框架。一方面,图形工具——如输入相关性热力图、聚类可视化及基于特征相关性的图表——已被证明能有效将可解释性传达给用户;另一方面,数值指标尤在模型开发阶段被证明有效,为比较不同XAI方法及解释效果提供客观基准。
此外,融入领域专家与一线工人反馈对于在工业环境中验证解释亦至关重要,毕竟他们才是与人工智能系统接触最多的人。在受评论文中,仅两项研究[80,93]成功尝试在其框架中纳入人类反馈,确保XAI输出与他们的知识与操作需求保持一致。因此,未来研究还应优先开发以用户为中心的评估平台;此类平台应支持前述多模态解释,并使不同利益相关者能够根据自身需求与必要性,自定义并影响所接收信息的级别与类型。
监管对齐
确保基于人工智能的系统符合新兴监管框架(例如欧盟人工智能法案(EU AI Act)[45])对基于AI的工业运营与系统而言是一项紧迫挑战。最新立法对透明度、稳健性以及人类监督与控制提出了严格要求,尤其针对高风险AI系统,例如工业故障检测与诊断系统。
正如本综述所示,当前大多数XAI 实现依赖事后方法,而这些方法对机器学习模型内部逻辑的洞察有限。因此,这些途径可能难以达到监管机构所设定的可审计性与问责性标准。无法提供对AI系统决策的全面、可追溯解释,会削弱确保法律合规与建立利益相关者信任的努力。
未来研究应聚焦于开发在设计之初就内在支持监管合规的XAI框架,包括提升模型架构的透明度、实现可追溯的决策过程,以及提供可验证的AI系统行为审计轨迹。迈向内在可解释模型,并结合稳健的解释机制,对于适应不断演变的监管环境并确保AI在工业场景中的伦理部署至关重要。
本文针对可解释人工智能在工业故障检测与诊断中的作用进行了全面的系统性文献综述;随着工业在向工业5.0范式下以人为中心且可信赖的人工智能系统转型,该领域的重要性日益凸显。鉴于工业界对机器学习与深度学习模型的依赖不断加深,以自动化并优化关键工业任务,对透明、可解释且可审计的基于AI系统的需求至关重要,特别是在欧盟人工智能法案(EU AI Act)等新兴监管框架出台的背景下。
在 XAI 于工业故障检测与诊断的应用范围内,本综述详细检视了33篇高质量出版物;此外,提出了一套针对工业适用性的 XAI 方法分类法。研究发现,XAI 正在多个相关工业领域被积极探索并成功落地,涵盖设备监测、过程控制、产品检验与网络安全。就实施方式而言,文献显示特征归因方法占绝对主导,33项研究中有31项(93.9%)采用某种形式的输入特征相关性评分;其中,SHAP(实施13次)与Grad-CAM(实施5次)作为最被广泛采用的技术,均属特征归因方法。事后可解释性仍是首选途径,在30种不同已识别XAI方法中占26种(86.7%),仅4种(13.3%)探索内在可解释性。就可解释性如何传递给终端用户而言,文献优先采用图形工具,28项研究(84.8%)纳入至少一种可视化解释,最常见为输入热力图(基于特征相关性)与类别聚类图。
尽管这些进展标志着重要进步,文献中仍存在关键挑战:模型性能与可解释性之间的持久权衡、适用于复杂工业环境的内在可解释模型稀缺,以及缺乏评估XAI输出的标准化框架;此外,将人类反馈纳入可解释AI系统设计与验证的做法仍探索不足——尽管这对于确保解释可执行、可理解,并与从数据科学家到生产现场操作员等多元利益相关者的需求保持一致至关重要。
尽管本综述具有结构化与全面性,但仍需承认若干局限。首先,综述范围可能受所应用过滤标准的限制:主要因最低引用阈值而排除部分相关或新兴研究,尤其鉴于该研究领域的新颖性。其次,虽然综述通过基于文献提出的分类法对用于工业故障检测与诊断的XAI方法进行了系统分类,但最终对XAI方法的有效性及比较性能提供的洞察有限;该局限主要源于受评论文中缺乏评估框架与基准指标。最后,受评论献中亦普遍缺失终端用户对XAI输出及其传递方式的看法与意见,限制了评估解释在实际工业环境中如何被理解、信任或付诸行动的能力。
未来研究应优先关注XAI在工业环境中的实际实施与影响,包括开发可提供多层解释的混合XAI框架,并将其贯穿整个AI生命周期——从数据预处理、模型开发到验证、部署与监控阶段;探索多模态解释策略与设计以用户为中心的评估与可视化平台,对于弥合理论进展与实际部署间的鸿沟至关重要。同时,确保监管合规将要求AI系统提供全面、可信赖且可审计的解释,以满足日益严格的立法框架需求。
总之,XAI有望促进AI驱动工业故障检测与诊断系统的信任、透明度与问责,且无疑是未来工业场景下AI开发与部署的关键研究领域;然而,仍需付出重大努力,方能使XAI从有前景的研究主题转变为可支持关键工业应用、并与工业5.0原则一致的可靠解决方案。
编辑:赵栓栓
校核:李正平、陈凯歌、曹希铭、赵学功、白亮、任超、海洋、陈宇航、陈莹洁、Tina、王金、赵诚、肖鑫鑫、张优
该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除