整机丨西安邮电：深度学习等人工智能技术在航空发动机孔探检测中的应用

航空发动机是飞机飞行的主要动力来源，由于其长期工作在高温、高压、高振动的工作环境中，且高涵道比的涡轮风扇发动机在飞机起飞、着陆和地面滑行过程中容易吸入跑道和滑行道附近的石子、飞机遗落零部件、鸟禽等外来物，因此航空发动机很容易发生故障。严重的发动机故障将引起发动机喘振或对空中停车，对飞行安全带来极大的威胁。对发动机定期检查或对突发事件后的视情维修可以保证飞机的持续适航性，提高飞机的日利用率，节约维修成本，增加航空公司的经济效益。内部部件和结构损伤是航空发动机发生故障的重要原因，发动机内部损伤通常使用无损探伤方法检测，常用的无损探伤方法有磁粉检测、渗透检测、涡流检测、超声检测、射线检测以及孔探（内窥镜检查）。孔探因其快速性和便捷性是目前航空发动机检修中应用最广泛的无损检测方法，传统孔探检查方法对发动机内部损伤的检测和判断主要依靠人工识别，对人员要求高，还存在检测效率低的缺点。

孔探是特殊作业人员通过操纵置于发动机内部的内窥镜对发动机内部的损伤特征进行采集，再由人工对采集到的损伤进行快速检测和评估的航空发动机无损检测方法。内窥镜技术的发展历程如图1所示。19世纪初内窥镜检测最早应用于人类医学领域，20世纪20年代开发的软、硬管式内窥镜首次用于飞机结构腐蚀的检查。内窥镜经历了从最初的硬管式内窥镜到软管式内窥镜，从20世纪60年代的光纤软管式内窥镜发展到20世纪90年代的电子软管式内窥镜，克服了硬管内窥镜无法弯曲导致探测距离短和光纤软管内窥镜光纤容易折断使图像出现黑点的缺点，现今的电子内窥镜实现了孔探图像和视频信息的数字化存储，对发动机损伤的研究可以依托于孔探图像来实现。我国在20世纪70—80年代从国外引进了内窥镜产品，主要用于航空航天产品内部零部件的质量检查。随着航空发动机孔探检测技术的日趋成熟，制造商在发动机机匣核心机部位预留了用于内窥镜进入发动机内部进行探伤的专门小孔，对航空发动机定期孔探检修已成为航空发动机维修中的重要项目，操纵内窥镜对航空发动机内部进行检查的维修过程也以专业名词“孔探”概称。

图1 机电管理系统CAN 通信示意图

航空发动机孔探可以在不拆解发动机的情况下实现对发动机内部损伤的在翼诊断，省去了检查发动机内部损伤时对发动机的繁杂拆解工作，可以减少维修人为差错的发生，为维修人员节省了大量的维修时间，极大提高了发动机维修检查工作的效率，实现了安全与效益的相对平衡。

人工智能可以被概括为是一种能够模拟和帮助人类思维、识别复杂情况、获取学习能力及所需知识，并能解决问题的智能系统。在航空发动机孔探检测中应用到的人工智能技术有专家系统和机器学习方法，专家系统和机器学习方法是两种不同的人工智能思维，专家系统从人类预先制定好的规则中匹配结果，是一种自主性更低的人工智能；而机器学习方法从已知的数据中学习规律，再用学习到的规律来预测未知的数据，是一种自主性更高的人工智能。虽然深度学习的本质是一种机器学习方法，但深度学习利用多层深度神经网络，算法种类繁多且模型结构更为复杂，对数据的理解更加深入，拥有传统机器学习方法所不能比拟的优越性能和广泛应用场景，因此深度学习逐渐发展成为一个新的研究方向。

2.1 孔探诊断专家系统

专家系统是智能孔探研究中应用最早的人工智能方法，我国对专家系统的研究大约在20世纪80年代初期，21世纪初开始被应用于航空发动机维修领域，主要用于孔探时检测到发动机损伤后的维修决策确定。专家系统是一种“基于模型的暴力法”人工智能思维，应用孔探领域的专家知识构建一个尽可能全面的知识库，在解决确定问题时用预先制定好的规则穷尽知识库或案例库以匹配到合适的维修决策，系统的规则主要基于对损伤程度的判断来确定其适用性，专家系统的规则推理过程如图2所示。

图2  专家系统规则推理流程图

李华等开发了基于规则的航空发动机孔探图像诊断专家系统，根据损伤尺寸差异构建相应的知识库，用一组具有IF（条件）、THEN（行为）结构的规则来匹配知识，当规则的条件被满足时触发规则，继而依据规则匹配到的知识执行损伤诊断，并跟据损伤程度给出相应的损伤维修决策，其缺点是基于规则的专家系统缺乏灵活性，在航空发动机孔探检测中一旦损伤参数的数值没有规则匹配时，专家系统便无法对损伤做出诊断；徐龙喜等开发了基于案例推理的远程发动机孔探评估专家系统，将先前检测到的发动机典型损伤及相应的维修决策存储为案例，通过上传需要查询的孔探图像等信息来检索相似案例以匹配到相应的维修决策。基于案例的专家系统需要大量的经验知识，并且随着案例的增加，案例的检索速度也变得越来越慢，直接影响到专家系统的工作效率。针对上述两种专家系统的优缺点，罗云林等扬长避短，结合两种专家系统的优点，建立了基于规则推理和基于案例推理的混合专家系统，其原理如图3所示，系统先对输入的孔探图像进行规则推理，若无法在知识库中找到匹配规则再转入案例库推理，直至系统给出故障诊断结果和维修决策。

图3  混合专家系统原理

专家系统存在知识库数据规模小而规则库和实例库的增加会使检索时间增加导致系统效率降低的矛盾，为了精简规则，罗云林等在混合专家系统中采用BP神经网络识别内窥故障信息，极大地简化规则并减少了规则数量；李岩等开发了基于图像识别的发动机内窥智能检测系统，在使用阈值分割方法对孔探图片降噪处理后，以损伤面积、损伤周长和圆形度等为特征，将损伤特征用三层BP神经网络进行分类，再由专家系统对损伤程度进行诊断。

针对孔探智能诊断的问题而开发的专家系统具有暴力法人工智能思维，原则上无法保证覆盖实际应用中可能遇到的所有场景，而当遇到未覆盖的场景时系统就会功能紊乱。相对发动机系统及其运行环境的复杂性，内窥损伤复杂多样且类型间特征差异不明显，简单的知识规则和相对较少的知识实例使专家系统的应用受到限制，虽然理论研究已经有了一定成果，但开发的系统多用于演示，远达不到航空安全的严格要求和实际应用水平。随着人工智能算法和计算机计算水平的发展，专家系统的研究热度逐渐被机器学习取代。

2.2 机器学习方法

与专家系统的暴力法人工智能思维不同，机器学习方法利用计算机技术对采集到的数据进行计算分析，可以自动从被观测数据中学习到相应的规律，是一种“基于数据拟合的训练法”人工智能思维。基于孔探图像应用的机器学习方法有人工神经网络、支持向量机（Support Vector Machine，简称SVM）和深度学习。传统机器学习方法如支持向量机分为特征提取和分类器两步实现；神经网络一步到位，从数据中学习特征的同时还依据特征规律自动分类。

2.2.1 人工神经网络

人工神经网络是一类模拟人的大脑神经元结构和工作机理的机器学习方法，虽然人工神经网络具有多种算法，但算法结构普遍都遵循输入层、隐藏层和输出层的三层结构，如图4所示。人工神经网络出色的自学习能力和自适应能力在发动机损伤特征提取和损伤分类时表现出了良好的性能。

图4  人工神经网络的三层结构

对孔探图像分割得到精确的损伤目标区域，是提取发动机损伤特征进行特征精确分析的基础。传统图像分割方法以阈值分割法和基于边缘或区域的分割法为代表。阈值分割法通过人工设定合适的灰度阈值将图像分割为不同灰度级别的目标区域和背景区域，但孔探图像背景界限模糊时容易得到虚假的分割结果。基于边缘的图像分割法以灰度或结构等信息的突变为边缘，分割出的边缘并不等于实际目标的真实边缘。张维亮等用三种不同的人工神经网络进行孔探图像损伤特征分割时发现，反向传播（Back Propagation，简称BP）神经网络不仅识别正确率低，而且分割时间较长，分割效果不佳；径向基函数（Radial Basis Function，简称RBF）神经网络虽然识别正确率较BP神经网络高，但在将损伤目标区域从图像背景分割出来时对背景像素的处理效果不好；概率神经网络（Probabilistic Neural Network，简称PNN）不仅分割正确率高而且训练时间也相对较短，可以有效克服传统图像分割方法的不足，对图像的每个像素进行识别分类，正确分割出损伤区域。石宏等结合两种神经网络算法的优点，利用遗传算法分别对PNN网络和RBF网络的spread参数进行优化后，使用D-S证据理论通过信息融合将两个网络的分割结果进行融合，实现了对损伤目标的高效分割。

从孔探图像中分割出损伤目标是航空发动机损伤特征提取的关键，不进行损伤目标分割时，人工神经网络利用自身的自动提取功能从训练数据中学习规律，并用学习到的规律对未知数据进行预测和分类，陈果等提出一种基于孔探图像纹理特征的发动机损伤自动识别方法，利用结构自适应神经网络提取损伤图像的纹理特征，根据提取到的特征与损伤的非线性映射来实现损伤类型的自动识别，用遗传算法优化网络的隐层节点数和训练步数等结构参数后的神经网络对GE90发动机孔探图像的叶尖卷边、腐蚀、裂纹及撕裂4类损伤的识别准确率达到82%；石宏等针对RBF神经网络训练速度慢、容易陷入局部极小值、全局搜索能力弱及网络参数对网络的性能和稳定性影响大的缺点，提出了基于遗传算法优化RBF神经网络的航空发动机叶片损伤图像识别与基于D-S证据理论和RBF网络的航空发动机叶片损伤图像识别，通过优化网络拓展系数和将RBF网络识别输出结果用D-S联合规则进行合成作为最终的识别结果，提高了两种网络对发动机叶片损伤图片的识别率和稳定性。

2.2.2 支持向量机

虽然人工神经网络具有特征自动提取的能力，在发动机损伤特征提取过程中无需人工参与，但提取到的特征具有抽象性和不确定性。分割得到损伤目标区域便可对损伤尺寸和损伤纹理等损伤特征进行精确分析，在精确分析的基础上可以通过人工设计获得确定的发动机损伤特征。孟娇茹将航空发动机损伤目标的周长、面积、伸长度、形状复杂度、平均灰度、粗糙度、对比度、相关度等确定为多维特征，提出了基于支持向量机的航空发动机孔探损伤分类方法，实验表明，应用二叉树支持向量机且采用径向基函数为核函数时对裂纹、边缘刻口、表皮剥落和烧蚀四种损伤的分类正确率能达到96.7%，在CFM56发动机实验中取得了良好效果。

不同于孔探智能诊断专家系统对航空发动机损伤诊断问题的专门针对性，孔探损伤特征提取和识别过程中用到的机器学习方法对航空发动机损伤的特殊性关注不足，用机器学习方法实现的发动机损伤特征提取及分类检测过程更多被看作是一种图像分割和图像分类问题，对发动机损伤以及孔探图像的特点缺乏针对性，机器学习方法比较如表1所示，可以看出：虽然各方法各有特点，但研究者用到的几种人工神经网络和支持向量机等机器学习方法的应用主要集中在基于损伤目标图像分割实现的精确损伤特征提取和损伤分类应用上，应用场景受到限制，深度学习方法的使用打破了这一限制。

表1  机器学习方法比较

2.2.3 深度学习

同神经网络一样，深度学习也是一类多种算法集 合的统称，不同之处在于深度学习是基于多层的深度神经网络算法，其中的卷积神经网络（Convolutional Neural Network，简称CNN）通过“局部感受野”和“权植共享”的方式解决了传统网络参数多和难以训练的问题，在图像分类、目标检测和语义分割等计算机视觉方面的进展都有所突破，代表算法主要有ResNet、R-CNN系列和YOLO系列、FCN和Mask-RCNN等。

将深度学习的图像特征自动提取应用于依托图像视频作为输出的航空发动机损伤孔探检测，实现前沿学科在发动机孔探时的损伤分类、损伤目标检测、损伤实例分割应用。卷积神经网络具有强大的图像特征提取能力，卷积神经网络模仿人类的视觉感受机制，通过卷积、池化的多层交替结构自动学习孔探图像的多层特征，通过神经网络将提取到的高维特征划分为与训练数据损伤种类数目相等的类，以此实现对发动机损伤的分类，再用回归算法对目标候选框和实例掩膜进行回归，就能实现损伤的目标检测和实例分割。

前沿学科在发动机孔探中的应用主要有三种。

（1）损伤及部件分类

深度神经网络层数过深将导致梯度消失，但层数过少时卷积神经网络对孔探图像的损伤特征提取不够充分，因此Y.H.Kim等使用比例不变的特征变换来提取并用K维树和随机样本共识来匹配发动机叶片图像中的特征点，匹配到疑似受损区域后由一个4层CNN判断该区域的叶片是否真的受损，结构图如5所示。虽然这种通过图像处理技术匹配发动机损伤特征的方法增强了结构的可解释性，但整体图像处理部分增加了系统复杂性，并且对卷积神经网络强大的特征提取功能利用不足。

图5  4层卷积神经网络结构

ResNet在卷积运算提取特征过程中得到下层信息的同时接收了上一层信息，很好地解决了卷积网络深度增加导致的梯度消失问题，信息损失也较少，使深度卷积神经网络能够充分提取图像特征而不受梯度消失问题的限制，赵烨在深度卷积神经网络中加入ResNet网络中的残差模块，如图6所示。通过设置网络学习率、动量衰减系数等超参数的对比试验选出高性能模型，其对裂纹、刻口、叶片卷边和烧蚀等发动机叶片损伤的识别率能够达到94.17%。

图6  残差模块结构

稠密连接网络DenseNet中所有层的信息彼此沟通，每一层都从前面的所有层获得输入，并将自己的特性映射传递给所有后续层，确保了网络中各层之间最大的信息交流。敖良忠等结合 ResNet和DenseNet网络的优点，通过将稠密连接模块和残差模块依次串行连接构建了一个49层的深度卷积网络，形成了参数量更小的单通道网络模型DRNet，如图7所示，在自建孔探图像数据集上对发动机的压气机、燃烧室和高低压涡轮等部件的分类精度最高能达到98.6%。

图7  稠密连接模块结构

孔探图像分类是实现发动机损伤目标检测等应用的重要基础，用深度学习实现基于孔探图像的发动机部件及损伤的分类识别精度俨然已经达到了很高的精度，但在实际孔探过程中应用价值并不高，发动机内部环境复杂且光线不足，受内窥镜硬件条件限制，获取到的孔探图像背景复杂且图像特征质量低，虽然能实现部件及损伤的高精度智能识别，但对损伤程度的确定和对安全裕度的把控还离不开人的监督。

（2）损伤目标检测

损伤目标检测在航空发动机损伤识别的同时可以定位损伤的具体 位置，定位框的大小还能对损伤尺寸形成相对参考。传统的目标检测算法采用滑动窗口或图像切分生成大量候选区域，通过对每个候选区域提取图像特征，用一个分类器对每个候选区域的特征进行分类，实现分类和定位的功能，但滑动窗口产生的大量候选区域相对待检测区域的少量待检测目标，无待检测目标的侯选区域浪费了大量算力，存在检测速度慢、检测精度不高的缺点。基于深度学习实现的目标检测克服了传统目标检测算法的缺点，检测速度和精度都得到极大提高。针对候选区域的生成方式，将深度学习目标检测算法分为基于候选区域的目标检测算法和基于回归的目标检测算法，也称为单阶段目标检测算法和两阶段目标检测算法，经典的两阶段目标检测的代表算法有R-CNN系列算法，单阶段目标检测算法主要有YOLO系列算法。

旷可嘉使用Faster R-CNN算法对发动机常见的凹坑、缺口、烧蚀等损伤进行检测，孔探图像从输入端经主干网络提取特征后生成公共特征图，在公共特征图的基础上利用区域候选网络生成多个区域建议框，对多余建议框过滤后通过softmax函数完成损伤和背景的二分类，把建议框映射到公共特征图上，通过感兴趣区域（Region of Interest， 简称RoI）池化使每个感兴趣区域生成固定尺寸的特征图，最后对RoI特征图进行分类和边界框回归，实现基于孔探图像的发动机损伤检测，当VGG网络为主干网络时网络的检测精度比ZF网络为主干网络时的检测精度高，但检测速度慢，使用主干网络为VGG16网络的SSD算法训练模型，不仅模型的检测精度较Faster R-CNN高，检测速度也更快；李龙浦等改变Faster R-CNN主干网络ZF网络第二卷积层卷积核的大小实现改进Faster R-CNN对发动机叶片损伤的检测，如图8所示，两阶段目标检测算法相对来说检测精度高，但检测速度慢，虽然实现了发动机损伤的智能孔探检测，但检测速度还不能达到实时检测的效果。

图8  Faster R-CNN网络结构

单阶段目标检测算法的优点是检测速度快，但较双阶段目标算法检测精度较低，YOLOv3 算法将目标检测视为一个回归问题，可以实现损伤目标实时检测，Zhang D等采用主干网络为DarkNet-53的YOLOv3算法检测发动机叶片损伤，如图9所示。

图9  YOLOv3网络结构

将整张图片作为网络的输入，由主干网络提取到足够的图片特征后，从三个特征尺度来预测损伤目标的位置和类别置信度，只经过一个深度神经网络，就得到损伤目标的位置边界框及所属的类别信息。为了提高对小目标损伤的检测能力，李浩改进YOLOv3网络中的特征金字塔结构，使改进后的网络能在4种尺度的特征映射下实现发动机叶片裂纹损伤检测，并针对发动机裂纹缺陷的特点设置初始锚框的尺寸，使对损伤目标的定位框回归更加准确；李龙浦用DenseNet代替YOLOv3主干网络中的原始传输层，用改进网络YOLOv3-dense提高对发动机叶片损伤检测的检测精度；马瑞阳将YOLOv4主干特征提取网络中的浅层残差模块结构替换为稠密连接模块，用新提出的YOLOv4_B算法实现基于孔探图像的发动机损伤检测，检测精确度相比YOLOv3和YOLOv4均有较大提升。

（3）损伤实例分割

裂纹损伤目标检测和裂纹损伤实例分割效果如图10所示，从检测效果看，损伤实例分割对损伤目标的位置特征描述更加贴合。语义分割能为图像中的每个像素分配一个语义类别，实例分割结合了目标检测和语义分割，在检测到损伤目标后，为每个目标实例标记属于该类别的像素，实现对图像中的损伤目标的像素化密集分类。FCN网络结构如图11所示，其利用反卷积操作对网络中最后一个卷积层的特征图多次采样，为特征图的每个像素都产生一个分类预测，解决了语义级别的图像分割问题。Shen Z等用FCN网络实现发动机叶片裂纹和烧蚀损伤的语义分割。

图10  裂纹损伤检测实例

图11  FCN网络结构

曹斯言等改进了语义分割算法DeepLabv3+解码层的结构，如图12所示，将多尺度空间融合方法引入低层特征提取中，融合多个跃层特征，用MobileNetV2替代原始的主干网络，提出一种基于自注意力语义分割模型的航空发动机孔探图像检测方法，在较低计算量的情况下使检测精度和检测速度都得到提升。

图13  Mask R-CNN网络原理

综上，深度学习方法对航空发动机损伤的特殊性关注已经有所提高，针对发动机孔探图像背景复杂、图像质量差的特点，Y.H.Kim等、赵烨等、李龙浦通过图像处理技术或增强原网络的特征提取能力来确保从低质量的孔探图像中提取到足够的有效特征，同时以此来减小复杂背景对损伤特征提取的影响；马瑞阳、曹斯言等增强了原网络对凹坑和裂纹小尺度损伤的检测能力。发动机损伤时材料缺失和凹坑等损伤通常都是伴随发生的，樊玮等致力于实现多目标多种类的损伤实例分割。但目前对航空发动机孔探损伤的高压涡轮叶片烧蚀和热障层缺失等损伤的形状随机性关注度仍然有待提高，可以预见，未来深度学习方法在航空发动机损伤检测研究领域具有巨大的发展潜力。

航空发动机孔探损伤检测智能化是减少人为差错、提高航空发动机维修产业效率的必经之路，但在目前研究的基础上要满足实际孔探检测应用中数据处理能力强、损伤检测效率高、对人员依赖程度低和安全可靠性高的迫切需要，还存在以下挑战。

（1）孔探图像获取设备智能化程度低。航空发动机是一个复杂的机械系统，核心机内压气机、燃烧室和高低压涡轮的交界处等地的损伤通常是伴随发生的，发动机内部的复杂环境和狭小空间使得内窥镜探头所及之处采集的影像背景结构复杂，加之发动机内部光线环境恶劣，依靠孔探仪探头携带的光源作为照明来源，图像采集受探头角度和探孔位置所限，为获取高质量发动机损伤图像，孔探人员需要一边检查采集到的图像信息一边操作探头，使整个过程耗时费力。面对此挑战，未来可以通过无线孔探探头设计，将采集到的图像信息通过无线传输，利用蛇形机器人按照设计路径进行智能补光和图像采集，使探头角度和路径不再依赖人工实时操控，实现孔探图像智能采集。

（2）系统化程度较低。发动机内部损伤包含多种类型，目前针对发动机损伤的特征分类、损伤检测和损伤实例分割通常只针对某些部件，不能从发动机系统的角度进行大范围损伤界定。如目前研究多集中于发动机叶片损伤，而对燃烧室火焰筒烧蚀、机匣筒壁裂纹、燃油喷嘴积碳等缺陷类型着力较少，使发动机损伤识别检测类型受限，不能从发动机系统角度覆盖各种损伤。要实现对发动机损伤的系统化检测，需要在改进各种人工智能实现算法的同时，还要在日常维修检查中加强对发动机各种部件的损伤检测和数据积累，形成样本规模。

（3）数据支撑不足。深度学习是一种基于数据训练拟合的人工智能思维，虽然有不少应用深度学习实现的发动机孔探图像研究，但还没有相关的孔探图像开源数据集，目前实现的各种研究都是由研究人员在自建数据集上完成的。航空发动机孔探是一个专业性非常强的工作，各航空公司或军机出于目的性或机密性的原因不能对外公开相关数据，发动机损伤是一个从无到有，在发动机运行中缓慢积累的过程，这使得一般的研究机构没有相应数据的积累能力，因此大多选择与航空公司维修部门合作的方式获取相应数据，不能形成足够的大数据支撑。构建相关的大数据分享平台对民用航空飞机运营单位之间的相互沟通和合作联系提出了新的要求，未来或可由相关单位牵头，形成不同组织机构间的有条件数据共享。

（4）自动化程度低。依据损伤容限理论设计的航空发动机的大部分损伤并不直接影响发动机的安全运行，经过在翼简单处理或确定运行限制条件后，发动机可以在限制条件下继续运行一段时间，因此对发动机损伤程度进行定性诊断至关重要，损伤程度一般以损伤部位、损伤尺寸和损伤面积等作为主要判断依据，后续研究应在损伤目标检测或分割的同时对损伤尺寸进行自动测量，并在确定损伤类型和损伤尺寸的基础上，对发动机可运行状态做出评估，给出维修相应的维修建议，未来可由深度学习损伤检测网络和专家系统规则两者结合实现。

本文总结了航空发动机孔探领域人工智能应用的研究现状以及依托于专家系统和机器学习方法实现的航空发动机损伤孔探图像应用。专家系统和机器学习方法是实现发动机孔探智能检测应用的主要方法，专家系统无自动学习能力，需要人工设计匹配规则并扩充知识库和案例库，这种自主性不高的暴力法人工智能方法并不适合未来大数据人工智能的应用。从深度学习在孔探损伤检测应用中的有效性和高效性可以判断得出，基于深度学习的孔探损伤智能检测方法是未来突破的主要方向，但面对孔探图像获取设备智能化程度低、损伤智能检测系统化程度较低、数据支撑不足和自动化程度低等挑战，发动机孔探智能化的实现和发展依然是一个漫长的过程。