为解决航空发动机叶片服役损伤检测中小尺寸损伤漏检率高、检测条件差异较大等问题,以YOLOv5框架为基础,提出了一种航空发动机叶片服役损伤检测方法。首先,提出了一种数据增强方法,通过随机仿射变换、HSV空间增强、随机横向纵向翻转3种方式,解决了叶片损伤类别样本不平衡,检测条件差异大的问题。其次,针对模型小尺度损伤检测能力弱的问题,提出了多核自适应卷积模块和多尺度特征聚合模块,提升了网络提取不同尺度损伤信息和损伤特征判别的能力,解决了叶片损伤样本尺寸较小,损伤外观特征不明显、检测精度低的问题。实验结果表明:改进模型相比基准模型,检测精度mAP@0.5提升了16.8%。对比实验中,改进模型检测精度高于Faster-RCNN、SSD、Deformable DETR、YOLOv8、YOLOv11和YOLOv12等主流的目标检测框架。另外与基于YOLO模型现有航空发动机缺陷模型SW-YOLO,YOLOv8-EMA对比,检测精度mAP@0.5分别提升了13.9%和15.3%。
关键词:航空发动机叶片服役损伤;损伤检测;数据增强;多尺度融合;YOLOv5网络模型
航空发动机是一种高度复杂和精密的热力机械,被誉为航空飞行器的“心脏”。在航空领域,发动机叶片的健康状况对于保障飞行安全至关重要。随着工作时间的增长,发动机叶片会出现各种形式的服役损伤。服役损伤是航空发动机叶片在服役使用过程中产生的损伤(下文简称损伤)。本文关注的叶片缺陷检测即对服役损伤叶片的检测。叶片常见的损伤形式有腐蚀和机械损伤两种。腐蚀包括点蚀、氧化和硫化,机械损伤包括凹坑、撕裂、缺口和裂纹等不同类型的损伤。这些叶片损伤若未能在地面准确、快速地发现和修复,一旦被带到空中,就很可能会引起发动机工作异常,影响航空器的正常运行。因此,探索一种准确、高效率的叶片损伤检测方法对于及时发现潜在缺陷,消除隐患和事故具有重要的意义。
故障识别和状态检测在提高航空发动机可靠性、确保飞行安全、缩短维修时间、预估使用寿命、研究故障发展规律、提高耐久性和降低使用成本等方面是重要技术措施之一。现有的缺陷检测方法包括传统物理检测方式和基于深度学习的缺陷检测方式。其中传统检测方法包括了超声波检测、射线检测、涡流检测、渗透检测、磁粉检测和孔探检测等检测技术,可以实现叶片表面及内部缺陷检测,但这些方法存在检测效率低,检测成本高,检测精度高度依赖于人工经验和技术水平等缺点。近年来基于深度学习的缺陷检测技术和方法,不断更新和发展,具有仅依赖于图像信息输入、不依赖于设备技术状况与人工技术水平,检测精度高,检测速度快,可实现自动化检测等优点。然而,现有智能缺陷检测方法在航空发动机叶片检测领域应用程度有限,该方法比较依赖于损伤类型的大小,对于叶片裂纹等小尺寸损伤检测精度还有待提升。本文中的小尺寸损伤指的是在孔探图像上长度较短或面积较小(损伤尺寸像素占整个图像像素比例较小)的损伤情形。由于目视方法很难发现小尺寸损伤,并且人工成本较高,因此对发动机结构损伤进行精细鲁棒检测,是必要的,这有助于提早规避飞机飞行风险,保障人员和财产安全。分析目前应用于基于孔探图像的航空发动机叶片损伤检测的方法面临着以下几点挑战:(1)叶片损伤普遍尺寸较小,外观差异不明显,容易导致识别不准确。(2)算法效果的优劣容易受到孔探图像光照强度的影响。(3)获取到有损伤的叶片数据十分困难,且各损伤类别图片由于出现频次不同导致分布不均,容易导致训练不充分。基于上述问题,本文提出了基于YOLOv5的航空发动机叶片损伤检测方法,该方法从数据增强,多尺度特征提取以及特征融合三个层面出发,提出多尺度特征融合策略,基于现实航空发动机叶片工作场景数据优化了模型性能。
本文的贡献如下:
1)针对航空发动机叶片损伤类别样本不平衡,外观差异大的问题。本文提出了一套数据增强方法,使用随机仿射变换、hue,saturation,value(HSV)空间增强、随机横向纵向翻转等方式进行数据增强,实现更好的模型训练。
2) 针对损伤样本尺寸较小,外观特征不明显的挑战,本文提出了多核自适应卷积模块 multi-kernel adaptive convolution module(MFK-C3),通过不同卷积核提取不同尺度信息并提出了一种基于注意力机制的自适应融合方式,增强对不同尺寸损伤的感知能力。
3) 为了实现多尺度信息的充分融合,本文进一步提出了多尺度特征聚合模块multi- scalefeature aggregation module(MSPF),直接利用主干网络中的多尺度特征进行融合,提升了特征判别能力,实现检测精度的提升。
本文在进行模型训练前,为了满足实验的要求,总结分类了一个基于孔探图像的航空发动机叶片损伤评估数据集,其中包括了 4种最常见的损伤类型,分别是裂纹、烧蚀、缺块和变形,共3296张损伤样本,5093个标注框,涉及涡轮喷气和涡轮风扇发动机两种类别多种型号航空发动机。
本文的组织结构如下:首先引言部分介绍航空发动机叶片损伤检测的研究背景,并对本文的主要贡献进行了综述;第1章介绍缺陷检测和航空发动机叶片损伤检测的国内外研究现状;第2章介绍YOLOv5算法基本理论和本文针对航空发动机叶片损伤检测的研究改进方法;第3章介绍本文的数据集收集方式和信息统计情况;第4章介绍本文算法实验设计和实验结果;最后,第5章给出本文的结论。
国内外研究现状
1.1 缺陷检测
缺陷检测是工业生产中的一个关键环节,其目的是对生产过程中可能出现的缺陷进行识别、定位和分类,涉及电子制造、汽车制造、航空航天及机械加工等多个领域。
Lee等采用模型辅助检出概率过程定量评价无损检测的疲劳裂纹检测能力。通过物理实验获得超声信号与裂纹尺寸之间关系的线性模型,并通过传递函数进行校准。程宇等将CIVA软件应用于航空发动机小径管焊接质量数字射线检测,为实际制订检测工艺提供有效参考。杨戈等针对薄壁涡轮叶片开展了前后缘的涡流检测技术研究,研究表明针对叶片前后缘部位的开口闭合紧密类小尺寸缺陷采用涡流检测方法是最有效的方案。宋强等深入研究低压电流互感器表面裂纹形成机理和裂纹特性,提出一种渗透算法与改进型OPTA相结合的方法,通过改进的OPTA算法保证骨架图像的完全单像素化,降低了运算时间。杨志军等针对焊缝裂纹缺陷开展了焊缝裂纹磁粉检测缺陷识别研究,采用类似形态学梯度的方法和ostu自适应阈值分割提取出焊缝上的裂纹缺陷。
候小建基于深度学习对印刷电路板Printed Circuit Board(PCB)的表面缺陷进行了检测,研究了缺陷覆盖面积小检测难度高的问题。周华锋重点对于工业元器件的缺陷检测的精度与可靠度的提升进行了深入研究。
目前的工业缺陷检测已经从传统的图像处理方法向机器学习方法和深度学习方法方面发展。黄克腾等分析了工业零件表面缺陷智能检测算法在工业零件检测领域的研究路线,并总结了当前工业零件表面缺陷检测算法存在的关键问题及相应的解决策略。
1.2 航空发动机叶片损伤检测
航空发动机叶片损伤检测是保障航空发动机安全运行的关键工作。目前,孔探检测是航空发动机叶片损伤检测的主要技术。马作江等概述了孔探检测技术,分析了航空发动机叶片的常见故障类型并对现有孔探检测技术在发动机维修中的应用进行了分析。
虽然传统的孔探设备依靠其直观性和灵活性被广泛应用于发动机叶片的检测任务中,但也存在检测精准度和效率依赖于检查人员的经验、知识技能及工作状态的局限性。随着计算机视觉技术的快速发展,基于孔探技术的航空发动机叶片智能检测逐渐成为现实。
目前,基于YOLOv5模型的航空发动机叶片缺陷检测依旧是主流的解决方案。刘宜轩等针对航空发动机叶片缺陷检测过程中表面噪声较大以及检测精度较低的问题,提出了一种基于改进YOLOv5的叶片表面缺陷检测方法。采用 Kmeans++算法代替K-means算法对标记框进行聚类,获得最适合的锚框,在主干网络中使用CBAM注意力机制模块,并采用EIoU损失函数替换原CIoU损失函数,提高对叶片表面缺陷特征的提取能力。何宇豪等提出了基于孔探视频检测的SW-YOLO模型,模型在主干网络加入了空间通道注意力模块SC-CBAM,有效避免位置信息丢失,提高目标边界回归能力和定位的准确度。冯雄博提出了一种CBAM-YOLOv5s算法,通过在主干网络中嵌入CBAM注意力机制模块,使得主干网络能够提取更加有用且充足的特征。此外,利用enhance-CLAHE增强算法处理了航空发动机叶片DR缺陷图像数据集。魏永超等针对目前航空发动机叶片损伤检测精度低的问题,采用了坐标注意力机制和轻量级上采样算子,提出了一种基于改进YOLOv7的发动机叶片损伤检测模型YOLOv7CC。
总结分析航空发动机叶片损伤检测研究现状,可以得出,现有航空发动机叶片损伤智能孔探检测方法研究重点集中在为提升检测精度对检测模型各模块的改进提升上;同时针对损伤外观不明显引入不同注意力机制,提升了目标空间位置关注度;通过图像增强重点解决了照片表面的噪声问题。事实上,叶片损伤检测还因航空发动机叶片各类损伤类型出现的频率不同,导致采集到的数据集也存在类别严重不均衡问题,发现使用分布不均的数据进行训练非常影响模型性能,目前方法大多忽略了数据类别不均衡的问题。因此本文针对数据集中各类损伤类别和外形差异很多,提出了一套数据增强方法。另外,针对航空发动机叶片的损伤尺寸都较小,外观差异不明显问题,本文引入多尺度信息来提升模型判别能力,使模型能够更加关注细微损伤,本文创新性地提出了多核自适应卷积模块。针对多数研究中对于损伤深层次信息利用较少,多尺度特征融合不足的情况,本文创新性地提出了多尺度特征聚合模块。
基于YOLOv5的航空发动机叶片损伤检测方法
2.1 YOLOv5算法
YOLOv5算法模型平衡了测试性能和模型大小两个方面,具有易于训练、占用内存小、便于在移动端部署和应用性强等特点,使其成为目前主流的目标检测算法之一。YOLOv5有多个版本,主要结构相同,但在一些小模块上有一些差异。本文选择使用YOLOv5-6.0为实验算法。YOLOv5-6.0的主要结构如图1所示。
图1 yolov5-6.0的结构
该模型包括了主干网络(Backbone)、颈部网络(Neck)和检测头(Head)三个关键部分,对于小尺寸损伤检测,有着更快的检测速度和较高的检测精度。
主干网络包括多个Conv模块、4个CSPDarkNet53(C3)模块和1个SPPF模块。其中Conv模块是卷积模块用于提取图像特征,C3模块用于增强网络特征提取能力,SPPF模块丰富了特征图表达能力,提高了检测准确性。颈部网络采用了特征金字塔网络feature pyramid network(FPN)和路径聚合网络path aggregation network(PAN)的结构。图2展示了YOLOv5中的FPN和PAN的结构。FPN结构通过3条路径得到包含丰富信息的特征金字塔,实现了多尺度上的语义表示。PAN结构基于FPN结构增加了自下而上的路径,补充了FPN自顶向下传递语义信息的不足,从而增强多尺度上的信息定位能力。
检测头部分是根据提取的特征图利用基于网格的锚点在不同尺度的特征图上进行目标检测,并生成目标检测的边界框和类别预测的过程。工作内容包括划分网格,生成候选边界框,输出置信度最高的边界框。
图2YOLOv5中的FPN和PAN结构
2.2 本文方法
2.2.1 总述
针对基于孔探成像的航空发动机叶片损伤检测问题,本文对YOLOv5检测算法的模型进行了改进,其中包括数据增强方法、基于多核融合卷积的损伤特征提取方法和多尺度特征聚合模块。算法总体框图如图3所示。
第一,本文提出了一种数据增强方法,包括随机仿射变换,HSV空间增强,随机横向纵向翻转等方式,有效解决了航空发动机叶片损伤样本不平衡,外观差异大的问题,并提升了模型对不同光照和背景条件的适应性。
第二,本文提出了多核融合卷积模块,通过不同卷积核提取不同尺度信息并提出了一种基于注意力机制的自适应融合方式,增强对小尺寸损伤的感知能力,解决了损伤样本尺寸较小,外观特征不明显的问题。
第三,本文提出了多尺度特征聚合模块,直接利用主干网络中的多尺度特征进行融合,提升了特征判别能力,实现了多尺度信息的充分融合,提升了模型利用多层信息的能力,提高了检测精度。
2.2.2 数据增强
由于发动机叶片损伤发生频率不一致,因此很难获取到相似数目的损伤数据样本,因此造成数据集类别不平均的问题。例如本实验数据集中,类别样本中裂纹和烧蚀的损伤框数量是缺块和变形损伤框数量的9.45倍。使用上述数据集容易对模型训练造成偏差。另外光照差异同样会影响模型训练。数据增强方法包括以下3种方式:
1)随机仿射变换
随机仿射变换是一种将随机性引入仿射变换参数中的方法,以增强数据的多样性,从而提高模型的鲁棒性和泛化能力。随机仿射变化针对小尺寸损伤,能通过改变图像的位置、大小和方向等使模型能够适应不同角度和尺寸变化。仿射变换是一种线性变换,包括平移、旋转、缩放和剪切等操作,它保持了点之间的直线关系,改变了距离和角度。其变换过程如式(1)所示。
式中X是原始点,X'是变换后的点,A是一个线性变换矩阵,b是一个平移向量。其中线性变换矩A由3部分组成,分别是旋转矩阵,缩放矩阵和剪切矩阵。例如,下面式(2)表示的是先进行旋转变换,再进行缩放变换,最后进行剪切变换的线性变换矩阵。
式中θ表示旋转角度,sx和sy表示缩放因子,kx和ky表示剪切参数。
2)HSV空间增强
HSV空间增强是一种图像处理技术,它基于颜色模型来增强图像。HSV空间增强可以消除图像整体亮度低,图像亮度不均匀,图内物体的轮廓、颜色不好分辨,物体细节不突出的问题,重点解决孔探检测受光照影响较大的情况,保证光照变化时的检测效果。本文基于发动机叶片材质反光特性,限制HSV扰动范围:H±10%,S±20%,V±15%。式(3)、式(4)、式(5) 即为图片像素RGB通道向HSV通道转换过程。
图3 本文网络结构图
式中X表示图片像素RGB三个通道数值中的最小值。
3)随机横向纵向翻转
随机横向纵向翻转是通过随机对图像进行水平(横向)或垂直(纵向)翻转可以生成镜像图像,增强模型的鲁棒性,并提高训练数据集的多样性。重点是对缺陷类别中数据量少的孔探缺陷照片进行扩充,解决训练中缺陷各类型数据量不均衡的问题。
2.2.3 多核自适应卷积模块
本文涉及到的四种损伤类型存在较大的尺寸和外观差异。其中裂纹和缺块损伤尺寸较小不易准确检测,特征提取的难度较大,而烧蚀和变形的损伤特征明显。针对上述问题,提出了多核自适应卷积模块MKF-C3,其结构如图4所示。具体来说,本文利用不同大小卷积核感受野不同的特性,使用3×3,5×5,7×7三种卷积核分别提取目标图像上不同尺寸的损伤特征。X1,X2,X3实现损伤特征的互补增强。其中,特征提取步骤如式(6)所示
其中ϕk×k表示卷积核为k的卷积层。
接下来,为了实现特征的自适应融合,本文提出了一种通道级别的自适应融合注意力机制。特征融合模块包括特征聚合和通道注意力生成两个步骤。
第一,使用多层卷积和池化层对提取到的特征集 合进行聚合,
其中M(·)表示的是Maxpool全局最大池化,V(·)表示的是Avgpool全局平均池化。
第二,将聚合后的特征,通过全连接层,生成通道级别注意力,并将注意力应用到聚合后的特征中,得到融合后的特征Xf,具体步骤如下,
其中φ(i)表示全连接层,S(·)表示Sigmoid激活函数。N(·)表示对权重尺寸进行扩展,使其和特征尺寸一致。⊗表示逐元素相乘。这种改进通过结合不同大小的卷积核和多种注意力机制,旨在提取更丰富的特征,并增强模型对不同尺度特征的学习能力,有助于提高模型的准确性和鲁棒性。
图4 多核自适应卷积模块结构图
2.2.4 多尺度特征金字塔融合模块
其中L表示Maxpool,是最大池化操作,其中L的下标表示的是池化核的大小。I(·)表示identity,是将输入的图形特征不做改变进行输出。
接下来,将输出的4种特征使用卷积进行级联操作聚合,实现特征的聚合,最终生成特征图图像并输出。
式中C表示的是concat级联操作。如图5所示,这种改进通过使用不同大小的池化核进行各分支的池化操作,提升了对图像浅层信息的提取,利用深浅层特征的互补特性,提升了特征的判别能力。
图5 多尺度特征金字塔融合模块结构图
航空发动机叶片实验数据集
3.1 数据集的采集方式
本文采集和获取的实验数据集全部来源于工业内窥镜拍摄的航空发动机叶片照片。其中拍照场景为航空发动机内涵道叶片的孔探图像,光照条件属于孔探探头正常光照,发动机包括了涡轮风扇发动机、涡轮喷气发动机等多种型号,叶片包括航空发动机的高低压压气机叶片和高低压涡轮叶片。
文献[2]、文献[27]和文献[28]将叶片损伤划分成腐蚀、凹坑、撕裂、缺口、卷曲变形、裂纹、划痕、烧蚀等类型,由于在航空发动机叶片损伤实际数据获取中,腐蚀和撕裂类的损伤出现频次较少甚至不出现,无法满足模型训练。因此,对上述类别进行了归类和重新划分,其中包括裂纹(crack)、烧蚀(ablation)、缺块(chunk missing)和变形(deformation)等4类,其中将主要情形包括叶片卷曲变形,叶片划痕,叶片凹坑等发动机叶片外形损伤但未发生材料缺失统一归类成叶片变形。
3.2 数据集的处理和统计
将叶片损伤图像按照编号顺序进行命名,使用专业标记软件labelimg中矩形框依次将损伤位置进行标注,其中标识符是选取的4种损伤类别。标注中确保准确分类并生成txt和xml格式的标注文件,并按照PASCAL VOC标准构建好可训练的数据集。各损伤类别样本如图6所示,损伤目标在矩形框内。
图6 数据集叶片损伤类别图片
统计数据集有损伤照片总计3296张,损伤标注框5093个。实验中随机选取3216张损伤照片作为训练集,选取80张损伤照片作为验证集,所有图像的分辨率统一为640像素×640像素。数据集各损伤框分类统计信息见表1。
表1 数据集分类统计信息
航空发动机叶片损伤检测实验与分析
4.1 实验环境、参数配置和流程
模型算法的实现首先需要设置实验环境,本实验的硬件环境配置见表2。本研究中的所有实验都基于以下相同的实验环境和采集到的数据集,其中训练的参数设置如下:输入图片的像素为640×640,训练总轮数为200,预热周期设为3,初始学习率为0.01,学习率衰减因子0.01,学习率动量0.937,权重衰减系数0.0005,批次大小为32,使用随机梯度下降法stochastic gradient descent(SGD)作为优化函数,交并比(IOU)阈值设置为0.5进行实验。
表2 实验环境配置
4.2 实验评价指标
本实验从模型结构参数和模型检测参数进行实验效果对比。
模型的结构参数主要包括训练前的可训练参数量、训练期间的运算速度及运算后生成的权重体积大小。可训练参数量是指模型训练过程中需要用到的参数数量,如神经网络的层数、每层的神经元数量等。参数数量的多少直接影响到模型的复杂度和性能。运算速度采用每秒帧数(FPS)和浮点运算数(FLOPs)进行评价,FPS是衡量模型推理速度的关键指标,表示模型每秒可以处理的图片数量;FLOPs反映了模型在进行一次推理时所需的计算量;权重体积指的是模型训练后保存的权重文件大小。
模型的检测参数主要包括准确率(Precision)、召回率(Recall)和平均精度(AP)。准确率指的是模型识别出的正确样本数占所有被识别为正样本的样本数量的比例;召回率指的是模型识别出的正样本数量占真实样本数量的比例;平均精度是一种综合考量准确率和召回率的综合评价指标,并用于计算不同类别的平均精度,其中mAP@0.5表示在交并比(IoU)阈值为0.5时各个类别的平均AP值。本文使用mAP@0.5和mAP@0.5:0.95作为评估指标,各检测评估参数计算公式如下:
4.3 对比实验
4.3.1 与现有缺陷检测领域模型对比
本文在对比实验中首先考虑到本文的研究内容是基于YOLO算法的航空发动机叶片损伤图像检测,在对比实验中应当优先选用基于YOLO系列的叶片缺陷检测领域的模型进行评估。因此,选取了2种改进的用于航空发动机叶片缺陷检测的模型进行对比,分别是SW-YOLO,YOLOv8-EMA。3种缺陷检测算法精度对比结果如表3所示,分析算法精度的对比结果,本文改进模型检测精度在mAP@0.5和mAP@0.5:0.95均高于两种缺陷检测模型,其中检测精度mAP@0.5分别比SW-YOLO和YOLOv8-EMA两种模型高13.9%和15.3%,mAP@0.5:0.95分别比SW-YOLO和YOLOv8-EMA两种模型高6.6%和5.5%,通过检测结果对比表明本文模型有较高的检测精度。
表3 与现有缺陷检测算法精度对比
4.3.2 与通用检测领域模型对比
表4可看出,本文的改进算法对于航空发动机叶片损伤目标的检测准确率在基于全区域的mAP@0.5和mAP@0.5:0.95都最高且与其他算法相比精度提升明显。所有对比算法中,FCOS方法的效果最好,相比于FCOS,本文方法在mAP@0.5和mAP@0.5:0.95上分别取得了4.7%和4.4%的提升。
此外,考虑本文使用的是YOLOv5模型,为了更好的检验检测效果,又补充了同框架的不同YOLO模型作为对比对象,包括模型YOLOv3以及比YOLOv5模型更新版本的模型YOLOv8、YOLOv11以及YOLOv12。对比实验结果见表4。从表4可看出,本文改进的算法对于航空发动机叶片损伤目标检测准确率是最高的。在同框架的YOLO各对比模型中YOLOv8的检测效果最好,但本文方法检测精度相比于YOLOv8模型,在mAP@0.5和mAP@0.5:0.95上分别高11.3%和2.9%。
4.3.3 与缺陷和通用检测模型可视化结果对比
为了更直观对比各模型对于航空发动机叶片的检测效果,本文选择缺陷检测领域对比模型SW-YOLO和YOLOv8-EMA,通用检测领域模型中检测精度最高的两种模型YOLOv8和YOLOvll和本文改进模型对重新收集的叶片服役损伤孔探图片进行智能检测,并进行可视化结果对比,具体见图7所示。通过图7可以得到,对于四种损伤形式,本文的改进模型都能够完整检测出结果,且效果最好。对比图中,对于叶片烧蚀,SW-YOLO和YOLOv8存在着漏检的情况,对于叶片缺块,SW-YOLO、YOLOv8-EMA和YOLOv11均产生了错检,对于叶片裂纹,YOLOv5s存在错检的情况。
此外,所有可视化对比模型所得检测结果的置信度除了YOLOv11的叶片烧蚀置信度比本文模型高0.07外,其余检测结果均是本文模型的置信度最高。综上可以得出本文模型对于航空发动机叶片损伤有较好的检测效果。
表4 与通用目标检测算法的精度对比
图7 不同检测模型可视化结果对比
4.4 消融实验
本文共提出4种改进的YOLOv5模型如下:
1)模型编号1:YOLOv5s;
2)模型编号2:在模型编号1的基础上使用数据增强方法进行训练的YOLOv5s;
3)模型编号3:在改进的模型编号2的基础上,将YOLOv5算法中的C3模块替换为MKF-C3;
4)模型编号4:在改进的模型编号3的基础上改进YOLOv5网络的特征金字塔为MSPF;
最终改进的模型:将数据增强、MKF-C3模块、多尺度特征金字塔融合模块MSPF同时部署在YOLOv5s网络中。
使用相同的超参数设置进行实验。实验的评价指标结果如表5所示。分析表5网络模型消融实验结果,对基础YOLOv5s网络模型进行数据增强后,检测精度mAP@0.5和mAP@0.5:0.95分别提升了15.5%和7.1%,此时整体网络的训练参数量及检测速度和浮点运算次数基本不变。在此基础上,在网络中使用MKF-C3替换C3模块后,检测进一步提升,mAP@0.5和mAP@0.5:0.95分别提升了0.5%和0.8%,使用了多尺度特征金字塔融合模块MSPF后,模型检测精度mAP@0.5又提升了0.8%。从检测速度、参数量和计算量比较,本文方法可以实现在适量增加参数并保持了较高的检测速度的条件下,提升了模型性能。改进的YOLOv5网络模型结构,在检测精度和浮点运算数上有了较大的提升,优化了基础网络结构的检测性能,为航空发动机叶片损伤检测的算法改进提供了思路。
表5中只是将数据增强部分作为整体,分析了这种改进对于模型检测的贡献。为了评估三种数据增强方法对于改进模型的作用,本文进行了数据增强方式的单因素消融实验,在消融实验中按照控制变量法细化为三个独立的实验,分别评估了无HSV、无随机仿射变换和无随机横向纵向翻转的模型检测效果,并与基础模型和本文模型进行了对比。表6是本文数据增强方法的消融实验结果,从结果分析,三种方法对于模型检测精度都有着不同程度的有效提升,本文实验中,作用效果排序依次为HSV、随机仿射变换、随机横向纵向翻转。通过数据分析,前两种手段贡献更大,第3种贡献小一些,但对于检测精度mAP@50也有着8.4%提升,对于mAP@50-95也有着2.6%的提升。实践中,航空发动机叶片损伤检测中,因为损伤类型出现频率的不一致,容易导致类别不平均,会对模型训练造成很大的困难,此外,孔探图像识别效果和传统检测相比受光照强度影响,目前方法对此问题关注的比较少,本文发现数据增强能够显著提升模型性能,从表6可以看出,简单使用YOLOv5的mAP@50效果为36.0%,加入数据增强后,效果提升了15.5%。本文旨在揭示数据增强在航空发动机叶片损伤检测中的重要作用,并且对现有损伤检测方法进行测试和选择。为后续研究提供基础。
表5 改进的YOLOv5s网络模型消融实验
表6 数据增强方法消融实验
4.5 实验结果分析
本文实验中设置了200轮训练轮次,进行算法模型的学习与训练,最后实现模型各参数指标的收敛。改进后YOLOv5算法的各评价指标参数均已收敛,检测精度指标中mAP@0.5从初始的36.0%提升至52.8%,mAP@0.5-0.95从初始的15.5%提升至23.3%。结果证明,改进后的YOLOv5算法对航空发动机叶片损伤检测精度提升效果明显。
图8表示了本文模型分别对数据集中4种损伤类别的检测精度与召回率之间的PR曲线。图9是4种损伤类别在本文模型训练收敛后得到的混淆矩阵,显示了模型预测的类别与实际类别之间的关系。这些指标可以更好地理解模型的性能。图10是本文模型在本文数据集验证集上的可视化结果图,从结果可以看出,本文方法能够对航空发动机叶片损伤进行有效的检测。
为了全面验证本文改进模型的泛化能力,也为了更好的直观展示模型的训练效果,新增了基于航线孔探仪采集数据的盲测实验,实验中重新收集了发动机叶片服役损伤孔探图片,利用训练好的模型进行盲测并与人工目视结果进行对比,对比结果如图11所示。图11中上面四张图是由航线孔探仪采集到的数据,请四位专业的检测员进行目视,发现由于损伤尺寸较小,检测员无法在第一时间发现损伤,但是本文方法能够成功检测到细微损伤,通过对比图,从检测框的位置和置信度的数值可以直观展示了本文改进模型对航空发动机叶片损伤有较好的检测效果。
图8 本文检测算法的PR曲线
图9 本文检测算法的混淆矩阵
图10 本文算法在测试集上的可视化结果图
图11 本文检测算法对新的损伤叶片图像识别结果
与航线孔探仪目视结果可视化对比图
结论
针对航空发动机叶片小尺寸损伤漏检率高、检测条件差异性较大等问题,本文提出了一种基于YOLOv5的航空发动机叶片损伤检测方法,本文方法主要包括3种改进:第一,针对采集数据中损伤类型分布不均,样本数量不平衡的问题,提出了一种数据增强方法,第二,针对损伤尺寸较小,特征不明显的问题,提出了多核融合卷积模块,通过不同卷积核提取不同尺度信息并提出了一种基于注意力机的自适应融合方式,提升了对小尺寸损伤的感知能力。第三,为了实现对图像多尺度信息的充分融合,提出了多尺度特征聚合模块,直接利用主干网络中的多尺度特征进行充分融合,提升了特征判别能力。
本文方法在采集的数据集上检测精度mAP@0.5从36.0%提升至52.8%,提升16.8%,mAP@0.5:0.95从15.5%提升至23.3%,提升7.8%。模型检测精度超越了现有缺陷检测领域模型SW-YOLO和YOLOv8-EMA。相比于通用检测模型中检测精度最高的FCOS和YOLOv8,mAP@0.5分别高4.7%和11.3%,mAP@0.5:0.95高4.4%和2.9%。