论文题目:ToyADMOS:A DATASET OF MINIATURE-MACHINE OPERATING SOUNDS FOR ANOMALOUS SOUND DETECTION
1 摘要
2 引言
3 数据集概述
3.1 玩具车数据集
3.2 玩具传送带数据集
3.3 玩具火车数据集
4 数据评估及基准
本文介绍了一个名为“ToyADMOS”的新数据集,专为机器运行声音异常检测而设计。目前尚无适用于ADMOS的大规模数据集,这是因为异常声音数据难以收集。为了构建一个用于ADMOS的大规模数据集,本文通过故意损坏微型机器(玩具)来收集其异常运行声音。发布的数据集包含三个子数据集,分别用于机器状态检测、执行固定几何任务机器的故障诊断以及执行移动任务机器的故障诊断。每个子数据集包括超过180小时的正常机器运行声音和超过4,000个异常声音样本,均使用四个麦克风以48-kHz采样率采集。
通过故意损坏微型机器的部件来收集其正常和异常运行声音,由于微型机器可以安装在声学实验室中,因此可以控制录音条件。凭借这一优势,将ToyADMOS数据集设计为不仅可用于基本的无监督ADMOS,还可用于多种高级任务,如领域自适应、噪声抑制、数据增强和异常声音的少样本学习。ToyADMOS数据集具有以下特点:
1、针对三种ADMOS任务设计:产品检测(玩具车)、固定机器故障诊断(玩具传送带)和移动机器故障诊断(玩具火车)。
2、机器运行声音和环境噪声分别录制,用于模拟各种噪声水平。所有声音均使用四个麦克风录制,用于测试噪声抑制和/或数据增强技术,如混合增强。
3、在每个任务中,使用了多个同类的机器;每台机器属于同一类玩具,但具有不同的详细结构。由于收集到的运行声音因个体差异而存在变化,该数据集可用于测试领域自适应技术,以吸收个体差异和/或噪声水平的变化。
4、每个异常声音都被录制了多次,用于测试基于少样本学习的ADMOS,以便仅从几个样本中获取异常声音的特征。
发布的数据集包含超过180小时的正常机器运行声音和超过4,000个异常声音样本,每个任务均使用四个麦克风以48kHz采样率采集。
ToyADMOS数据集包含三个子数据集,分别对应三种类型的ADMOS任务。每个任务使用不同的玩具。各子数据集的名称和概述如下:
玩具车: 为产品检测任务设计。一辆玩具车在检测装置上运行。声音数据用四个靠近检测装置的麦克风采集,如图1 (a) 和 (b),以及图3 (a) 所示。
玩具传送带: 为固定机器的故障诊断设计。一个玩具传送带固定在桌面上,声音数据用四个麦克风采集。一个麦克风固定在传送带主体上,另外三个放置在桌面上,如图1 (c) 和图3 (b) 所示。
玩具火车: 为移动机器的故障诊断设计。一辆玩具火车在铁路轨道上运行。声音数据用环绕轨道的四个麦克风采集,如图1 (d) 和图3 (c) 所示。

图1 玩具、部件和麦克风布置图
为了收集因个体差异而产生的各种正常/异常声音,每种类型的玩具使用三个或四个模型录制运行声音;这些模型属于同一类玩具,但具有不同的详细结构。
每个子数据集包含三种类型的声音数据:正常、异常和环境。其定义如下:
1、正常声音: 目标机器按照其规格正常运行时产生的声音。
2、异常声音: 目标机器因部件被故意损坏或添加异物而导致异常运行时产生的声音。
3、环境噪声: 用于模拟工厂环境的环境噪声。噪声样本是在实际工厂的几个位置收集的,例如碰撞、钻孔、抽水和喷漆声音。这些声音由每个录音室角落的四个扬声器播放。
使用四个全向麦克风(SHURE SM11-CN)收集这些声音。所有声音存储为多个wav文件,分为两种类型:独立(IND)和连续(CNT)。IND和CNT之间的区别如图2所示。IND wav文件在一个wav文件中包含整个操作过程(即从启动玩具到停止)的运行声音,每个wav文件大约10秒长。CNT wav文件在一个wav文件中只包含部分运行声音;运行声音连续录制,每10分钟切割一次。正常声音包含IND文件和CNT文件,异常声音包含IND文件,环境噪声包含CNT文件。IND和CNT分别主要假设用于训练和评估。这是因为在真实环境中收集IND数据很困难。CNT数据只需录制工作机器的运行声音即可收集,而IND型数据收集则需要机器多次启动/停止。因此,IND数据收集的成本远高于CND数据收集,导致实际使用的系统通常使用CNT数据集进行训练。
图2 独立波形文件(IND)与连续波形文件(CNT)在录制与数据处理方面的区别
表1:ToyADMOS数据集中包含的声音数据
表2:故意损坏部件及其状况列表
该子数据集假设了一个产品检测任务,并承担了从检测装置上玩具车运行声音中检测异常声音的任务,如图1 (b) 所示。试验使用了一种名为“迷你四驱车”的玩具作为微型汽车机器,其四个轮胎通过齿轮和轴由小型电机驱动,如图1 (a) 所示。电机连接到稳压电源,在检测装置上的运行声音用四个麦克风录制。检测装置、麦克风和录音室中的扬声器布置如图3 (a) 所示。
玩具车数据集设计为两种类型电机和轴承的异常组合;因此,案例数为四。每个IND正常和异常声音的wav文件长度为11秒,每个案例和通道记录了1,350个IND样本。IND正常声音的总小时数为66。每个案例和通道记录了大约150个CNT样本。请注意,为了减少电机负载,电机每运行10分钟后会休息10分钟。因此,CNT正常声音的总小时数为135,是CNT文件总长度的一半。异常声音是通过故意损坏轴、齿轮、轮胎和改变电压产生的,如表2所示。每个案例和通道总共记录了250个异常声音样本,包含这些组合(53种模式)。由于所有案例中麦克风位置相同,12小时的环境噪声仅录制一次。
试验假设了一个固定机器的故障诊断任务,从固定在桌面上的玩具传送带运行声音中检测异常声音。使用了一种通过内置小型电机驱动皮带来运输小锡制玩具车的传送带,如图1 (c, 上) 所示。通道1麦克风放置在传送带主体上,其他麦克风放置在桌面上,如图1 (c, 下) 所示。桌面、麦克风和录音室中的扬声器布置如图3 (b) 所示。
三种由同一制造商生产但尺寸不同的传送带被用作玩具传送带的异常案例;因此,案例数为三。每个IND正常和异常声音的wav文件长度为10秒,每个案例和通道记录了1,800个IND样本。因此,IND正常声音的总小时数为60。每个案例至少记录了124个CNT样本,CNT正常声音的总小时数为120。异常声音是通过故意损坏张紧轮、尾轮和皮带以及过度降低/提高电压产生的,如表2所示。总共记录了355个异常声音样本,包含这些组合(60种模式)。由于第一个麦克风放置在传送带上,每个案例中麦克风的位置不同。因此,所有案例都录制了12小时的环境噪声。
试验假设了移动机器的故障诊断任务,从玩具火车的运行声音中检测异常声音。也就是说,为了检测异常声音,需要结合四个通道的观测,试验使用了HO比例(大)和N比例(小)的模型铁路,它们是精确详细的微型铁路模型,如图1 (d) 所示。声音数据用环绕铁路轨道的四个麦克风采集。麦克风和录音室中的扬声器布置如图3 (c) 所示。由于HO比例和N比例铁路的尺寸不同,麦克风的位置也不同。图1 (d) 和图3 (c) 所示的麦克风布置是针对HO比例铁路的。在录制N比例机器声音时,移除了HO比例铁路并将麦克风移近N比例铁路。
玩具火车的每个“案例”设计为两种类型火车(通勤列车和子弹头列车)和两种比例(HO比例和N比例)的组合;因此,案例数为四。每个IND正常和异常声音的wav文件长度为11秒,每个案例和通道记录了1,350个IND样本。IND正常声音的总小时数为66。每个案例和通道记录了74个CNT样本;因此,CNT正常声音的总小时数为197。异常声音是通过故意损坏首节/末节车厢和直线/弯曲铁路轨道产生的,如表2所示。总共记录了270个异常声音样本,包含这些组合(54种模式)。由于HO比例和N比例案例中麦克风位置不同,每个案例录制了12小时的环境噪声。

图3 所有设备的布置位置(俯视图)
为了说明ToyADMOS数据集的用法并展示其有用性,作者在三个子数据集上测试了一个简单的基准系统。
试验使用每个子数据集案例1的通道1测试了一个简单的无监督ADS任务。请注意,为了简化实验,试验在玩具火车子数据集中混合了通道1-4的观测值,并将其用作单通道观测。随机选择的1,000个IND正常声音样本用于训练,其他IND正常和IND异常声音样本用于评估。试验通过混合随机裁剪的环境噪声构建了训练和测试数据集。为了控制信噪比,试验将玩具车和玩具传送带子数据集中目标声音的波形乘以3.16(+10 dB),而在玩具火车子数据集中将噪声声音的波形乘以该值。所有声音下采样到16 kHz的采样率。
试验使用简单的自编码器作为正常模型,其网络架构与中使用的几乎相同。AE的每个编码器/解码器有一个输入全连接神经网络(FCN)层、四个隐藏FCN层和一个输出FCN层。每个隐藏层有512个隐藏单元,编码器输出的维度为128。除解码器的输出层外,每个FCN层后使用修正线性单元。输入向量是64维的对数梅尔幅度谱,其前后10个时间帧被连接起来以考虑过去和未来的帧。AE的重构误差被用作异常分数,AE的参数被训练以最小化正常训练样本的异常分数。试验将初始100个epoch的学习率固定,并在100-200个epoch之间线性下降到初始学习率的1/100,初始学习率为10⁻⁴。试验总是在200个epoch后结束训练。
试验计算了所有测试wav文件中每个时间帧的异常分数。如果异常分数即使在一帧中超过阈值,则该wav文件被判定为异常。该系统为玩具车、玩具传送带和玩具火车子数据集提供的受试者工作特征曲线下面积分别为0.874、0.981和0.843。通过分析假阴性检测(即漏检),试验发现系统频繁漏检玩具车子数据集中的“过电压”声音和玩具火车子数据集中“弯曲轨道”的异常声音。正常声音和过电压声音的频谱形状细节略有不同;然而,这些声音的幅度几乎没有变化。此外,弯曲轨道的损坏点远离所有四个麦克风;因此,被漏检的异常声音幅度较小。这些结果表明了使用ToyADMOS数据集进行ADMOS研究的一个方向:检测其时频结构与正常声音相比变化不大的异常声音。
编辑:肖鑫鑫
校核:李正平、陈凯歌、赵栓栓、赵学功、白亮、任超、Tina、陈宇航、海洋、陈莹洁、王金、赵诚、曹希铭、张优
该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除