论文笔记：Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning

论文：基于少样本学习的小样本滚动轴承故障诊断 Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning

**摘要：**这篇paper主要是用少量的training data训练数据做故障诊断。在故障诊断领域最大的困难就是在正常工作环境下对于每一种故障类型都没有充足的训练样本。近年来，基于深度学习的方法做故障诊断有了很好的成果，但是，大多数方法要求有足够的训练数据。在这篇文章中，我们提出了一个基于小样本学习方法用少量的数据做滚动轴承故障诊断的深度神经网络。我们的模型基于孪生神经网络，通过输入相同或不同类别的样本对。实验结果用凯斯西储大学数据集（CWRU），显示我们的小样本学习方法用少量的数据做故障诊断是非常有效的。当用最少量的训练数据在不同的噪声环境下测试时，我们小样本学习的方法超过在合理噪声基准线的水平，当评估用新的故障类型或新的工作条件下的测试集时，小样本模型优于用所有故障类型做训练的模型。

**Introduction：**故障诊断被应用在各个方面，比如制造业、航空航天、汽车、发电和运输。近年来，用深度学习的智能诊断技术吸引了很多关注，因为避免了时间耗费的依赖性和人工分析的不准确性，增加了效率。然而，大多数的技术要求有大量的训练数据。在现实的故障诊断中，相同故障的信号在不同的工作环境下会有很大的差别，导致在故障诊断主要的挑战就是:通常是不可能包含有足够的样本让分类器对每一种故障类型都能做出分类。这种情况出现的几种原因：
1.工业系统不允许出现故障，尤其是精密系统或设备带来的后果不可预测。
2.大多数机电故障发生的很慢并且遵循一个老化的过程，像一个系统故障的老化可能花费数月或者很多年，导致很难收集到相关的数据。
3。机器系统的工作环境非常复杂并且根据产品要求需要时不时的频繁改变，这对于收集并标记足够的训练样本是很难实现的。
4.特别是在真实的条件下，故障类别和工作环境是经常不平衡的。在不同的工况条件下对每一种故障类型收集足够的样本是非常困难的。
有一些小样本故障诊断的研究：将PCA应用在高维和不平衡的故障诊断数据上；支持向量数据描述方法应用到不平衡数据的机械故障诊断。近年来，深度学习在一些应用领域受到令人印象深刻的结果：计算机视觉、图像视频处理、语音识别和自然语言处理。深度学习也被应用到故障诊断，包含一些最新的成果：AE、RBM、CNNs、RNNs、迁移学习、GANs。…为解决工况条件的变化问题，迁移学习、域自适应、特征转移神经网…为解决不平衡数据，用GANs模型对每个少量的故障模式评估数据分布，来综合性的增加size
深度神经网络从大量数据学习低维或高维特征已经很好并且也已经广泛的应用到故障诊断。然而，除了基于迁移学习的方法可以解决时变的工作条件问题和GANs方法可以解决不平衡数据，大多数基于深度神经网络的智能故障诊断方法并不能能解决最大的困难：在所有的工况条件下用少量的故障数据可以识别出一个或更多的故障类型。limited fault samples for one or more faulttypes under all working conditions
最近，基于小样本学习的深度神经网络在解决数据缺失方面取得了进步，并且在机器学习是一个未来可期的领域。变种的贝叶斯框架的单样本图像分类用先前预先训练好的课程可以发挥作用去预测已有类别的中的少量的例子，选择基于相似度学习方法用特征表达的标准包去学习昆虫分类的相似性内核，匹配网络、原型网络、通过预测激活的参数、MetaGAN、…与少样本半监督不同，他们的算法可以处理样本和任务水平的半监督，（少样本半监督和小样本学习一样吗？有什么异同？）然而，尽管小样本学习在其他方面应用的很成功，但这些方法还没有应用到解决故障诊断领域的严重样本确实问题。
In this paper, we proposed a few-shot learning neural network approach for rolling bearing fault diagnosis with limited data. Our contribution in this paper includes:
1.我们提出了一个小样本学习方法来解决少量数据的轴承故障诊断，通过发展一个基于孪生神经网络的深度卷积网络，这个深度卷积网络的第一层非常大，（WDCNN）
2.我们首次证明了基于小样本学习的诊断模型可以促进故障诊断的表现，充分使用相同或不同类别的样本对并且识别从那些只有一个或很少的样本类别中的测试样本，例如：从一个很小的训练集中—只有90个训练样本，我们的方法可以达到92.56%的准确度，比那些没有用小样本学习80.36%的准确度有优势。
3.随着训练样本的增加，当测试样本集与训练样本集有很大差异时，测试结果没有单调性的增加。
疑问：测试样本怎么测试？训练样本是样本对，测试样本是单个的还是样本对？从哪里选，？训练样本输入进去有什么作用，训练样本训练模型，然后测试样本输入吗？如果是这样，训练到什么时候就可以了？

Method
A.小样本学习的一般策略
如图一所示。是单样本学习的多次应用。首先，用相同或不同类别的样本对训练模型。输入一个相同或不同类别的样本对（X1,X2），输出的是两个输入的样本相同的概率。不像传统的分类，小样本学习的表现通常是K-Way N-Shot
在单样本测试中，给测试样本X分类并且给定一个支持集，支持集里面包含K个样本，和每个样本的标签（这些标签都不一样）然后，将测试集根据给定的支持集求最大相似度来进行分类。在少样本的测试中，模型就是在支持集中给了N个样本，

B.轴承故障诊断的小样本学习
故障诊断的小样本学习就是单样本的多次应用。准备数据，训练模型，测试模型。

训练模型的输入是用相同或不同类别标签的样本对来训练的，输出就是大概的距离，判断该对是相同类别还是不同类别。下面的部分将测试模型：

用第一层为大卷积核的卷积网做的孪生网络。两个相同的WDCNN网络有相同的网络架构并且分享权重。第一层用非常大的卷积核去提取特征，然后用小卷积核去特征表达。这样设计的策略是设计模型都用小卷积核不现实，而且小的卷积核在第一层在常见的工业环境中容易受高频率的噪声干扰。
输入：端到端的深度学习方法
距离度量：M为最小batch，i为第i个batch
输出：不明白P（X1 X2）是一个样本对，还是两个样本对
LOSS函数：平均交叉熵
优化：Adam优化器
训练：i是第i个minibatch
C-Kay N-Shot：重复的支持集5次，是随机从训练集中选的5个

Experiments And Results
为了证明我们的模型，我们选择了12k个传动端轴承故障数据作为原始的实验数据。轴承故障位置有四种类型：正常的、滚动体故障、内圈故障、外圈故障。每种故障分别有三种类型。0.007英寸、0.014英寸、0.021英寸，所以我们一共有十种类型。每一种故障标签包含1，2，3三种不同的负载，分别为1772转速、1750转速、1730转速。
在实验中，每一个样本都从两个振动信号中提取，振动信号的一半来生成训练样本，其余的生成测试样本。训练样本是通过大小为2048点的滑动窗口，以80步的位移生成的，测试样本是通过相同大小的滑动窗口没有重叠生成的。数据A、B、C分别在1，2，3三种不同转速的工作条件下，每一个包含660训练样本和25测试样本，数据D是在三种转速下并且一共包含1980训练样本和75个测试样本。在下面的实验中，与基本的WDCNN比较，我们将讨论提出的小样本学习方法解决少数据的故障诊断挑战。应该注意到数据集A B C D用来在生成在不同环境下的数据集。
A.训练数据对表现的影响
在这个实验中，我们将评估提出的小样本学习方法解决少数据故障诊断中的前两个困难：工业系统不允许发生故障，由于结果很危险。大多数的故障发生的很缓慢，需要很长时间。我们进行了一些对比试验在数据集D上通过设置测试数据集作为测试数据，并且随机选则60 90 120 …19800个样本作为训练样本。对于每一个训练集，SVM方法使用整个训练数据来拟合模型，为SVM算法调查了合适的参数。其他的方法用60%的样本作为训练样本并且其余的样本作为验证集。然后，我们评估了样本数量对每个训练模型结果的影响。对于每个训练集的大小，我们重复样本选择过程五次来生成五种不同的训练集以应对随机选到小型训练集的偏差。对于每一个这样随机的数据集，我们重复算法训练并且测试实验4次，来应对算法的选择性。
首先，我们比较了深度学习和传统机器学习SVM的性能。

下一步，我们检查是否小样本学习算法比WDCNN用少量的数据有效。去掉最后FC层的可视化、90个样本的混淆矩阵结果

B.在噪声环境下的表现
在这个实验中，我们评估了小样本学习解决第三个挑战的效果：工作条件复杂，并且时不时的变换。不现实的收集足够多的有标签的训练数据。我们讨论了在噪声环境的效果，模拟数据D工作条件的变化。用原始的CWRU数据训练，然后添加不同的信噪比做测试。不同得信噪比为4db-10db，信噪值越小，噪声越大。
显示诊断噪音信号的结果。背景颜色越绿结果越好。明显的看出准确率增加并且绿色的信号，因为噪声变小。当噪声不是很强的时候，随着训练样本数量的增加越来越重要。five-shot好于one-shot…从上述中，我们可以看到随着训练数据的增加，测试表现没有单调的增加当测试集与训练集有很大的不同的时候。因此，训练样本的数量可以得到一个好的结果与测试集不同的的时候

C.新类别下的性能。
解决了第四个困难：数据不平衡。收集足够的数据和在困难的工作条件下每种故障类型的数据。我们主要解决不平衡的故障类别。当一个新的类别出现，传统的深度学习需要再次训练去解决新类别的故障。然而，与传统的深度学习不同的是，小样本学习模型可以直接通过给出仅仅一些新类别的样本就可以识别新的故障类别。我们用所有的类别训练DCNN和训练小样本模型从新类别中随机选取30%去为了看见数据集D中的所有类别，重复做了10次。

少样本准确率的增加随着新类别数量的减少。five-shot要比one-shot要好。因此在一个新的类别出现的时候小样本学习可以表现得很好。

D.在新的条件下的性能
在这个实验中，我们将评估了小样本学习模型解决四种困难的性能。主要解决不平衡的工作条件，当新的类别出现的时候，我们想要评估小样本表现是多么的好。我们用领域适应去模拟新的工作环境。领域适应的情景设置在表5，用数据A\B\C做训练集和测试集。

如figure9所示，用90个训练样本，在六种情景表现中，小样本的精度要比WDCNN方法好。但是，随着训练样本数量的增加，WDCNN的准确度在六种场景中比小样本学习方法要好。另外，当在C数据集上训练，A做测试集的时候，这两种方法都表现不好。如表格6
所以，数据A的速度要比B高，我们认为，数据A比数据B复杂，C—B是同样的道理。因此，我们在低速数据C上训练，高速数据A做测试，特征就会有很多丢失，这是导致不好表现的原因。当在数据A上训练，用C做测试，特征改变的很小。所以随着训练数据的增加测试性能也会提高。然而，当在C上训练，用复杂的数据A做测试，特征改变了很多。所以训练样本增多并没有让测试性能单调性的增加。
用小样本学习方法当从有限的训练样本到足够多的训练样本，并不能表现得很好，WDCNN可以。但是，WDCNN方法的平均准确度不如用WDCNN训练200个有标签数据的准确率高。我们认为在一个负载调价下训练模型并且直接使用一个新的负载是不合理的，而且结果也不是很满意。所以当这个模型仅在一种负载下情况下训练，对这个模型来说是很难学习在负载变化时类别特征改变的知识。所以这很可能在新的负载下产生不好的表现。所以我们对领域适应设置了新的情景设置。在两种负载下训练有标签的数据，在新的负载下用不带标签的测试。

Conclusion这篇文章主要呈现了用小样本学习方法解决少数据的滚动轴承故障诊断。我们的算法解决了少数据故障诊断的只要挑战之一：数据驱动故障诊断难以收集到足够多的样本。我们的少样本故障诊断模型基于孪生网络的单样本学习。利用相同或不同类别的样本对，测量两个WDCNN姐妹特征向量的距离，是为了判断他们的输出是否相似。
我们的方法用CWRU数据集做了实验，通过与WDCC模型进行了比较。这个实验的结果显示小样本学习方法是有效的，用有限的数据或足够的数据。通过比较在不同噪声环境下的测试结果，我们发现训练集和测试集很大不同的时候会造成测试结果并不会随着训练样本增加而单调的增加。当评估测试集在新的故障类型或新的工作条件下，小样本模型比那些用所有故障类型训练的基准方法要好。

论文笔记：Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning相关推荐

Limited Data Rolling Bearing Fault Diagnosis With Few-Shot Learning(基于小样本学习的有限数据滚动轴承故障诊断)
Limited Data Rolling Bearing Fault Diagnosis With Few-Shot Learning 基于小样本学习的有限数据滚动轴承故障诊断摘要这一篇文章主要研 ...
论文阅读-2 | Meta-Learning with Task-Adaptive Loss Function for Few Shot Learning
论文目录 0 概述 0.1 论文题目 0.2 摘要 1 简介 2 相关的工作 3 提出的方法 3.1 前言 3.1.1 提出问题 3.1.2 模型无关元学习 Model-agnostic meta-l ...
论文笔记 Traffic Data Reconstruction via Adaptive Spatial-Temporal Correlations
IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 2019 0 摘要数据缺失仍然是交通信息系统中的一个难点和重要问题,严重制约了智能交通 ...
[论文笔记]Trajectory Data Driven V2V/V2I Mode Switching and Bandwidth Allocation for Vehicle Networks
车辆的高机动性给车辆网络中高效可靠的通信带来挑战,其中的关键是如何实时处理大量的信道反馈信息以及如何更好地进行资源分配.本文提出一种利用轨迹数据的资源分配方法,其特点为减少CSI信息的反馈量并使V2V ...
深度学习论文笔记（增量学习）——CVPR2020：Mnemonics Training: Multi-Class Incremental Learning without Forgetting
文章目录前言工作流程 exemplar level 前言目前也写了较多增量学习的文章了,我的目的是在写的过程中对方法的细节进行梳理,帮助自己理解,其中难免有表述不当的地方,请各位辩证看待我文章中 ...
论文笔记：EGAT: Edge Aggregated Graph Attention Networks and Transfer Learning
文章目录论文概况摘要 1 介绍 2 方法 2.1 特征表示 2.1.1 蛋白质的图表示 2.1.3 边特征表示 2.2 EGAT的结构 2.2.2 边缘聚合图关注层 2.2.3 预测概率 2.2. ...
[论文笔记]Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning
本文的研究目标是车在网络中的频谱资源分配问题,具体来讲是如何实现多个V2V链路重用V2I链路的频谱.车载链路中环境的快速变化使传统的在基站处收集CSI信息以进行集中式资源管理成为难题,而本方法将资源共 ...
论文笔记：EGAT: Edge Aggregated Graph Attention Networks and Transfer Learning Improve Protein-Protein In
文章目录一.摘要二.方法 (一).蛋白质图的表示 (二).节点级特征表示 (三).边级特征表示 (四). EGAT结构的主要特点 (五).边缘聚合图关注层 (六).在计算注意力分数时使用边缘特征 ...
Small sample challenge in mechanicall fault diagnosis | 机械故障诊断中的小样本问题文献追踪
在机械故障诊断领域,对智能诊断方法的研究如火如荼.基于对大量机械信号的分析,智能故障诊断方法在实验室数据上取得了很好的结果.然而,工程实际中机械设备长时间处于正常(无故障)的工作状态,能采集到的故障信 ...

论文笔记：Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning

论文：基于少样本学习的小样本滚动轴承故障诊断 Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning

论文笔记：Limited Data Rolling Bearing Fault Diagnosis With Few Shot Learning相关推荐

最新文章

热门文章