Deep Domain Generalization Combining A Priori Diagnosis Knowledge Toward Cross-Domain Fault Diagnosis of Rolling Bearing

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9174912

1. 作者的目标是什么？或者已经实现了什么？

目标：提高滚动轴承的跨域诊断问题。
作者实现的内容：结合先验知识（a priori diagnosis knowledge）和深度领域泛化故障诊断网络（deep domain generalization network for fault diagnosis, DDGFD），DDGFD可以从源域数据集中学习到有区分的而且领域不变的故障特征（ discriminative and domain-invariant fault features ），来提高滚动轴承的跨域诊断的泛化性能。

2. 新方法的关键是什么？

关键是如何从源域数据集中学习有区分的而且领域不变特征。
[1] 融合先验诊断知识。

（1）这的先验知识指的是信号处理方面的滚动轴承故障特征频率：BPFO、BPFI和BFF。作者的做法是将一维的加速度传感器采集时间序列映射到四维包络序列作为深度模型的输入。这四个维度分别是原始传感器序列的包络、只含有BPFO频率成分的包络、只含有BPFI频率成分的包络和只含有BFF频率成分的包络。

（2）Unidirectional Convolution and Pooling 单向卷积和池化。这个是对先验知识的应用方式。内容是只在时间序列方向上进行卷积和池化，而不进行跨序列卷积和池化。例如，包络和BPFI包络不混合在一起卷积。这个也很符合逻辑，毕竟卷积和池化的操作对象都得要是同类的数据。就像数组里都得要是一样的元素。（有点生硬的类比）。所以，卷积和池化都得要是在单个序列方向上进行。
[2] 领域泛化

（1）领域不变特征。领域不变特征指的是，来自不同域数据集的同类样本，应当在全连接层的变换下更加聚集在一起。而不同类别的样本应当更加分离。（基本等同于聚类的判别标准）

（2）instance-based discriminative loss，基于样本的判别损失^[2^,3]。用来学习领域不变特征。

Ld=1n×n∑i,j=1nJd(hi,hj)(1)\mathcal{L}_d =\frac{1}{n\times n}\sum_{i,j=1}^{n}J_d(\bold{h}_i, \bold{h}_j)\tag{1}Ld=n×n1i,j=1∑nJd(hi,hj)(1)
Jd={max⁡(0,∣∣hi−hj∣∣2−m0)2Ci,j=1max⁡(0,m1−∣∣hi−hj∣∣2)2Ci,j=0(2)J_d= \begin{cases} \max(0, ||\bold{h}_i -\bold{h}_j||_2-m_0)^2& C_{i,j} = 1\\ \max(0, m_1 - ||\bold{h}_i -\bold{h}_j||_2)^2 & C_{i,j} = 0\\ \end{cases} \tag{2}Jd={max(0,∣∣hi−hj∣∣2−m0)2max(0,m1−∣∣hi−hj∣∣2)2Ci,j=1Ci,j=0(2)
其中，∣∣⋅∣∣2||\cdot||_2∣∣⋅∣∣2是向量的L2范数，Ci,j=1C_{i,j} = 1Ci,j=1 表示hi\bold{h}_ihi 和 hj{\bold{h}_j}hj是来自同一类。Ci,j=0C_{i,j} = 0Ci,j=0 表示hi\bold{h}_ihi 和 hj{\bold{h}_j}hj是来自不同类。m0m_0m0和m1m_1m1分别是类内和类间距离的阈值。通过在全连接层中增加特征的损失Ld\mathcal{L}_dLd，一方面使得同一类样本与多个源的距离不超过m0m_0m0，这意味着实现了域不变特性。另一方面，不同类别样本的可分性也会被阈值m1m_1m1所加强，这可能有利于故障识别。与文献[2]中讨论的Ld\mathcal{L}_dLd的原始动机相比，主要区别在于我们将其应用扩展到了领域泛化问题中，并探索了它在轴承故障诊断问题中的潜力。

作者将这个损失函数和交叉熵损失函数一起使用作为跨领域分类结果和泛化能力的综合代价函数。

有啥值得注意的地方：

[1] 作者的信号处理部分使用的包络谱技术的前提假设是滚珠运动没有滑动，但是事实上滚珠总会有滑动，所以计算的特征频率和实际情况会有1%~2%的出入。采用窄带滤波。
[2] 根据文献[1]中提到的希尔伯特变换提取的包络，会带有大量的毛刺，不够光滑，这一点在作者的Fig.2中的右图也能看出来。而希尔伯特变换的这一缺点也会被后续的神经网络模型中的最大层池化技术放大了，势必会影响后续的结果。所以这里考虑去除最大层池化，而知在最后有一个卷积层添加全局平均值池化。
[3] 包络技术提取的三个频率成分的序列，其中仍然是会含有噪声的，这个噪声是分布在时间序列上的每一个点，但是会集中在频谱上的某一小区域。但是，该文采用的是时域序列作为深度模型的输入，所以这个问题的影响不会存在。

3. 论文中哪些内容对我来说是有用的？

[1] angular resampling signals 角度重采样，从包络信号中提取关注的频率成分
[2] antialiasing filtering (low-pass) 抗混叠重采样，避免角度重采样后的信号混叠，对每个特征频率成分进行抗混叠重采样。
[3] 融合先验知识的方法或许也可以从滤波器方面入手，首层使用四个全局滤波器，滤波器的值分别固定为归一化的四个包络值。

4. 我还想要关注哪些参考文献和资料？

[基于样本的判别损失] C. Chen, Z. Chen, B. Jiang, and X. Jin, “Joint domain alignment and discriminative feature learning for unsupervised deep domain adaptation,” in Proc. AAAI Conf. Artif. Intell., Honolulu, HI, USA, Jan. 2019,pp. 3296–3303.
如何降低卷积通道之间的冗余性？不同的卷积通道会提取不同的信息特征，但是卷积神经网络不同的卷积通道之间没有进行信息交互，所以，也就没有什么降低卷积通道冗余性的设计。对于如何降低通道冗余性，可以参考通道共享kernel的Involution，其在git上的代码

5. 参考文献

[1] 张绪省,朱贻盛,成晓雄, 等.信号包络提取方法-从希尔伯特变换到小波变换[J].电子科学学刊,1997 :120-123.

[2] C. Chen, Z. Chen, B. Jiang, and X. Jin, “Joint domain alignment and discriminative feature learning for unsupervised deep domain adaptation,” in Proc. AAAI Conf. Artif. Intell., Honolulu, HI, USA, Jan. 2019,pp. 3296–3303.

, HI, USA, Jan. 2019,pp. 3296–3303.

[3] H. Zheng, Y. Yang, J. Yin, Y. Li, R. Wang and M. Xu, "Deep Domain Generalization Combining A Priori Diagnosis Knowledge Toward Cross-Domain Fault Diagnosis of Rolling Bearing," in IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-11, 2021, Art no. 3501311, doi: 10.1109/TIM.2020.3016068.

Deep domain generalization combining a priori diagnosis knowledge阅读笔记相关推荐

《Deep Learning for Computer Vision with Python》阅读笔记-ImageNetBundle(第7章)-在ImageNet上训练VGGNet
//2022.2.27日下午18:33开始学习笔记 7.在ImageNet上训练VGGNet 在本章中,我们将学习如何在ImageNet数据集上从零开始训练VGG16网络架构.卷积神经网络的VGG家族 ...
DUF:Deep Video Super-Resolution Network Using Dynamic Upsampling Filters ...阅读笔记
DUF:Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Com ...
《Deep Learning for Computer Vision with Python》阅读笔记-ImageNetBundle(第5章)-ImageNet数据集的准备
5.准备ImageNet数据集一旦你下载了ImageNet数据集,你可能会有点不知所措.你现在有超过120万的图片驻留在磁盘上,没有一个人有"人类可读"文件的名字,没有一个明显的 ...
Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation阅读笔记
RLA阅读笔记 (一) Title (二) Summary (三) Research Object (四) Problem Statement (五) Method 5.1 Layer Aggrega ...
[论文阅读笔记05]Deep Active Learning for Named Entity Recognition
一,题目 Deep Active Learning for Named Entity Recognition[NER任务的深度主动学习] 来源:ICLR 2018 原文:DEEP ACTIVE LEA ...
论文阅读笔记——A deep tree-based model for software defect prediction
本论文相关内容论文下载地址--Web Of Science 论文中文翻译--A deep tree-based model for software defect prediction 论文阅读笔记 ...
【领域泛化论文阅读】Embracing the Dark Knowledge: Domain Generalization Using RegularizedKnowledgeDistillation
这篇论文从任务的难度来解决领域泛化问题,论文认为如果模型的学习任务太难的话,容易发生过拟合,学习到的特征是域特有的特征而不是域不变特征,这样很难学习到泛化的特征.因此论文假设简单的任务可以提高目标域的 ...
如何通过Meta Learning实现域泛化（Domain Generalization）？
©作者 | 丘明姗单位 | 华南理工大学研究方向 | 领域泛化域泛化(Domain Generalization)中有很多工作是用 meta learning 做的.Meta learning ...
Domain Generalization数据集整理
目录一.引言二.Datasets 1.PACS 2. Office-Home 3. VLCS 4.TerraIncognita (subset) 5.DomainNet 一.引言自从Domain ...
Generalizing to Unseen Domains: A Survey on Domain Generalization 论文分享
这篇论文应该是领域泛化领域第一篇综述,楼主花了些时间较为仔细的读了一下,写了这篇笔记 1.理论分析(论文所有的分析都基于二分类问题,分析工具会用到VC维) Domain Adaptation中的err ...

Deep domain generalization combining a priori diagnosis knowledge阅读笔记