无监督特征对齐的迁移学习理论框架
0、前言
文献《基于无监督特征对齐的变负载下滚动轴承故障诊断方法》引入迁移学习中能够实现无监督领域适应的子空间对齐(subspace alignment，SA)算法并进行改进，提出将核映射方法与 SA 算法相结合。将训练数据和测试数据映射到相同高维空间，在高维空间的子空间进行特征对齐，以增加数据类间区分性，实现不同负载下源领域特征向目标领域特征对齐。具体理论可参考该文献。
1、无监督特征对齐
首先，究竟应该如何理解“对齐”？先看下述分析。
无监督特征对齐，顾名思义即不需要应用样本的标签信息。文章所述子空间对齐方法步骤如下：第一步，对不同领域的特征样本数据分别采用PCA方法确定投影矩阵，并将其作为源领域和目标领域子空间的基；第二步，采用线性变换的形式使得源领域子空间的基向目标领域子空间的基靠近，即实现源领域子空间和目标领域子空间的对齐，可以看出文章阐述的“对齐”更多的含义是对源域数据的投影矩阵H进行变换，使得变换后的结果尽可能接近目标域的投影矩阵（这样真的准确吗？）。还有为什么是“接近”而不直接“重合”呢？（重合意味着将源域的投影矩阵H强行等于目标域的投影矩阵B）为什么不这样呢？而且H变换后所得的矩阵A虽然接近目标域投影矩阵B，但是此时的A已经不能反应源域数据的分布特性了！谈不上A接近B就等价于两领域数据分布特性一致。所以文章不应该是直接对H进行变换，而应该是对源域数据本身进行变换，使得变换后数据空间的基接近或等于目标域数据空间的基。
此外，文中无监督特征对齐第一步采用PCA方法确定子空间的基，PCA确定的投影方向可以最大化投影后特征的分布方差，即子空间的基能反应原始数据的全局分布特性（这句话没毛病）。对齐两领域子空间的基使得两领域数据经过投影后的分布特征尽可能相似（真的是这样吗？投影矩阵接近即映射方向接近，但并不代表两领域数据经过投影后就接近啊！）。我们要的是最后的两领域数据分布接近，这是后续将不同领域数据进行联合分类训练或者回归训练建模的基础。
而且文章采用PCA方法是刻画不同领域数据的全局分布特性，有一定局限性。是否可以同时考虑局部和全局分布特性呢？当然这样做的难点是求取的投影矩阵很难满足正交条件（PCA求取的投影矩阵满足正交条件）。
综上所述 ，本人看该篇文一片雾水，理论没有说服我，所谓的“子空间基的对齐”并不是真正的两领域数据子空间对齐。而且真正的子空间对齐(subspace alignment，SA)算法目标函数也是对源域数据进行变换，以变换后的源域数据与目标域数据的Frobenius 范数值最小为目标求取变换矩阵。源域数据与目标域数据的Frobenius 范数值小意味着两领域数据全局分布很接近，可以简单粗暴理解为距离接近，是"一家人"。
2、无监督特征对齐的迁移学习理论框架
本人根据自己对SA算法的理解，并且考虑非线性特征降维以及联合分布特性等因素，提出一种无监督特征对齐迁移学习理论框架。
2.1 数据准备
① 源域：
② 目标域：
③求取目标域投影矩阵（基）：（反应目标域数据分布特性）
④定义源域转换矩阵：
⑤假设转换后源域数据对应的投影矩阵（基）等于 （基对齐）
⑥ 如果③中投影矩阵的求取是以最大化全局信息保留为原则，那么 源域转换矩阵求解的目标函数为：
约束条件： ，定义
为
最大m个特征值对应的特征向量矩阵。（m为降维后的特征维数）
⑦求解上述目标函数，可得源域转换矩阵，转换后的源域数据变成：
此时的与目标域
数据结构一致（基对齐），为后续的特征提取和分类建模都做好了数据准备。接下来对
和
进行联合特征提取和分类模型训练，可以弥补
单独建模时数据量不够充分导致的模型泛化性能不够的问题。
注意：上述是数据准备阶段的大致流程，步骤③中投影矩阵的求取方式实际上不唯一。以最大化全局方差信息保留为原则（即PCA方法）是线性化、非监督的典型方式，所得投影矩阵也满足正交条件。
2.2 特征提取
特征提取考虑三种形式：筛选、嵌入、抽象转换（神经网络提取的抽象特征）
筛选：就是特征筛选，从原有的特征中选一些重要的特征出来构成代表特征集。至于怎么判断重要就看各位如何选择了，基于不同的出发点选择出来的代表特征集也不尽相同（正所谓萝卜青菜各有所爱嘛）。
嵌入：对原有特征进行转换（线性或者非线性）得到新的特征表达，常见的就是PCA、KPCA基于全局方差信息；LPP、NPE、LE等流行学习方式；线性判别分析、fisher判别分析等监督降维方法；以及各种典型方法上的非线性化改进、参数改进、监督改进等等等等。。。
抽象转换：利用神经网络进行变换，特征输入神经网络，经过各层网络的抽象转换，形成抽象表达。（最火的就是深度学习嘛！）
特征提取方法太多，这里就不一一列举了，上述只是个人对特征提取进行了大致的归类（认知有限，仅供参考！！）
2.3 分类建模
特征提取完毕就可以进行分类建模了
分类方法也太多了，只要能将特征与标签对应起来的方法都可以是特定问题的分类方法。关键就看怎么将特征与标签对应起来了。针对特定分类问题，没有所谓最好的，只有更适合的分类模型。
3、结果验证
上述的框架包含三个层面，但是很明显后面两个层面是建立在第一个层面（数据准备）的基础上，第一个层面（特征对齐）才和标题更加密切相关，本文不对二、三层面做太多延申，只验证第一层面工作的意义。
验证方式：验证源域数据进行转换后与目标域联合建模相较于目标域数据单独训练建模的优势。
验证结果：
这是转换之前源域数据与目标域数据可视化情况（同颜色代表同类别，同现状代表同数据源）：可以看出源域目标域数据分布差异大，不同类别相互重叠，对分类很不利。
这是转换后的数据可视化情况（同颜色代表同类别，同现状代表同数据源）：可以看出源域数据转换后与目标域数据重合度很高，因此转换后的源域数据可以和目标域数据一起进行建模，提高目标域的分类精度。
分类效果：采用相同分类器（SVM）进行分类建模
上图所示：所提迁移学习方法的分类准确率达到68%，直接将未转换的源域数据域目标域数据一起建模得到的分类准确率为26%，只利用目标域数据分类效果为41%。acc3甚至低于acc2是因为源域数据和目标域数据分布差异太大引起的（图1所示），反而干扰模型建立。acc1高出acc2超过20%，可见所提迁移学习框架是有效的。
无监督特征对齐的迁移学习理论框架相关推荐
- 使用Wasserstein距离鉴别器的无监督图对齐
来源:专知本文为论文,建议阅读5分钟 图对齐的目的是识别跨多个图的节点对应,这在各个领域具有重要意义. 图对齐的目的是识别跨多个图的节点对应,这在各个领域具有重要意义.由于监督信息往往是不可获取的,无 ...
- UFLDL深度学习笔记 （三）无监督特征学习
UFLDL深度学习笔记 (三)无监督特征学习 1. 主题思路 "UFLDL 无监督特征学习"本节全称为自我学习与无监督特征学习,和前一节softmax回归很类似,所以本篇笔记会比较 ...
- 无监督特征学习(半监督学习+自学习)
综述 如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方法之一是给这个算法以更多的数据.机器学习界甚至有个说法:"有时候胜出者并非有最好的算法,而是有更多的数据." ...
- 无监督学习中的无监督特征学习、聚类和密度估计
无监督学习概述 无监督学习(Unsupervised Learning)是指从无标签的数据中学习出一些有用的模式,无监督学习一般直接从原始数据进行学习,不借助人工标签和反馈等信息.典型的无监督学习问题 ...
- 论文浅尝 | 面向开放域的无监督实体对齐
笔记整理 | 谭亦鸣,东南大学博士生 来源:DASFAA'21 链接:https://arxiv.org/pdf/2101.10535.pdf 概述与动机 知识图谱对齐的目的是建立两个不同知识图谱之间 ...
- CLD: 通过挖掘实例与聚类间关系进行无监督特征学习
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination 作者:Xudong Wang (加州大学伯克利分校 ...
- 【无监督：结构张量：融合框架】
Unsupervised Deep Image Fusion With Structure Tensor Representations (结构张量表示的无监督深度图像融合) 本文介绍了一种用于图像融 ...
- 干货！STABLE - 一种无监督高鲁棒性图结构学习框架
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 李宽: 中科院计算所(ICT)二年级硕士生.主要研究方向为图表示学习,工作主要围绕图神经网络的鲁棒性,动态图建模和半监督节点分类的类别不 ...
- 亚马逊提出无监督虚拟增强句子表征学习框架，效果超越SimCSE
©作者 | 林亿 单位 | 科大讯飞AI研究院 研究方向 | 对话系统 前言 半年前 SimCSE 两次 dropout 的操作刷爆朋友圈,对比学习相关论文也席卷各大顶会顶刊:上次也总结了 ACL ...
最新文章
- Keras还是TensorFlow？深度学习框架选型实操分享
- python语言type board_菜鸟学Python，双手奉上老司机给上路新手总结的Python实战问题……...
- 运动是如何改造我们的大脑？
- Objective-C之run loop详解
- rxlifecycle 框架的使用
- QT的QListWidget类的使用
- innodb Cardinality学习笔记
- linux iopen i2c dev,i2c-dev - Linux驱动子系统之I2C_Linux编程_Linux公社-Linux系统门户网站...
- 【转】5G EN-DC/NE-DC/NGEN-DC构架
- 阿里云 ubuntu 安装 curl
- 【调音小栈】跳羚PRO12PRO22声卡搭载机架跳线设置教程
- 干货丨7款易上手C语言编程软件推荐
- 如何合并excel文件
- 人脸识别接口_活体检测在人脸识别中不可或缺的一部分
- Android快捷开关实现 Wifi开关、蓝牙开关、GPS开关、同步开关、亮度设置开关
- Unity冒险游戏集合
- 未来，谁在革通信设备商的命？
- CommandLineRunner接口介绍
- 知识管理：营建学习型团队
- java外包恒大,JAVA开发工程师