平潭迁移库是什么意思_迁移学习》第四章总结---基于模型的迁移学习

2024-05-08 11:31:04

基于模型的迁移学习可以简单理解为就是基于模型参数的迁移学习，如何使我们构建的模型可以学习到域之间的通用知识。

1. 基于共享模型成分的迁移学习

在模型中添加先验知识。

1.1 利用高斯过程的迁移学习

正态分布的概率函数的均值为

$\mu$ , 方差为

$\sigma^2$ :

复习：如果一个随机变量

$X$ 服从这个分布，写作

$X \sim N(\mu, \sigma^2)$ , 如果均值为0，方差为1，则简化成：

设有标签的数据集

$X$ ，定义隐变量

$z$ 的高斯先验：

$p(z|X,\theta) = N(0, K)$ .

$K$ 是协方差函数，或者说核函数。接下来的事同样也是构建似然函数，然后解答(借这个协方差矩阵)。

1.2 利用贝叶斯模型的知识迁移

顾名思义，还是逃不开贝叶斯的应用啊！

1.3 利用深度模型的模型迁移

知识蒸馏，也称为软标签。在基于模型的迁移学习中，通过计算类别

$k$ 所有源样本的激励函数的

$softmax$ 平均值，可以提取类别

$k$ 的软标签

$l$ . 基于软标签的类别间关系知识的损失定义如下：

$L_{softlabel}(x_t,y_t;\theta_repr, \theta_c) = -\sum_{}^{}{l^k softmax(\theta_{c}^{T}f(x_T;\theta_repr) / \tau)}$

到底软标签什么意思呢？其实很简单，举个例子我们的软标签

$l$ 是一个

$k$ 维向量，就是有

$k$ 个类别，那么

$l^{bottle}$ 水杯的类别可能就有：外观，颜色，长度，价钱等等。我们计算每一个类别的输出，经过softmax看一下那个权重占比是最大的。同样地我们可以看看bottle和cup，chair输出是多少，一对比就知道是杯子与瓶子更贴近。

2. 基于正则化的迁移

如何通过正则化来对共享知识进行迁移？

模型中标准的正则化形式：

$\tilde{J}(\theta;X,y) = J(\theta;X,y) + \alpha\Omega(\theta)$ 这个式子表明该正则化使用正则权重

$\alpha$ 正则化

$\theta$ . 其中

$\theta_s = \theta_0 + v_s , \theta_t = \theta_0 + v_t$ . 利用任务间的不变特征(模型迁移学习中被迁移的部分、源域模型中的任务无关参数)，提高目标模型的泛化性能。

2.1 基于SVM的正则化

侠肝义胆陈浩天：SVM原理简单推导zhuanlan.zhihu.com

在此基础上加上正则项进行优化。

2.3 Fine tune

往期文章：

侠肝义胆陈浩天：《迁移学习》第二章总结---基于样本的迁移学习

侠肝义胆陈浩天：《迁移学习》第三章总结---基于特征的迁移学习

平潭迁移库是什么意思_迁移学习》第四章总结---基于模型的迁移学习相关推荐

STM32固件库（标准外设库）入门学习第四章OLED屏幕使用
STM32固件库(标准外设库)入门学习第四章OLED屏幕使用本学习教程,参考B站江科大自化协STM32视频,型号为STM32F103C8T6. 文章目录 STM32固件库(标准外设库)入门学习第 ...
python库读取cif文件_技术专栏：一篇文章搞懂晶体学信息文件CIF及其获取方法
[引语]材料人现在设立各种文章专栏,所涉及领域正在慢慢完善,由此也需要更多的专栏作者,没错,我们正在招兵买马,期待你们的加入,有意向的小伙伴可直接联系cailiaorenVIP.不要再犹豫,下一个专栏 ...
多元统计分析何晓群_多元统计分析第四章作业
关注公众号,更多资源分享回复关键词:多元统计分析即可获取更多详细其他章节答案 <多元统计分析>课后答案||何晓群版(第二章) <多元统计分析>第一章课后答案(何晓群编第五版 ...
利用逆矩阵解线性方程组_机器人学导论---第四章操作臂逆运动学（一）4.1-4.11...
第四章操作臂逆运动学[(一)4.1-4.11] (一)概述 1.为求出要求的关节角以放置相对于工作台坐标系{S}的工具坐标系{T},可将这个问题分为两部分(1)进行坐标变换求出相对于基坐标{B}的腕 ...
python 字典排序成绩_集体备课第四章 python基础与顺序结构
第四章第一节 python基础填写上机记录:日期:9.28 班级: 节次:5 内容:python基础下课时,整理好座椅后,再离开. 1.数据类型: 数字(整数(int).float ...
二维非稳态导热微分方程_传热学--第四章第三节非稳态导热数值解法
§4-3非稳态导热问题的数值解法由前可知:非稳态导热和稳态导热二者微分方程的区别在于控制方程中多了一个非稳态项,其中扩散项的离散方法与稳态导热一样. 本节重点讨论:( 1 )非稳态项离散的方法: ( ...
迁移学习笔记3: TCA, Finetune, 与Triplet Network(元学习)
主要想讲的内容有: TCA, Finetune, Triplet Network 迁移学习与元学习有哪几类方法想讲的目标(但不一定完全能写完, 下一次笔记补充): 分别属于什么方法, 处于什么位置, ...
mysql场景测试_【干货】不同场景下如何进行MySQL迁移
一.为什么要迁移 MySQL 迁移是 DBA 日常维护中的一个工作.迁移,究其本义,无非是把实际存在的物体挪走,保证该物体的完整性以及延续性.就像柔软的沙滩上,两个天真无邪的小孩,把一堆沙子挪向其他地 ...
keras冻结_【连载】深度学习第22讲：搭建一个基于keras的迁移学习花朵识别系统（附数据）...
在上一讲中,和大家探讨了迁移学习的基本原理,并利用 keras 基于 VGG16 预训练模型简单了在 mnist 数据集上做了演示.鉴于大家对于迁移学习的兴趣,本节将继续基于迁移学习利用一些花朵数据搭 ...

最新文章

热门文章