UDA一致正则化和熵最小化
2021SC@SDUSC
Consistency Regularization 一致性正则化
在监督学习中,一种常见的正则化技术是数据增强,它应用于对输入进行转换,同时假定这种转换不影响类语义分类。例如,在图像分类中,输入图像通常会发生弹性变形或添加噪声,这可以在不改变图像标签的情况下显著改变图像的像素内容。粗略地说,这可以通过近乎无限生产新数据或者说修改数据,人为地扩大了训练集的大小。一致性正则化将数据增强应用于半监督学习,它利用了这样一种思想 : 即使对未标记的示例进行了增强,分类器也应该输出相同的类分布。更正式地说,一致性正则化强制未标记的示例x应该与Augment(x)归为一类,其中Augment©是一个随机数据增强函数,类似于随机空间平移或添加噪声。
最简单的例子,Π-Model,也叫做带有随机变化和扰动项的正则化,将下列式子加入了损失函数
对于未标记的x数据点,我们需要注意:Augment(x) 是一个随机变换,所以上式中Augment(x)中的两项是不相同的。该方法通过旋转、剪切、加性高斯噪声等复杂的增强过程,应用于图像分类基准。例如,“Mean teacher” 将上式中的一项替换为模型的输出,这个模型利用了模型中参数的指数移动平均。这提供了一个更稳定的目标,并在实践中发现显著改善结果。这些方法的一个缺点是,它们使用领域特定的数据增强策略. “虚拟对抗性训练。VAT(Virtual Adversarial Training)解决这个问题的方法是,计算一个加性扰动来应用于最大程度地改变输出类分布的输入。MixMatch通过对图像使用标准数据增强,利用了一致性正则化的一种形式。
Entropy Minimization/ Entropy regularization 熵最小化
在许多半监督学习方法中,一个常见的基本假设是分类器的决策边界不应该通过边缘数据分布的高密度区域。实现这一点的一种方法是要求分类器对未标记的数据输出低熵预测。
- 这是在显式地通过简单地添加一个损失项来实现的,该损失项使Pmodel(y | x;0)未标注数据,这种形式的熵最小化与VAT相结合,得到了更强的结果 (VAT)
- ‘Pseudo-Label 伪标签’ 通过对未标记数据的高置信度预测构建硬标签,并在标准的交叉熵损失中使用这些硬标签作为训练目标,隐式地实现了熵的最小化 (Pseudo-Label, 2013) Pseudo-Label:深度学习中一种简单有效的半监督方法
- MixMatch还通过对未标记数据的目标分布使用“锐化”函数隐式地实现熵的最小化 (sharpen)
if size_average is not None or reduce is not None:reduction = _Reduction.legacy_get_string(size_average, reduce)return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
工具代码
UDA一致正则化和熵最小化相关推荐
- 半监督学习笔记(四):熵最小化、代理变量
半监督学习笔记(四) 昨天的更新中,我们学习了几种基于对抗方法的一致性正则化的策略,接下来让我们做一个简单的复习: 1. Fast-SWA:采用了退火算法的思想,逼近多个最小值点后求平均. 2. Vi ...
- softmax回归中最大化似然和最小化交叉熵的等价性
s o f t m a x softmax softmax回归是一个多分类模型 f ( X ) = s o f t m a x ( X n × d W d × k + b 1 × k ) f(X)=s ...
- nfa确定化 dfa最小化_深度学习中的不确定性
原文:What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? (NIPS 2017) 深度学习模型给出 ...
- nfa确定化 dfa最小化_深度学习中的优化:梯度下降,确定全局最优值或与之接近的局部最优值...
深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器. 一般而言,神经网络的整体性能取决于几个因素.通常最受关注的是网络架构,但这只是众多重要元素之一.还有一个常常 ...
- 近端算法:近端最小化(Proximal minimization)、近端梯度(PG)、加速近端梯度(APG)、ADMM
近端算法 基本介绍及定义 定义 工作原理 性质 近端算子解释 Moreau-Yosida正则化 次微分算子的预解 修正梯度步长 信任区域问题 近端算法(Proximal Algorithms) 近端最 ...
- 三维网格去噪算法(L0范数最小化,包含二维图像去噪)
参考文章(技术来源):Mesh denoising via L0 minimization 上面参考文章提出了一种基于L0范数最小化的三角网格去噪算法.该思想由二维图像平滑引申而来,所以先从基于L0范 ...
- 最小化局部边际的合并聚类算法(中篇)
作者:钱烽 三.合并聚类算法 基于定义2所提出的相似度定义,我们在图2中给出最小化局部边际的合并聚类算法详细执行过程.首先,针对数据集中可能存在的噪声数据,我们对所有样本点进行孤立点检测.然后,作为A ...
- android修改视频聊天帧率,Android基于腾讯云实时音视频仿微信视频通话最小化悬浮(4)...
Activity中的操作 现在我们将思路了捋一下,假设现在我正在进行视频通话,点击视频最小化按钮,我们应该按顺序执行如下步骤:应该是会出现个悬浮框.我们用mServiceBound保存Service注 ...
- C#按关闭按钮实现最小化,按ESC才关闭的实现【含系统消息大全】
protected override void WndProc(ref Message m) { const int WM_SYSCOMMAND = 0x011 ...
最新文章
- 随机文件名生成可用于文件上传(图片)
- 大话设计模式—策略模式
- leetcode 476. 数字的补数(Java版)| How to extract ‘k’ bits from a given position in a number
- 内核态和用户态的区别
- excel手机版_手机自带便签如何导入新手机?试试这款便签同步助手
- 软考解析:2017年下半年下午试卷
- 如何解决端口冲突的问题???
- Acute Angle Cloud与Achain达成战略合作,共促区块链系统发展
- 割裂的前端工程师--- 2017年前端生态窥探 1
- 关于Blender安装显示User installations are disabled via policy on the machine. 问题解决
- 现如今市场竞争激烈,语音交友陪玩APP源码如何适配用户?
- 小游戏 《唐僧大战白骨精》
- 总结iOS游戏的设计、营销和盈利方式
- geany执行python闪退_说说如何使用 Geany 编译与执行 Python
- cmd查看端口占用,结束进程
- 离散模型——多属性决策
- android下面res目录
- SQL Server数据库mdf文件中了勒索病毒.FREEMAN。扩展名变为FREEMAN
- 垃圾渗滤液处理工艺,你至少要知道这些!
- 【C语言】 求水仙花数