Softmax、L-Softmax、A-Softmax的整理对比

2024-06-06 20:23:25

目录

Large-Margin Softmax Loss

A-Softmax loss

附录

本文中对比了L-Softmax Loss 和A-Softmax loss两种变式，仅作为比较。对于两种损失函数的具体介绍见后期整理的论文笔记。

Large-Margin Softmax Loss

Large-Margin Softmax Loss（L-softmax）是在ICML2016中提出的。Softmax的分类面只有一个面，而L-softmax在Softmax的基础上对W和x的角度引入正整数扩充m，使分类条件更加严苛，此时分类面变成了两个，并且两个面中间存在（m-1）倍角度的间隙，即命名中Large-Margin的由来。

不同m值的 L-softmax 和 Softmax 的区别

A-Softmax loss

Angular softmax (A-Softmax) 是在CVPR2017中提出的，应用在人脸识别任务中即称为SphereFace。A-Softmax类似于L-softmax，在原始Softmax的基础上不仅对角度添加m倍数的限制，还对A-Softmax上一层全连接层的W和b做出||W||=1和b=0两个限制。由此以来，A-Softmax的分类过程仅依赖于W和x之间的角度。下图为原始Softmax、添加了||W||=1和b=0限制的modified Softmax和添加了角度m限制以及W和b限制的A-Softmax的对比，每种loss的第一个图（a,c,e）是将二分类特征在坐标轴中画出来，第二个图（b,d,f）将特征映射到圆上，并用箭头画出了W。

Softmax(a,b)、modified Softmax(c,d) 以及 A-Softmax(e,f) 的对比

附录

参考博客：

https://blog.csdn.net/u014380165/article/details/77284921

http://www.cnblogs.com/heguanyou/p/7503025.html

关于softmax，softmax loss以及BP：

http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/

Softmax、L-Softmax、A-Softmax的整理对比相关推荐

KLD Loss（ tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div）计算技巧(一)
最近在比较不同模型的性能,发现虽然文献中使用的相同的指标,比如KLD.但是数据的处理方式却存在着差异,这会导致最后的数据并不具有直接可比性. 这里记录下,其中的一些值得记住的细节.主要涉及的API包括 ...
softmax函数为什么叫softmax？
之前一直很奇怪这个名字,本身是做一个类似归一化的动作,把整体一个vector"压缩"成一个符合概率分布的样子,为什么叫softmax呢? 今天查了下,看了下部分答案,大概写一下理解 ...
softmax单元_初探softmax
冒泡~又是新的一周鸭!经历了昨天的多次地震,要更珍惜生命,努力鸭! Softmax 首先,我们要先了解一下,什么是Softmax? Softmax是用于分类过程,用来实现多分类的,简单来说,它把一些输 ...
android 功能清单文件夹,全新Android L大小全部功能清单整理
今天凌晨,谷歌在美国旧金山发布全新安卓系统 Android L,该系统预计今年秋季发布,在此之前先向开发者提供. 在凌晨的主题演讲中,谷歌表示全新安卓系统将为用户提供全新的使用体验,比如 Projec ...
softmax函数计算概念，过程。Coursera | Andrew Ng (02-week3-3.9)—训练一个 Softmax 分类器
版权声明:本文为博主--ZJ--原创文章,未经博主允许不得转载. https://blog.csdn.net/JUNJUN_ZHAO/article/details/79122927 该系列仅在原课程 ...
3.9 训练一个 Softmax 分类器-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 Softmax 回归回到目录 3.10 深度学习框架训练一个 Softmax 分类器 (Training a Softmax Classifier) 上一个视频中 ...
UFLDL教程：Exercise:Softmax Regression
Softmax分类函数的Python实现 Deep Learning and Unsupervised Feature Learning Tutorial Solutions 逻辑回归假设函数在线性 ...
python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归（softmax回归）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程线性函数.线性回归参考:http://blog.csdn.net/luanpeng825485697/article/details ...
【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门作者 | 文杰编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...

最新文章

热门文章