triplet loss 在深度学习中主要应用在什么地方？有什么明显的优势？

作者：罗浩.ZJU
链接：https://www.zhihu.com/question/62486208/answer/199117070
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

反对工业界softmax解决一切的说法

Triplet loss通常是在个体级别的细粒度识别上使用，传统的分类是花鸟狗的大类别的识别，但是有些需求是要精确到个体级别，比如精确到哪个人的人脸识别，所以triplet loss的最主要应用也就是face identification，person re-identification，vehicle re-identification的各种identification识别问题上

当然你可以把每个人当做一个类别来进行分类训练，但是往往最后会造成softmax的维数远大于feature的维数，想想resnet50 global ap出来一个2048的feature对应到一个几万，几十万的分类softmax就可怕。
另外一个结论就是triplet loss通常能比classification得到更好的feature，我个人测试triplet loss至少比classification高10个点。
还有一个优点就是triplet loss 可以卡阈值，triplet loss训练的时候要设置一个margin，这个margin可以控制正负样本的距离，当feature 进行normalization之后，可以更加方便的卡个阈值来判断是不是同一个ID

当然triplet loss也有缺点，就是收敛慢，而且比classification更容易overfitting（此条待考究，并且即使过拟合了也比classification性能要好），此外需要对输入的数据按照label进行特别的排列，非常重要的一点是没有triplet loss的API，新手小白可能连十行代码都不到的triplet loss都写不出来，所以deep learning不只是调库调参而已

现在triplet loss已经有很多改进版本了，可以搜索improved triplet loss， in defense of triplet loss，beyond triplet loss等论文

转载于:https://www.cnblogs.com/Alex0111/p/8492471.html

triplet loss 在深度学习中主要应用在什么地方？有什么明显的优势？相关推荐

Debug深度学习中的NAN Loss
深度学习中遇到NAN loss 什么都不改,重新训练一下,有时也能解决问题学习率减小检查输入数据(x和y),如果是正常突然变为NAN,有可能是学习率策略导致,也可能是脏数据导致 If using ...
[深度学习概念]·深度学习中人脸识别开发解析
深度学习中人脸识别开发解析目录人脸识别介绍人脸识别算法实战解析参考文献人脸识别介绍人脸识别是什么人脸识别问题宏观上分为两类:1. 人脸验证(又叫人脸比对)2. 人脸识别. 人脸验证做的 ...
深度学习中的优化算法之MBGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
深度学习中的优化算法之BGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
浅析深度学习中Batch Size大小对训练过程的影响
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨陈志远@知乎(已授权) 来源丨https://zhuanlan ...
深度学习中的优化算法与实现
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 GiantPandaCV导语:这篇文章的内容主要是参考沐神的mxnet/gluon视频中,Aston ...
yolo-mask的损失函数l包含三部分_【AI初识境】深度学习中常用的损失函数有哪些？...
这是专栏<AI初识境>的第11篇文章.所谓初识,就是对相关技术有基本了解,掌握了基本的使用方法. 今天来说说深度学习中常见的损失函数(loss),覆盖分类,回归任务以及生成对抗网络,有了目 ...
深度学习中的Normalization模型（附实例公式）
来源:运筹OR帷幄本文约14000字,建议阅读20分钟. 本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,从一个新的数学视角分析了BN算法为什么有效. [ 导读 ]不 ...
深度学习中的正则化技术(附Python代码)
作者:SHUBHAM JAIN 翻译:和中华校对:丁楠雅本文约3500字,建议阅读20分钟. 本文简单介绍了什么是正则化以及在深度学习任务中可以采用哪些正则化技术,并以keras代码具体讲解了一个 ...

triplet loss 在深度学习中主要应用在什么地方？有什么明显的优势？

triplet loss 在深度学习中主要应用在什么地方？有什么明显的优势？相关推荐

最新文章

热门文章