【开发日记】Deep Speaker 开发日记之Triplet选择

在Deep Speaker中，Triplet三元组的选择是很重要的。如果随机选择，会使收敛速度变慢，如果使用“hard-negative”，会得到次优的结果，也就是说ap和an的相似度一直接近1，如图1所示。因此FaceNet论文中建议使用“semi-hard-negative”，根据我做的实验来看，确实能起到作用，如图2所示，在使用了“semi-hard-negative”之后，an不在接近1，而且ap和an的相似度分离得越来越开（当然，这里还没有收敛，因此ap没有接近1）

图1

图2

这里的“hard-negative”是这样做的：在mini-batch中，保持ap对不变，对每一个ap对，从所有的negative中选择一个，使得an的相似度最高。这样可以使得训练加快收敛，但是会造成次优的结果，参考图1

而“semi-hard-negative”是这样做的：在mini-batch中，保持ap对不变，对每一个ap对，从所有的negative中选择一个，使得an的相似度尽可能高，但是必须小于相应的ap的相似度。这样可以避免an的相似度接近1。从实验的结果上来看，“semi-hard-negative”的效果还是很明显的。

不过deep speaker论文中没有使用“semi-hard-negative”，而是使用softmax和交叉熵进行预训练。

【开发日记】Deep Speaker 开发日记之Triplet选择相关推荐

微信小程序云开发小项目“研岸日记”日记记录分享，源码分享
文章目录 1 概述 2 用户使用 3 日记交流页 4 日记详情页 5 发表者详情页 6 日记发表页 7 我的(非管理员) 8 高级权限(管理员) 9 数据库集合 10 源码 1 概述 1.1 关于本手 ...
一个APP诞生的自述日记，APP开发流程
开发App的过程显得有点专业,不过本文不涉及编码,仅是简单描述一下App从无到有的一个过程.希望能让不懂开发的人也能够知道一个App是如何诞生的,这其中会经历哪些过程. 01 需求分析软件开发最重要 ...
芯科EmberZNet_ZigBee3.0_EFR32MG开发日记三：开发平台搭建3
3.4AR-EWARM安装及配置 IAR Embedded Workbench是瑞典IAR Systems公司为微处理器开发的一个集成开发环境,支持C51,ARM,AVR,MSP430等芯片内核平台. ...
EasyARM-i.MX280A—Linux系统开发板（开发日记1-登录开发板）
今天,心仪的板子终于到了,作为一个外行来说,既有对板子开发的期待,又有对自己技术的担忧.为了记录一下自己的开发过程,同时也是自己的成长过程,特地开了个专栏,我知道这将是一个漫长的过程,我会不断的更新, ...
即时通讯开发用什么语言开发_如何开始开发者通讯
即时通讯开发用什么语言开发 Developing software has become a collaborative effort. Many development platforms are ...
软件开发向大数据开发过渡_如果您是过渡到数据科学的开发人员，那么这里是您的最佳资源...
软件开发向大数据开发过渡 by Cecelia Shao 邵Ce It seems like everyone wants to be a data scientist these days - fr ...
软件开发向大数据开发过渡_如何将职业过渡到Web开发
软件开发向大数据开发过渡 Over the past ten years, there has been an explosion of interest in web development, an ...
各种开发API文档+开发工具
版权声明:本文为博主原创文章,转载请标明出处. https://blog.csdn.net/chaoyu168/article/details/51462377 各种开发API文档+开发工具,需要的自 ...
前端和后端开发人员比例_前端开发人员vs后端开发人员–实践中的定义和含义
前端和后端开发人员比例 Websites and applications are complex! Buttons and images are just the tip of the iceber ...

【开发日记】Deep Speaker 开发日记之Triplet选择

【开发日记】Deep Speaker 开发日记之Triplet选择相关推荐

最新文章

热门文章