论文笔记：Triplet Network
原论文：DEEP METRIC LEARNING USING TRIPLET NETWORK
Triplet Network
1、四个问题
- 要解决什么问题？
- 实质上，Triplet Network是Siamese Network的一种延伸，要解决的问题与Siamese Network的基本一致。
- 与Siamese Network一样，适用于解决样本类别很多（或不确定），然而训练数据集的样本数又很少的情况（如人脸识别、人脸验证）。
- 用了什么办法解决？
- 思路：将图像映射到某个特征空间中，其中两幅图像输入CNN得到的特征向量之间的欧式距离即为相似度。
- 与Siamese Network不同的是，Triplet Network采用三个样本为一组：一个参考样本，一个同类样本，一个异类样本。
- 在contrastive loss的基础之上构建了一个新的loss函数，就是保持类内和类间距离有一个距离限制（margin）。
- 效果如何？
- 论文比较老了，是15年的，早就不是state-of-the-art的了。
- 在论文中给出的实验结果中，采用相似的CNN结构，使用triplet network的效果比siamese network好一些。
- 还存在什么问题？
- triplet network的训练是通过样本间的对比（类内/类间），而不是以往的通过标签（label）训练，前者相比于后者不一定能取得更好地效果。
2、论文概述
2.1、网络结构
- Tripelet Network由3个相同的前馈神经网络（彼此共享参数）组成。
- 每次输入三个样本，网络会输出两个值：候选样本与同类样本，候选样本与异类样本，在embedding层的特征向量的L2距离。
- 假设输入为：xxx，候选样本；x−x^-x−，异类样本；x+x^+x+，同类样本。
- 一句话概括就是，这个网络对x−x^-x−和x+x^+x+相对于xxx的距离进行了编码。
2.2、训练
- d+d_+d+和d−d_-d−分别是正样本对和负样本对在embedding层特征向量的欧氏距离。为了方便使用概率表示，又将其输入softmax函数，计算公式如上图。
- 目标是最小化d+d_+d+，最大化d−d_-d−，所以等价于令Loss(d+,d−)→0Loss(d_+, d-) \rightarrow 0Loss(d+,d−)→0。
论文笔记：Triplet Network相关推荐
- 论文笔记 Medical Entity Linking using Triplet Network
一.动机 实体链接(Entity Linking)或者标准化(Normalization)的目标是将文本中发现的mention链接到知识库中的标准实体.在医疗领域,疾病词的实体链接难度在于缩写.同义词 ...
- 迁移学习笔记3: TCA, Finetune, 与Triplet Network(元学习)
主要想讲的内容有: TCA, Finetune, Triplet Network 迁移学习与元学习有哪几类方法 想讲的目标(但不一定完全能写完, 下一次笔记补充): 分别属于什么方法, 处于什么位置, ...
- 论文笔记 《Maxout Networks》 《Network In Network》
原文出处:http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/ 论文笔记 <Maxout Networks> & ...
- 论文笔记：HIE-SQL:History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing
论文笔记:HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsin ...
- 论文笔记（一）：Temporal Network Embedding with High-Order Nonlinear Information
论文笔记(一):Temporal Network Embedding with High-Order Nonlinear Information 论文标题:Temporal Network Embed ...
- 论文笔记（三）：PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes 文章概括 摘要 1. ...
- Hierarchical Graph Network for Multi-hop Question Answering 论文笔记
Hierarchical Graph Network for Multi-hop Question Answering 论文笔记 2020 EMNLP,Microsoft 365, 这篇文章所提出的层 ...
- 论文笔记：Identifying Lung Cancer Risk Factors in the Elderly Using Deep Neural Network - Chen, Wu
论文笔记:Identifying Lung Cancer Risk Factors in the Elderly Using Deep Neural Network - Chen, Wu 原文链接 I ...
- 《Improved Crowd Counting Method Based onScale-Adaptive Convolutional Neural Network》论文笔记
<Improved Crowd Counting Method Based onScale-Adaptive Convolutional Neural Network>论文笔记 论文地址 ...
最新文章
- JAVA-抽象类/类继承
- 推荐系统整体框架概览
- 今日起开始预约！北京将发放5万份数字人民币红包
- 如何消灭 Android 应用中的广告？
- 5901和5909在P570中的功用
- 数据结构（四）之冒泡排序
- OfficeScan5.58升级到7.38
- 【解决】 io.lettuce.core.RedisCommandExecutionException: ERR wrong number of arguments for 'set' command
- office图标空白异常解决方法
- “致广大而尽精微，极高明而道中庸。”
- sigar(System Information Gatherer And Reporter)简介
- Excel中经纬度格式化处理
- 半年销售100万辆 关注比亚迪后300万时代
- 程控交换机与集团电话的区别是什么
- C++ 网络编程下的socket编程（TCP\UDP），连接下位机
- 苏州技师学院计算机专业怎么样,苏州技师学院是怎样的一个学校
- 就大学生对网络舆情态度的调查
- 直播软件源码如何在Android端实现多人视频通话
- QQ通信原理--转载
- 仿360影视网站模板html