前言

主要简单介绍标记分布学习LDL/ 多标记学习MLL/ 单标记学习三者的概念与联系。

标记分布学习LDL

如上图所示, 与传统的单标记学习( single label learning, SLL)和多标记学习（mutli label learning, MLL）不同, 在标记分布学习（label distribution leaning, LDL）中，ground-truth label本身就是以标记分布的(离散)形式给出的，目标就是训练模型使得预测的标记分布与ground-truth label （distribution）尽可能匹配、接近。

下面给出**LDL**的正式定义：
记输入空间为X∈RqX \in R^{q}X∈Rq, 标记的完备集为Y=(y1,...,yc)Y=(y_{1}, ..., y_{c})Y=(y1,...,yc), 训练集为：S={(x1,Y1),...,(xn,Yn)}S=\{(x_{1}, Y_{1}), ..., (x_{n}, Y_{n})\}S={(x1,Y1),...,(xn,Yn)}, 其中DiD_{i}Di就是i-th个样本的定义在Y上的ground-truth label distribution。 LDL的目标就是通过优化下面这个问题来学习条件概率分布p(y∣x)p(y|x)p(y∣x):

其中p(y∣x;θ)p(y|x;\theta)p(y∣x;θ)表示由θ\thetaθ参数化的模型。上式中采用了KL divergence来度量两个分布之间的"距离"。

LDL与MLL和SLL的关系

MLL和SLL可以看做式LDL的特例，具体来说:
(1)LDL -> MLL
对于MLL, 每个样本xix_{i}xi的标记YiY_{i}Yi为YYY的自子集，对应的优化目标为：

(2)LDL -> SLL
对于SLL，每个样本xix_{i}xi的标记YiY_{i}Yi为YYY中的单个标记，记xix_{i}xi的真实标记为y(xi)y(x_{i})y(xi)

其中KrKrKr为Kronecker delta function，对应的优化目标可以简化为：

其中y(xi)y(x_{i})y(xi)为xix_{i}xi的真实标记，可以看到此时，最小化KL divergence已经变为最大化似然函数。

LDL都可以用来做哪些任务？

LDL既可以做分类任务也可以用来做回归任务:
(1)做分类任务
hard label的话实际上就是传统的SLL，当然也可以将其转化为soft label的形式。
(2)做回归任务
一般要对ground-truth value根据其取值范围进行离散化来产生标记的完备集YYY，并将每个样本的ground-truth value固定到Y中最近的值，然后再将其转化为定义在Y的值得分布形式：一般常用高斯分布，即以ground-truth value作为mean value。模型预测（经过softmax）的结果也是概率分布的形式。

References

1.Label Distribution Learning, TKDE, 2016

标记分布学习LDL与多标记学习MLL以及单标记学习相关推荐

html中表单涉及的标记有哪几个,HTML学习笔记--表单标记
表单是网页上的一个特定区域.这个区域是由一对标记定义的.这一步有几方面的作用.第一方面,限定表单的范围.其它的表单对象,都要插入到表单之中.单击提交按纽时,提交的也是表单范围之内的内容.第二方面,携 ...
OpenCV for Ios 学习笔记(4)－标记检测1
本文原始地址:OpenCV for Ios 学习笔记(4)-标记检测1 简单的标记经常是以白色块和黑色块构成的规则图形.因为我们预先知道这些因素,所以我们可以很容易检测标记. 如图: 首先,我们需要找 ...
标记分布学习与标记增强
1 标记增强标记增强是指将训练样本中的原始逻辑标记转化为标记分布的过程. 与基于嵌入 (embedding) 的多标记分类方法相似, 标记增强也同样依赖于对隐含在训练样本中的标记相关信息的挖掘.
在html中表单对象以什么标记开始,HTML学习笔记——表单
9.1 表单标记form 在网页中< form>< /form>标记对用来创建一个表单,即定义表单的开始和结束位置,在标记对之间的一切都属于表单的内容.在表单的标记中,可以设置 ...
python图像标记工具怎么用_一眼看穿的最佳图像标记工具！
--------点击屏幕右侧或者屏幕底部"+订阅",关注我,随时分享机器智能最新行业动态及技术干货---------- 如何从一张图片中获取更多的信息?很多时候只靠文字没法满足需求 ...
python 语句块标记_什么是python中的语言语句块标记
什么是python中的语言语句块标记发布时间:2020-07-16 10:05:20 来源:亿速云阅读:172 作者:Leah 什么是python中的语言语句块标记?很多新手对此不是很清楚,为了帮 ...
前端：HTML5/36/HTML5简介，文档类型定义，网页字符集，页面结构标记，文章相关的标记，其它标记，音频标记，视频标记，表单中新增的属性，表单input元素type属性的值
HTML5简介 HTML5是新一代的HTML: HTML5目前主要应用在手机端,在PC端最新浏览器已经开始支持了,但还不全面: HTML5是由W3C和WHATWG合作的结果: W3C是万维网联盟,主要 ...
html语言创建无序列表的标记是,【HTML】三、文档设置标记
HTML标记语言三.文档设置标记 1. 格式标记 1) 强制换行标记让后面的文字.图片.表格等等,显示在下一行 2) 换段落标记换段落,由于多个空格和回车在HTML中会被等效为一个空格,所以HT ...
HTML文档标题标记有哪几种,HTML基本结构与常用标记.doc
附录A HTML基本结构与常用标记 1 HTML简介我们在浏览器上看到的网页其实是HTML文件构成的,HTML是"Hypertext Markup Language(超文本标记语言&quo ...
会考html单标记有哪些,HTML 表单的标记
HTML中与设计表单有关的常用标记有 .. ..等标记. (1) 表单标记的主要作用是设定表单的起止位置,并指定处理表单数据程序的URL地址.其基本格式为: "function" ...

标记分布学习LDL与多标记学习MLL以及单标记学习

文章目录

前言

标记分布学习LDL

LDL与MLL和SLL的关系

LDL都可以用来做哪些任务？

References

标记分布学习LDL与多标记学习MLL以及单标记学习相关推荐

最新文章

热门文章