机器学习（二十二）——推荐算法中的常用排序算法, Tri-training
推荐算法中的常用排序算法
Pointwise方法
Pranking (NIPS 2002), OAP-BPM (EMCL 2003), Ranking with Large Margin Principles (NIPS 2002), Constraint Ordinal Regression (ICML 2005)。
Pairwise方法
Learning to Retrieve Information (SCC 1995), Learning to Order Things (NIPS 1998), Ranking SVM (ICANN 1999), RankBoost (JMLR 2003), LDM (SIGIR 2005), RankNet (ICML 2005), Frank (SIGIR 2007), MHR(SIGIR 2007), Round Robin Ranking (ECML 2003), GBRank (SIGIR 2007), QBRank (NIPS 2007), MPRank (ICML 2007), IRSVM (SIGIR 2006)。
Listwise方法
LambdaRank (NIPS 2006), AdaRank (SIGIR 2007), SVM-MAP (SIGIR 2007), SoftRank (LR4IR 2007), GPRank (LR4IR 2007), CCA (SIGIR 2007), RankCosine (IP&M 2007), ListNet (ICML 2007), ListMLE (ICML 2008) 。
Tri-training
半监督学习
之前提到的算法，多数都属于监督学习算法。其特点在于，构建一个包含标记数据的训练集，用来训练算法模型。
然而，获得标记数据是一个费时费力的高成本过程，实际工作中，更有可能的情况是：少量标记数据+大量未标记数据。
未标记数据的处理方式，一般有如下三种：
主动学习
1.根据标记数据生成一个简单的模型A。
2.挑出对改善模型性能帮助最大的样本数据B。
3.通过查询行业专家获得B的真实标记。
4.根据B的真实标记，更新模型A。
以SVM为例，对于改善模型性能帮助最大的样本往往是位于分类边界的样本，可将这些样本挑出来，查询它的标记。
纯半监督学习和推断学习
纯半监督学习和推断学习，都属于广义上的半监督学习。和主动学习不同，半监督学习无需专家提供的外部信息。
但标记数据总归不能无中生有，半监督学习的实现有赖于若干假设，其中主要有聚类假设和流形假设两种。其本质都是“相似的样本拥有相似的输出”。
纯半监督学习假定未标记数据为训练样本集，而推断学习则认为未标记数据为测试样本集。
虽然多数情况下，半监督学习能有效提升模型的泛化性能，然而这并不是绝对的。当半监督学习之后，模型的泛化性能反而下降时，我们首先需要检查数据是否满足算法所依赖的假设。
参考：
http://www.cnblogs.com/chaosimple/p/3147974.html
半监督学习
协同训练算法
协同训练（co-training）算法是一种多学习器的半监督学习算法。它是多视图（multi-view）学习的代表。
以电影为例，它拥有多个属性集：图像、声音、字幕等。每个属性集就构成了一个视图。
协同训练假设不同的视图具有“相容性”。所谓相容性是指，如果一个电影从图像判断，像是动作片，那么从声音判断，也有很大可能是动作片。
协同训练的算法流程：
1.在每个视图上，基于有标记数据，分别训练出一个分类器。
2.每个分类器挑选自己最有把握的未标记数据，赋予伪标记。
3.其他分类器利用伪标记，进一步训练模型，最终达到相互促进的目的。
理论上，如果不同视图之间具有完全相容性，则模型准确度可达到任意上限。而实际中，虽然很难满足完全相容性假设，但该算法仍能有效提升模型的准确度。
原始的协同训练算法的主要局限在于，构造视图在工程上是件很有难度的事情。后续的一些改进算法针对这点，在应用范围上做了不少改进。如基于不同学习算法、不同的数据采样、不同的参数设置的协同训练算法。
理论研究表明，只要弱学习器之间具有显著分歧（或差异），即可通过相互提供伪标记的方式提升泛化性能。因此，协同训练算法又被称为基于分歧的算法。
Tri-training
2005年，周志华提出了Tri-training算法。该算法的流程如下：
1.首先对有标记示例集进行可重复取样(bootstrap sampling)以获得三个有标记训练集，然后从每个训练集产生一个分类器。
2.在协同训练过程中,各分类器所获得的新标记示例都由其余两个分类器协作提供，具体来说，如果两个分类器对同一个未标记示例的预测相同，则该示例就被认为具有较高的标记置信度，并在标记后被加入第三个分类器的有标记训练集。
参考：
http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496162.html
Tri-training, 协同训练算法
Co-Forest & Co-Trade
Co-Forest & Co-Trade是周志华在Tri-training基础上的改进算法。
参考：
http://lamda.nju.edu.cn/huangsj/dm11/files/gaoy.pdf
半监督学习中的几种协同训练算法
机器学习（二十二）——推荐算法中的常用排序算法, Tri-training相关推荐
- 选择排序算法流程图_常用排序算法之选择排序
前两天给大家分享了冒泡排序和插入排序(没关注的同学,可以关注后查看历史消息),今天继续给大家分享另一种常用的排序算法--选择排序. 选择排序 选择排序和插入排序很相似,也区分已排序区间和未排序区间,选 ...
- Spark机器学习实战 (十二) - 推荐系统实战
0 相关源码 将结合前述知识进行综合实战,以达到所学即所用.在推荐系统项目中,讲解了推荐系统基本原理以及实现推荐系统的架构思路,有其他相关研发经验基础的同学可以结合以往的经验,实现自己的推荐系统. 1 ...
- [2022]李宏毅深度学习与机器学习第十二讲（必修）-Reinforcement Learning RL
[2022]李宏毅深度学习与机器学习第十二讲(必修)-Reinforcement Learning RL 做笔记的目的 What is RL Policy Gradient Version 1 Ver ...
- 二十四、Struts2中的UI标签
二十四.Struts2中的UI标签 Struts2中UI标签的优势: 数据回显 页面布局和排版(Freemark),struts2提供了一些常用的排版(主题:xhtml默认 simple ajax) ...
- 实验二十二 SCVMM中的SQL Server配置文件
实验二十二 SCVMM中的SQL Server配置文件 在VMM 2012中管理员可以使用 SQL Server 配置文件,在部署完成虚拟机之后,实现 SQL Server 数据库服务自动化部署并交付 ...
- java冒泡排序_Java专题（二）：Java中常见的排序算法有哪些？---冒泡排序
排序相关的的基本概念排序: 将一组杂乱无章的数据按一定的规律顺次排列起来. 数据表( data list): 它是待排序数据对象的有限集合. 排序码(key):通常数据对象有多个属性域,即多个数据成员 ...
- 自然语言处理系列二十二》词性标注》词性标注原理》词性介绍
注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书<分布式机器学习实战>(人工智能科学与技术丛书)[陈敬雷编著][清华大学出版社] 文章目录 自然语言处理系列二十二 词性 ...
- OpenCV学习笔记（二十一）——绘图函数core OpenCV学习笔记（二十二）——粒子滤波跟踪方法 OpenCV学习笔记（二十三）——OpenCV的GUI之凤凰涅槃Qt OpenCV学习笔记（二十
OpenCV学习笔记(二十一)--绘图函数core 在图像中,我们经常想要在图像中做一些标识记号,这就需要绘图函数.OpenCV虽然没有太优秀的GUI,但在绘图方面还是做得很完整的.这里就介绍一下相关 ...
- JAVA基础知识总结：一到二十二全部总结
>一: 一.软件开发的常识 1.什么是软件? 一系列按照特定顺序组织起来的计算机数据或者指令 常见的软件: 系统软件:Windows\Mac OS \Linux 应用软件:QQ,一系列的播放器( ...
最新文章
- .Net Framework 3.5 结构图
- winform频繁刷新导致界面闪烁解决方法
- python篮球-用Python把蔡徐坤打篮球视频转换成字符动画！
- virtio驱动_0020 virtio-blk简易驱动
- Angular里的消息(Message)显示
- java list 面试题_java【集合】面试题
- java 什么时候依赖注入_玩框架java依赖注入 – 何时使用单例
- 自定义函数删除字母C语言,[编程入门]自定义函数之字符提取-题解（C语言代码）...
- 回调函数（郁闷至极，总是不理解）
- D7控件\dw_cd_VirtualTreeview_v4.5.2\Demos\Advanced---TVirtualStringTree用法
- 微型计算机作为载体的部件是,一种基于MCU物理载体的微型计算机系统的制作方法...
- tensorflow精进之路(二十六)——人脸识别(上)（MTCNN原理）
- zynq文档学习之GPIO和MIO和EMIO的基本介绍
- 软件工程项目____搜查令
- Win7旗舰版 安装步骤
- Android SQlite基本用法
- 重新排列数组的数，使得负数都排在正数的前面
- 《狂飙》壁纸大嫂如此惊艳，做成日历壁纸天天看(7)
- 从“零”开始的C语言
- rpm mysql 忘记密码_centos7 yum安装mysql5.7并在root密码忘记的情况下重设密码