Tri-training regression, 协同训练回归
转载：http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496204.html
以往的半监督学习研究几乎都是关注分类问题 ,虽然在监督学习中回归问题的重要性不亚于分类问题,半监督回归却一直缺乏研究。如第二节所述,在半监督回归中由于示例的标记是实值输出,因此聚类假设不再成立,但半监督学习的流形假设仍然是成立的,而且因为回归输出通常具有平滑性,所以流形假设在回归问题中可能比在分类问题中更加有效。因此,如Zhu [Zhu06] 所述,一些基于流形假设的半监督学习技术,例如图正则化算法,在理论上是可以推广到半监督回归中去的。但实际上,此类技术由于要先建立图再进行标记传播,因此若直接推广则只能进行直推回归,要进行半监督回归还需要做一些其他处理。Z.-H. Zhou和M. Li [ZhouL05b] 最早使用协同训练技术进行半监督回归。在回归问题中,由于示
例的属性是连续的实数值,这就使得以往协同训练算法中所使用的标记置信度估计技术难以直接使用。为此,他们提出了一个选择标记置信度最高的未标记示例的准则——标记置信度最高的未标记示例是在标记后与学习器的有标记训练集最一致的示例。更严格的表述是,令h表示当前学习器学得的模型,L表示有标记示例集,xu∈U表示一个未标记示例,h’表示把h标记过的示例(xu , h(xu))加入训练集后重新训练得到的学习器,则标记置信度最高的未标记示例是在U中最大化式 3 的示例。
实际上, 3 也可以用于半监督分类。式基于式 3,Z.-H. Zhou 和 M. Li [ZhouL05b] 提出了 COREG算法,该算法不要求充分冗余视图,而是通过使用同一学习器的不同参数设置来生成两个初始学习器。具体来说,他们使用了基于不同阶 Minkowski 距离的两个 k 近邻回归模型作为学习器,在协同训练过程中,两个学习器根据式 3 挑选未标记示例进行标记供对方进行更新。最后的回归预测通过对两个 k 近邻回归模型预测值的平均来完成。此后,他们 [ZhouL07] 又将 COREG 推广到使用不同距离度量、不同近邻个数以及其他回归模型的情况。
Tri-training regression, 协同训练回归相关推荐
- R语言使用caret包构建岭回归模型（Ridge Regression ）构建回归模型、通过method参数指定算法名称、通过trainControl函数控制训练过程
R语言使用caret包构建岭回归模型(Ridge Regression )构建回归模型.通过method参数指定算法名称.通过trainControl函数控制训练过程 目录
- 如何让机器像人一样多角度思考？协同训练来帮你
作者 | 宁欣 头图 | 下载于视觉中国 出品 | AI科技大本营(ID:rgznai100) 本文目录 0. 摘要 1. 引言 2. 协同训练介绍 3. 协同训练改进 3.1 基于视图划分的协同训练 ...
- 【算法】Logistic regression （逻辑回归） 概述
Logistic regression (逻辑回归)是当前业界比较常用的机器学习方法,用于估计某种事物的可能性.比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等 ...
- Logistic regression （逻辑回归） 概述
http://hi.baidu.com/grandyang/item/e1df4ecf195eb816b77a240e Logistic regression (逻辑回归)是当前业界比较常用的机器学习 ...
- 机器学习教程 之 半监督学习 Co-training 协同训练 (论文、算法、数据集、代码)
这篇博客介绍的是一篇用于半监督分类问题的方法: 协同训练 Co-training, A. Blum and T. Mitchell, "Combining labeled and unlab ...
- 一种隐私保护边云协同训练
研究背景 在边缘AI领域,联邦学习概念最先由google提出并在学界和业界得到广泛的讨论和发展.对于边缘AI,数据异构和数据隐私是两个主要的挑战,而将联邦学习应用在边缘计算中,可以协助解决这些挑战.F ...
- 论文精讲 | 一种隐私保护边云协同训练
作者:王森.王鹏.姚信.崔金凯.胡钦涛.陈仁海.张弓 |单位:2012实验室理论部 论文标题 MistNet: Towards Private Neural Network Training with ...
- [总结] 半监督学习方法: 协同训练类协同训练(Co-training)
Co-training 最早在 1998 年提出, 是基于分歧的方法, 其假设每个数据可以由不同的视图(View)表示, 不同视图可以训练出不同的分类器, 利用这些分类器对无标签样本进行分类, 再挑选 ...
- Faster RCNN原理篇（一）——Bounding-Box Regression边界框回归的学习和理解
Bounding-Box Regression边界框回归的学习和理解 引言 1. (Why?)为何要做边框回归? 2. (What?)什么是边框回归? 3. (How?)如何实现边框回归? 4. 边框 ...
- 线性回归 Linear Regression 与逻辑回归 Logistic Regression
1 线性回归 Linear Regression 理论 线性回归模型研究多个变量x与y之间的关系,通过回归模型预测位置样本的数据. 假设函数 损失函数 损失函数寻优,最小二乘法 即: 注:最小二乘法需 ...
最新文章
- MVC 自定义IModelBinder实现json参数转Dictionarystring, string
- Latent semantic analysis note(LSA)
- KIS科目初始数据录入
- 【机器学习基础】一文搞懂机器学习里的L1与L2正则化
- 真实项目中 ThreadLocal 的妙用
- 03.结构化机器学习项目 W2.机器学习策略(2)
- springboot 配置多个请求服务代理
- EntityFramework 实体拆分与表拆分
- 函数指针c语言typedef,typedef 函数指针的用法（附例子）
- php5.4之分布式缓存memcache（windows7下安装配置）
- 怎么利用计算机公式计算完成比例,excel表格数据计算所占比例公式的使用教程...
- 分享C#高端视频教程WPF讲座——WPF应用
- kindeditor 上传图片 php,Kindeditor编辑器添加图片上传水印功能（php代码）
- 现在很火爆的外卖返利小程序源码免费分享一套源码
- 给你一份完整的自动阅读所需介绍
- 2009最新QQ空间密码QQ相册密码破解
- 【推荐系统论文精读系列】(八)--Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
- iOS 15 导航栏(Navigation)变白(导航栏不见)
- 各国iPhone5系列最新裸机价格
- druid1.2.8源码悦读：第五天