如何把分类问题转化为回归问题解决

一、分类与回归的区

我们都知道，有监督学习算法都在做一样事情，那就是预测。但是显然，针对不同的事件，我们有不同的预测的目标。其中，预测目标的形式（变量）有离散和连续两种类型。

我们将预测离散变量的行为称为分类，将预测连续变量的行为称为回归。

二、分类如何转化为回归

分类问题转化为回归问题是基于概率体系的。
我们在回归问题中，试图找到一种映射关系，满足样本特征与标签的分布（这种映射往往是函数）。
而在预测一件事物是不是属于某一类别时，我们通过回归来预测这件事物属于这一类别的概率（这个回归最后会拟合出一个函数）

比如，在单输出线性回归中，我们假定事物属于某一类别的概率与它的特征分布是满足线性关系的，所以我们会用回归去拟合一条线性函数，这条函数最后会被用来判断某一无标签样本属于这一类的概率值。

三、多分类和多输出回归(multi-output regression)

多分类很好理解，但是它有几种不同的情况，在这里不得不强调一下：

OvO（一对一）：对于n个类别，该种方法将其两两配对，训练了n*(n+1)/2个分类器，每个分类器都处理一个二分类任务，最后通过投票决定（例如：将预测最多的类作为最终分类的结果）。[该种方法虽然要训练O(n2n^2n2)级别的分类器，但每个分类器只需处理简单的二分类任务，所以在类别很多时，它可能更有优势]
OvR（一对多）：该方法共训练N个分类器，每个分类器处理一个二分类任务，其中选择一个正类并将其余所有类别设为负类，最后同样投票决定最终结果。[该种方法训练的分类器少，适用于绝大多数情况，但是每个分类器包含所有数据，因此在类别较多时训练开销会比OvO大]
MvM（多对多）：ECOC(Error Correcting Output Codes)“纠错输出码”：编码时，通过“编码矩阵”划分类别并作出判断，得到最终的测试结果（其结果体现为一段编码）；解码时，比较结果与矩阵中某一类的编码的相似程度，并输出相近的

但是，无论是哪一种多分类，它都需要训练多个分类器，每一种分类器对应一个单独的回归。这种思想我最先是在sklearn的官方文档上体会到的，源于他说的一句话For multiclass classification, the problem is treated as multi-output regression, and the predicted class corresponds to the output with the highest value.

另一个角度，有人认为，只要输出不是一个变量的回归就是都输出回归，例如预测一个点的坐标(x,y).

分类与回归（如何把分类问题转化为回归问题解决）相关推荐

stanford coursera 机器学习编程作业 exercise 3（逻辑回归实现多分类问题）
本作业使用逻辑回归(logistic regression)和神经网络(neural networks)识别手写的阿拉伯数字(0-9) 关于逻辑回归的一个编程练习,可参考:http://www.cnb ...
用二项逻辑斯蒂回归解决二分类问题
逻辑斯蒂回归: 逻辑斯蒂回归是统计学习中的经典分类方法,属于对数线性模型.logistic回归的因变量可以是二分类的, 也可以是多分类的基本原理 logistic 分布折X是连续的随机变量,X服从 ...
使用鸢尾花数据集实现一元逻辑回归、多分类问题
目录鸢尾花数据集逻辑回归原理 [1]从线性回归到广义线性回归 [2]逻辑回归 [3]损失函数 [4]总结 TensorFlow实现一元逻辑回归多分类问题原理独热编码多分类的模型参数损失函数 ...
吴恩达《机器学习》学习笔记七——逻辑回归（二分类）代码
吴恩达<机器学习>学习笔记七--逻辑回归(二分类)代码一.无正则项的逻辑回归 1.问题描述 2.导入模块 3.准备数据 4.假设函数 5.代价函数 6.梯度下降 7.拟合参数 8.用训练 ...
机器学习（五）logistic回归进行二分类以及多分类（Python代码）
文章目录一.相关概念 1.logistic回归 1.1前言 1.2目的 1.3流程 1.4Sigmoid函数 1.4.1公式 1.4.2图像 1.5优缺点 2.最优化方法 2.1梯度上升算法 2.1 ...
机器学习---回归模型和分类模型的评价指标体系
回归模型评价体系 SSE(误差平方和): R-square(决定系数) Adjusted R-square: 分类模型评价体系一 ROC曲线和AUC值二 KS曲线三 GINI系数四 Lift ...
【动手学深度学习】Softmax 回归 + 损失函数 + 图片分类数据集
学习资料: 09 Softmax 回归 + 损失函数 + 图片分类数据集[动手学深度学习v2]_哔哩哔哩_bilibili torchvision.transforms.ToTensor详解 | 使用 ...
贝叶斯岭回归（BayesianRidge）、自动关联决策回归、高斯过程、核函数、及高斯回归、高斯过程分类
贝叶斯岭回归(BayesianRidge).自动关联决策回归.高斯过程.核函数.及高斯回归.高斯过程分类目录
【深度学习】Keras实现回归和二分类问题讲解
[深度学习]Keras实现回归和二分类问题讲解文章目录 [深度学习]Keras实现回归和二分类问题讲解 1 回归问题1.1 波士顿房价预测数据集1.2 构建基准模型1.3 数据预处理1.4 超参数 ...

分类与回归（如何把分类问题转化为回归问题解决）

如何把分类问题转化为回归问题解决

一、分类与回归的区

二、分类如何转化为回归

三、多分类和多输出回归(multi-output regression)

分类与回归（如何把分类问题转化为回归问题解决）相关推荐

最新文章

热门文章