回归（regression）——统计学习方法
文章目录
- 回归（regression）
- 回归的分类
- 损失函数
- 应用
回归（regression）
回归是监督学习的另一个重要问题。
回归用于预测输入变量（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化。
回归模型是表示从输入变量到输出变量之间映射的函数。
回归问题的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数
据。
回归问题分为学习和预测两个过程。首先给定一个训练数据集：
这里，xix_ixi是输入，yiy_iyi是输出
学习系统基于训练数据构建一个模型，即函数Y＝f(X)Y＝f(X)Y＝f(X)；对新的输入xN+1x_{N+1}xN+1，预测系统根据学习的模型Y＝f(X)Y＝f(X)Y＝f(X)确定相应的输出yN+1y_{N+1}yN+1。
回归的分类
回归问题按照输入变量的个数，分为一元回归和多元回归；按照输入变量和输出变量
之间关系的类型即模型的类型，分为线性回归和非线性回归。
损失函数
回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以由著名的最
小二乘法（least squares）求解。
应用
许多领域的任务都可以形式化为回归问题，比如简单介绍股价预测问题。具体地，将影响股价的信息视为自变量（输入的特征），而将股价视为因变量（输出的值）。将过去的数据作为训练数据，就可以学习一个回归模型，并对未来的股价进行预测。
可以看出这是一个困难的预测问题，因为影响股价的因素非常多，我们未必能判断到哪些信息（输入的特征）有用并能得到这些信息。
回归（regression）——统计学习方法相关推荐
- 手写实现李航《统计学习方法》书中全部算法
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 来源:专知 [导读]Dod-o的手写实现李航<统计学习方法>书中全部算法, ...
- 《统计学习方法》全部算法
目录 前言 手写实现李航<统计学习方法>书中全部算法 示例 内容完整目录 第二章 感知机: 第三章 K近邻: 第四章 朴素贝叶斯: 第五章 决策树: 第六章 逻辑斯蒂回归与最大熵模型: 第 ...
- 札记_ML——《统计学习方法》逻辑回归logistic regression)
统计学习方法:五. 逻辑回归logistic regression 逻辑回归logistic regression Logistic的起源 1).概念logistic回归又称logistic回归分析, ...
- 统计学习方法读书笔记（六）-逻辑斯蒂回归与最大熵模型（迭代尺度法（IIS））
全部笔记的汇总贴:统计学习方法读书笔记汇总贴 逻辑斯谛回归 (logistic regression )是统计学习中的经典分类方法.最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(m ...
- 统计学习方法第八章作业：分类问题AdaBoost算法、回归问题提升树算法 代码实现
分类问题AdaBoost算法 import math import numpy as npclass Adaboost_tree:def __init__(self,X,Y,feature_type= ...
- 逻辑斯蒂回归_逻辑斯蒂回归详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习...
本文包括: 重要概念 逻辑斯蒂回归和线性回归 二项逻辑斯谛回归模型 逻辑斯蒂回顾与几率 模型参数估计 多项逻辑斯谛回归 其它有关数据分析,机器学习的文章及社群 1.重要概念: 在正式介绍逻辑斯蒂回归模 ...
- 【统计学习方法系列】赏析李航教授《监督学习：回归与分类》
原作者:https://github.com/fengdu78/lihang-code 参考作者:https://github.com/Dod-o/Statistical-Learning-Metho ...
- 【统计学习方法】决策树
何为决策树? 决策树定义 决策树是一种用于分类的树结构.如图所示,它由结点(node)和有向边(directed edge)组成,结点包括内部结点(internal node)和叶结点(leaf no ...
- 机器学习理论《统计学习方法》学习笔记：第六章 逻辑斯谛回归与最大熵模型
机器学习理论<统计学习方法>学习笔记:第六章 逻辑斯谛回归与最大熵模型 6 逻辑斯谛回归与最大熵模型 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 6.1.2 二项逻辑斯蒂回归模型 ...
- 统计学习方法笔记（李航）———第六章（逻辑斯谛回归）
前言: <统计学习方法>虽然分别对两者作了介绍,但没有深入讨论它们之间的联系.本文准备从最大熵模型出发,推导出逻辑斯谛回归模型,并解释两者的联系与区别. 本文主要从以下几个方面进行描述: ...
最新文章
- ios TableView编辑状态多选框的修改
- 芝加哥大学24岁华人学霸遇害后，父母赶赴美国，妈妈发表讲话让人泪目...
- matlab norm 范式
- C# 7编程模式与实践
- 服务器上在哪修改my.in,wordpress plugin的SVN使用方法
- C++新特性探究(18.2)：C++11 unique_ptr智能指针详解
- Redis学习总结（8）——Redis常见使用场景总结
- C# 类中索引器的使用
- mapgis6.7破解版|mapgis6.7破解版客户端(附安装教程)下载
- 见证取样员考试题库及答案
- Linux on IBM Cloud - Port Knocking
- 【转载】浅谈蓝牙 Mesh 组网技术
- 解决项目中使用kotlin不能直接引用xml中id
- Python--递归初步
- Ｃ#学习笔记——观察者模式及实现
- hbuilderx使用字体图标
- Markdown基本语法笔记
- Could not find action or result No result defined for action
- 串口屏-迪文10寸T5串口屏简单上手
- illustrator画图