Regression 回归

李宏毅老师机器学习课程笔记——Regression 回归

一、理论
问题：已知一批宝可梦样本进化前的特征值x_cp, x_s, x_np, x_w, x_n，预测宝可梦升级后的CP值。模型的目标就是找到一个最合适的函数F(X)=Y：

特征条件X包括{x_cp, x_s, x_np, x_w, x_n}。
首先只考虑一个特征x_cp，寻找宝可梦升级前的CP值与升级后的CP值之间存在的函数关系。
1、step1：model 模型

2、step2：goodness of function 寻找最优表达式

上图直线为某个function，要评估这个function的好坏，需要一个评估标准，即损失函数。
-Loss function L：损失函数

放在实例中，假设取了10个宝可梦训练集，损失函数的表达式为：

y ̂为真实结果集，b+wx_cp函数预测结果集，计算真实结果集与预测结果集的平方差，表示模型的误差，模型目的是使误差尽可能小，找到误差最小的最优function，使得损失函数最小：

3、step3：gredient descent 梯度下降

求解最小损失函数利用梯度下降法：

-how about two parameters 两个参数求梯度下降

(1) 随机抽取两个参数值

(2) 对损失函数分别求w,b的偏导：

(3) 继续求w^1,b1位置上的偏导：

持续求偏导一直到斜率为0，找到全局最优的位置，梯度下降结束，求得最优w,b。
梯度公式可以写为：

二、计算

利用实际数据，10个宝可梦的样本数据计算：

求偏导：

模型除了一元一次函数，还进一步寻找更多模型 selection another model：

再进一步：

当模型过于复杂，出现过拟合问题，过拟合指的是模型在训练集上表现优异，但在实际测试集中却表现很差，是因为模型训练过于拟合训练数据，忽略真实分布。

-过拟合的解决方法：Regularization 正则化

首先，多元线性回归表达式：

在正则化后，表达式为：

其中，λ的意义就是参数和越小越好，也就能使得函数的曲线更加平滑。
-why smooth functions are preferred 为什么平滑曲线更好？

当出现噪声时，平滑的曲线函数能够使得噪声更小得影响结果。

三、bias and variance of estimator偏差与方差估计

-Assume the mean of x is μ 平均值
-Assume the variance of x is σ^2 方差

有一组样本{x^1,x2,……,x^n}，样本的平均值不等于总体的平均值：

样本的方差不等于总体的方差:

但是样本平均值m的期望等于总体平均值：

根据中心极限定理：

-误差 error:

一组样本函数function的期望就等于E[f^* ]=f ̅，方差表示函数function到期望函数的距离，偏差表示实际函数function到样本期望函数function的距离。

-方差 variance

简单模型有小方差，复杂模型有大方差。

-偏差 bias

简单模型有大偏差，复杂模型有小偏差。简单模型的模型范围小，不一定能包含到真实模型；而复杂模型的模型范围大，更有可能包含到真实模型，所以复杂模型的准确率更高。

-误差是由偏差和方差构成的：

当模型过于简单，偏差大而方差小时，就会出现欠拟合现象，需要增加参数个数继续训练模型；当模型过于复杂，偏差小而方差大时，就会出现过拟合现象，需要减少参数个数，平滑函数曲线，寻找到最优函数。

-你的模型是bias大还是variance大？
-如果是方差大（复杂模型过拟合），解决方法：
（1）增加样本数据
（2）正则化（平滑曲线）

Regression 回归相关推荐

ML之回归预测：机器学习中的各种Regression回归算法、关键步骤配图
ML之回归预测:机器学习中的各种Regression回归算法.关键步骤配图目录机器学习中的各种回归算法 1.回归算法代码 2.各种回归算法 3.各种回归算法大PK 机器学习中的各种回归算法 1.回 ...
独家思维导图！让你秒懂李宏毅2020机器学习（一）—— Regression回归
独家思维导图!让你秒懂李宏毅2020机器学习(一)-- Regression回归前言:博主为一名大二本科生,最近决心开始看李宏毅的深度学习系列课程,每学一个阶段决定写篇博客来归纳记录一下所学的东西, ...
机器学习之数学基础(四)～Lasso Regression回归, L1、L2 Regularization正则化, 回归问题中的损失函数
目录 1. Lasso回归 1.1 概念 1.2 正则化 1.3 Lasso回归模型 1.4 为什么Lasso Regression可以做降维? 1.5 参数求解 (1)坐标轴下降法 (2)最小角回归 ...
pytorch 4 regression 回归
import torch import torch.nn.functional as F import matplotlib.pyplot as plt# torch.manual_seed(1) # ...
[机器学习]回归--Decision Tree Regression
CART决策树又称分类回归树,当数据集的因变量为连续性数值时,该树算法就是一个回归树,可以用叶节点观察的均值作为预测值:当数据集的因变量为离散型数值时,该树算法就是一个分类树,可以很好的解决分类问题. ...
回归- Regression
回归- Regression ------------------------------------------ 回归- Regression 线性回归Linear regression 模型表示M ...
机器学习基础--回归（Regression）
Regression:Case Study 回归-案例研究问题的导入:预测宝可梦的CP值 Estimating the Combat Power(CP) of a pokemon after evo ...
吴恩达深度学习笔记2.2 logistic回归
regression:回归 supervised:有监督的 logistic回归是一种学习算法被用于有监督学习问题,当y全都是0或1时例子:判断是否有猫给定一个由特征向量x代表的图像,那个算法将 ...
[原理篇] Soft Regression
Logistic Regression具备算法复杂度低,容易实现等特点,常用于二分类问题.但是在多分类问题中,就显得力不从心了.Softmax Regression 实际是Logistic Regre ...

Regression 回归

Regression 回归相关推荐

最新文章

热门文章