回归定义和应用例子

回归定义

Regression 就是找到一个函数function，通过输入特征 x，输出一个数值Scalar。

模型步骤

step1：模型假设，选择模型框架（线性模型）

一元线性模型（单个特征）线性模型假设 y = b + w ⋅ x i y = b + w·x_{i} y=b+w⋅xi
多元线性模型（多个特征）
y = b + ∑ w i x i y =b+∑w_ix_i y=b+∑wixi

x i x_i xi：就是各种特征(fetrure)
w i w_i wi：各个特征的权重
b：偏移量

step2：模型评估，如何判断众多模型的好坏（损失函数）

损失函数（Loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

我们怎么衡量模型的好坏呢？从数学的角度来讲，我们使用距离。求【进化后的CP值】与【模型预测的CP值】差，来判定模型的好坏。也就是使用损失函数（Loss function）来衡量模型的好坏。
损失函数 Loss function：L(w,b)= ∑ n = 1 10 ( y n − ( b + w ⋅ x n ) ) 2 ∑_{n=1} ^{10}\left ( {y}_n - (b + w·x_{n}) \right )^{2} ∑n=110(yn−(b+w⋅xn))2

step3：模型优化，如何筛选最优的模型（梯度下降）

如何筛选最优的模型（参数w，b）
已知损失函数是 L(w,b)= ∑ n = 1 10 ( y n − ( b + w ⋅ x n ) ) 2 ∑_{n=1} ^{10}\left ( {y}_n - (b + w·x_{n}) \right )^{2} ∑n=110(yn−(b+w⋅xn))2
需要找到一个令结果最小的 f*，在实际的场景中，我们遇到的参数肯定不止 w,b。

引入2个模型参数 w 和 b，其实过程是类似的，需要做的是偏微分，

梯度下降：
从最简单的只有一个参数w入手，定义 w ∗ = a r g m i n L ( w ) w^∗ =arg min L(w) w∗=argminL(w)
arg min 就是使后面这个式子达到最小值时的变量的取值

首先在这里引入一个概念：学习率—移动的步长，如图上中的η

步骤1：随机选取一个 w 0 w_0 w0
步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
- 小于0 向右移动（增加w）
- 大于0 向左移动（减少w）
步骤3：根据学习率移动，重复步骤2和步骤3，直到找到最低点
我们有可能会找到当前的最小值（loco minima），并不是全局的最小值（global minima）

梯度下降推演最优模型的过程
如果把 w 和 b 在图形中展示：

每一条线围成的圈就是等高线，代表损失函数的值，颜色约深的区域代表的损失函数越小
红色的箭头代表等高线的法线方向

如何验证训练好的模型的好坏

使用训练集和测试集的平均误差来验证模型的好坏
我们使用将10组原始数据，训练集求得平均误差为31.9，如下图所示：

更强大复杂的模型：1元N次线性模型

在模型上，我们还可以进一部优化，选择更复杂的模型，使用1元2次方程举例，如下图，发现训练集求得平均误差为15.4，测试集的平均误差为18.4

更复杂更高次方的函数可能导致过拟合

将错误率结果图形化展示，发现3次方以上的模型，已经出现了过拟合的现象：

步骤优化

Step1优化：2个input的四个线性模型是合并到一个线性模型中
通过对 Pokemons种类判断，将 4个线性模型合并到一个线性模型中
Step2优化：如果希望模型更强大表现更好（更多参数，更多input）
在最开始我们有很多特征，图形化分析特征，将血量（HP）、重量（Weight）、高度（Height）也加入到模型中

更多特征，更多input，数据量没有明显增加，仍旧导致overfitting

Step3优化：加入正则化

更多特征，但是权重 w 可能会使某些特征权值过高，仍旧导致overfitting，所以加入正则化

- w 越小，表示 function 较平滑的， function 输出值与输入值相差不大
- 在很多应用场景中，并不是 w越小模型越平滑越好，但是经验值告诉我们 w 越小大部分情况下都是好的。
- b 的值接近于0 ，对曲线平滑是没有影响

回归演示：

# linear regression
#b = -120
#w = -4
b=-2
w=0.01
lr = 0.00001
iteration = 1000000b_history = [b]
w_history = [w]lr_b=0
lr_w=0
import time
start = time.time()
for i in range(iteration):b_grad=0.0w_grad=0.0for n in range(len(x_data)):b_grad=b_grad-2.0*(y_data[n]-n-w*x_data[n])*1.0w_grad= w_grad-2.0*(y_data[n]-n-w*x_data[n])*x_data[n]lr_b=lr_b+b_grad**2lr_w=lr_w+w_grad**2# update paramb -= lr/np.sqrt(lr_b) * b_gradw -= lr /np.sqrt(lr_w) * w_gradb_history.append(b)

李宏毅机器学习 02回归相关推荐

机器学习02——回归问题中的损失函数（L2损失L1损失Huber损失函数）
回归问题预测中的残差 • 预测残差:真实值和预测值之间的差异: ? = ? − ?1 • 忽略预测残差的正负号:残差的平方:?**2 • 最佳模型:残差平方和(Residual Sum of Squa ...
李宏毅机器学习课程--回归(Regression)
近期在学习李宏毅老师的机器学习视频(https://www.bilibili.com/video/av10590361/?p=4),下面写一下自己的心得体会. 李老师用的是精灵宝可梦做的比喻,假设进化 ...
李宏毅机器学习之回归Regression（二）
目录 1.回归的定义 2.回归的例子 3.建模步骤 1)模型假设,选择模型框架(线性模型) 2)模型评估,如何判断众多模型的好坏(损失函数) 3)模型优化,如何筛选最优的模型(梯度下降) 4.步骤优化 ...
【李宏毅机器学习】02：回归Regression
李宏毅机器学习02:回归Regression 文章目录李宏毅机器学习02:回归Regression 一.回归(Regression)的定义 1.Regression: Output a scalar ...
【李宏毅机器学习】04：梯度下降Gradient Descent
李宏毅机器学习04:梯度下降Gradient Descent 文章目录李宏毅机器学习04:梯度下降Gradient Descent 一.梯度下降方法二.梯度下降的改进方法 Tip 1: Tunin ...
【李宏毅机器学习】Logistic Regression 逻辑回归（p11）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Logistic Regression Step 1: Function Set Step 2: Goodness of a Function Step ...
【李宏毅机器学习CP1-3】(task1)机器学习简介分类|回归
文章目录 1.机器学习的过程 2.机器学习相关分类 3.选择合适的model,loss function 4.CP3 一.回归定义和应用例子回归定义应用举例二.模型步骤 Step 1:模型假设 ...
百度飞桨2021李宏毅机器学习特训营学习笔记之回归及作业PM2.5预测
百度飞桨2021李宏毅机器学习特训营学习笔记之回归及作业PM2.5预测前言回归什么是回归(Regression)? 怎么做回归? 线性回归(Linear Regression) 训练集与验证集 ...
【李宏毅机器学习】regress case study 回归案例研究（p3）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 1.应用 2.举例--预测宝可梦进化后的CP值 1.应用 1.预测股票熔断 2.自动驾驶 3.推荐系统 2.举例--预测宝可梦进化后的CP值

李宏毅机器学习 02回归