李宏毅机器学习笔记（三）——Regression： output a scalar amp;amp; Gradient Descent

视频来源：

李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili

https://www.bilibili.com/video/av10590361/?p=3

机器学习的目的就是找到最优函数，而回归的目的就是我们要找的函数的输出是一个数值。例如下面的例子，不管是输入怎样的特征，我们都是需要通过学习输出它的明天产品的平均值，方向盘的角度，以及商户购买这些商品可能性（而这些都是数值）

估计宝可梦进化的CP值

输入数据：进化前的数据（属性或特征） Xs（种类），Xcp，Xhp，Xw（体重），Xh（高度）

第一步：有数据的输入之后，需要从我们的函数集合（或者是模型）带入每一个的数据，w是权重，b是偏移量；根据b和w的不同可以在model中创建不同的函数比如f1,f2,f3..... 符合y=a+bx类型的为线性模型

假设进化后的y值和进化前的数据属性的关系如下：

步骤二：在Model集中那么多的model怎么评测那个是最好的model（函数）？？引入另一个function专门的衡量model的好坏程度-----loss function

使用统计学中的误差分析：最小二乘法的计算（预测值-真值）^2 = loss

这里的使用与y^表示真实值

loss function 中的主导的变量w和b

步骤三：获得最优的函数，也就是损失函数最小。通过高数求偏导的思路可以获得损失函数对各个变量的偏导。然后使得导数的值为0，或者是趋于零。从而得到最优

arg表示受限于---------argmin受限于最小化##

通常我们获得最优的函数使用---------------梯度下降的方法

步骤：

（1）随机初始化变量比如w0，b0

（2）计算导数（一个变量）or 偏导（多个变量），根据具体的趋势更新w1，b1，迭代的使用该方法直到偏导数为0

具体的意思：比如只有一个变量w的损失函数L（w）

当偏导数为负的时候说明是一个局部的递减，要使得函数L（w）的函数值逐渐的小的话就需要向右增加w的值从而跟新w1

当偏导数为正的时候说明是一个局部的递增，要使得函数L（w）的函数值逐渐的小的话就需要向左减小w的值从更新w1

问题来了：怎么更新数据

借助于学习率：评价学习的步伐（在上一步的基础上学习了的步子）

逐渐的迭代直到使得导数的值为0

梯度下降不能保证找到全局最优，但是一定可以找到解（局部或者是全局）

多变量额时候使用偏导数

偏导数表示方法：

过拟合Overfitting

如图所示：函数值不超过15.3的时候loss 较小，但是超过以后误差飞涨。也就是只是在前面的具有很好的符合后面不具有通用型。我们在机器学习中需要综合的找到通用型的。而不是着眼于几个线索，陷入误区，那些使的强烈符合的就是过拟合。过度的依赖一些数据使得数据普遍性小

解决Overfitting

所以更多的线索带入：

将种类作为一个特征参数分类，然后再进行训练。

但是其任然是一个线性模型，当一个类型成立的时候其他的无关的类别的参数就是0

其他的参数和值的关系：可以通关“关联规则”评测那个属性是最有关的

也是就是说W比较小，函数比较平滑（对输入有些变化，而输出的变化变化的比较小）

输出的变为：

是需要自己去调整的。例如：

李宏毅机器学习笔记（三）——Regression： output a scalar amp;amp; Gradient Descent相关推荐

李宏毅svm_【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）...
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
2021李宏毅机器学习笔记--21 Anomaly Detection
2021李宏毅机器学习笔记--21 Anomaly Detection(异常侦测) 摘要一.问题描述二.Anomaly异常三.Anomaly Detection(异常侦测)做法 3.1 Bina ...
2021李宏毅机器学习笔记--22 Generative Adversarial Network 01
@[TOC](2021李宏毅机器学习笔记–22 Generative Adversarial Network 01(GAN,生成式对抗网络)) 摘要 GAN是建立于神经网络的基础上的,其核心思想是&q ...
【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
2021李宏毅机器学习笔记--12 attack ML models
2021李宏毅机器学习笔记--12 attack ML models 摘要一.图像模型的攻击 1.1原理 1.2Constraint 1.3参数训练 1.4一个例子 1.5攻击方法 1.5.1FGS ...
机器学习笔记三—卷积神经网络与循环神经网络
系列文章目录机器学习笔记一-机器学习基本知识机器学习笔记二-梯度下降和反向传播机器学习笔记三-卷积神经网络与循环神经网络机器学习笔记四-机器学习可解释性机器学习笔记五-机器学习攻击与防御机 ...
三种梯度下降法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）
梯度下降(GD)是最小化风险函数.损失函数的一种常用方法,随机梯度下降(stochastic gradient descent).批量梯度下降(Batch gradient descent)和mini ...
【李宏毅机器学习】Logistic Regression 逻辑回归（p11）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Logistic Regression Step 1: Function Set Step 2: Goodness of a Function Step ...

李宏毅机器学习笔记（三）——Regression： output a scalar amp;amp; Gradient Descent

李宏毅机器学习笔记（三）——Regression： output a scalar amp;amp; Gradient Descent相关推荐

最新文章

热门文章