台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting

简单回归问题应用举例分析

第1步：选取模型

第2步：评价模型，建立损失函数L(f)

第3步：选择最优函数，在此过程中会利用到梯度下降和正则化等方法，也介绍了过拟合的问题。

具体到此问题中，目标函数是L(w,b)，要求得使L(w,b)值最小的w和b值。

利用了梯度下降法来求最优点，引进了学习率的概念

不断迭代，得到最优点。

多个参数时，步骤类似。

理论上，可像下图这样一步一步地走向胜利。然而事实并不简单.....

在面对实际问题时，在目标函数的优化过程中，极有可能会像下图这样掉到局部极值中出不来，理论上只有保证目标函数是凸函数，梯度下降法才能找到全局最优解。但是梯度下降法仍然在深度学习中得到了广泛的运用，详细原因一两句说不完，请有心人搜知乎......

过拟合

模型的选择要根据问题和数据集的实际情况而定，不能过于复杂。模型过于复杂，会发生在训练集上的错误率很小，但在训练集上的错误率很大的情况，这就是过拟合。

正则化

上图中红框里的就是正则化项，加入这一项会使函数拥有较小的Wi，较小的Wi会让函数变得更平滑。平滑的函数对输入中的噪音信号相对不敏感。那么在testing时若input中有noise，平滑的函数受到的影响会更小，从而产生更好的结果。拉波塔值越大，代表考虑smooth的正则化那一项影响越大，函数也就越平滑。

上图结果表明：1)拉波塔值越大，训练误差越大；2)我们希望函数更平滑，但是也不要过于平滑。

台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting相关推荐

台大李宏毅Machine Learning 2017Fall学习笔记 (6)Logistic Regression
台大李宏毅Machine Learning 2017Fall学习笔记 (6)Logistic Regression 做Logistic Regression回归,需要3步. Step 1: Funct ...
台大李宏毅Machine Learning 2017Fall学习笔记 (16)Unsupervised Learning:Neighbor Embedding
台大李宏毅Machine Learning 2017Fall学习笔记 (16)Unsupervised Learning:Neighbor Embedding
台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction
台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction 本博客整理自: http ...
台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning
台大李宏毅Machine Learning 2017Fall学习笔记 (13)Semi-supervised Learning 本博客参考整理自: http://blog.csdn.net/xzy_t ...
台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep?
台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep? 本博客整理自: http://blog.csdn.net/xzy_thu/article/detail ...
台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network
台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network 本博客主要整理自: http://blog.csdn.net/x ...
台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning
台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning 注:本博客主要参照 http://blog.csdn.net/xzy_thu ...
台大李宏毅Machine Learning 2017Fall学习笔记 (9)Keras
台大李宏毅Machine Learning 2017Fall学习笔记 (9)Keras 本节课主要讲述了如何利用Keras搭建深度学习模型.Keras是基于TensorFlow封装的上层API,看上去 ...
台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation
台大李宏毅Machine Learning 2017Fall学习笔记 (8)Backpropagation 当网络结构很复杂时,会有大量的参数.∇L(θ)\nabla L(\theta)是百万维的向量 ...

台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting

台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting

台大李宏毅Machine Learning 2017Fall学习笔记 (2)Linear Regression and Overfitting相关推荐

最新文章

热门文章