CS229——NODE1part1

线代矩阵迹相关知识：

线性回归解决连续性回归问题
线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以有前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后在参与线性计算。这样就可以表达特征与结果之间的非线性关系。

θ在这里称为参数，意思是调整feature中每个特征的影响力，这里我们令X0=1则

此时，我们需要一个机制去评估我们的θ是否合理，意思是我们需要对h函数进行评估，一般这个函数我们成为成本函数或者损失函数（loss function or error function），描述h函数的好坏程度，我们称这个函数为J函数。

为何要用平方和作为损失估计函数？
假设根据特征预测的结果与实际结果有误差∈（i），那么预测结果θX和真实结果满足：

一般来讲，误差满足平均值为0的高斯分布，也就是正太分布（统计得来）。那么x和y的条件概率也就是：

这样就估计了一条样本的结果概率，然而我们期待的是模型能够在全部样本上预测最准，也就是概率积最大。这个概率积成为最大似然估计。我们希望在最大似然估计得到最大值时确定θ，那么对最大似然估计公式求导（实际上使用对数更为简单，此处使用对数）得到：

l(θ)取得最大值，意味着：

取得最小值。
这样就解释了为什么误差函数要使用平方和。
推导过程假设误差符合高斯分布，但是这个假设符合客观规律。

那么如何调整θ使得J（θ）取得最小值呢，其中有最小二乘法和梯度下降法。

梯度下降法：
在选定线性回归模型后，只需要确定参数θ，就可以将模型用来预测。然而θ需要在J（θ）最小的情况下才能确定，因此问题转化为求极小值问题，使用梯度下降法，梯度下降法求得的可能是全局极小值或局部极小值，这与初始点的选取有关。
（1）：首先对θ赋值，这个值可以是随机的。
（2）：改变θ的值，使得J（θ）按梯度下降的方向进行减少。

梯度方向由J（θ）对θ的偏导数确定，由于求的是极小值，因此梯度方向是偏导数的反方向，结果为：

迭代更新有两种方式，一是批量梯度下降，也就是对全部训练数据求得误差后再对θ进行更新，另外一种是随机梯度下降，没扫描一步都对θ进行更新。
批量梯度下降：容易被局部最小值影响，而且当训练集过大时，每更新一步都得耗时巨大。
随机梯度下降：耗时少，但是有可能不断在收敛处徘徊，导致无法收敛到最小值。

最小二乘法：（需要矩阵导数和迹的相关知识）
接下来咱们就继续用逼近模型（closed-form）来找到能让J(θ)最小的θ值。

最后要让J的值最小，就是要找到导数为0的点，

得到：

所以让J（θ）取值最小的θ就是：

//不理解//
最大似然估计：
在已知实验结果（样本）下，用来估计满足这些样本分布的参数，把可能性最大的那个参数θ作为真实参数θ的参数估计。
中心思想：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本的观测值最大，而不是像最小二乘法那样使得模型更好拟合样本数据的参数估计值。

CS229——NODE1part1相关推荐

吴恩达的 CS229，有人把它浓缩成 6 张中文速查表！
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达吴恩达在斯坦福开设的机器学习课 CS229,是很多人最初入门机器学习的课,历史悠久,而且仍然是 ...
斯坦福大学CS229数学基础（线性代数、概率论）中文翻译版.pdf
本文是斯坦福大学CS 229机器学习课程的基础材料的中文翻译,个人认为是目前最好的人工智能的数学基础材料. Stanford cs229 manchine learning课程,是斯坦福大学近十年来最 ...
【数学基础】一份非常适合人工智能学习的概率论基础材料中文版（CS229概率论）...
本文是斯坦福大学 CS229 机器学习课程的基础材料,原始文件下载[1] 原文作者:Arian Maleki , Tom Do 翻译:石振宇[2] 审核和修改制作:黄海广[3] 备注:请关注githu ...
首发：吴恩达的 CS229的数学基础（线性代数），有人把它做成了在线翻译版本！...
本文是斯坦福大学 CS 229 机器学习课程的基础材料,是斯坦福各大人工智能课程的数学基础,本文为线性代数部分,原始文件下载[1] 原文作者:Zico Kolter,修改:Chuong Do, Ten ...
斯坦福CS229机器学习课程的数学基础（概率论）翻译完成
Stanford cs229 manchine learning课程,相比于Coursera中的机器学习有更多的数学要求和公式的推导,课程全英文,基础材料部分还没有翻译.这个基础材料主要分为线性代数和 ...
斯坦福CS229机器学习课程的数学基础（线性代数）翻译完成
Stanford cs229 manchine learning课程,相比于Coursera中的机器学习有更多的数学要求和公式的推导,课程全英文,基础材料部分还没有翻译.这个基础材料主要分为线性代数和 ...
吴恩达斯坦福大学机器学习 CS229 课程学习笔记（一）
说到机器学习总绕不过几个鼎鼎大名的人物,他们都创造了不少的机器学习资料,斯坦福吴恩达Andrew Ng的公开课CS229:Google李飞飞的CS231.周志华的.李航的<统计学习方法>. ...
线性代数第九版pdf英文_斯坦福CS229机器学习课程的数学基础（线性代数）翻译完成...
文章转载自公众号机器学习初学者 , 作者机器学习初学者 Stanford cs229 manchine learning课程,相比于Coursera中的机器学习有更多的数学要求和公式的推导,课程全 ...
吴恩达CS229速查表
吴恩达在斯坦福开设的机器学习课 CS229,是很多人最初入门机器学习的课,历史悠久,而且仍然是最经典的机器学习课程之一.当时因为这门课太火爆,吴恩达不得不弄了个超大的网络课程来授课,结果一不小心从斯坦 ...

CS229——NODE1part1

CS229——NODE1part1相关推荐

最新文章

热门文章