YouTube课程地址

https://www.youtube.com/playlist?list=PLOXON7BTL9IW7Ggbc09jLqGmzkwPI4-3V
截止2021-5-3, 有112 个视频

1. 第21课 Gradient descent in practice I - Linear regression with multiple variables

如果变量的系数比较大，那么收敛比较慢，比如例子中的房子大小范围2000，房间数范围5. 图形显示的是比较扁长的椭圆。
如果系数转换范围为 0 <= X <= 1 那么就会很快收敛。图形显示的是比较正规的圆。

Feature Scaling缩放比例的范围在多大会收敛比较快呢？吴老师的经验是在 -3 <= x <= 3.
如果范围太小，比如 -0.00001 <= x <= 0.00001. 也不好收敛，因为基本不动了。

Mean normalization 均值归一化， x = (x - u) / s , u 表示平均值，s表示范围。

2. 第22课 Gradient descent in practice II： Learning rate - Linear regression with multiple variables

梯度下降算法：

调试：如何确定梯度下降是对的？
怎么选择梯度下降的幅度？

梯度下降的是否为收敛的。如果每100次循环都下降，那么说明是收敛的，直到每1次循环收敛的速度小于10^-3, 也就是0.001 。

梯度下降异常情况：

往收敛的反方向持续放大；
循环性的先变小再变大；

问题在于a 选择太大导致。

梯度下降算法总结：

如果a太小，则梯度下降收敛的速度很慢；
如果a太大，则梯度下降没有收敛在每100次循环内。

3. 第23课 Features and polynomial regression： Learning rate - Linear regression with multiple variables

房价预测：根据长度和深度，预测房价；可以转换为面积，预算房价

多项式回归方程，如果转换为二次方程，会是个抛物线的形状，也就是或房子在面积达到一定程度，越大房价会下降，不符合预期。那么就可以转化为3次方程。
问题：如何选择阶梯下降系数成为一个问题，因为3次方会太大？

二次方未知数，可以取个开平方，就转换为线性问题。

4. 第24课 Normal equation标准方程求解θ的最优值 - Linear regression with multiple variables

梯度下降求解θ，优点就是求解大数的时间比较短，缺点是要转换方程和缩小求解系数范围。

求解二元一次方程的最小值，是导数等于0的时候。

θ = (Xt * X)-1 * Xt * y。中文解析：(θ 等于 X 转置乘以X) 的逆，乘以X转置，乘以y

举例：

Normal equation标准方程求解θ的最优值，不需要做特征变量归一化。

未知数X达到10,000以上要考虑梯度下降算法。
未知数X在10,000以下，用Normal Equation的时间复杂度在的O(n³)

5. 第25课 Normal equation and non-invertibility标准方程求解θ的最优值, 以及某些条件下不可逆性 - Linear regression with multiple variables

Xt * X 不可逆的问题， Octave 中有两个函数可以求逆矩阵，

pinv: pseudo-inverse 伪逆举证。就算不可逆矩阵，也可以求出θ。
inv：逆矩阵。

通常有两种情况会出现Xt * X 不可逆矩阵
有重复的特征：比如计算房子的面积，有用英尺计算，又有用米计算；解决：通过删除多余的同等等式。
有很多参数，但是条件等式很少的情况。删除参数，或者用regularization（后面会讲到）。

在大多数实现线性回归中，出现不可逆的问题不应该过多的关注。因为通过pinv求解，也能得到结果。

扩展阅读

标准差

Standard deviation

机器学习 Machine Learning- 吴恩达Andrew Ng 第21~25课总结相关推荐

机器学习(Machine Learning) - 吴恩达(Andrew Ng) 视频笔记
背景:写于20190408,大概一周前我已经看到了P47 8-4 - Model Representation II 视频链接:https://www.bilibili.com/video/av991 ...
【斯坦福公开课-机器学习】1.机器学习的动机和应用（吴恩达 Andrew Ng）
文章目录 0三个目标 0先修课程要求基本工具 1-网址 2-邮箱 3-本系列课程链接 1机器学习的定义 1-1非正式定义 1-2正式的定义 2监督学习(Supervised Learning) 2- ...
第06周：吴恩达 Andrew Ng 机器学习
10 应用机器学习的建议 10.1 决定下一步做什么依旧用房价预测的例子,假设我们使用已经正则化的线性回归的模型得到了参数,并将参数带入预测函数来预测一组新的房价,但是结果误差很大,那么为了解决问题 ...
第01周：吴恩达 Andrew Ng 机器学习
学习内容: 1 机器学习 1.1 机器学习定义 ①Arthur Samuel:在没有明确设置的情况下,使计算机具有学习能力的研究领域. e.g.跳棋游戏,使计算机与自己对弈上万次,使计算机学习到什么是 ...
第07周：吴恩达 Andrew Ng 机器学习
12 支持向量机(Support Vector Machines) 12.1 优化目标在监督学习中,许多学习算法的性能都非常类似,因此,重要的不是你该选择使用学习算法A还是学习算法B,而更重要的是, ...
第10周：吴恩达 Andrew Ng 机器学习
15 异常检测(Anomaly Detection) 这种算法虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题. 15.1 问题动机例:假想一个飞机引擎制造商,当他生产的飞机引 ...
第02周：吴恩达 Andrew Ng 机器学习
学习目标: 完成对机器学习逻辑回归部分完成习题整理理论与编程题笔记学习内容: 六.逻辑回归 6.1 分类问题Classification 二分类问题:通常结果有两种可能(0:negative c ...
第09周：吴恩达 Andrew Ng 机器学习
14 降维(Dimensionality Reduction) 第二种类型的无监督学习问题叫降维 14.1 目标Ⅰ:数据压缩使用降维的原因之一是数据压缩,数据压缩可以使数据占用较小的内存或硬盘空间, ...
第08周：吴恩达 Andrew Ng 机器学习
13 聚类聚类算法是学习的第一个无监督学习算法,它所用到的数据是不带标签的. 13.1 无监督学习什么是无监督学习? 在无监督学习中,所有的数据不带标签,而无监督学习要做的就是将这一系列无标签的数 ...
第04周：吴恩达 Andrew Ng 机器学习
学习内容: 8 神经网络 8.1 为什么用神经网络当只有两个特征时(x1.x2),使用sigmoid函数得到的结果还可以,因为可以把x1.x2的所有组合都包含到多项式中.但当很多问题含有很多特征,不 ...

机器学习 Machine Learning- 吴恩达Andrew Ng 第21~25课总结