Machine Learning - Andrew Ng on Coursera (Week 2)

本篇文章将分享Coursera上Andrew Ng的Machine Learning第二周的课程，主要内容有如下，详细内容可以参考文末附件：

设置作业环境
多变量线性回归
参数的解析算法
Octave简介

设置作业环境

因为本课程涉及到在Octave或者Matlab提交作业，所以这一节讲了在各种不同的系统中如何安装Octave或者Matlab。安装比较简单，就不在此赘述。需要注意的有如下几点，如有其他疑问可私信或邮件讨论：

Windows下Octave不支持Https，因此建议使用Matlab；
Matlab针对本课程有120天的免费授权，任意系统均可使用；
Mac OS X可能需要更改安全与隐私权限才能安装从非App Store中下载的应用，推荐Octave-CLI（命令行版Octave，更稳定）；

多变量线性回归

上周课程主要针对的是单变量的线性回归问题，但往往实际问题并不仅仅有一个相关的变量，所以引入了多变量的线性回归问题。多变量问题中，表示变量数量，[Math Processing Error]表示第[Math Processing Error]个训练样本，[Math Processing Error]则表示第[Math Processing Error]个训练样本中第[Math Processing Error]个变量的值。此时线性回归问题假设变成如下形式：

[Math Processing Error]

其中[Math Processing Error]是常数项，因此可以设为1。转化为向量后，

[Math Processing Error]

代价函数可以相应的变为：

[Math Processing Error]

梯度下降中参数更新可以写成向量的形式：

[Math Processing Error]

因为各变量的取值范围会存在较大的差异，然而学习速度对于所有变量都是一致的，即不能取得太大以防止不收敛，又不能取得太小使收敛速度过慢，所以需要将变量取值范围进行统一（Feature Scaling），使各变量取值范围尽量在-1到1之间，同时，也尽量避免过于集中在[Math Processing Error]甚至更小的区间内。通常采用mean normalization的方式，即：

[Math Processing Error]

有时需要使用多项式来拟合回归，且可以采用不同的方式。如课程中的例子，训练数据中价格与面积明显存在着非线性的关系，但用面积的二次方去拟合时，会出现达到一定面积后价格反而下降的现象，这在现实生活中几乎是不存在的。因此，可以添加面积的三次方项，或者平方根项来改变该情况，使价格一直随面积的增长而增长。当变量之间存在一定关系时，如变量1为面积，变量2为面积的平方时，相应的变量取值范围也要除以各自的取值范围，如课程中Andrew举的例子那样，除以面积范围，面积范围的平方，以及面积范围的3次方。

还总结了学习速率[Math Processing Error]取值的问题，要确保每一次迭代[Math Processing Error]的值都在不断减小，可以预先定义如果迭代一次的下降差值在10e-3的范围内，就认为成本函数已经收敛并停止迭代。如果[Math Processing Error]的值在上下波动或者不断增大，则说明[Math Processing Error]取值过大，可以适当降低学习速率。

参数的解析算法

梯度下降是求解线性回归中一种比较直观的解法，但同时，对于参数[Math Processing Error]的求解也存在解析方法。以一维中最简单的线性回归成本函数为例，[Math Processing Error]，在坐标轴中呈现为倒U型曲线，那么必然在[Math Processing Error]处可取得成本函数的最小值，那么解得上式中[Math Processing Error]的值就可以得到其全局最小值。

同样，将该方法推广到多变量的线性回归问题时，[Math Processing Error]可解如下公式求得：

[Math Processing Error]

课程中给出了房价的例子及解析解公式如下，但并未给出具体的推导过程：

[Math Processing Error]

以及相应的Octave命令：

pinv(X’*X)*X’*y

最后简单总结了梯度下降及解析算法的优缺点，其中比较重要我认为有两点：

梯度下降算法在变量特别多的情况下也能顺利求解，但对于解析算法来说，如果变量过多可能会导致求解速度非常慢，主要是因为涉及到求解[Math Processing Error]矩阵的逆。对于不同的计算机和不同的要求，变量的数量没有绝对的多和少，Andrew只给出了一般衡量标准，即[Math Processing Error]时可以考虑采用梯度下降的算法，这在quiz中可能会涉及到这个判定范围。
同样，因为解析算法涉及到求解[Math Processing Error]矩阵的逆，所以在某些情况下可能无法求得，而不得不采用梯度下降的算法进行求解。当然，在一般情况下，解析算法由于不用设置学习速度和运算速度较快而被经常使用。

Octave简介

Andrew从以下方面介绍了Octave的一些基本命令，有兴趣的同学可以跟着课程视频都做一遍并完成课程作业：

基本的数学运算、逻辑运算、变量赋值和显示方法；
矩阵的赋值，各种矩阵的生成命令；
求矩阵的大小和基本的环境命令，如果进入目录，查看变量等；
截取矩阵中的数据，合并多个矩阵；
数据的计算方法，比如最大、最小值，求和，连乘等；
画图的基本命令；
for, while, if控制语句，以及函数的格式；
如何将循环计算向量化；
Normal Equation不可逆性，通常可能由于线性相关的变量以及变量冗余引起的，需要去掉相应的变量再进行尝试。

附本次分享演示文档：ML-Coursera-Week2