多维特征

n：特征量（维度）
m：样本数量
x⁽ⁱ⁾：第 i 个样本
x⁽ⁱ⁾j：第 i 个样本的第 j 维度

多元线性回归：

多元的梯度下降法

将多元假设用于梯度下降算法中：

特征缩放
优点：使特征值相近，更快速的收敛

通常将特征的取值约束到 -1 到 1 的范围内，不能太大或者太小

均值归一化：

ui = 样本中第 i 维度中所有值之和的平均值（例如：在房价预测中，所有房子大小的平均值）。

si = 第 i 维度的最大值 - 最小值（也可以为标准差）。

特征缩放和均值归一化的目的是使特征在一个相近的范围（不需要太精准），更快的收敛。

学习率（α）：
选择合适的学习率α。

观察代价函数曲线，选择合适的α。

通常选择合适的阈值ε（用于自动收敛测试）是相当困难的，为了检查梯度下降算法是否收敛，常选择查看代价函数曲线，而不依靠自动收敛测试。

α过大会导致代价函数振荡或者发散，α过小会导致代价函数收敛太慢，如下图所示。

下图曲线解决方法：通常选择较小的学习率（α）或者代码出错。

通常绘制J(θ)随迭代步数变化的曲线，可以帮助你导清楚到底发生了什么。

为了选择更好的学习率α，通常选择相差10倍（或3倍）的值来测试，然后查看代价函数图，从而找到合理的值。

特征和多项式回归

首先，我们需要选择合适的特征。
创造新特征:
例如有房子临街宽度和垂直宽度，可以确认真正能决定房子大小的特征——面积，即面积这个新的特征能更好决定房子价格。

多项式回归（polynomial regression）：

将多项式拟合到假设模型中，此时特征缩放就非常重要了。

例如在下图用绿色方框的假设预测房价，其中维度值相差很大。

不仅仅只有三项式可以拟合，平方根函数也可以拟合得很好。

通过对数据形状的了解，选择不同的特征，有时可能得到更好的模型。

正规方程

正规方程：

是一种更好的方法求解参数θ的最优值（解析解法），不需要迭代，而是直接一次性求解θ的最优值。

变为矩阵问题（求θ最优解）：

在Octave中：运行 pinv(X’ * X) * X’ * y 即可得到θ的最优值.

优缺点：

梯度下降	正规方程
需要选择α	不需要需要选择α
需要更多的迭代	不需要迭代，不需J(θ)曲线来检查收敛性
当n很大的时候，依然工作良好	需要计算（X^T * X）^-1，复杂度O(n³),当n很大的时候很慢

当n(特征变量)小于10000，选择正规方程，反之选择梯度下降（实际根据计算机的计算速度大致选择用那个方法）。

正规方程在矩阵不可逆情况下的解决方法：

解决方法：

线性相关的向量（有一个是多余的），只需删除一个就好。

太多特征（m <= n）导致，所以需要删除一些特征，或者使用正则化的方法。

多元线性回归（Linear regression with multiple variables）相关推荐

Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”
Coursera公开课笔记: 斯坦福大学机器学习第四课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第 ...
python多变量非线性拟合_python实现多变量线性回归(Linear Regression with Multiple Variables)...
本文介绍如何使用python实现多变量线性回归,文章参考NG的视频和黄海广博士的笔记现在对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,...,x ...
机器学习之多变量线性回归（Linear Regression with multiple variables）
机器学习之多变量线性回归(Linear Regression with multiple variables) 1. Multiple features(多维特征) 在机器学习之单变量线性回归(Lin ...
Machine Learning – 第2周（Linear Regression with Multiple Variables、Octave/Matlab Tutorial）
Machine Learning – Coursera Octave for Microsoft Windows GNU Octave官网 GNU Octave帮助文档 (有900页的pdf版本) O ...
Stanford机器学习---第二讲. 多变量线性回归 Linear Regression with multiple variable
本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学 ...
Machine Learning week 2 quiz: Linear Regression with Multiple Variables
Linear Regression with Multiple Variables 5 试题 1. Suppose m=4 students have taken some class, and th ...
Julia 机器学习 ---- 单变量线性回归和多元线性回归 (Linear regression)
目录 1.线性回归概述 2.数据准备 3.数据探索 3.1简单的数据清洗 3.2 图形分析数据 3.2.1 盒形图的离群点分析,需要根据四分位距去掉部分数据点. 3.2.2 密度图进行分布分析 3.2 ...
Derivation of Linear Regression with Multiple Variables
The article only shows the derivation parts of the lin reg model. Representations of variables and o ...
Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
Coursera公开课笔记: 斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号由 ...

多元线性回归（Linear regression with multiple variables）

目录

多维特征

多元的梯度下降法

特征和多项式回归

正规方程

多元线性回归（Linear regression with multiple variables）相关推荐

最新文章

热门文章