【CS229】多变量线性回归

这里的变量其实就是指代特征。

单变量特征就是一维，多变量特征就是多维，一般描述为：

(x1,x2,...,xn)(x_1, x_2,..., x_n)(x1,x2,...,xn)。

用n表示特征的数量。

现在x(i)x^{(i)}x(i)就不是一个标量，而是一个向量了。

x(i)=[ab...]x^{(i)} =\left[\begin{array}{ccc} a \\ b \\ . \\ . \\ . \\ \end{array}\right] x(i)=⎣⎢⎢⎢⎢⎡ab...⎦⎥⎥⎥⎥⎤

上标指代的是第几个样本，现在特征不止一个，我们用下标来表示它是第几个特征。

xj(i)x_j^{(i)}xj(i): 表示第iii个样本的第jjj个特征值为多少。

一般n个特征，但是我们为了方便，会把那个常数也可以纳入进来，变成n+1n+1n+1维度的向量，所以，任何一个训练实例都是n+1维的向量。

现在，得到一个重要结论，特征的矩阵的样子是一个(n+1)×m(n + 1) \times m(n+1)×m的矩阵。

但是这个千万不要教条思维，认为只有这种每列表示一个实例的表示法，反过来也是可以的。

我们可以这样表示提出的假设：

hθ(x)=θTXh_\theta(x) = \theta^{T}X hθ(x)=θTX

显然，θ\thetaθ是个列向量：

θ=[θ0θ1...θn]\theta = \left[\begin{array}{ccc} \theta_0 \\ \theta_1 \\ . \\ . \\ . \\ \theta_n \end{array} \right] θ=⎣⎢⎢⎢⎢⎢⎢⎡θ0θ1...θn⎦⎥⎥⎥⎥⎥⎥⎤

另外XXX是由x(i)x^{(i)}x(i)组成，每个样本也习惯表示成列向量。大局观是：

参数组成的是向量
输入特征组合起来是个矩阵

X=[x0(1),x0(2),...,x0(m)x1(1),x1(2),...,x1(m)x2(1),x2(2),...,x2(m)............xn(1),xn(2),...,xn(m)]X = \left[\begin{array}{cccc} x_0^{(1)}, & x_0^{(2)}, & ..., & x_0^{(m)} \\ x_1^{(1)}, & x_1^{(2)}, & ..., & x_1^{(m)} \\ x_2^{(1)}, & x_2^{(2)}, & ..., & x_2^{(m)} \\ . & . & . & .\\ . & . & . & .\\ . & . & . & .\\ x_n^{(1)}, & x_n^{(2)}, & ..., & x_n^{(m)} \end{array} \right] X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡x0(1),x1(1),x2(1),...xn(1),x0(2),x1(2),x2(2),...xn(2),...,...,...,......,x0(m)x1(m)x2(m)...xn(m)⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤
也即：
X=[1,1,...,1x1(1),x1(2),...,x1(m)x2(1),x2(2),...,x2(m)............xn(1),xn(2),...,xn(m)]X = \left[\begin{array}{cccc} 1, &1, & ..., & 1 \\ x_1^{(1)}, & x_1^{(2)}, & ..., & x_1^{(m)} \\ x_2^{(1)}, & x_2^{(2)}, & ..., & x_2^{(m)} \\ . & . & . & .\\ . & . & . & .\\ . & . & . & .\\ x_n^{(1)}, & x_n^{(2)}, & ..., & x_n^{(m)} \end{array} \right] X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1,x1(1),x2(1),...xn(1),1,x1(2),x2(2),...xn(2),...,...,...,......,1x1(m)x2(m)...xn(m)⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤

假设模型就是：
hθ(x)=θTXh_\theta(x) = \theta^{T}X hθ(x)=θTX

这也是后面神经网络模型推导的核心之一。

用列向量表示输入，堆叠形成输入矩阵，更容易构建神经网络。

而Tensorflow用起来是反的，所以这里说的更容易是指手动搭建神经网络的实践。

总结：抓住核心点，特征数有n个，实例有m个，之所以变成n+1，是因为把常数（偏置）纳入到列向量中来了。

END.

【CS229】多变量线性回归相关推荐

CS229学习笔记(2)多变量线性回归
一. 多变量线性回归 1.多维特征我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x1,-,xn)\left(x_{1}, x_{1}, \ldot ...
python多变量非线性拟合_python实现多变量线性回归(Linear Regression with Multiple Variables)...
本文介绍如何使用python实现多变量线性回归,文章参考NG的视频和黄海广博士的笔记现在对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,...,x ...
R使用lm构建多变量线性回归模型
R使用lm构建多变量线性回归模型多元回归是线性回归扩展到两个以上变量之间的回归(regression)关系.在简单的线性关系中,我们有一个预测变量和一个响应变量,但在多元回归中,我们有多个预测变量( ...
【机器学习-学习笔记】单/多变量线性回归、多项式回归、逻辑回归、过拟合、正则化
https://blog.csdn.net/m511655654/article/details/81507857 问题描述表达式描述表达式单变量线性回归只含有一个特征/输入变量一元一次表 ...
吴恩达Coursera机器学习 - Chapter 4 多变量线性回归
Chapter 4 – 多变量线性回归(Linear Regression with Multiple Variables) 相比第二章,这一章无非就是数据集的特征数由一个变为多个,并引入了矩阵的概念 ...
第四章多变量线性回归-机器学习老师板书-斯坦福吴恩达教授
第四章多变量线性回归 4.1 多功能 4.2 多变量的梯度下降 4.3 梯度下降实践一:特征缩放 4.4 梯度下降实践二:学习率 4.5 特征和多项式回归 4.6 正规方程(区别于迭代方法的直接求法 ...
机器学习之多变量线性回归（Linear Regression with multiple variables）
机器学习之多变量线性回归(Linear Regression with multiple variables) 1. Multiple features(多维特征) 在机器学习之单变量线性回归(Lin ...
Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”
Coursera公开课笔记: 斯坦福大学机器学习第四课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第 ...
吴恩达机器学习（第四章）——多变量线性回归
第四章-多变量线性回归文章目录第四章-多变量线性回归多功能多元梯度下降法梯度下降算法特征缩放学习率特征与多项式回归正规方程正规方程的概念公式的推导梯度下降法 VS 正规方程奇 ...
吴恩达机器学习 -- 多变量线性回归
5.1 多维特征前一周所讲是单变量线性回归,即 ,是只有一个变量的假设函数,现在对房价预测模型有了更多的参考特征,比如楼层数,卧室的数量,还有房子的使用年限.根据这些特征来预测房价.此时的变量有多 ...

【CS229】多变量线性回归

【CS229】多变量线性回归相关推荐

最新文章

热门文章