线性模型(1) —— 多元线性回归

提纲：

线性模型的基本形式
多元线性回归的损失函数
最小二乘法求多元线性回归的参数
最小二乘法和随机梯度下降的区别
疑问
学习和参考资料

1.线性模型的基本形式

线性模型是一种形式简单，易于建模，且可解释性很强的模型，它通过一个属性的线性组合来进行预测，其基本的形式为：

式（1）

转换成向量形式之后写成：

式（2）

为什么说其解释性很强呢，是因为模型的权值向量十分直观地表达了样本中每一个属性在预测中的重要度，打个比方，要预测今天是否会下雨，并且已经基于历史数据学习到了模型中的权重向量和截距b，则可以综合考虑各个属性来判断今天是否会下雨：

式（3）

2.多元线性回归的损失函数

在多元线性回归任务中，均方误差是比较常用的一个损失函数，学习的任务就是要基于均方误差最小化来对模型的参数进行求解，损失函数的形式为：

式（4）

其中，m为样本的数量，yi为样本的真实值，f(x)为预测值。

将式（4）中的截距b合并到w，使得新的权重向量增加多了一维，即：w=(w;b)(以下所有的w均是这种形式)，相应的每个样本xi也增加了一维，变为xi=(x11,x12,x13···x1d,1)

于是损失函数可以写成以下形式：

式（5）

其中y是样本的标记向量，y=(y1,y2,y3···ym)，X为样本矩阵。

3.最小二乘法求多元线性回归的参数

在学习模型的任务中，我们要做到的是让预测值尽量逼近真实值，做到误差最小，而均方误差就是表达这种误差的一种，所以我们要求解多元线性回归模型，就是要求解使均方误差最小化时所对应的参数：

式（6）

其中w*为模型对应的解，即使得均方误差函数最小化时的权重向量。

那么，我们应该如何求w*呢？在这里，我们可以用最小二乘法对模型的参数进行估计，具体做法是：损失函数对需要求解的参数进行求导，并且令其导数为0，求得相应的参数。

在这里，我们需要让式（5）对w求导，在求导之前，我们来看一下两个求导公式：

式（7）

式（8）

下图为详细的求导过程（字迹潦草~~请勿介意）

损失函数对参数进行求导之后，可以求得：

式（9）

令式（9）为零可得:

式（10）

以上即为参数w最优解的闭式解，但我们可以发现w*的计算涉及矩阵的求逆，这样的话就有一些限制了，只有在X^T*X为满秩矩阵或者正定矩阵时，才可以使用以上式子计算。但在现实任务中，X^T*X往往不是满秩矩阵，这样的话就会导致有多个解，并且这多个解都能使均方误差最小化，但并不是所有的解都适合于做预测任务，因为某些解可能会产生过拟合的问题。

4.最小二乘法和随机梯度下降的区别

在学习的过程中，自己有想过这两者的区别，当初大概只知道以下一些东西：

最小二乘法是最小化均方误差，当X^T*X为满秩矩阵时，可以直接求参数的闭式解，而随机梯度下降需要不断地迭代对参数进行更新，并且所求到的解不一定是全局最优解。

但写博客的时候去逛了逛知乎，https://www.zhihu.com/question/20822481 其中用户夏之晨的答案让我茅塞顿开······

5.疑问

线性模型可以依靠权重来判断特征的重要程度，但这个判断究竟有多准确？特征之间的共线性使得特征相互之间会共享一些信息，又怎么判断某个特征的重要程度不是其他特征共享给它的呢？

6.学习和参考资料

周志华老师的《机器学习》

转载于:https://www.cnblogs.com/pengyingzhi/p/5383801.html

线性模型(1) —— 多元线性回归相关推荐

UA MATH571A 多元线性回归V 自相关与非线性模型简介
UA MATH571A 多元线性回归V 自相关与非线性模型简介一阶误差自相关模型 Durbin-Watson检验一阶自相关的消去 Cochrane-Orcutt方法 Hildreth-Lu方法非 ...
UA MATH571A 多元线性回归IV 广义线性模型
UA MATH571A 多元线性回归IV 广义线性模型广义线性模型二值被解释变量 Probit模型 Logit模型系数的最大似然估计系数的推断 Wald检验似然比检验二项回归拟合优度检验 ...
多元线性模型分类变量方差_第三十一讲 R多元线性回归中的多重共线性和方差膨胀因子...
在前两讲中,我们介绍了多元线性回归的概念以及多元线性回归中的交互作用.今天学习的主要内容是多元线性回归中的多重共线性和方差膨胀因子. 1. 共线性的概念 1 共线性在多元回归中,两个或多个预测变量可 ...
TensorFlow基础3-机器学习基础知识（解析法实现一元线性回归、多元线性回归）
记录TensorFlow听课笔记文章目录记录TensorFlow听课笔记一,机器学习基础 1.1一元线性回归 1.2解析法实现一元线性回归 1.3解析法实现多元线性回归二,代码实现一元/多元回 ...
简单多元线性回归（梯度下降算法与矩阵法）
from:https://www.cnblogs.com/shibalang/p/4859645.html 多元线性回归是最简单的机器学习模型,通过给定的训练数据集,拟合出一个线性模型,进而对新数据做 ...
【机器学习】线性回归之梯度下降、多元线性回归概述
线性回归是一种监督学习方法. 对每个样本来说: Hypothesis: 即: 其中, 为预测值, 为样本的第i个特征,且: 为该特征下的权重,bias偏差.线性回归就是要在已有的样本特征和标签下学 ...
多元线性回归中多重共线性_多重共线性如何在线性回归中成为问题。
多元线性回归中多重共线性 Linear Regression is one of the simplest and most widely used algorithms for Supervised ...
解析法实现一元线性回归、多元线性回归以及数据模型可视化操作
目录 [1]解析法实现一元线性回归 python列表实现利用Numpy实现利用TensorFlow实现数据和模型可视化 [2]解析法实现多元线性回归利用Numpy实现需要用到的NumPy数组 ...
监督学习 | 线性回归之多元线性回归原理及Sklearn实现
文章目录 1. 线性回归 1.1 基本形式 1.2 成本函数 2. w 的计算方式 2.1 标准方程法 2.1.1 普通形式 2.1.2 向量形式 2.1.3 Python 实现 2.1.4 计算复杂 ...

线性模型(1) —— 多元线性回归

线性模型(1) —— 多元线性回归相关推荐

最新文章

热门文章