线性回归

通常输入 x 具有多个属性值，翻译过来就是一条数据具有多个特征值。当我们假定最简单的一种情况，也就是说输入只有一个属性值的时候，此时就是一元线性回归。线性回归试图 f（x） = wx + b，使得 f（x）≈ 真实值 y，所以线性回归的算法，转化为数学问题就是，寻找一个恰当的参数，使得 f（x）尽可能的逼近 y 。
逼近用数学语言就是使得 f（x）与 y之间的差值（或者说距离）尽可能的小，常用的就是距离衡量函数就是均方误差函数（也叫平方损失函数），如下所示：

均方误差对应了常用的欧几里得距离，而基于均方误差最小化来进行模型求解的方法就称为最小二乘法
求解参数w 和b的过程即使均方误差最小化的过程叫做最小二乘参数估计。

多元线性回归

此时 x 具有 d 个属性值，把参数表示成

数据集相应的变成

对于 x 的最后一列为什么要加上全1，个人理解：

这个1其实是为了参数 b 准备的，w 的维度应该是（d， 1），而偏置 b 前面也应该是有个参数，但由于 b 本身就是变量，所以实际操作时令 1 * b，前后维度就保持了一致，才能继续后面的矩阵运算；

最终的优化函数

求导，令导数为0可得

这里假设

是满秩或者正定，但现实中往往不是满秩，即特征数超过样本数，此时存在多个解，至于选择哪个解有算法的归纳偏好决定，常见方法是引入正则化；

广义线性模型

当我们考虑在线性表达式 wx + b 的外层再套一层函数时，使得计算出的结果更符合真实值。
比如当真实值实际是在指数尺度上变化，可以变成

这里的对数函数就将模型的预测值与真实值联系在了一起。

更一般的可以表示成

这样的模型就称为广义线性模型，外层套的函数叫做联系函数。

手推公式见：
一元线性回归公式推导，多元线性回归公式推导

对数几率回归（逻辑回归）

对于二分类任务，线性回归模型的输出是一个连续值，但我们需要的真实值是{0， 1}，所以在我们要找一个函数可以将输出和真实值联系起来的函数，最理想的是单位阶跃函数，但阶跃函数并不连续，因此不能作为联系函数，对数几率函数就可以派上用场了。

虽然名字是回归，但实际是分类学习方法。它的优点在于:

无需事先假设数据分布，直接对分类可能性建模，这样避免了假设分布不正确的的问题；
不仅可以预测出类别，也可以得出近似的概率预测；
目标函数还是任意阶可导的凸函数，很多优化算法可以直接得到最优解；

对数几率函数：

在对数几率回归中，利用极大似然法进行最优化，loss函数如下：

这里的

在牛顿法求最优解中，β的迭代公式

顺便复习一下：

梯度下降法：

梯度下降法是一种一阶优化方法，是通过利用函数的一阶导数来使函数收敛到局部极小点，如果目标函数是凸函数，那么局部极小就是全局最小。
而牛顿法是利用函数的二阶导数，虽然迭代次数小于梯度下降法，但计算复杂度相当高，涉及到海森矩阵的求逆，尤其在高维中几乎不可行。由此还引申出了拟牛顿法。

线性回归基础相关公式相关推荐

计算机基础的函数公式,大学计算机基础 excle 公式与函数
<大学计算机基础 excle 公式与函数>由会员分享,可在线阅读,更多相关<大学计算机基础 excle 公式与函数(32页珍藏版)>请在人人文库网上搜索. 1.,.,场景1,发 ...
软考高项之相关公式笔记
软考高项之相关公式笔记一.成本管理 1.折现率和折现系数: 2.净现值 3.投资回收期 4.投资收益率二.成本计算类三.其他公式及概念一.成本管理 1.折现率和折现系数: 若n年后能收入F元, ...
Unity 面试题汇总（三）Unity 基础相关
Unity 面试题汇总(三)Unity 基础相关目录 Unity 面试题汇总(三)Unity 基础相关 0.FSM(状态机).HFSM(分层状态机).BT(行为树)的区别 1.什么是协同程序? 2. ...
网络基础相关知识内容
day29 1.网络基础相关的知识 1.1 架构 1.1.1 C/S 架构服务器/客户端优势:能够充分发挥PC机的性能 1.1.2 B/S 架构服务器/浏览器 (隶属于C/S架构) 优 ...
主板是计算机所有部分连接的基础,计算机基础相关知识答案.doc
计算机基础相关知识答案计算机基础相关知识一.填空题: 1.计算机的硬件主要由(控制器).(运算器).(存储器).(输入输出设备)以及电源等硬件组成. 2.计算机硬件系统可以分为两大部分,即(主机 ...
c# npoi 公式不计算_高中数学最不容易，最难计算，全高中数学所有基础性质公式归纳...
曾接触过衡中的一个学霸,他的数学每次模拟考都是140多分!今年的高考考了145分,考到了上海交通大学!后来,我让他总结了一些学习方法,让学弟们都学习下!他说,其实数学看起来最不容易!但能够彻底掌握好基 ...
高等数学笔记：定积分相关公式
繁星数学随想录·笔记卷摘录卷定积分相关公式 01 对称区间的积分公式 ∫−aaf(x)dx={0f(x)为奇函数 2∫0af(x)dxf(x)为偶函数 \int_{-a}^{a} f(x) d x ...
主板是计算机所有部分连接的基础,计算机基础相关知识答案
计算机基础相关知识答案 (4页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.9 积分计算机基础相关知识1. 计算机的硬件主要由(控制器).(运算器) ...
unity3d wwise 基础相关
unity3d wwise 基础相关 https://www.jianshu.com/p/cf6df38dbe85 首先下载导入sdk的package,每个平台需要单独下载,然后需要设置wwise工程 ...

线性回归基础相关公式