线性回归一些基本术语

2024-04-19 22:21:40

线性回归函数

形如 Y = X ∗ w e i g h t + b i a s Y=X*weight+bias Y=X∗weight+bias式子的回归方程就叫线性回归，X一般用一个 n ∗ m n*m n∗m的矩阵来表示，n表示有n个样本，m表示有m个特征，每一个样本对应的y标签是一个一维的值。

所以我们整个线性回归的任务就是算出weight和bias，也即下面说的params。

线性传播过程

线性传播过程分为前向传播构造计算图；根据计算图计算梯度；根据优化函数更新参数；循环。

前向传播

前向传播包括两个过程，分别是

y ^ = w e i g h t T ∗ x + b i a s \hat{y} = weight^T*x+bias y^=weightT∗x+bias计算 y ^ \hat{y} y^。
根据损失函数计算损失。

损失函数

损失函数用于衡量线性回归参数估计的拟合程度，拟合的越好，损失函数值越低。我们由极大似然估计得到损失函数，近似于MSE，我们直接用MSE作为损失函数。

所以我们要算出weight和bias这个任务就等价于让损失函数最小。

优化函数

要解得损失函数的最小值可以使用解析解，但是对于深度的网络往往很难求得解析解，这个时候我们就需要用到优化函数。最常用的优化函数就是梯度下降算法（SGD - 随机梯度下降）：

P a r a m s = P a r a m s − L e a r n i n g R a t e ∗ G r a d i e n t Params = Params - LearningRate*Gradient Params=Params−LearningRate∗Gradient

你会发现当Gradient等于0的时候，Params==Params，损失函数收敛，损失为最小值，且你求得了Params。

反向传播

你完全不需要了解链式法则和反向传播，你只需要知道反向传播已经被pytorch封装成了backward()方法，该方法实现了根据计算图自动计算梯度并存储，也就是上面优化函数中的公式里的Gradient。

线性回归一些基本术语相关推荐

线性回归中常见的一些统计学术语（RSE RSS TSS ESS MSE RMSE R2 Pearson's r）
TSS: Total Sum of Squares(总离差平方和) --- 因变量的方差 RSS: Residual Sum of Squares (残差平方和) --- 由误差导致的真实值和估计值 ...
机器学习常用术语词汇表
EOF是一个计算机术语,为End Of File的缩写 ,在操作系统中表示资料源无更多的资料可读取. 刚接触机器学习框架 TensorFlow 的新手们,这篇由 Google 官方出品的常用术语词汇表 ...
线性回归介绍及分别使用最小二乘法和梯度下降法对线性回归C++实现
回归:在这类任务中,计算机程序需要对给定输入预测数值.为了解决这个任务,学习算法需要输出函数f:Rn→R.除了返回结果的形式不一样外,这类问题和分类问题是很像的.这类任务的一个示例是预测投保人的索赔金 ...
机器学习中的线性回归，你理解多少？
作者丨algorithmia 编译 | 武明利,责编丨Carol 来源 | 大数据与人工智能(ID: ai-big-data) 机器学习中的线性回归是一种来源于经典统计学的有监督学习技术.然而,随着机 ...
Google发布机器学习术语表 (中英对照）
来源 | TensorFlow Google 工程教育团队已经发布了多语种的 Google 机器学习术语表,该术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义.语言版本包括西班 ...
超全汇总！机器学习常用术语词汇表
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达刚接触机器学习框架 TensorFlow 的新手们,这篇由 Goo ...
线性回归：不能忽视的三个问题
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达前言线性回归是比较简单的机器学习算法,很多书籍介绍的第一种机器学 ...
华南理工深度学习与神经网络期末考试_深度学习基础：单层神经网络之线性回归...
3.1 线性回归线性回归输出是一个连续值,因此适用于回归问题.回归问题在实际中很常见,如预测房屋价格.气温.销售额等连续值的问题.与回归问题不同,分类问题中模型的最终输出是一个离散值.我们所说的图像 ...
AI算法领域常用的39个术语（下）
2019-12-12 17:07:34 算法是人工智能(AI)核心领域之一. 本文整理了算法领域常用的39个术语,希望可以帮助大家更好地理解这门学科. 本文为下半部分,上半部分见本账号的上一篇文章. ...

最新文章

热门文章