线性回归 linear regression

2024-05-09 23:33:38

回归一词，指的是我们根据已有的数据，预测出一个准确的输出值。

假设函数

一元线性回归的假设函数模型：

hθ(x)=θ0+θ1∗xh_{θ}(x) = θ_0 + θ_1 * xhθ(x)=θ0+θ1∗x

xxx：表示输入变量，表示输入的特征。
yyy：表示目标变量，也就是预测结果。
(x,y)(x,y)(x,y)：表示一个训练样本，用 x(i)x^{(i)}x(i) 与 y(i)y^{(i)}y(i) 来表示数据集中的第 iii 个训练样本。
hθ(x)h_{θ}(x)hθ(x)：表示假设函数（hypothesis），hhh 根据输入的 xxx 值来得出 yyy 值，是一个从 xxx 到 yyy 的函数映射。
θ0θ_0θ0 和 θ1θ_1θ1：这些 θiθ_iθi 称为模型参数。选择不同的参数θ0θ_0θ0 和 θ1θ_1θ1，会得到不同的假设函数。

在线性回归要做的就是求取最优的 θ0θ_0θ0 和 θ1θ_1θ1，来让 hθ(x)h_{θ}(x)hθ(x) 表示的直线尽量地与这些数据集中的点很好的拟合。也许就像这里的这条线一样：

代价函数

线性回归的目标是，选择最优的 θ0θ_0θ0 和 θ1θ_1θ1，来让 hθ(x(i))h_{θ}(x^{(i)})hθ(x(i)) 的值尽可能接近 y(i)y^{(i)}y(i) ，达到减少函数损失（误差）的目的：

minimzeθ0θ1(hθ(x)−y)2\mathop{minimze}\limits_{θ_{0}θ_{1}} (h_{θ}(x) - y)^{2}θ0θ1minimze(hθ(x)−y)2

由于样本数据集的总数是 mmm ，所以误差总和的平均为：

minimzeθ0θ112m∑i=1m(hθ(x(i))−y(i))2\mathop{minimze}\limits_{θ_{0}θ_{1}} \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}θ0θ1minimze2m1i=1∑m(hθ(x(i))−y(i))2

表达式：

minimzeθ0θ1\mathop{minimze}\limits_{θ_{0}θ_{1}}θ0θ1minimze

意味着我们要找到某个 θ0θ_0θ0 和 θ1θ_1θ1的值来使这个表达式的值最小。

即，一元线性回归的代价函数(Cost Function):

J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2J(θ_{0},θ_{1}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}J(θ0,θ1)=2m1i=1∑m(hθ(x(i))−y(i))2

线性回归 linear regression相关推荐

Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”
Coursera公开课笔记: 斯坦福大学机器学习第四课"多变量线性回归(Linear Regression with Multiple Variables)" 斯坦福大学机器学习第 ...
Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
Coursera公开课笔记: 斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号由 ...
Ng第二课：单变量线性回归(Linear Regression with One Variable)
二.单变量线性回归(Linear Regression with One Variable) 2.1 模型表示 2.2 代价函数 2.3 代价函数的直观理解 2.4 梯度下降 2.5 梯度下 ...
Stanford机器学习---第二讲. 多变量线性回归 Linear Regression with multiple variable
本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学 ...
机器学习方法：回归（一）：线性回归Linear regression
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 开一个机器学习方法科普系列:做基础回顾之用,学而时习之:也拿出来与大家分享.数学水平有限,只求易懂,学习与工 ...
复盘：手推LR（逻辑回归logistics regression），它和线性回归linear regression的区别是啥
复盘:手推LR(逻辑回归logistics regression),它和线性回归linear regression的区别是啥? 提示:系列被面试官问的问题,我自己当时不会,所以下来自己复盘一下,认真学 ...
线性回归 Linear Regression 与逻辑回归 Logistic Regression
1 线性回归 Linear Regression 理论线性回归模型研究多个变量x与y之间的关系,通过回归模型预测位置样本的数据. 假设函数损失函数损失函数寻优,最小二乘法即: 注:最小二乘法需 ...
西瓜书+实战+吴恩达机器学习（四）监督学习之线性回归 Linear Regression
文章目录 0. 前言 1. 线性回归参数求解方法 2. 线性回归正则化 2.1. 岭回归 2.2. LASSO 3. 局部加权线性回归 4. 广义线性模型如果这篇文章对你有一点小小的帮助,请给个关注 ...
多元线性回归算法: 线性回归Linear Regression、岭回归Ridge regression、Lasso回归、主成分回归PCR、偏最小二乘PLS
0. 问题描述输入数据:X=(x1,x2,....,xm)\mathbf{X} = (x_1, x_2,...., x_m)X=(x1,x2,....,xm), 相应标签 Y=(y1,y2,. ...
sklearn 线性回归linear regression做分类任务
测试了一下使用linear regression做分类任务准确率的确很高啊,我的的思路是: 需要预测的是 0 1 ,而linear regression本来的预测值是连续变量把linear regr ...

最新文章

热门文章