线性回归

算法方程：hθ(x)=∑i=0nθixi=θTxh_{\theta}(x)=\sum_{i=0}^{n} \theta_{i} x_{i}=\theta^{T} xhθ(x)=∑i=0nθixi=θTx

损失函数：J(θ0,θ1,…,θn)=12m∑i=1m(hθ(x(i))−y(i))2J\left(\theta_{0}, \theta_{1}, \ldots, \theta_{n}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}J(θ0,θ1,…,θn)=2m1∑i=1m(hθ(x(i))−y(i))2
将损失函数看做是关于θ\thetaθ的函数。

最小化损失函数：凸函数可以找到全局最优解，算法梯度下降。
θ0:=θ0−α1m∑i=1m(hθ(x(i))−y(i))x0(i)θ1:=θ1−α1m∑i=1m(hθ(x(i))−y(i))x1(i)θ2:=θ2−α1m∑i=1m(hθ(x(i))−y(i))x2(i)…\begin{array}{l}{\theta_{0}:=\theta_{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{0}^{(i)}} \\ {\theta_{1}:=\theta_{1}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{1}^{(i)}} \\ {\theta_{2}:=\theta_{2}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{2}^{(i)}} \\ {\ldots}\end{array}θ0:=θ0−αm1∑i=1m(hθ(x(i))−y(i))x0(i)θ1:=θ1−αm1∑i=1m(hθ(x(i))−y(i))x1(i)θ2:=θ2−αm1∑i=1m(hθ(x(i))−y(i))x2(i)…

学习率：θ1:=θ1−αddθ1J(θ1)\theta_{1}:=\theta_{1}-\alpha \frac{d}{d \theta_{1}} J\left(\theta_{1}\right)θ1:=θ1−αdθ1dJ(θ1)
与收敛速度相关

过拟合与欠拟合：我们的假设函数曲线对原始数据拟合得非常好，但丧失了一般推到性，以致于预测效果很差。
解决方法：正则化
作用：控制参数幅度；限制参数搜索空间
J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{j=1}^{n} \theta_{j}^{2}\right]J(θ)=2m1[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]
假设原始线程方式是hθ(x)=θ1x1+θ2x2+θ3x3+θ4x4h_{\theta}(x)=\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4hθ(x)=θ1x1+θ2x2+θ3x3+θ4x4，在线训练过程中，根据训练集数据大小，每一个θ\thetaθ的都可能非常大，或者非常小，这条线抖动非常大。如果在损失函数中加入∑j=1nθj2\sum_{j=1}^{n} \theta_{j}^{2}∑j=1nθj2，因为损失函数要求最小值，所以每一个θ\thetaθ的值就不可能很大。
λ\lambdaλ是一个超参数。λ\lambdaλ太小，正则化项不起作用；λ\lambdaλ太大，学习到的参数主要由正则化项决定，与训练数据无关，也是错误的。
通常使用L1、L2正则化。

logistic回归

线性回归在分类问题上使用，健壮性差，所以使用logistic回归。
sigmoid函数值域在(0,1)之间，可以看做一个概率函数。
在线性回归外面套一层sigmoid函数。

算法方程：hθ(x)=g(θ0+θ1x1+θ2x2)h_{\theta}(x)=g\left(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}\right)hθ(x)=g(θ0+θ1x1+θ2x2)
hθ(x)=g(θ0+θ1x1+θ2x2+θ3x12+θ4x22)h_{\theta}(x)=g\left(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{1}^{2}+\theta_{4} x_{2}^{2}\right)hθ(x)=g(θ0+θ1x1+θ2x2+θ3x12+θ4x22)

损失函数：cost⁡(hθ(x),y)={−log⁡(hθ(x))if y=1−log⁡(1−hθ(x))if y=0\operatorname{cost}\left(h_{\theta}(x), y\right)=\left\{\begin{aligned}-\log \left(h_{\theta}(x)\right) & \text { if } y=1 \\-\log \left(1-h_{\theta}(x)\right) & \text { if } y=0 \end{aligned}\right.cost(hθ(x),y)={−log(hθ(x))−log(1−hθ(x)) if y=1 if y=0

J(θ)=−1m[∑i=1my(i)log⁡hθ(x(i))+(1−y(i))log⁡(1−hθ(x(i)))]J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m} y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]J(θ)=−m1[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]

梯度下降优化公式：θj:=θj−α∂∂θjJ(θ)\theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J(\theta)θj:=θj−α∂θj∂J(θ)

加入正则化：J(θ)=[−1m∑i=1my(i)log⁡(hθ(x(i))+(1−y(i))log⁡1−hθ(x(i))]+λ2m∑j=1nθj2J(\theta)=\left[-\frac{1}{m} \sum_{i=1}^{m} y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log 1-h_{\theta}\left(x^{(i)}\right)\right]+\frac{\lambda}{2 m} \sum_{j=1}^{n} \theta_{j}^{2}\right.J(θ)=[−m1∑i=1my(i)log(hθ(x(i))+(1−y(i))log1−hθ(x(i))]+2mλ∑j=1nθj2

线性回归与 logistic回归相关推荐

机器学习算法（优化）之一：梯度下降算法、随机梯度下降（应用于线性回归、Logistic回归等等）...
本文介绍了机器学习中基本的优化算法-梯度下降算法和随机梯度下降算法,以及实际应用到线性回归.Logistic回归.矩阵分解推荐算法等ML中. 梯度下降算法基本公式常见的符号说明和损失函数 X :所有 ...
【NLP机器学习基础】从线性回归和Logistic回归开始
古语常云:"大道至简",万事万物纷繁复杂,最终却归至几个最简单的道理.我常常在想,如今很火的AI领域是否也是如此.将AI真正学懂学会的过程就像一场遥不可及的漫长攀登,起始于晦涩难懂 ...
线性回归、logistic回归、一般线性模型回归
以下是转载JerryLead博主的,链接为http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html 对线性回归,logistic ...
线性回归、logistic回归
本文是由一份以回归为主题的演讲的幻灯片修改而成,内容包括线性回归.logistic回归.梯度下降.最小二乘法的概念描述和例子讲解,并附有相关的代码. 该幻灯片文件是由LaTeX编译生成的PDF格式文档 ...
线性回归及logistic回归详解
机器学习线性回归 logistic回归 (主要参考吴恩达机器学习) 线性回归线性回归是机器学习中比较基本的一个算法.其基本思想大致可以理解为给定一个数据集,通过线性回归得到一条曲线,尽可能地去拟 ...
对线性回归，logistic回归和一般回归的认识
作为一个机器学习初学者,认识有限,表述也多有错误,望大家多多批评指正. 1 摘要本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识.前四节主要讲述了回归问题,回归属于有监督学习中 ...
线性回归和logistic回归
转自:http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867.html 红字处是个人的理解 1 摘要本报告是在学习斯坦福大学机器学习课 ...
深度学习系列--1.入坑模型: 线性回归，logistic 回归，softmax分类器
惭愧啊,读研的时候学得正是模式识别:当看着书本上都是公式推导.博士师兄们也都在公式推导研究新算法的时候,排斥心理到了顶点,从此弃疗. 工作三年,重新捡起,因为更关注实际操作,所以选择了<pyth ...
线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结（一）
纪念我第一个博客的碎碎念先前我花了四五个月的业余时间学习了Ng的机器学习公开课,学习的过程中我就在想,如果我能把这个课程啃完,就开始写一些博客,把自己的所得记录下来,现在是实现的时候了.也如刘未鹏的 ...

线性回归与 logistic回归

线性回归

logistic回归

线性回归与 logistic回归相关推荐

最新文章

热门文章