1.2.1 Logistic回归和梯度下降简介

2024-05-29 19:28:55

二分分类

计算机要保存一张图片，实际需要保存三个矩阵。分别对应的是红绿蓝三个颜色通道。

在二分分类问题中，目标是训练出一个分类器。它以图片中的特征向量x作为输入，预测输出结果标签y是1（是一个猫）还是0（不是一个猫）

最后，为了方便表示，我们将x和y都写成矩阵形式，在python中

x.shape()

这样的命令就是用来看矩阵的行数和列数。

logistic回归

这是一个学习算法，在监督学习中处理二分问题。

如图所示

对于一个Logistic回归而言，通常学习的就是一个

y=wTx+b

y = w^Tx+b
的过程，实际上，对于一维而言。我们可以理解成是y=ax+b的过程。然而这个数算出来可能很大，也可能很小。而我们希望算出来的是一个介于0到1之间的概率，因此我们要用sigma函数处理一下 σ\sigma

logistic回归损失函数

为了训练logistic函数的w和b需要定义一个成本函数。下面讲解一下利用logistic来训练成本函数。

最后，Loss function是在单个训练样本中定义的，它衡量了在单个训练样本上的表现。下面定义的成本函数（Cost function），是在总体样本中的表现。

梯度下降法

这里介绍一下用梯度下降法来训练w和b

成本函数衡量了w和b在训练集上的效果，要学习得到合适的w和b，自然的就会想到成本函数J尽量小，由此来确定w和b。

我们使用梯度下降的方法，来期望得到全局最优解。这张三维图可以直观的帮助我们理解梯度下降法，我们假设w和b都是一维的。这里的J(w,b)实际上表示的就是这个像碗一样图形的高度。我们用梯度下降法来找到这个碗底，实际上就是找到这个全局最优解。

我们进一步直观的来理解梯度下降法

如图所示，我们忽略了b，只是从J和w的角度来考虑，实际上梯度下降的过程就是不断迭代

w=w−αdJ(w)dw

w=w-\alpha\frac{dJ(w)}{dw}
b也是同样的道理，如果我们从三个变量角度出发，所不同的是求的是偏导数而不是导数而已。

1.2.1 Logistic回归和梯度下降简介相关推荐

1.2.2 Logistic回归和梯度下降计算的数学流程
计算图可以说,一个神经网络的计算都是按照前向或者反向传播过程来实现的,首先计算出神经网络的输出,紧接着一个反向传播的操作.后者,我们用来计算出对应的梯度或者导数.这个流程图解释了为什么用这样的方式来 ...
2.14 向量化 Logistic 回归的梯度输出-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.13 向量化 Logistic 回归回到目录 2.15 Python 中的广播向量化 Logistic 回归的梯度输出 (Vectorizing Logistic R ...
2.9 Logistic 回归的梯度下降法-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.8 计算图的导数计算回到目录 2.10 m 个样本的梯度下降 Logistic 回归的梯度下降法 (Logistic Regression Gradient Desce ...
深度学习（二）向量化 Logistic 回归及其梯度输出
概述本篇属于理论篇,你将了解什么是向量化.向量化对神经网络训练优化的重要性,以及如何向量化 Logistic 回归及其梯度输出. 转自猴开发博客:深度学习(二)向量化 Logistic 回归及其梯度 ...
Logistic回归与梯度下降法
Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法.通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是 ...
线形回归和梯度下降的Python实例。
线形回归和梯度下降的Python实例. 内容模仿学习于:https://www.cnblogs.com/focusonepoint/p/6394339.html 本文只是做为一个自我梳理线形回归的特 ...
逻辑回归与梯度下降策略之Python实现
逻辑回归与梯度下降策略之Python实现 1. 映射到概率的函数sigmoid 2. 返回预测结果值model函数 3. 计算损失值cost 4. 计算梯度gradient 5. 进行参数更新 6. ...
逻辑回归的梯度下降公式详细推导过程
逻辑回归的梯度下降公式逻辑回归的代价函数公式如下: J(θ)=−1m[∑i=1my(i)log⁡hθ(x(i))+(1−y(i))log⁡(1−hθ(x(i)))]J(\theta)=-\frac{ ...
深度学习（23）随机梯度下降一: 随机梯度下降简介
深度学习(23)随机梯度下降一: 随机梯度下降简介 1. What's Gradient? 2. What does it mean? 3. How to search? 4. For instanc ...

最新文章

热门文章