深度学习和神经网络—

逻辑回归的损失函数：
J（θ）=-(ylogy^+(1-y)log（1-y^）) ，（这里省略了连加求和，事实上这是loss function）
当y=1时，J（θ）=-logy^,为了使得J（θ）更接近0，我们需要使得y^更接近于1，由于y^是在sigmoid函数作用之后得来的，它最大不会超过1，所以我们需要使y^尽可能的大。
同理，y=0时，J(θ)=-log(1-y^)，所以为了使得J（θ）更接近0，我们需要使得y^更接近0，所以，我们需要让y^尽可能的小。

loss function损失函数是衡量单一训练样例的效果
cost function成本函数用于衡量参数w和b在全部训练集上的效果

那么如何使得成本函数变的更小呢，这里就需要提到梯度下降算法，由于我们的成本函数是一个凸函数（这也是我们为什么使用它而放弃使用1/2（y-y^）^2的原因），所以梯度下降算法会有很好的效果。

这里我们需要抛弃机器学习中J（θ）的设定，改为J（w,b）,为什么这么做呢，我们可以更直观的理解“梯度下降算法”，梯度下降算法是如何使得J变小呢? 这里我们需要明白，w和b是如何变小的，当w和b变小J自然变小了，w:=w-αdJ/dw, b:=b-αdJ/db，这里我们就明白了，为什么J是变小的。（其实这里应该使用偏导符号 ∂，因为函数J有两个以上的变量，但是有点难打，所以理解就好）。

为何要向量化，向量化的好处是什么？
在python中，若不将w、x等向量化，那么需要进行大量循环操作，这无疑会减慢速度，例如对z=wx+b来说:
for i int range(n-x)
z+=wi*xi
z+=b
这样的代码是不好的代码，而作为对比
numpy .dot函数
z=np.dot(w,x)+b

对比

深度学习和神经网络——第二周笔记相关推荐

吴恩达深度学习 | (2) 神经网络与深度学习专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分,本篇博客将介绍第一部分神经网络和深度学习专项的第二周课程:神经网络基础.由于逻辑回归算法可以看作是一个单神经元(单层)的网络结构,为了 ...
网易云深度学习第一课第二周编程作业
Part 2: Logistic Regression with a Neural Network mindset 你将学到: -建立学习算法的一般架构 -初始化参数 -计算损失函数和它的梯度 -使用 ...
吴恩达深度学习第一课--第二周神经网络基础作业下代码实现
文章目录需要的库文件步骤取出训练集.测试集了解训练集.测试集查看图片数据维度处理标准化数据定义sigmoid函数初始化参数定义前向传播函数.代价函数及梯度下降优化部分预测部分 ...
吴恩达深度学习第一课--第二周神经网络基础作业上正反向传播推导
文章目录正向传播推导第i个样本向量化(从个别到整体) 判断向量维度将原始数据进行整合反向传播推导第i个样本损失函数代价函数梯度下降法(实则是多元函数求微分) 向量化(从个别到整体) ...
15个小时彻底搞懂NLP自然语言处理（2021最新版附赠课件笔记资料）【LP自然语言处理涉及到深度学习和神经网络的介绍、 Pytorch、 RNN自然语言处理】笔记
15个小时彻底搞懂NLP自然语言处理(2021最新版附赠课件笔记资料)[LP自然语言处理涉及到深度学习和神经网络的介绍. Pytorch. RNN自然语言处理] 笔记教程与代码地址 P1 机器学习与 ...
吴教主深度学习和神经网络课程总纲
第一部分:神经网络和深度学习第一周深度学习概论第二周神经网络基础 1.2.1 Logistic回归和梯度下降简介 1.2.2 Logistic回归和梯度下降计算的数学流程练习:numpy b ...
一文掌握深度学习、神经网络和学习过程的历史
来源:算法与数学之美本质上,深度学习是一个新兴的时髦名称,衍生于一个已经存在了相当长一段时间的主题--神经网络. 从20世纪40年代开始,深度学习发展迅速,直到现在.该领域取得了巨大的成功,深度学习 ...
深度学习超分辨率综述阅读笔记（翻译）
深度学习超分辨率综述阅读笔记(翻译) https://arxiv.org/abs/1902.06068 摘要:图像超分辨率(SR)是计算机视觉中增强图像和视频分辨率的一类重要图像处理技术.近几年来,图 ...
【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程（下）——深度神经网络用于图像分类：应用
在阅读这篇文章之前,请您先阅读:[深度学习]吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程(上)--一步步建立深度神经网络,这篇文章是本篇文章的前篇,没有前篇的基础 ...

深度学习和神经网络——第二周笔记

深度学习和神经网络——第二周笔记相关推荐

最新文章

热门文章