机器学习笔记（八）：神经网络：学习

1）Cost function

2）Backpropagation algorithm

3）Backpropagation intuition

4) Gradient checking

5）Random initialization

6）Putting it together

注：吴恩达老师的机器学习课程对反向传播算法介绍的不够深入，如果想详细了解的话建议看吴恩达老师的深度学习课程。

1）Cost function

回顾一下我们之前介绍的神经网络，二分类和多分类应用：

参数： $L;s_l$

我们参照逻辑回归函数来给出神经网络的代价函数：

对于每一行特征，我们都会预测 K 个结果，然后从 K 个结果中选取概率最大的那个。
最里层 j 循环所有行（由 sl+1 层的神经单元数决定），i 循环所有的列（由 sl 层）的激活单元数决定。

2）Backpropagation algorithm

我们来看看我们的梯度计算公式：

在进行反向传播计算之前，我们来看看我们介绍过的前向传播：

反向传播计算：这一部分建议看看吴恩达老师的深度学习课程，里面详细介绍了反向传播算法。

最后我们得出了反向传播算法，主要还是偏导数的计算：

3）Backpropagation intuition

4) Gradient checking

我们使用数值梯度校验：

5）Random initialization

这里注意的是所有的参数不能全为0：

6）Putting it together

下面介绍的使用神经网络的步骤：

机器学习笔记（八）：神经网络：学习相关推荐

吴恩达机器学习笔记 —— 9 神经网络学习
http://www.cnblogs.com/xing901022/p/9344621.html 本章讲述了神经网络的起源与神经元模型,并且描述了前馈型神经网络的构造. 更多内容参考机器学习& ...
机器学习笔记(八)集成学习
8.集成学习 8.1个体与集成集成学习(ansemblelearning)通过构建并结合多个学习器来完成学习任务,也称为多分类器系统(multi-classifiersystem).基于委员会的学习 ...
吴恩达机器学习笔记week8——神经网络 Neutral network
吴恩达机器学习笔记week8--神经网络 Neutral network 8-1.非线性假设 Non-linear hypotheses 8-2.神经元与大脑 Neurons and the brai ...
机器学习笔记之集成学习(四)Gradient Boosting
机器学习笔记之集成学习--Gradient Boosting 引言回顾: Boosting \text{Boosting} Boosting算法思想与 AdaBoost \text{AdaBoost ...
机器学习笔记-人工神经网络（artificial neural networks）
目录人工神经网络(ANN) 引言感知器什么是感知器? 感知器的例子权重和阈值多层前馈神经网络网络结构正向传播反向传播(Error Back Propagation,BP算法) 后话 ...
机器学习笔记(五)神经网络
5.神经网络 5.1神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.对这句话的理解,简单提要下,主角是简单单元(输入单 ...
[机器学习笔记] Note1--机器学习简介
阅读本文大约需要 2 分钟本文结构: 什么是机器学习监督学习(Supervised Learning) 非监督学习(Unsupervised Learning) 课程小结这是学习 Andrew ...
机器学习笔记-多分类学习，类别不平衡，决策树
读书笔记多分类学习基本思想:拆解法:将多分类任务拆解为若干个二分类任务求解,先对这些问题经拆分,为拆分出的每个二分类任务训练一个分类器,测试时,对这些分类器的预测结果进行集成以获得最终的多分类结果 ...
[机器学习笔记]Note9--机器学习系统设计
继续是机器学习课程的笔记,本节课的内容主要是介绍如何设计一个机器学习系统. 首先要做什么这节课将介绍如何设计一个机器学习系统,首先是以设计一个垃圾邮件分类器算法作为例子. 为了解决这个问题,首先要决 ...
[机器学习笔记]Note8--机器学习应用建议
继续是机器学习课程的笔记,本节课的内容主要是一些机器学习应用的建议,包括对假设的评估,如何处理过拟合和欠拟合等. 觉得下一步做什么到目前为止,我们已经学习了线性回归,逻辑回归以及神经网络,梯度下降等 ...

机器学习笔记（八）：神经网络：学习

1）Cost function

2）Backpropagation algorithm

3）Backpropagation intuition

4) Gradient checking

5）Random initialization

6）Putting it together

机器学习笔记（八）：神经网络：学习相关推荐

最新文章

热门文章