吴恩达神经网络和深度学习——第三周笔记
Week 3
目录
Week 3
3-1神经网络概述
3-2神经网络的表示
3-3计算神经网络的输出
3-4多个栗例子中的向量化
3.5 向量化实现的解释
3-6、3-7、3-8激活函数
3-11随机初始化权重
3-1神经网络概述
这就是神经网络：
3-2神经网络的表示
这个神经网络是“双层神经网络”，只有两层，虽然有输入层、隐藏层、输出层，但从上标来看，输入层是为第0层，所以隐藏层才是第一层，输出层为第二层：
3-3计算神经网络的输出
圆圈代表了回归计算的两个步骤：所以，神经网络只不过重复的计算这些步骤很多次。
这是神经网络的第一个小圆圈，也是第一个节点，它所作的事情就是做了这两步计算。
其余三个节点，同样的计算着这两步，唯一的差别就是下标发生了变化，从1逐渐变为4，上标不发生变化，因为始终都在第一层，所以始终为1.如下图所示：
如上图所示，如果采用for循环来执行这些计算，那么效率会非常低下，所以我们将这四个等式向量化：首先，我们有四个logistic回归单元（也就是隐藏层的四个小圆圈），每一个回归单元，都有对应的W，b参数。那么我们把4个向量W堆叠在一起：如下图所示，就形成了一个4×3的矩阵——4表示有4个隐藏单元（4个圈），3表示有3个输入特征（x1,x2,x3)
然后和X相乘，在加上b结果就为Z：
所以，我们就可以将等式向量化，变成更容易理解的符号：
第一层隐藏层的参数就变成：
第二层输出层参数就变为：
3-4多个栗例子中的向量化
如何将不同训练样本向量化？？
如果没有向量化的话，那么只能用for循环来实现：对m个训练样本内循环：
上面循环里的四步，就是我们要做的，我们可以将其转化为：
大家也许会很好奇，圈起来的4个东西怎么和上面的不一样，还有，怎么x变成了X,原因就是，我们将向量横向堆叠起来，构成了另一个向量：
所以就有了
横向代表不同的训练样本，竖向代表每一个节点）
3.5 向量化实现的解释
3-6、3-7、3-8激活函数
到目前为止，一直用的都是sigmoid函数，其实也有其他更好的选择
tanh()函数是-1~1，用在哪都比较好，一个例外是用在输出层不太好，因为我们更希望输出是一个0~1的值，所以输出还是可以用sigmoid函数的。也反映出，不同层可以有不同的激活函数。
因此我专门总结了一篇关于激活函数的博客https://blog.csdn.net/LLyj_/article/details/82945025
3-9、3-10神经网络的梯度下降算法
前向传播（Forward propagation）
反向传播（Back propagation）
3-11随机初始化权重
训练神经网络的时候，随机初始化权重非常重要，对于logistic回归，可以将权重初始化为0.但如果将神经网络的各参数数组全部初始化为0，再使用梯度下降算法，那会完全无效。
吴恩达神经网络和深度学习——第三周笔记相关推荐
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习（end-to-end deep learning ）
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果 想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
- 吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸 介绍 直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
- 吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
- 吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
- 吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析 假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
最新文章
- linux安全问答（1）
- python-深浅copy-18
- Tokyo Tyrant的下工具的使用
- php 如何设计索引_Mysql学习浅谈mysql的索引设计原则以及常见索引的区别
- 利旧IBM X3650m2 安装esxi5.1提供云桌面（备忘）
- 人工智能工程师需具备的技能_2020年软件测试工程师需要具备的技能--需要学什么--面试题有哪些（灵魂拷问）...
- 一分钟在Linux 环境 搭建 SFTP服务器
- linux shell 读取文件脚本
- Effective C# Item30：尽可能实现CLS兼容的程序集
- JVM常见垃圾收集器
- 周期性行业是什么意思_什么样的股票适合长期持有？股票知识学习
- Android中关于键盘的处理
- Latex安装教程（附美赛论文latex模板）
- 关于JlinkV8在SEGGSE-JLINK驱动V6.0以上版本连接调试不了的解决方法
- 电商常见业务场景分析思路（持续更新中......）
- 【三维激光扫描】第一章：三维激光扫描入门基础知识
- MyGUI_Orge官网教程_2.快速在工程中使用MyGUI
- 三年级计算机活动记录,小学三年级主题班会活动记录
- 多媒体 || GIF压缩与JPEG压缩的对比
- 用Python实现微信公众号WCI指数计算器