吴恩达 - 神经网络与深度学习 学习笔记
1.结构化数据与非结构化数据
2.不同规模的深度学习
3. Logistic回归
4.logistic回归的代价函数
5.梯度下降
6.向量化logistic回归梯度下降
7.Python广播,定义向量
8.神经网络
9.激活函数
Tanh激活函数基本在所有场合都比Sigmoid激活函数表现要好,除非是二类的输出层。
线性激活函数几乎不用,除非个例的输出层。
10.随机初始化
例如W[1] = np.random.randn(2,2) * 0.01。如果w值过大,可能导致a的值处于平缓阶段,学习会很慢。
11.神经网络块
12.超参数
来源:http://www.cnblogs.com/marsggbo/p/7466701.html
参数
常见的参数即为W[1],b[1],W[2],b[2]……W[1],b[1],W[2],b[2]……
超参数
- learning_rate: αα
- iterations(迭代次数)
- hidden layer (隐藏层数量LL)
- hidden units (隐藏层神经元数量n[l]n[l])
- 激活函数的选择
- minibatch size
- 几种正则化的方法
- momentum(动力、动量)后面会提到
吴恩达 - 神经网络与深度学习 学习笔记相关推荐
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
- 吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果 想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习(end-to-end deep learning )
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸 介绍 直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
- 吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
- 吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
- 吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析 假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
- 吴恩达神经网络和深度学习-学习笔记-21-何时该改变开发集+测试集或指标
需要我们改变开发集+测试集或指标的情况,是现有的指标或开发测试集并不能帮助我们选择出最好的模型! 如果你的评估指标,无法正确评估好算法的排名,那么就需要花时间定义一个新的评估指标. (加权来排除某一类 ...
最新文章
- iOS正则匹配手机号
- 南大庄建军计算机学院讲座,教师成果 - 南京大学 - 电子信息专业国家级实验教学示范中心...
- matlab Lasso回归
- 【控制】频域分析及奈氏判据
- 16 个写代码的好习惯
- if condition 大于_小函数,大用处!巧用AND函数,避开IF函数嵌套
- C语言程序读写文件(文件内存一个十进制数,每读一次数值加一)
- python参数传递方法_【python学习笔记】函数参数传递方法
- spark学习-28-Spark数据倾斜问题
- 虚拟机,samba服务:路径太深,无法复制
- php获取省市区区划代码,使用PHP解析行政区划代码
- 引用阿里图标库的三种方式——多色图标我选symbol
- 程序员会不会英语的差别
- 单片机中存储器扩展位地址线怎么算_单片机片外数据存储器扩展设计技巧简介...
- 使用lio_sam建图,然后使用LIO-SAM_based_relocalization-master导航
- SQL Server选择题40个
- Springcloud+Seata+nacos 分布式事务项目搭建 AT模式
- 芯片制造良率分析系统YMS
- 模板:求图的强连通分量(SCC)
- 053试题 334/682 - crosscheck