《生成式深度学习》Generative Deeping Learning 笔记 第二章 深度学习
书本资源：链接：https://pan.baidu.com/s/1bUbQEndrHHWlRB_Cp_f7NA 提取码：rfit
基于keras和tensoflow框架来写的。
1. 三种最常用的损失函数：MSE(均方差)，categorical cross-entropy(分类交叉熵), and binary cross-entropy(二元交叉熵)。
选择依据：
（1）若你的神经网络是设计来解决一个回归问题(比如：输出是连续的)，那么你可以使用均方差。
这是对于每一个输出单元的真实值yi和预测值pi之间的平均方差：。
（2）若是分类问题，且每个观察只属于一类，那么选择分类交叉熵：。
（3）若是具有一个输出单元的二元分类问题，或多标记问题，其中每个观察可以同时属于多个类，
那么选择二元交叉熵： 。
2. 优化器：是基于损失函数的梯度，用来更新神经网络中权重的算法。
两种最常见的优化器：Adam和RMSProp。调整主要涉及到学习率设定的问题，学习率越大每一步权重的改变就越大。
3. batch size(批量大小)：batch size越大，梯度计算越稳定，但是每一步训练越慢。若每一步训练使用全部的数据集来计算梯度，这会耗费太多时间和计算力，所以一般一个batch size选择在32 - 256之间。
epoch(轮)：数据集里的所有观察量被遍历一遍，称为一个epoch。
4. 通常，通过padding="same"这样的卷积层后输出的尺寸为：
。
5. 每一层参数量(权重)的计算，要记得bias。比如卷积层尺寸为(4×4×3×10)，参数量为(4×4×3+1)×10=490。
6. batch normalization(批归一化)：可解决梯度爆炸问题。计算平均值和标准差。在test起作用，所以需要把每一层的平均值和标准差记录下来在测试的时候用。一般在卷积层或全连接层后面用。
BatchNormalization(momentum = 0.9) The momentum parameter is the weight given to the previous value when calculating the moving average and moving standard deviation.
输入数据要经过缩放(比如图像像素0-255缩放到-1和1之间)，为了保证网络在一开始训练的时候比较稳定，但是后面越来越稳定，是因为协方差漂移。协方差漂移就像风吹你抱着的一摞书……emmm batch normalization是一种可以大大减少此问题的解决方案。
7. 解决过拟合问题：正则化和dropout。dropout在test时不起作用。
Dropout(rate = 0.25) Dropout layers are used most commonly after Dense layers since these are
most prone to overfitting due to the higher number of weights, though you can also use them after convolutional layers.
注意：Batch normalization also has been shown to reduce overfitting, and therefore many modern deep learning architectures don’t use dropout at all, and rely solely on batch normalization for regularization. As with most deep learning principles, there is no golden rule that applies in every situation—the only way to know for sure what’s best is to test different architectures and see which performs best on a holdout set of data.(懒的翻译了，就是BN也可以用来减少过拟合问题，所以现在有些就完全不用dropout，只依靠BN来正则化。但是呢？具体怎么用看你自己试，效果好就行。)
注意：BatchNormalization 和 Activation层使用先后只是喜好问题。作者喜欢BatchNormalization 在 Activation之前，If you do choose to use BatchNormalization before Activation then you can remember the order using the acronym BAD (BatchNormalization, Activation then Dropout)! （记得BAD。。）
《生成式深度学习》Generative Deeping Learning 笔记 第二章 深度学习相关推荐
- Foundations of Machine Learning 2nd——第二章 PAC学习框架 后记
Foundations of Machine Learning 2nd--第二章 PAC学习框架后记 前言 Generalities 一般性 可确定性 VS 随机场景 定义1 Agnostic PAC ...
- Foundations of Machine Learning 2nd——第二章 PAC学习框架
Foundations of Machine Learning 2nd--第二章 PAC学习框架 前言 定义介绍 Generalization error Empirical error 定理1 PA ...
- 计算机网络（第五版 作者：AndrewS．Tanenbaum David J.Wetherall 清华大学出版社）读书笔记----第二章的学习
计算机网络第二章--物理层读书笔记 1.物理层是网络的技术设置,物理层的材质和带宽决定了最大的传输速率. 2.传输介质的分类:引导性(有线介质)和非引导性(无线介质). (1)有线介质:磁介质.双绞线 ...
- 第二章 oceanbase学习之手动部署
系列文章目录 第一章 oceanbase学习之docker方式部署 第二章 oceanbase学习之手动部署 第三章 oceanbase学习之迁移MySQL数据到oceanbase 第四章 ocean ...
- 《学习geometric deep learning笔记系列》第一篇，Non-Euclidean Structure Data之我见
<学习geometric deep learning笔记系列>第一篇,Non-Euclidean Structure Data之我见 FesianXu at UESTC 前言 本文是笔者在 ...
- 《Go语言圣经》学习笔记 第二章 程序结构
Go语言圣经学习笔记 第二章 程序结构 目录 命名 声明 变量 赋值 类型 包和文件 作用域 注:学习<Go语言圣经>笔记,PDF点击下载,建议看书. Go语言小白学习笔记,几乎是书上的内 ...
- PhalAPI学习笔记 ——— 第二章接口服务请求
PhalAPI学习笔记 --- 第二章接口服务请求 前言 接口服务请求 接口服务请求案例 自定义接口路由 开启匹配路由 配置路由规则 nginx apache 服务请求 结束语 前言 公司业务需要转学 ...
- [go学习笔记.第二章] 2.go语言的开发工具以及安装和配置SDK
一.工具介绍: 1.Visual Studio Code 一个运行于Mac,Windows,和linux上的,默认提供Go语言的语法高亮的IED,可以安装Go语言插件,还可以支持智能提示,编译运行等功 ...
- 小吴的《机器学习 周志华》学习笔记 第二章 模型评估与选择
小吴的<机器学习 周志华>学习笔记 第二章 模型评估与选择 上一周我们介绍了第一章的基础概念,这一次将带来第二章的前三节.后面的2.4 比较检验与2.5 偏差与方差,涉及概率论与数理统计概 ...
- 小吴的《机器学习 周志华》学习笔记 第二章 2.4 比较检验、2.5 偏差与方差
小吴的<机器学习 周志华>学习笔记 第二章 2.4 比较检验. 2.5 偏差与方差 2.4 比较检验 上一周提到了实验的评价方法和性能量度,步骤简单可以看成:先使用某种实验评估方法测得学习 ...
最新文章
- ASP 连接Access2013的accdb文件
- JRuby大捷：ThoughtWorks宣布Mingle发布在即
- SQL Server 2016 列存储技术做实时分析
- 统计次数c语言,C 语言统计关键字出现次数
- sringboot security基本用法
- c语言中专业英文词汇的意思,c语言常见专业英语词汇
- DPDK Release 20.08
- springboot基于微信小程序“智慧校园” 一体式的设计与实现毕业设计源码091634
- 美国弗吉尼亚大学计算机科学,弗吉尼亚大学计算机科学专业怎么样？
- android 指纹验证api
- 电脑故障（一）台式电脑看网络直播屏幕黑屏
- mysql日期vlog
- threeJS导入FBX模型
- 基于JAVA电商购物商城系统设计与实现 开题报告
- 空洞卷积/扩张卷积（Dilated convolution)-笔记
- 苹果 谷歌 微软 三国混战 附地图详解
- 凤凰卫视：收受瑞星巨额贿赂官员被捕视频
- 西门子em235模块的功能_上海西门子S7-300FM351定位功能模块,西门子信号板6ES7288-5AQ01-0AA0...
- 新时达服务器显示下行限位,新时达STEP系统调试说明
- 外包以小时计算金额的费用_嘉德集团外包费测算表(2016版)