《解析深度学习》部分笔记
记录一些书里的知识点，摘自魏秀参的《解析深度学习-卷积神经网络原理与视觉实践》
- 第三章 卷积神经网络经典结构
1.在深度学习中，深度卷积神经网络呈现“分布式表示”，既“语义概念”到神经元是一个多对多映射。直观讲就是：每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表示中去。（对某个模式，会有不同卷积核产生响应；对某个卷积核，也会在不同模式上产生响应）
2.神经网络响应的区域多呈现“稀疏”特性，即响应区域集中且占原图比例较小。
3.深度特征的层次性。卷积操作可以获取图像区域不同类型的特征，而池化等操作可以对这些特征进行融合和抽象，随着若干卷积和池化操作的堆叠，从各层得到的深度特征逐渐从泛化特征（如边缘、纹理等）过渡到高层语义表示（躯干、头部等）。
- 第四章 卷积神经网络的压缩
（这部分知识点挺多，后续若有使用的地方专门补充）
- 第五章 数据扩充
1.特殊的数据扩充方式：Fancy PCA
首先对所有训练数据的R、G、B像素进行主成分分析，得到对应的特征向量和特征值，然后根据特征向量和特征值可以计算一组随机值，将其作为扰动项加入到原像素值中即可。
参考文献：Alex Krizhevsky,Ilya Sutskever,and Geoffrey E. Hinton. ImageNet classification with deep convolutiional neural networks. 2012
2.特殊的数据扩充方式：监督式数据扩充
海康威视研究院提出的一种监督式（利用图像标记信息）的新型数据扩充方式。在场景分类问题中，主要依靠图片所蕴含的高层语义进行分类，此时若采用随机截取等简单的数据扩充方法，会很容易漏掉关键信息，还会引入一些影响分类判断的错误标记，可以使用以下方法：首先用原始数据训练出一个初始分类模型，并利用该模型生成每个图的heat map，这张特征图可以指示图像区域与场景标记之间的相关概率。之后，依据此概率映射会原图选择较强相关的图像区域作为扣取的图像块。
这种数据扩充方式适用于一些高层语义图像分类任务，比如场景分类和基于图像的节日分类等。
- 第六章 数据预处理
1.归一化。卷积神经网络中的数据预处理操作，通常是计算训练集图像像素均值，之后在处理训练集、验证集和测试集图像时需要分别减去该均值。减均值操作的原理是：我们默认自然图像是一类平稳的数据分布（既数据每一个维度的统计都服从相同分布），此时，从每个样本上减去数据的统计平均值（逐样本计算）可以移除共同部分，凸显个体差异。
- 第十一章 超参数设定和网络训练
1.小卷积核相比大卷积核有两项优势：(1)增加网络容量和模型复杂度;(2)减少卷积参数个数
2.批规范化操作(BN)，该方法在一定程度上换建立深层网络的“梯度弥散”问题
- 第十二章 不平衡样本的处理
1.数据层面的处理
(1)数据重采样
包括上采样和下采样，上采样可以复制少的类别的图像使其与样本最多类别的样本数一致，也可以使用数据扩充的方式代替简单的复制操作。下采样并不是直接随机丢弃一部分图像（那样做会降低训练数据多样性进而影响模型泛化能力），正确的下采样方式为，在 批处理训练 时对 每批 随机抽取的图像严格控制其样本较多类别的图像数量（既每批训练的时候随机抽样来保证正负样本量一致，并不丢弃多的样本）。此外，还需注意的是，仅使用数据上采样有可能引起模型过拟合问题，更保险且有效的数据重采样是将上采样和下采样结合使用。
(2)类别平衡采样
该策略是把样本按类别分组，由每个类别生成一个样本列表。在训练过程中先随机选择1个或者几个类别，然后从各个类别所对应的样本列表中随机选择样本，这样可以保证每个类别参与训练的机会比较均衡。（在此之上提出一个优化的方法：类别重组法）
2.算法层面处理
(1)代价敏感方法
增加小样本错分的“惩罚代价”并将此“惩罚代价”直接体现在目标函数中。这样，通过优化目标函数就可以调整模型在小样本上的“注意力”。
以分类问题为例，介绍以下两种方法
-基于代价敏感矩阵的代价敏感：
假设N个样本，，其中样本标记y属于K类，利用K×K的矩阵C对不同样本类别施加错分惩罚（亦可称权重）：
其中表示类别yi错分为yj的“惩罚”，对角线元素为0。
施加代价之后的训练目标变为：训练得到的某分类器g，使得期望代价之和最小。
可以看出，代价敏感矩阵反映是是类别级别的错分惩罚。
-基于代价敏感向量的代价敏感：
代价敏感向量反映的是样本级别的错分惩罚。
对某样本，有对应的一个K维代价敏感向量Cn，其中Cn的第k维表示该样本被错分为第k类的惩罚，自然第yn类为0。
基于代价敏感向量的方法在模型训练阶段，是将样本级别的代价敏感向量与样本以的三元组形式一同作为输入数据送入学习算法。
代价敏感矩阵实际上是代价敏感向量的一种特殊形式，即对于某类的所有样本，其错分惩罚向量为同一向量。
3.代价敏感法中权重的指定方式
(1)按照样本比例指定
样本数量多的，对应逞罚权重可以设为稍小值
(2)按照混淆矩阵指定
一种方式可以直接以错分样本数为矩阵取值；更优的方法是考虑各类的错分比例，并以此比例调整各类错分权重。
- 第十三章 模型集成方法
（知识点很多，后续有使用专门补充）
参考资料：
《解析深度学习-卷积神经网络原理与视觉实践》 魏秀参
《解析深度学习》部分笔记相关推荐
- CS224n NLP句法分析依赖解析深度学习作业笔记
CS224n NLP句法分析依赖解析深度学习之作业笔记 句法分析的基础内容请参阅CS224n笔记6 句法分析 http://www.hankcs.com/nlp/cs224n-dependency-p ...
- 阿里云天池大赛赛题解析(深度学习篇)--阅读笔记1--赛题一
阿里云天池大赛赛题解析(深度学习篇)–阅读笔记1 [x]表示遇到不懂的知识,将在[知识补充]给出具体讲解. 文章目录 阿里云天池大赛赛题解析(深度学习篇)--阅读笔记1 前言 赛题一 瑞金医院MMC人 ...
- CSDN技术主题月----“深度学习”代码笔记专栏
from: CSDN技术主题月----"深度学习"代码笔记专栏 2016-09-13 nigelyq 技术专题 Hi,各位用户 CSDN技术主题月代码笔记专栏会每月在CODE博客为 ...
- 深度学习入门笔记（六）：误差反向传播算法
专栏--深度学习入门笔记 推荐文章 深度学习入门笔记(一):机器学习基础 深度学习入门笔记(二):神经网络基础 深度学习入门笔记(三):感知机 深度学习入门笔记(四):神经网络 深度学习入门笔记(五) ...
- [源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略
[源码解析] 深度学习流水线并行 PipeDream(6)- 1F1B策略 文章目录 [源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略 0x00 摘要 0x01 流水线比 ...
- 2015伦敦深度学习峰会笔记：来自DeepMind、Clarifai等大神的分享
2015伦敦深度学习峰会笔记:来自DeepMind.Clarifai等大神的分享 发表于 2015-10-20 06:35| 940次阅读| 来源 Medium| 3 条评论| 作者 Alessand ...
- 【分类器 Softmax-Classifier softmax数学原理与源码详解 深度学习 Pytorch笔记 B站刘二大人（8/10）】
分类器 Softmax-Classifier softmax数学原理与源码详解 深度学习 Pytorch笔记 B站刘二大人 (8/10) 在进行本章的数学推导前,有必要先粗浅的介绍一下,笔者在广泛查找 ...
- [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现
[源码解析] 深度学习流水线并行Gpipe(1)-流水线基本实现 文章目录 [源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现 0x00 摘要 0x01 概述 1.1 什么是GPip ...
- 解析深度学习：卷积神经网络原理与视觉实践
解析深度学习:卷积神经网络原理与视觉实践 魏秀参 著 ISBN:9787121345289 包装:平装 开本:16开 正文语种:中文 出版社: 电子工业出版社 出版时间:2018-11-01
最新文章
- python代码根据当前时间获取下一周的日期
- UVa1450 Airport(二分法)
- 【Java】统计字符个数
- 2018年全球智能手机销售收入增至5220亿美元 但销量却下降了
- Centos7安装Nginx实战
- jquery-animate()动画
- oracle入门教程+视频教程
- 数据结构教程 李春葆主编 （第5版）绪论笔记
- AJAX框架眼镜穿搭夏天,夏日太阳镜别乱戴，时髦型男必备这几款太阳镜，防晒帅气兼具...
- Python之面向对象
- raid5什么意思?如何做raid5?raid5 几块硬盘?
- YARN中的任务队列调度器-公平调度器（Fair Scheduler）
- python基于词向量的古诗生成器
- Java实现HighCharts纯后台图表生成
- 自制表情包——python合成gif
- 人口密度修正后的全球疫情热力图，看各国疫情严重程度
- uniapp 模块权限配置 权限管理中英对照
- （夏季）你不得不注意的一种比蚊子还可怕的东西！
- 2018 BACS Regional Programming Contest C. BACS, Scoundrel Shopkeeper and Contiguous Sequence (模拟)
- Microsoft Windows Win32k本地提权漏洞分析