深度学习小笔记04－魏秀参《解析深度学习－卷积神经网络原理与视觉实践》

这本书讲的很好，难得的高质量的精华内容，相比其他蹭热度的书靠谱扎实的多。
我这里记录一下阅读过程中对我来说有用的内容，摘抄自原书，因此标记为转载：

9.4小结：

ｐ111在分类问题的目标函数中，交叉熵损失函数是最为常用的分类目标函数，且效果一般优于合页损失函数；大间隔损失函数和中心损失函数的出发点在于增大类间距离、减小类内距离，如此一来不仅要求分类明确，而且还有助于提高特征的分辨能力；坡道损失函数是分类问题目标函数中的一类非凸损失函数，由于其良好的抗噪特性，推荐将其用于样本噪声或离群点较多的分类任务中。
//　我为什么觉得这句重要呢？因为在很多情况下，groundtruth并不一定是准确地，或者其本身含有很多噪声，这在实际是很常见的情况。所有的网络评估标准都是以ＧＴ为依据，但是实际ＧＴ却有可能不是真实值，这时候坡道损失函数的特性就重要多了。

p112在回归问题的目标函数中，L1和Ｌ2是两个直观且常用的回归任务目标函数，在实际使用中L2损失函数略优于L1，Tukey’s biweight损失函数为回归问题中的一类非凸损失函数，同样具有良好的抗噪能力。在一些如人脸年龄估计、头部角度识别等任务标记具有不确定性的特殊应用场景下，基于标记分布的损失函数不失为一种优质的选择。

11.2.5微调神经网络

微调预训练模型就是用目标任务数据在原先预训练模型上继续进行训练过程。
１．　由于网络已经在原始数据上收敛，因此应设置较小的学习率在目标数据上微调，如10^-4或以下、
２．　卷积神经网络浅层拥有更泛化的特征，深层特征更加抽象，对应高层语义，因此，新数据上高层语义更新的可能性较大，可以根据层深设置不同学习率，深层大于浅层
３．　从后往前微调网络，数据越多，可调整越多层（建议）
４．　当目标数据极少同时和原始数据有较大差异时候，目前一种有效的方式是借助部分原始数据与目标数据协同训练。

11.3

批规范化操作可以一定程度上缓解深层网络训练时的“梯度弥散”效应，一般将批规范化操作设置于网络的非线性映射函数之前，批规范化操作可有效提高模型收敛率。（我在别的地方也有说放在后面会好一点，这个嘛。。等用的时候可以都试试）

对于模型优化算法选择，随机梯度下降是目前使用最多的网络训练方法（这本书的出版时间：２０１８年１１月１版，为什么要写明时间，因为这里用的时间是：目前，所以我要写出来时间），通常训练时间较长，但在理想的网络参数初始化和学习率设置方案下，随机梯度下降法得到的网络更稳定，结果更可靠。若希望网络收敛更快且需要训练较复杂结构的网络时，推荐使用其他一堆优化算法。

深度学习小笔记04－魏秀参《解析深度学习－卷积神经网络原理与视觉实践》相关推荐

解析深度学习：卷积神经网络原理与视觉实践
解析深度学习:卷积神经网络原理与视觉实践魏秀参著 ISBN:9787121345289 包装:平装开本:16开正文语种:中文出版社: 电子工业出版社出版时间:2018-11-01
深度学习入门笔记（十五）：深度学习框架（TensorFlow和Pytorch之争）
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
深度学习入门笔记（十二）：深度学习数据读取
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
【深度学习】5：CNN卷积神经网络原理
前言:先坦白的说,深度神经网络的学习在一开始对我造成的困扰还是很大的,我也是通过不断地看相关的视频资料.文献讲解尝试去理解记忆.毕竟这些内容大多都是不可查的,我们看到的都只是输入输出的东西,里面的内部 ...
深度学习卷积神经网络原理
深度学习卷积神经网络原理一.前言二.全连接层的局限性三.卷积层 3.1 如何进行卷积运算? 3.2 偏置 3.3 填充 3.4 步长 3.5 卷积运算是如何保留图片特征的? 3.6 三维卷积 ...
【深度学习】基于Torch的Python开源机器学习库PyTorch卷积神经网络
[深度学习]基于Torch的Python开源机器学习库PyTorch卷积神经网络文章目录 1 CNN概述 2 PyTorch实现步骤2.1 加载数据2.2 CNN模型2.3 训练2.4 可视化训练 ...
神经网络学习（三）比较详细卷积神经网络原理、手写字体识别（卷积网络实现）
之前写了一篇基于minist数据集(手写数字0-9)的全连接层神经网络,识别率(85%)并不高,这段时间学习了一些卷积神经网络的知识又实践了一把, 识别率(96%左右)确实上来了 ,下面把我的学习过程 ...
学习小笔记---机器学习
看书的时候做点笔记,偶尔翻出来看看才能真正掌握:否则很快就遗忘了(艾宾浩斯遗忘曲线). 1 集成学习集成学习 (ensemble learning)通过构建并结合多个学习器来完成学习任务. 根据个体 ...
python与人工智能关系论文_《Python深度学习》笔记：人工智能、机器学习与深度学习关系...
三者之间的关系: 人工智能>>机器学习>>深度学习. 人工智能诞生于20世纪50年代.简洁的定义是:努力将通常由人类完成的智力任务自动化. 因此,人工智能是一个综合性的领域, ...
【深度学习】越来越卷，教你使用Python实现卷积神经网络（CNN）
@Author:Runsen https://blog.csdn.net/weixin_44510615/article/details/117409037 卷积神经网络 Yann LeCun 和Yo ...

深度学习小笔记04－魏秀参《解析深度学习－卷积神经网络原理与视觉实践》

深度学习小笔记04－魏秀参《解析深度学习－卷积神经网络原理与视觉实践》相关推荐

最新文章

热门文章