【神经网络与深度学习】读书笔记

花了差不多两个星期读完，是一本非常好的书，除去专业知识外还增加了许多的额外知识，包括使用神经网络的原因以及卷积网络的由来，甚至加入了大量的生物方面的知识，使得整本书阅读起来都非常有趣。由于对算法原理讲解的也十分透彻，使得这本书也十分适合初学者使用。结合应用以及实际方法使得整体算法理解起来也非常的容易。通过阅读这本书，我对卷积网络的认识以及一些常用的算法都有了比较好的认识。唯一有一点小问题的就是对HMM（隐马尔科夫）算法的介绍有点少，所以理解起来还是有些吃力的。在此也感谢本书作者撰写了这么好的一本书。下面是一些在阅读完成后自己回顾的笔记。

主要涉及到的算法将包含CNN（卷积神经网络）、RNN（循环神经网络）、MCTS、自编码器、PGM、贝叶斯网络（BN）、BP（误差反相传播）

1-卷积神经网络CNN

这是根据自己理解画的一个图，首先进行名词解释的介绍。

卷积层-顾名思义，就是使用一系列的核对输入层进行关注点对象的提取，可以看到在卷积层部分画了很多张，而每一张就可以理解为对应着一种不同的核。这就表明，在卷积层可以对输入图像进行关键点特征，或是感兴趣区域的提取。需要注意的是，卷积层对应的神经元一定与输入层是相同的，即便是将池化层结果作为输入再次进入卷积层时，卷积层的输出也与输入（池化层的输出结果）神经元数量相同。在最开始的时候，与输入层相连的第一个卷积层，输入层的每一个像素对应卷积层的一个神经元。

池化层-池化层的意义在于能够将卷积得出的关键对象进行缩小块处理，从而使得关键点像素变得更加集中。具体方法是对一个局部区域内的像素进行均值，最高值等的处理，从而达到将关注区域减小的目标。池化层的输入将大于输出层。

特点：对Hidden层的每一张而言，它们的权重都是相同的，这样能够在一定程度上降低计算负担。

由于是提取关注物体的不同细节，因此，这种提取出的特征是具有缩放性和旋转不变性的。

使用的分类函数通常为sigmoid，输出结果在（0,1）之间。

2-RNN循环神经网络

Why：用于解决没有知识记忆的问题，因此无法思考与上下文有关的内容

What：是一个具有循环记忆的网络，可维持信息

How：一个状态位，加入当前的输入，能够对下一个状态是否继续保存进行控制，可认为是一个有外界控制的自循环

Disadvantage：当距离过长时，是无法对状态进行保存的

3-LSTM

Why：可视为RNN的改进版，用于解决RNN无法对长期状态进行保存的问题

What：作为RNN的变种，可以通过加入门限或观察窗口等，进一步对需要维持的信息进行控制

How：

还是根据自己的理解画的，如果有不对的地方，也欢迎大家给我留言进行改正

4-稀疏编码

采用独立分布随机高斯矩阵，降维提取特征，并对节点进行编码

5-栈式自编码器

前两个图是用画图纯画出来的，后来才发现原来Visio并没有过期┑(￣Д ￣)┍，那就Visio了呗。大致原理就是这样了。

6-BP（误差反向传播）

需要注意的是误差将分摊给各层的所有单元，而不是某一个或几个，进而对各层进行修复

7-RBM（限制玻尔兹曼机）

Why：基于能量学发现，所有的能量函数都能生成一个概率分布，进而求解目标函数；可用于描述变量高层的相互作用，可以使用概率分布函数或能量函数

What：使用生成方法，利用样本，结合各种概率模型等，生成一种概率模型，以后的判定都采用这些生成的模型，对变量进行分类

How：结合物理学算法，能够立足于系统整体，定义能量函数--->变量概率分布--->求解目标函数（最大似然）；层内无连接，层间全连接

8-DBN（Deep Belief Network深度信念网，下面会介绍另一个DBN，Dynamic Bayesian Network动态贝叶斯网络）

Why：

What：结合物理学算法，能够立足于系统整体，定义能量函数--->变量概率分布--->求解目标函数（最大似然）

How：使用多个RBM堆砌而成的；信号采用RBM进行传播，反馈则使用BP等算法进行调整

9-MCTS

Why：

What：搜索博弈树的替代，AlphaGo的初始启蒙想法。

How：利用掷骰子的方法确定每一步下棋的位置，并根据本局的胜负情况对每个位置的得分进行调整。在完成多次尝试后，即可开始实现有思想的下棋方式。

10-强化学习

马尔科夫决策过程，通过回报函数进行训练，通过不断的训练回馈最终学习到什么是好的

11-概率图模型

有向无环图，节点表示状态，向量上数值表示概率

贝叶斯模型（条件概率）P(A|B)=P(B|A)P(A)/P(B)，主要应用有拼写查错等

12-HMM（隐马尔科夫模型）

其中观测事件并不与状态一一对应，需要一个随机过程感知状态的存在及特性（个人理解：不同状态对应的观测事件也是一种随机关系，类似条件概率），但感觉理解的并不深入，在以后的学习中会对其进行补充。

13-DBN（Dynamic Bayesian Network动态贝叶斯网络）

Why：可用于弥补贝叶斯网络只能反映静态特征

14-无向图概率

What：用于解释空间相互关系和相互依赖性

How：马尔科夫随机场（MRF）可表示依赖关系，但不能表示推导关系

15-最后是对AlphaGo的系统介绍

策略网络：通过训练集的训练，使得可以用于确定下一步落子在每个位置，每个位置对应的概率

估值网络：可用于确定下一步落子位置导致的整盘棋的胜利

快速决策网，利用局部特征和线性模型训练得到快速走棋策略

【神经网络与深度学习】读书笔记相关推荐

深度学习读书笔记之RBM（限制波尔兹曼机）
深度学习读书笔记之RBM 声明: 1)看到其他博客如@zouxy09都有个声明,老衲也抄袭一下这个东西 2)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的 ...
深度学习读书笔记之AE（自动编码）
深度学习读书笔记之AE 声明: 1)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的 ...
吴恩达深度学习——读书笔记
神经网络和深度学习深度学习概述深度学习(Deep Learning)是更复杂的神经网络(Neural Network). 这是一个基本的神经网络模型结构.在训练的过程中,只要有足够的输入x和输出y ...
AI圣经-深度学习-读书笔记（一）-引言
引言机器学习:AI系统需要具备自己***获取自己获取知识的能力***,即从原始数据中提取模式的能力. 许多人工智能任务都可以通过以下方式解决:先提取一个合适的特征集,然后将这几个特征提供给简单的机器 ...
深度学习读书笔记之RBM
/*************************** * * 转自:http://blog.csdn.net/mytestmy/article/details/9150213 * ******* ...
AI圣经-深度学习-读书笔记（七）-深度学习中的正则化
深度学习中的正则化 0 简介机器学习中的一个核心问题是设计不仅在训练数据上表现好,而且能在新输入上泛化好的算法.采用显式减少测试误差(可能会增加训练误差)的策略称为正则化. 在深度学习的背景下,大多 ...
AI圣经-深度学习-读书笔记（四）-数值计算
数值计算机器学习算法通常需要大量的数值计算,这通常是指通过迭代过程更新解的估计值来解决数学问题的算法,而不是通过解析过程推导出公式来提供正确解的方法.常见的操作包括优化和线性方程组的求解. 对上溢和 ...
神经网络与深度学习（笔记一）
一.线性回归定义回归(regression)是能为⼀个或多个⾃变量与因变量之间关系建模的⼀类⽅法.在⾃然科学和社会科学领域,回归经常⽤来表⽰输⼊和输出之间的关系. 线性回归基于几个简单的假设: ...
[1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning
- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等, ...
【089】深度学习读书笔记：P29证明迹Tr(AB)=Tr(BA)
已知m行n列矩阵A,n行m列矩阵B.Tr表示迹运算.求证 Tr(AB)=Tr(BA) . 证明: 令 Ax,y 表示矩阵A的第x行y列元素.令C=AB. D=BA.C是m阶方阵.D是n阶方阵.我们可以 ...

【神经网络与深度学习】读书笔记

【神经网络与深度学习】读书笔记相关推荐

最新文章

热门文章