人工智障学习笔记——深度学习(1)神经网络

一.神经网络

我们所说的深度学习，其最基础最底层的模型称之为"神经网络"（neural network），因为我们希望机器能够像我们人类大脑的神经网络处理事件一样去解决问题，最终达到"人工智能"的效果。

二.神经元

神经网络的基本单位叫做神经元，是我们人类思考的基础。机器模拟的神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。当我们用“神经元”组成网络以后，描述网络中的某个“神经元”时，我们更多地会用“单元”（unit）来指代。同时由于神经网络的表现形式是一个有向图，有时也会用“节点”（node）来表达同样的意思。

三.单层神经网络

单层神经网络也叫做感知器（Perceptron），其有两个层次的神经元节点。分别是输入层和输出层。输入层里的"输入单元"只负责传输数据，不做计算。输出层里的"输出单元"则需要对前面一层的输入进行计算，我们把需要计算的层次称之为"计算层"，所以这种仅有一个计算层的网络称之为"单层神经网络"。

四.层级运算

神经网络的输入层和输出层都可以有多个神经元，也就是数据的维度。从神经网络的前一层至后一层的运算，我们大概可以认为是一种矩阵运算。其本质是M（输出维度）个含有N（输入维度）个变量的线性代数方程组。

五.权重和阈值

我们知道神经网络的输入层是有多个的神经元的，不同的输入对于输出结果的影响肯定也各不相同，不同的输入对应着不同的权重，阈值代表着类别的临界点。感知器类似一个逻辑回归模型，以线性分类任务为例：阈值就相当于决策分界。例如二维的数据平面中一条直线，3维数据的一个平面，n维数据的一个n-1维超平面。

六.异或分类

1969年，人工智能界的大佬Minsky出版了一本叫《Perceptron》的书，里面用详细的数学证明了感知器的弱点，尤其是XOR（异或）分类，我们可以把异或分类看作一个正方形，4个顶点分别为(0,0),(0,1),(1,0),(1,1)。即值为0，1，1，0。其对角属于一类，显然，无法找出一条直线作为决策边界可以使（0,0）和（1,1）在一个区域，而（1,0）和（0,1）在另一个区域。这就是单层神经网络的软肋。

六.两层神经网络

由于上述原因，两层神经网络就此诞生。两层神经网络除了包含一个输入层，一个输出层以外，还增加了一个中间层，也叫隐藏层。此时，中间层和输出层都是计算层。输出层神经元是对中间层神经元形成的决策边界构造线性组合。比如说上述问题，我们设置中间层两个神经元，其阈值分别为(0,1)和(1,0)的切角，最终的输出层再进行整合。那么针对于(0,0),(0,1),(1,0),(1,1)四个输入，中间层的两个神经元分别输出为(1,0,1,1)和(1,1,0,1)，最终输出层输出为(0,1,1,0)。我们也可以理解成，中间层将原有的一条线性阈值变成了若干条，再由最终输出层进行整合。两层神经网络通过两层的线性模型模拟了数据内真实的非线性函数。所以从理论上来说，两层神经网络可以无限逼近任意连续函数。也就是说，面对复杂的非线性分类任务，两层神经网络也可以分类的很好。

七.多层神经网络

与两层神经网络原理一样，将中间的层数增多，即成为了多层神经网络，随着层数的深入，函数的模拟能力变的更强，每一层对于前一层次的抽象表示更深入。例如第一个隐藏层学习到的是“边缘”的特征，第二个隐藏层学习到的是由“边缘”组成的“形状”的特征，第三个隐藏层学习到的是由“形状”组成的“图案”的特征，最后的隐藏层学习到的是由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。每增加一层就相当于增加一层矩阵运算。

八.硬件条件

随着神经网络的深入，对硬件的要求也会显著的提高，这也就是当初内个年代只有单层神经网络的原因。对于多层神经网络，一般都是通过高性能GPU或者是集群来提供硬件支持。

九.相关学习资源

http://www.ruanyifeng.com/blog/2017/07/neural-network.html

https://www.cnblogs.com/subconscious/p/5058741.html

人工智障学习笔记——深度学习(1)神经网络相关推荐

人工智障学习笔记——深度学习(2)卷积神经网络
上一章最后提到了多层神经网络(deep neural network,DNN),也叫多层感知机(Multi-Layer perceptron,MLP). 当下流行的DNN主要分为应对具有空间性分布数据 ...
人工智障学习笔记——深度学习(4)生成对抗网络
概念生成对抗网络(GAN)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一.模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discrimi ...
Matlab深度学习笔记——深度学习工具箱说明
本文是Rasmus Berg Palm发布在Github上的Deep-learning toolbox的说明文件,作者对这个工具箱进行了详细的介绍(原文链接:https://github.com/ra ...
学习笔记--深度学习入门--基于Pyrhon的理论与实现--[日]斋藤康毅 -- 持续更新中
关于这本 "神作" 的简介这本书上市不到 2 年,就已经印刷 10 万册了.日本人口数量不大,但是却有这么多人读过这本书,况且它不是一本写真集,是实实在在的技术书,让人觉得很不可 ...
人工智障学习笔记——深度学习(3)递归神经网络
传统的神经网络模型中,输入层到隐含层再到输出层他们的层与层之间是全连接的,但是每层之间的节点是无连接的.这样就会造成一个问题,有些情况,每层之间的节点可能是存在某些影响因素的.例如,你要预测句子的下一 ...
3Blue1Brown深度学习笔记深度学习之神经网络的结构 Part 1 ver 2.0
神经元 3B1B先讨论最简单的MLP(多层感知器),只是经典的原版,就已经能识别手写数字. 这里一开始我们把神经元看作装有数字的容器,装着一个0~1之间的数字.但是最后更准确一些,我们把神经元看作一个 ...
学习笔记︱深度学习以及R中并行算法的应用（GPU）
笔记源于一次微课堂,由数据人网主办,英伟达高级工程师ParallerR原创.大牛的博客链接:http://www.parallelr.com/training/ 由于本人白痴,不能全部听懂,所以只能把 ...
夯实产业智能化基座，OpenI/O 2020启智开发者大会纵论深度学习
点击左上方蓝字关注我们当科技与生活无可割离的交融,深度学习正推动AI步入工业化大生产阶段,加速产业智能化进程的同时,给各产业带来了巨大的增值空间和机遇. 在此时代潮流中,在此时代潮流中,超算与云计算 ...
系列笔记 | 深度学习连载（6）：卷积神经网络基础
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达卷积神经网络其实早在80年代,就被神经网络泰斗Lecun 提出[LeNet-5, LeCun ...

人工智障学习笔记——深度学习(1)神经网络

人工智障学习笔记——深度学习(1)神经网络相关推荐

最新文章

热门文章