吴恩达机器学习Week4神经网络表述

神经元模型

定义：神经网路是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[Kohomen,1988]。

神经网络中最基本的成分是神经元(Neuron)模型，即上述定义中的“简单单元”。这些神经元（也叫做激活单元,activation unit）采纳一些特征作为输出，冰洁根据本身的模型提供一个输出。

下面是神经网络的一个示例
图片来源：coursera 机器学习
我们要来向量化这个表达式，定义新的变量zk(j)z_k^{(j)}zk(j)，（其中j表示第j层，k表示第k个）来表达g函数里面的内容

所以我们得到

x和z的向量化表达

图片来源：coursera 机器学习

由zk(2)z_k^{(2)}zk(2)的表达式，使用向量知道z(2)=Θ(1)×xz^{(2)}=\Theta^{(1)}\times xz(2)=Θ(1)×x
令x=a(1)x=a^{(1)}x=a(1)，则z(2)=Θ(1)×a(1)z^{(2)}=\Theta^{(1)}\times a^{(1)}z(2)=Θ(1)×a(1)
推而广之，z(j)=Θ(j−1)×a(j−1)z^{(j)}=\Theta^{(j-1)}\times a^{(j-1)}z(j)=Θ(j−1)×a(j−1)

We are multiplying our matrix Θ(j−1)Θ^{(j−1)}Θ(j−1) with dimensions sj×(n+1)s_j\times (n+1)sj×(n+1) (where sjs_jsj is the number of our activation nodes，sjs_jsj 是神经元的数量) by our vector a(j−1)a^{(j−1)}a(j−1) with height (n+1).这样我们得到z(j)z^{(j)}z(j)高度是sjs_jsj

于是第j层的神经元的数量
a(j)=g(z(j))a^{(j)}=g(z^{(j)})a(j)=g(z(j))
然后增加一个偏置单元a0(j)=1a_0^{(j)}=1a0(j)=1
图片来源：coursera 机器学习

我们有了a(1)的输入，a^{(1)}的输入，a(1)的输入，考虑如何计算a(2)a^{(2)}a(2)。需要第一层的Θ(1)\Theta^{(1)}Θ(1)与a(1)a^{(1)}a(1)的乘积，然后这个乘积通过g函数即可。
测试题

图片来源：coursera 机器学习

神经网络中，单层神经网络（无中间层）可以用来表示逻辑运算，比如逻辑与（AND），逻辑或(OR).
AND Θ(1)=[−30,20,20]\Theta^ {(1)}=[-30 ,20,20]Θ(1)=[−30,20,20]
NOR Θ(1)=[10,−20,−20]\Theta^ {(1)}=[10 ,-20,-20]Θ(1)=[10,−20,−20]
OR:Θ(1)=[−10,20,20]\Theta^ {(1)}=[-10 ,20,20]Θ(1)=[−10,20,20]

测试题
这是一个逻辑或，需要hΘ(x)=g(−10+20x1+20x2)h_\Theta (x)=g(-10+20x_1+20x_2)hΘ(x)=g(−10+20x1+20x2)，然后根据sigmoid函数的性质
得到真值表

x1	x2	hΘ(x)h_\Theta (x)hΘ(x)
0	0	0
0	1	1
1	0	1
1	1	1

本周测试题
测试结果

测试内容
分析
第二项是错误的，没有隐藏层的两层神经网络不能表达异或（XOR），因为hΘ(x)=g(a+bx1+cx2)h_\Theta(x)=g(a+bx_1+cx_2)hΘ(x)=g(a+bx1+cx2),其中g为sigmoid函数

x1x_1x1	x2x_2x2	XOR	hΘ(x)h_\Theta(x)hΘ(x)
0	0	0	g(a)=0,即a<0
0	1	1	g(a+c)=1,即a+c>0，则c>0 ,且abs(c)>abs(a)abs(c)>abs(a)abs(c)>abs(a)
1	0	1	g(a+b)=1,a+b>0,则b>0,且abs(b)>abs(a)abs(b)>abs(a)abs(b)>abs(a)
1	1	0	g(a+b+c)=0,即a+b+c<0,由于abs(c)>abs(a)abs(c)>abs(a)abs(c)>abs(a)和abs(b)>abs(a)abs(b)>abs(a)abs(b)>abs(a)得出矛盾

因此，没有隐藏层的两层神经网络不能表达异或（XOR）。

分析
笔者是计算出来的，带入具体的值，因为两次反转，发现结果不变。

参考资料：coursera Machine Learning

吴恩达机器学习Week4神经网络表述相关推荐

吴恩达机器学习4——神经网络
吴恩达机器学习4--神经网络 1. 非线性假设 2. 神经网络算法 2.1 神经元 2.2 神经网络 3. 神经网络算法实例 3.1 例子1:单层神经网络表示逻辑运算 3.2 例子2 4. 多分类 1 ...
吴恩达机器学习[9]-神经网络学习
神经网络学习 Neural Network 非线性假设 Non-linear hypotheses 神经元与大脑 Neurons and the brain 模型展示1 Model represent ...
【机器学习-吴恩达】Week4 神经网络表示
文章目录 Terminology Neural Networks: Representation Motivations Non-linear Hypotheses Neurons and the B ...
吴恩达机器学习：神经网络 | 反向传播算法
上一周我们学习了神经网络 | 多分类问题.我们分别使用逻辑回归和神经网络来解决多分类问题,并了解到在特征数非常多的情况下,神经网络是更为有效的方法.这周的课程会给出训练神经网络所使用的 ...
吴恩达机器学习 6.神经网络学习
一.非线性假设学习了线性回归和逻辑回归,二者都有的缺点有:当特征太多时,计算的负荷会非常大. 假如: 当使用x1,x2x_1,x_2x1,x2的多项式进行预测时,我们可以应用的很好. 之前有了解 ...
吴恩达机器学习 7.神经网络参数的反向传播算法
1.神经网络算法的代价函数标记方法神经网络的训练样本有m个每个包含一组输入x和一组输出信号y L表示神经网络层数 SIS_ISI表示每层的神经元个数 SlS_lSl表示输出层的神经元个数 S ...
吴恩达机器学习5——神经网络的学习
神经网络的学习 1. 代价函数和反向传播 1.1 代价函数 1.2 反向传播算法 1.3 反向传播算法的直观理解 2. 神经网络算法技巧 2.1 参数展开技巧 2.2 梯度检验 2.3 随机初始化参数 ...
吴恩达机器学习：神经网络学习和作业
神经网络 (一)神经网络模型理解 1.1 模型 1.2 神经网络模型(前馈) 1.3 建立神经网络模型 1.4 多元分类 1.5 循环神经网络与对称连接网络 (二)神经网络模型实现 2.1 代价函数 ...
Coursera吴恩达机器学习week4笔记
Large Margin Classification Optimization Objective svm: Large margin intuition Mathematics Behind La ...

吴恩达机器学习Week4神经网络表述

吴恩达机器学习Week4神经网络表述相关推荐

最新文章

热门文章