一个2层隐层神经网络解决抑或问题

使用2层隐层，使用sigmoid和ReLU激活。

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inlineinput = np.array([[0, 0], [0, 1], [1, 1], [1, 0]])  # 4 * 2
target = np.array([0, 1, 0, 1]).reshape(4, 1)  # 4 * 1
# input = (input - np.mean(input)) / np.std(input)
# target = (target - np.mean(target)) / np.std(target)epochs = 100000
lr = 0.01num_node_1 = 3
num_node_2 = 4number = 4
W1 = np.random.randn(2, num_node_1) / np.sqrt(number)
W2 = np.random.randn(num_node_1, num_node_2) / np.sqrt(number)
W3 = np.random.randn(num_node_2, 1) / np.sqrt(number)
b1 = np.zeros((1, num_node_1))
b2 = np.zeros((1, num_node_2))
b3 = np.zeros((1, 1))loss = []
result = []
for epoch in range(epochs):# forwardhidden1_ = np.dot(input, W1) + b1hidden1 = 1 / (np.exp(-1 * hidden1_) + 1)hidden2_ = np.dot(hidden1, W2) + b2
#     hidden2 = 1 / (np.exp(-1 * hidden2_) + 1)hidden2 = np.maximum(hidden2_, 0)output_ = np.dot(hidden2, W3) + b3output = 1 / (np.exp(-1 * output_) + 1)result.append(output)# compute the gradienterror = 0.5 * np.sum((output - target) * (output - target))loss.append(error)#     if epoch % 5000 == 0:#         print(error)#         print(np.round(output, 2))dout = (output - target) * (1 - output) * outputdW3 = np.dot(hidden2.T, dout)db3 = np.sum(dout, axis=0)dhidden2 = np.dot(dout, W3.T) * (hidden2 >= 0)dW2 = np.dot(hidden1.T, dhidden2)db2 = np.sum(dhidden2, axis=0)dhidden1 = np.dot(dhidden2, W2.T) * (1 - hidden1) * hidden1dW1 = np.dot(input.T, dhidden1)db1 = np.sum(dhidden1, axis=0)# backwardW3 -= lr * dW3b3 -= lr * db3W2 -= lr * dW2b2 -= lr * db2W1 -= lr * dW1b1 -= lr * db1plt.plot(loss)

一个2层隐层神经网络解决抑或问题相关推荐

深度学习笔记：手写一个单隐层的神经网络
出处:数据科学家养成记深度学习笔记2:手写一个单隐层的神经网络笔记1中我们利用 numpy 搭建了神经网络最简单的结构单元:感知机.笔记2将继续学习如何手动搭建神经网络.我们将学习如何利用 num ...
BP算法总结+从输入-隐层-输出的逐步手推
1 BP算法总结 BP算法:bp算法实际上是在神经网络中寻找在合适条件下的最佳权重和bais.实际上是利用输出后的误差来估计输出层前一层的误差,再用这层误差来估计更前一层误差,如此获取所有各层误差估计 ...
神经网络结构设计指导原则——输入层：神经元个数=feature维度输出层：神经元个数=分类类别数，默认只用一个隐层如果用多个隐层，则每个隐层的神经元数目都一样...
神经网络结构设计指导原则原文 http://blog.csdn.net/ybdesire/article/details/52821185 下面这个神经网络结构设计指导原则是Andrew NG在 ...
理解单隐层ReLU神经网络的全局损失
摘要对于单一隐层ReLU神经网络,我们展示在每个可微区间内都是全局极小值.这些局部极小是否唯一可微,取决于数据,隐藏神经元的激活模式,网络大小.我们给出一个是否局部极小值存在它们的定义的区域内的 ...
实验二单隐层神经网络
一.实验目的 (1)学习并掌握常见的机器学习方法: (2)能够结合所学的python知识实现机器学习算法: (3)能够用所学的机器学习算法解决实际问题. 二.实验内容与要求 (1)掌握神经网络的基本原 ...
Python实现BP神经网络ANN单隐层回归模型项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 20世纪80年代中期,David Runelhart.Geoff ...
Python实现BP神经网络ANN单隐层分类模型项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 BP(back propagation)神经网络是1986年由R ...
神经网络深度神经网络,双隐层神经网络结构
如何创建两个隐藏层的BP神经网络我自己的总结是:1,隐层的神经网络算法1.1构造方法选择首先使用三个隐藏层的数量来确定三个隐藏层数找到的最小值和最大值的值,然后从最小来验证模型的预测误差,直到它达到 ...
神经网络超参数之隐藏层个数+每个隐层的神经元数
神经网络超参数之隐藏层个数+每个隐层的神经元数隐藏层个数神经网络的灵活性也恰好是它的一个主要的短板:有太多的超参数需要调整.不仅仅是可以使用的网络拓扑结构(神经元是如何彼此互相连接的),即使是简单 ...

一个2层隐层神经网络解决抑或问题

一个2层隐层神经网络解决抑或问题相关推荐

最新文章

热门文章