tensorflow 进阶(三),BP神经网络之两层hidden

本文与上一篇文章有一点不同,就是中间的隐藏层由一层变成两层,在神经网络搭建的过程中,曾出现一点问题,就是正确率图突然变成0.11,通过调整隐藏节点的数量和W2的初值,正确率达到0.97,不如只有一层神经网络的结果

神经网络并不是越深越好
神经网络的结构应当接近与橄榄型
对于ML而言,不宜多于五层

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Thu Mar 22 22:15:25 2018@author: luogan
"""
'''
from tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets('MNIST_data/',one_hot=True)
'''print(mnist.train.images.shape)print(mnist.train.labels.shape)print(mnist.test.images.shape)print(mnist.test.images.shape)a=mnist.train.images[8]
#a.reshape(28,28)
import pandas as pd
#b=pd.DataFrame(a)
#b
b=pd.DataFrame(a.reshape(28,28))
#b
#b=pd.DataFrame(a.reshape(28,28))
b.to_excel('c.xls')
d=mnist.train.labels[8]print(mnist.validation.images.shape)
print(mnist.validation.labels.shape)import tensorflow as tf
sess=tf.InteractiveSession()in_units=784
h1_units=500h2_units=100w1=tf.Variable(  tf.truncated_normal([in_units,h1_units],stddev=0.1 ) )
b1=tf.Variable(tf.zeros([h1_units]))w2=tf.Variable(tf.truncated_normal([h1_units,h2_units],stddev=0.1 ))
b2=tf.Variable(tf.zeros([h2_units]))print('*'*20)w3=tf.Variable(tf.zeros([h2_units,10]))
b3=tf.Variable(tf.zeros([10]))x=tf.placeholder(tf.float32,[None,784])
keep_prob=tf.placeholder(tf.float32)hidden1=tf.nn.relu(tf.matmul(x,w1)+b1)
hidden1_drop=tf.nn.dropout(hidden1,keep_prob)hidden2=tf.nn.relu(tf.matmul(hidden1_drop,w2)+b2)hidden2_drop=tf.nn.dropout(hidden2,keep_prob)y2=tf.nn.softmax(tf.matmul(hidden2_drop,w3)+b3)y_=tf.placeholder(tf.float32,[None,10])cross_entropy=tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y2),reduction_indices=[1]))train_step=tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)tf.global_variables_initializer().run()for i in range(1000):batch_xs,batch_ys=mnist.train.next_batch(1000)train_step.run({x:batch_xs,y_:batch_ys,keep_prob:1.0})correct_prediction=tf.equal(tf.argmax(y2,1),tf.argmax(y_,1))accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))print(accuracy.eval({x:mnist.test.images,y_:mnist.test.labels,keep_prob:1}))

(55000, 784)
(55000, 10)
(10000, 784)
(10000, 784)
(5000, 784)
(5000, 10)
********************
0.9775

tensorflow 进阶(三),BP神经网络之两层hidden_layer相关推荐

tensorflow 进阶(二),BP神经网络
这是一个三层的神经网络,只含有一个隐藏层.正确率有98% #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Creat ...
基于Tensorflow框架的BP神经网络分类小案例--蚊子分类
(案例):利用bp神经网络预测蚊子种类,第三列目标值为0.9的属于不咬人的A类,目标值为0.1的属于咬人的B类,特征集第一列是翼长,第二列是触角长如下有20个样本数据: data=[[1.78,1. ...
基于Tensorflow框架的BP神经网络回归小案例--预测跳高
(案例):我们将14组国内男子跳高运动员各项素质指标作为输入,即(30m行进跑,立定三级跳远,助跑摸高,助跑4-6步跳高,负重深蹲杠铃,杠铃半蹲系数,100m,抓举),将对应的跳高成绩作为输出,通过对 ...
MATLAB实现智能计算方法实验：实验三 BP神经网络
资源链接 MATLAB实现智能计算方法课程所有实验代码资源链接为:MATLAB实现智能计算方法课程所有实验代码资源本实验代码和excel文件可在GitHub仓库和gitee仓库中进行下载实验汇总 ...
【Tensorflow学习三】神经网络搭建八股“六步法”编写手写数字识别训练模型
神经网络搭建八股"六步法"编写手写数字识别训练模型 Sequential用法 model.compile(optimizer=优化器,loss=损失函数,metrics=[&quo ...
Tensorflow实现BP神经网络
Tensorflow实现BP神经网络摘要:深度学习中基本模型为BP深度神经网络,其包括输入层.隐含层和输出层.输入层的神经元个数取决于数据集属性特征的个数,输出层神经元个数取决于划分类标的个数.BP ...
TensorFlow使用--MNIST分类学习（BP神经网络）
目录测试结果:根据测试集和验证集的验证,训练好的模型识别率可以达到96% 代码块代码分块解析保存训练好的神经网络并调用小测试:将MNIST数据集中的图片显示出来传送门激活函数相关 soft ...
【机器学习】基于AutoEncoder的BP神经网络的tensorflow实现
[机器学习]基于AutoEncoder的BP神经网络的tensorflow实现一.基于AutoEncoder的BP神经网络 1.1.BP神经网络 1.1.1.BP神经网络结构 1.1.2.BP神经网 ...
bp神经网络应用实例_人工智能BP神经网络学习神器——AISPACE
未经许可请勿转载更多数据分析内容参看这里今天我们来介绍一套小工具--AISPACE,它有助于你学习BP神经网络运作的过程及原理.AISPACE涉及的一系列工具用于学习和探索人工智能的概念,它们是在 ...

tensorflow 进阶(三),BP神经网络之两层hidden_layer

tensorflow 进阶(三),BP神经网络之两层hidden_layer相关推荐

最新文章

热门文章