单层神经网络实现手写数字识别

Mnist手写数字识别

前言

Mnist数据集可以从官网下载，网址: http://yann.lecun.com/exdb/mnist/ 下载下来的数据集被分成两部分: 55000行的训练数据集(mnist.train) 和10000行的测试数据集(mnist.test) 。每一个MNIST数据单元有两部分组成: 一张包含手写数字的图片和一个对应的标签。我们把这些图片设为“xs"，把这些标签设为"ys"。训练数据集和测试数据集都包含xs和ys，比如训练数据集的图片是mnist.train.images，训练数据集的标签是mnist.train.labels.

分析

我们可以知道图片是黑白图片，每一张图片包含28像素X28像素。我们把这个数组展开成一个向量，长度是28x28= 784。因此，在MNIST训练数据集中，mnist.train.images 是一个形状为[55000, 784]的张量。（55000张图片，784个特征值）

MNIST中的每个图像都具有相应的标签，0到9之间的数字表示图像中绘制的数字。用的是one-hot编码nn[0, 0,0, 1, 0,0, 0, 0,0, 0] mnist. train. labels [55000, 10]（10个目标数据，“0”，“1”，…，“9”）

代码演示


import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'from tensorflow.examples.tutorials.mnist import input_datadef full_connect():'''利用mnist数据集，实现手写数字识别:return: None'''# 获取数据mnist = input_data.read_data_sets("./data/mnist/input_data", one_hot=True)# 建立数据的占位符 x[None,784](特征值) y_true[None,10](目标值)with tf.variable_scope("data"):x = tf.placeholder(tf.float32,[None,784])# one-hot编码类型y_true = tf.placeholder(tf.int32,[None,10])# 建立全连接层的神经网络 weight [784,10](权重) bias[10](偏置)with tf.variable_scope("fc_model"):# 随机初始化权重和偏置weight = tf.Variable(tf.random_normal([784,10],mean=0.0,stddev=1.0),name="weight")bias = tf.Variable(tf.constant(0.0,shape=[10]))# 预测None个样本输出结果(matrix) [None,784] * [784,10]+ [10] = [None,10]y_predict = tf.matmul(x,weight) + bias# 求出所有样本损失，计算平均值with tf.variable_scope("soft_cros"):# 计算平均交叉熵损失loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true,logits=y_predict))# 梯度下降求出损失with tf.variable_scope("optimizer"):train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)# 计算准确率with tf.variable_scope("accuracy"):# 进行比较equal_list = tf.equal(tf.argmax(y_true,1),tf.argmax(y_predict,1))# 求平均值 equal_list None个样本 类似：【1，0，1，1，1，0....,1,0】accuracy = tf.reduce_mean(tf.cast(equal_list,tf.float32))# 定义一个初始化变量的opinit_op = tf.global_variables_initializer()#开启会话训练with tf.Session() as sess:# 初始化变量sess.run(init_op)# 迭代，进行训练，更新参数预测for i in range(2000):# 从数据中取出真实存在的特征值和目标值mnist_x , mnist_y = mnist.train.next_batch(50)# 进行训练sess.run(train_op,feed_dict={x:mnist_x,y_true:mnist_y})print("训练第%d步,准确率为%f" % (i, sess.run(accuracy,feed_dict={x:mnist_x,y_true:mnist_y})))# print("训练第%d步,准确率为:%f" % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))return Noneif __name__ == "__main__":full_connect()

因为数据太多，我们不可能在控制台打印出所有数据，所以我们只在控制台打印出准确率，其他数据通过tensorboard观察。

收集变量，并添加如下代码，在会话开启之前：

    # 收集变量 单个数值收集tf.summary.scalar("losses",loss)tf.summary.scalar("accuracy",accuracy)#高纬度变量收集tf.summary.histogram("weight",weight)tf.summary.histogram("bias",bias)#定义一个合并变量的opmerged = tf.summary.merge_all()

并在会话中添加如下代码：

            #写入每一步训练的值summary = sess.run(merged,feed_dict={x:mnist_x,y_true:mnist_y})filewriter.add_summary(summary,i)

最终代码


import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'from tensorflow.examples.tutorials.mnist import input_datadef full_connect():'''利用mnist数据集，实现手写数字识别:return: None'''# 获取数据mnist = input_data.read_data_sets("./data/mnist/input_data", one_hot=True)# 建立数据的占位符 x[None,784](特征值) y_true[None,10](目标值)with tf.variable_scope("data"):x = tf.placeholder(tf.float32,[None,784])# one-hot编码类型y_true = tf.placeholder(tf.int32,[None,10])# 建立全连接层的神经网络 weight [784,10](权重) bias[10](偏置)with tf.variable_scope("fc_model"):# 随机初始化权重和偏置weight = tf.Variable(tf.random_normal([784,10],mean=0.0,stddev=1.0),name="weight")bias = tf.Variable(tf.constant(0.0,shape=[10]))# 预测None个样本输出结果(matrix) [None,784] * [784,10]+ [10] = [None,10]y_predict = tf.matmul(x,weight) + bias# 求出所有样本损失，计算平均值with tf.variable_scope("soft_cros"):# 计算平均交叉熵损失loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true,logits=y_predict))# 梯度下降求出损失with tf.variable_scope("optimizer"):train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)# 计算准确率with tf.variable_scope("accuracy"):# 进行比较equal_list = tf.equal(tf.argmax(y_true,1),tf.argmax(y_predict,1))# 求平均值 equal_list None个样本 类似：【1，0，1，1，1，0....,1,0】accuracy = tf.reduce_mean(tf.cast(equal_list,tf.float32))# 定义一个初始化变量的opinit_op = tf.global_variables_initializer()# 收集变量 单个数值收集tf.summary.scalar("losses",loss)tf.summary.scalar("accuracy",accuracy)#高纬度变量收集tf.summary.histogram("weight",weight)tf.summary.histogram("bias",bias)#定义一个合并变量的opmerged = tf.summary.merge_all()#开启会话训练with tf.Session() as sess:# 初始化变量sess.run(init_op)# 建立events文件，然后写入filewriter = tf.summary.FileWriter("./tmp/summary/test/",graph=sess.graph)# 迭代，进行训练，更新参数预测for i in range(2000):# 从数据中取出真实存在的特征值和目标值mnist_x , mnist_y = mnist.train.next_batch(50)# 进行训练sess.run(train_op,feed_dict={x:mnist_x,y_true:mnist_y})#写入每一步训练的值summary = sess.run(merged,feed_dict={x:mnist_x,y_true:mnist_y})filewriter.add_summary(summary,i)print("训练第%d步,准确率为%f" % (i, sess.run(accuracy,feed_dict={x:mnist_x,y_true:mnist_y})))# print("训练第%d步,准确率为:%f" % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))return Noneif __name__ == "__main__":full_connect()

最终代码


import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'from tensorflow.examples.tutorials.mnist import input_dataFLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_integer("is_train", 1, "指定程序是预测还是训练")def full_connect():'''利用mnist数据集，实现手写数字识别:return: None'''# 获取数据mnist = input_data.read_data_sets("./tmp/data/mnist/input_data", one_hot=True)# 建立数据的占位符 x[None,784](特征值) y_true[None,10](目标值)with tf.variable_scope("data"):x = tf.placeholder(tf.float32,[None,784])# one-hot编码类型y_true = tf.placeholder(tf.int32,[None,10])# 建立全连接层的神经网络 weight [784,10](权重) bias[10](偏置)with tf.variable_scope("fc_model"):# 随机初始化权重和偏置weight = tf.Variable(tf.random_normal([784,10],mean=0.0,stddev=1.0),name="weight")bias = tf.Variable(tf.constant(0.0,shape=[10]))# 预测None个样本输出结果(matrix) [None,784] * [784,10]+ [10] = [None,10]y_predict = tf.matmul(x,weight) + bias# 求出所有样本损失，计算平均值with tf.variable_scope("soft_cros"):# 计算平均交叉熵损失loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true,logits=y_predict))# 梯度下降求出损失with tf.variable_scope("optimizer"):train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)# 计算准确率with tf.variable_scope("accuracy"):# 进行比较equal_list = tf.equal(tf.argmax(y_true,1),tf.argmax(y_predict,1))# 求平均值 equal_list None个样本 类似：【1，0，1，1，1，0....,1,0】accuracy = tf.reduce_mean(tf.cast(equal_list,tf.float32))# 定义一个初始化变量的opinit_op = tf.global_variables_initializer()# 收集变量 单个数值收集tf.summary.scalar("losses",loss)tf.summary.scalar("accuracy",accuracy)#高纬度变量收集tf.summary.histogram("weight",weight)tf.summary.histogram("bias",bias)# 定义一个合并变量的opmerged = tf.summary.merge_all()# 创建一个saversaver = tf.train.Saver()#开启会话训练with tf.Session() as sess:# 初始化变量sess.run(init_op)# 建立events文件，然后写入filewriter = tf.summary.FileWriter("./tmp/summary/test/",graph=sess.graph)if FLAGS.is_train ==1:# 迭代，进行训练，更新参数预测for i in range(10000):# 从数据中取出真实存在的特征值和目标值mnist_x, mnist_y = mnist.train.next_batch(50)# 进行训练sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})# 写入每一步训练的值summary = sess.run(merged, feed_dict={x: mnist_x, y_true: mnist_y})filewriter.add_summary(summary, i)print("训练第%d步,准确率为%f" % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))# 保存模型saver.save(sess, "./tmp/ckpt/fe_model.ckpt")else:# 加载模型saver.restore(sess, "./tmp/ckpt/fe_model.ckpt")# 如果是0，做出预测for i in range(100):# 每次测试一张图片 [0,0,0,0,0,1,0,0,0,0]x_test, y_test = mnist.test.next_batch(1)print("第%d张图片，手写数字图片目标是:%d, 预测结果是:%d" % (i,tf.argmax(y_test, 1).eval(),tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()))return Noneif __name__ == "__main__":full_connect()

先运行程序进行训练，小编这里采用if判断是进行训练还是测试。

训练完之后，输入 python xxx.py --is_train=0，进行测试