代码： tensorflow/examples/tutorials/mnist/

本文的目的是来展示如何使用Tensorflow训练和评估手写数字识别问题。本文的观众是那些对使用Tensorflow进行机器学习感兴趣的人。

本文的目的并不是讲解机器学习。

请确认您已经安装了Tensorflow。

    教程文件

运行fully_connected_feed.py文件开始训练。

python fully_connected_feed.py

    准备数据

MNIST是机器学习的一个经典问题。这个问题是识别28*28像素图片上的数字，从0到9。

更多信息，请参考Yann LeCun's MNIST page 或者 Chris Olah's visualizations of MNIST。

    数据下载

在run_training()方法之前，input_data.read_data_sets()方法可以让数据下载到本机训练文件夹，解压数据并返回一个DataSet实例。

data_sets = input_data.read_data_sets(FLAGS.train_dir, FLAGS.fake_data)

注意：fake_data是用来进行单元测试的，读者可以忽略。

    输入和占位符

placeholder_inputs()函数创建两个tf.placeholder，用来定义输入的形状，包括fetch_size。

images_placeholder = tf.placeholder(tf.float32, shape=(batch_size, mnist.IMAGE_PIXELS))
labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))

在训练循环中，图片和标签数据集会被切分成batch_size大小，跟占位符匹配，然后通过feed_dict参数传递到sess.run()方法中。

    创建图

创建占位符后，mnist.py文件中会通过三个步骤来创建图：inference(), loss(), 和training()。

1. inference() - 运行网络来进行预测。
2. loss() - 用来计算损失值。
3. training() - 计算梯度。

    inference层

inference()函数创建图，返回预测结果。

它把图片占位符当作输入，并在上面构建一对完全连接的层，使用ReLU激活后，连接一个10个节点的线性层。

每一层都位于tf.name_scope声明的命名空间中。

with tf.name_scope('hidden1'):

在该命名空间中，权重和偏置会产生tf.Variable实例，并具有所需的形状。

weights = tf.Variable(tf.truncated_normal([IMAGE_PIXELS, hidden1_units], stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))), name='weights')
biases = tf.Variable(tf.zeros([hidden1_units]), name='biases')

例如，这些会在hidden1命名空间中创建，那么权重的唯一名称为“hidden1/weights”。

每个变量使用初始化器作为构造函数。

通常，权重会使用tf.truncated_normal（截尾正态分布）作为初始化器，它是一个2D张量，第一个参数表示该层中的神经元数，第二个表示它连接的层中的神经元数。再第一层hidden1中，权限矩阵的大小是[图片像素, hidden1神经元数]，因为该权重连接图片输入。tf.truncated_normal初始化器会根据平均值和标准差产生一些随机数。

然后，偏置会使用tf.zeros作为初始化器，保证开始时所有数都是0。它们的形状跟它们连接的层的神经元一样。

该图的三个主要运算：两个tf.nn.relu操作（包括隐层中的一个tf.matmul操作）和一个额外的tf.matmul操作。然后依次创建，连接到输入占位符或上一层的输出张量上。

hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)

hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)

logits = tf.matmul(hidden2, weights) + biases

最后，logits张量包含输出结果。

    损失

loss()函数通过添加所需的损失操作来进一步构建图形。

首先，将labels_placeholder的值转换为64位整数。 然后，添加tf.nn.sparse_softmax_cross_entropy_with_logits操作，以自动从labels_placeholder产生标签，并将inference()函数的输出与这些标签进行比较。

labels = tf.to_int64(labels)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits, name='xentropy')    

然后使用tf.reduce_mean将batch维度（第一维）的交叉熵的平均数作为总损耗。

loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')

然后返回包含损失值的张量。

tf.summary.scalar('loss', loss)

optimizer = tf.train.GradientDescentOptimizer(learning_rate)

global_step = tf.Variable(0, name='global_step', trainable=False)
train_op = optimizer.minimize(loss, global_step=global_step)

图

在run_training()函数的顶部，其中的命令指示所有构建的操作都与默认的全局tf.Graph实例相关联。

with tf.Graph().as_default():

tf.Graph是可以作为一组一起执行的操作的集合。 大多数TensorFlow用户只需要依赖于单个默认图形。
    更复杂的使用多个图形是可能的，但超出了这个简单教程的范围。

会话

一旦所有的构建准备工作已经完成并且生成了所有必要的操作，就会创建一个tf.Session来运行图形。

sess = tf.Session()

或者，可以将会话生成到某个作用域中：

with tf.Session() as sess:

会话的空参数表示此代码将附加到默认本地会话（或创建尚未创建）。
    在创建会话之后，所有的tf.Variable实例都通过在初始化操作中调用tf.Session.run来初始化。

init = tf.global_variables_initializer()
sess.run(init)

tf.Session.run方法将进行参数传递操作。在这个调用中，只进行变量的初始值。 图的其余部分都不在这里运行; 这在下面的训练循环中运行。

    训练循环

在会话初始化变量后，可以开始训练。
    用户代码控制每一步的训练，最简单的循环可以是：

for step in xrange(FLAGS.max_steps):sess.run(train_op)

但是，本教程稍微复杂一些，因为它还必须分割每个步骤的输入数据，以匹配先前生成的占位符。

    数据输入到图

对于每个步骤，代码将生成一个Feed字典，其中包含一组数据，用于训练，由其所对应的占位符操作输入。
    在fill_feed_dict()函数中，查询给定的DataSet用于其下一个batch_size图像和标签集，填充与占位符匹配的张量，其中包含下一个图像和标签。

images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size, FLAGS.fake_data)

然后生成一个python字典对象，其中占位符作为键，代表性的Feed张量作为值。

feed_dict = {images_placeholder: images_feed,labels_placeholder: labels_feed,
}

这将被传递给sess.run()函数的feed_dict参数，以供该训练循环使用。

    检查状态

该代码指定在运行调用中获取的两个值：[train_op，loss]。

for step in xrange(FLAGS.max_steps):feed_dict = fill_feed_dict(data_sets.train,images_placeholder,labels_placeholder)_, loss_value = sess.run([train_op, loss],feed_dict=feed_dict)

因为要获取两个值，所以sess.run()返回一个包含两个项的元组。 要提取的值列表中的每个Tensor对应于返回的元组中的numpy数组，在该训练步骤中填充该张量的值。 由于train_op是没有输出值的操作，返回的元组中的相应元素为None，因此被丢弃。 然而，如果模型在训练过程中发生分歧，则损失张量的值可能变为NaN，因此我们捕获该值用于记录。
    假设没有NaN，训练运行良好，训练循环还会每100个步骤打印一个简单的状态文本，让用户知道训练状态。

if step % 100 == 0:print('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))

    状态可视化

为了输出TensorBoard使用的事件文件，在图形构建阶段，所有的摘要（在这种情况下只有一个）被收集到一个Tensor中。

summary = tf.summary.merge_all()

然后在创建会话之后，可以将tf.summary.FileWriter实例化为写入事件文件，其中包含图形本身和摘要的值。

summary_writer = tf.summary.FileWriter(FLAGS.train_dir, sess.graph)

最后，每次评估摘要并将输出传递给add_summary()函数时，事件文件将被更新为新的摘要值。

summary_str = sess.run(summary, feed_dict=feed_dict)
summary_writer.add_summary(summary_str, step)

当写入事件文件时，可以针对训练文件夹运行TensorBoard，以显示摘要中的值。

注意：有关如何构建和运行Tensorboard的更多信息，请参阅随附的教程Tensorboard：可视化学习。

    保存检查点

为了输出一个检查点文件，可以用于稍后恢复模型进行进一步的训练或评估，我们实例化一个tf.train.Saver。

saver = tf.train.Saver()

在训练循环中，将定期调用tf.train.Saver.save方法，将训练中各变量的值写入检查点文件。

saver.save(sess, FLAGS.train_dir, global_step=step)

在稍后的某些时候，可以使用tf.train.Saver.restore方法来重新加载模型参数来恢复训练。

saver.restore(sess, FLAGS.train_dir)

    评估模型

每一步，代码将尝试针对训练和测试数据集来评估模型。 do_eval()函数被执行三次，用于训练，验证和测试数据集。

print('Training Data Eval:')
do_eval(sess,eval_correct,images_placeholder,labels_placeholder,data_sets.train)
print('Validation Data Eval:')
do_eval(sess,eval_correct,images_placeholder,labels_placeholder,data_sets.validation)
print('Test Data Eval:')
do_eval(sess,eval_correct,images_placeholder,labels_placeholder,data_sets.test)

请注意，更复杂的使用通常会将data_sets.test隔离，以便在大量超参数调整后才能进行检查。 然而，为了简单的小MNIST问题，我们对所有数据进行评估。

    构建评估图

在进入训练循环之前，评估操作应该是通过调用mnist.py中的evaluate()函数，使用与loss()函数相同的参数构建的。

eval_correct = mnist.evaluation(logits, labels_placeholder)

评估函数简单地生成一个tf.nn.in_top_k操作，如果真正的标签可以在K个最可能的预测中找到，那么可以自动对每个模型输出进行评分。 在这种情况下，我们将K的值设置为1，以便仅对真实标签考虑预测是否正确。

eval_correct = tf.nn.in_top_k(logits, labels, 1)

    评估输出

然后可以创建一个填充feed_dict的循环，并针对eval_correct op调用sess.run（）来评估给定数据集上的模型。

for step in xrange(steps_per_epoch):feed_dict = fill_feed_dict(data_set,images_placeholder,labels_placeholder)true_count += sess.run(eval_correct, feed_dict=feed_dict)

true_count变量简单地累加了in_top_k op已经确定为正确的所有预测。 从那里可以从简单地除以实例的总数来计算精度。

precision = true_count / num_examples
print('  Num examples: %d  Num correct: %d  Precision @ 1: %0.04f' %(num_examples, true_count, precision))

原文：《TensorFlow Mechanics 101》：https://www.tensorflow.org/get_started/mnist/mechanics