TensorFlow北大公开课学习笔记-4.1损失函数

注：本系列文章主要是复现北京大学TensorFlow笔记中的代码，方便以后使用，并没有详细讲解流程，因为我并不是专门做教程的。何况北大的教程讲的已经很好了，有需要了解详细过程的可以去看北大的教程哈。

√神经元模型：用数学公式表示为：， f 为激活函数。神经网络是以神经元为基本单元构成的。
√激活函数：引入非线性激活因素，提高模型的表达力。
常用的激活函数有 relu、 sigmoid、 tanh 等。

√神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示
√神经网路的层数：一般不计入输入层，层数 = n 个隐藏层 + 1 个输出层2
√神经网路待优化的参数：神经网络中所有参数 w 的个数 + 所有参数 b 的个数
例如：

在该神经网络中，包含 1 个输入层、 1 个隐藏层和 1 个输出层，该神经网络的层数为 2 层。
在该神经网络中，参数的个数是所有参数 w 的个数加上所有参数 b 的总数，第一层参数用三行四列的
二阶张量表示（即 12 个线上的权重 w）再加上 4 个偏置 b；第二层参数是四行两列的二阶张量（）即
8 个线上的权重 w）再加上 2 个偏置 b。总参数 = 34+4 + 42+2 = 26。

√损失函数（loss）：用来表示预测值（y）与已知答案（y_）的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。
√常用的损失函数有均方误差、自定义和交叉熵等。
√均方误差 mse： n 个样本的预测值 y 与已知答案 y_之差的平方和，再求平均值。

在 Tensorflow 中用 loss_mse = tf.reduce_mean(tf.square(y_ - y))
例如：
预测酸奶日销量 y， x1 和 x2 是影响日销量的两个因素。
应提前采集的数据有：一段时间内，每日的 x1 因素、 x2 因素和销量 y_。采集的数据尽量多。
在本例中用销量预测产量，最优的产量应该等于销量。由于目前没有数据集，所以拟造了一套数据集。利用 Tensorflow 中函数随机生成 x1、 x2，制造标准答案 y_ = x1 + x2，为了更真实，求和后还加了正负 0.05 的随机噪声。
我们把这套自制的数据集喂入神经网络，构建一个一层的神经网络，拟合预测酸奶日销量的函数。

#coding:utf-8
#0导入模块，生成模拟数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE=8
seed=23455rdm=np.random.RandomState(seed)
X=rdm.rand(32,2)
Y_=[[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]# 1定义神经网络的输入，参数和输出，定义前向传播过程
x=tf.placeholder(tf.float32,shape=(None,2))
y_=tf.placeholder(tf.float32,shape=(None,1))
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y=tf.matmul(x,w1)# 2定义损失函数及反向传播方法
#  定义损失函数为MSE，反向传播方法为梯度下降。
loss_mse=tf.reduce_mean(tf.square(y_-y))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss_mse)# 3生成会话，训练STEPS轮
with tf.Session() as sess:init_op=tf.global_variables_initializer()sess.run(init_op)STEPS=20000for i in range(STEPS):start=(i*BATCH_SIZE)%32end=start+BATCH_SIZEsess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})if i%500==0:print("After %d training steps,w1 is:" %(i))print(sess.run(w1),"\n")print("Final w1 is:\n",sess.run(w1))

运行结果如下：

由上述代码可知，本例中神经网络预测模型为 y = w1x1 + w2x2，损失函数采用均方误差。通过使损失函数值（loss）不断降低，神经网络模型得到最终参数 w1=0.98， w2=1.02，销量预测结果为 y =0.98x1 + 1.02x2。由于在生成数据集时，标准答案为 y = x1 + x2，因此，销量预测结果和标准答案已非常接近，说明该神经网络预测酸奶日销量正确。

√交叉熵(Cross Entropy)：表示两个概率分布之间的距离。交叉熵越大，两个概率分布距离越远，两个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相似。
交叉熵计算公式：
用 Tensorflow 函数表示为

ce= -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0)))

例如：
两个神经网络模型解决二分类问题中，已知标准答案为 y_ = (1, 0)，第一个神经网络模型预测结果为y1=(0.6, 0.4)，第二个神经网络模型预测结果为 y2=(0.8, 0.2)，判断哪个神经网络模型预测的结果更接近标准答案。根据交叉熵的计算公式得：

H1((1,0),(0.6,0.4)) = -(1*log0.6 + 0*log0.4) ≈ -(-0.222 + 0) = 0.222
H2((1,0),(0.8,0.2)) = -(1*log0.8 + 0*log0.2) ≈ -(-0.097 + 0) = 0.097

由于 0.222>0.097，所以预测结果 y2 与标准答案 y_更接近， y2 预测更准确。
√softmax 函数：将 n 分类的 n 个输出（y1,y2…yn）变为满足以下概率分布要求的函数。

softmax 函数表示为：
softmax 函数应用：在 n 分类中，模型会有 n 个输出，即 y1,y2…yn，其中 yi 表示第 i 种情况出现的可能性大小。将 n 个输出经过 softmax 函数，可得到符合概率分布的分类结果。
√在 Tensorflow 中，一般让模型的输出经过 sofemax 函数，以获得输出分类的概率分布，再与标准答案对比，求出交叉熵，得到损失函数，用如下函数实现：

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
cem = tf.reduce_mean(ce)

欢迎扫码关注我的微信公众号

TensorFlow北大公开课学习笔记-4.1损失函数相关推荐

TensorFlow北大公开课学习笔记-4.2学习率
注:本系列文章主要是复现北京大学TensorFlow笔记中的代码,方便以后使用,并没有详细讲解流程,因为我并不是专门做教程的.何况北大的教程讲的已经很好了,有需要了解详细过程的可以去看北大的教程哈. ...
TensorFlow北大公开课学习笔记-8 复现vgg16并实现图片识别
注:本系列文章主要是复现北京大学TensorFlow笔记中的代码,方便以后使用,并没有详细讲解流程,因为我并不是专门做教程的.何况北大的教程讲的已经很好了,有需要了解详细过程的可以去看北大的教程哈. ...
TensorFlow北大公开课学习笔记8-复现vgg16并实现图片识别
https://www.cs.toronto.edu/~frossard/post/vgg16/ ]img_ready = re_img.reshape((1, 224, 224, 3)) Value ...
英宝通Unity4.0公开课学习笔记Vol.0
英宝通Unity4.0公开课学习笔记公开课地址学习笔记目录公开课地址公开课地址:游戏蛮牛网. 源码素材:游戏蛮牛网. 公开课在官网上刷新不出来,只能去B站上找资源了.视频链接:哔哩哔哩. Un ...
深度学习与TensorFlow：FCN论文学习笔记
七月上海 | 高性能计算之GPU CUDA培训 7月27-29日三天密集式学习快速带你入门阅读全文> 正文共1708个字,5张图,预计阅读时间8分钟. 这篇文章陆陆续续看了快两周,其中也遇 ...
MIT Artificial Intelligence —— Patrick H. Winston 麻省理工人工智能公开课学习笔记（一）
本系列文章是博主对网易公开课中麻省理工人工智能课程的学习笔记,在此方便学习和分享. Lecture 1: Introduction and Scope 本节课程大概从这三方面讲述: 一.什 ...
【Algorithms公开课学习笔记3】栈与队列
Stack and Queue 栈和队列 0.前言本文是对数据类型的学习笔记,将会从接口(interface),实现(implement), 客户(client)等三个角度分模块来组织文章. 接口: ...
斯坦福机器学习公开课学习笔记(1)—机器学习的动机与应用
(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景斯坦福机器学习公开课差不多是网上能找到的最好的机器学习入门课程了.现在一共有20节课放 ...
编程方法学 - 公开课学习笔记（一）
好像一直并没有专门学习过某种语言,C也罢,C++也罢,VC也罢,都是在实践中学习.但是Java看过<Thinking in Java>,在实际开发中,优秀的编程风格是很重要的,在我们看so ...

TensorFlow北大公开课学习笔记-4.1损失函数

欢迎扫码关注我的微信公众号

TensorFlow北大公开课学习笔记-4.1损失函数相关推荐

最新文章

热门文章