tensorflow中的基本概念

本文是在阅读官方文档后的一些个人理解。

官方文档地址：https://www.tensorflow.org/versions/r0.12/get_started/basic_usage.html#basic-usage

关于tensor和op的理解

Nodes in the graph are called ops (short for operations).
An op takes zero or more Tensors, performs some computation, and produces zero or more Tensors.

类比：一个神经元有多个输入，一个或者多个输出。这里的OP可以看作神经元，tensor可以看作输入的数据。

In TensorFlow terminology, a Tensor is a typed multi-dimensional array.
For example, you can represent a mini-batch of images as a 4-D array of floating point numbers with dimensions [batch, height, width,channels].

tensor是一个数组，每个数组元素是多维的，其实就是一个矩阵。

TensorFlow程序的阶段

TensorFlow程序通常被组织成一个构建阶段和一个执行阶段。在构建阶段，op 的执行步骤被描述成一个图。在执行阶段，使用会话执行执行图中的op。

阶段一：如何构建图？

1.构建图从创建op开始。有些op的创建是不需要input的，比如Constant。这样的op被成为源op（source op）。
2.在python中op对象是由op构造器（ops constructors）创建的。op构造器创建一个op对象时可以传递一个源op作为待构造op对象的输入。
3.op对象被op构造器创建后是作为一个node加入到graph中的。TensorFlow Python 库有一个默认图 (default graph), op 构造器可以为其增加节点。这个默认图对许多程序来说已经足够用了。

总结：因为graph是由op对象组成的，所以构建图的过程其实就是创建op对象的过程，以及如果将这些个op对象连接起来（比如某个op对象作为另外某个op对象的输入）的过程。

阶段二：图构建好了，如何执行？

1.因为graph需要在session中启动。所以为了启动一个graph，第一步就是创建session对象。
2.sessoin对象创建的时候如果不制定graph，则使用默认图（default graph）。

对Variable的理解

变量用于维护图执行过程中的状态信息。

通常会将一个统计模型中的参数表示为一组变量。例如, 你可以将一个神经网络的权重作为一个tensor存储在某个变量中。在训练过程中, 通过重复运行训练图，更新这个 tensor。

对feeds和fetches的理解

可以为任意的op赋值或者从其中获取数据。

对于tensor、Constants、Variables三者的理解

tensor存储在Constants或者Variables。就像数据可以放在常量和变量中一样。放在变量中的数据是可以修改的，放在常量中的数据是不可以修改的。

常量op也算是op吧，只是比较简单而已。

原地址：https://www.cnblogs.com/tsiangleo/p/6145112.html

自定义损失函数

import tensorflow as tf
from numpy.random import RandomState
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'batch_size = 8#两个输入节点。
x = tf.placeholder(tf.float32,shape=(None,2),name='x-input')
#一个输出节点。
y_ = tf.placeholder(tf.float32,shape=(None),name='y-input')#定义了一个单层的神经网络前向传播过程，这里就是简单加权和。
w1 = tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y = tf.matmul(x,w1)#自定义损失函数
#定义预测多了和预测少了的成本。
loss_less = 10
loss_more = 1
#此处用到了tf.greater 和 tf.where 来实现选择操作，tf.greater 的输入是两个张量，此函数会比较这两个输入张量中每个元素的大小，并返回比较结果。
#当tf.greater的输入张量维度不一样时，TensorFlow会进行类似NumPy广播操作处理。
#tf.where函数有三个参数，第一个为选择条件根据，当为True时，tf.where函数选择第二个参数中的值，否则使用第三个参数中的值。
loss = tf.reduce_sum(tf.where(tf.greater(y,y_),(y - y_)*loss_more,(y_ - y)*loss_less))
train_step = tf.train.AdamOptimizer(0.001).minimize(loss)#通过随机数生成一个模拟数据集
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size,2)
#设置回归的正确值为两个输入的和加上一个随机变量。之所以要加上一个随机量是为了加入不可预测的噪音，
#否则不同损失函数的意义就不大了，因为不同损失函数都会在能完全预测正确的时候最低。一般来说噪音为一个均值为0的小量，
#所以这里的噪音设置为-0.05~0.05的随机数。
Y = [[x1 + x2 +rdm.rand()/10.0-0.05] for (x1,x2) in X]#训练神经网络。
with tf.Session() as sess:init_op = tf.global_variables_initializer()sess.run(init_op)STEPS = 5000for i in range(STEPS):start = (i * batch_size) % dataset_sizeend = min(start+batch_size,dataset_size)sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})print (sess.run(w1))'''
输出结果：
[[1.0193471][1.0428091]]
'''

【Tensorflow】op的理解和自定义损失函数相关推荐

Tensorflow 2.x(keras)源码详解之第十一章：keras损失函数及自定义损失函数
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.现 ...
独家 | 使用TensorFlow 2创建自定义损失函数
作者:Arjun Sarkar 翻译:陈之炎校对:欧阳锦本文约1900字,建议阅读8分钟本文带你学习使用Python中的wrapper函数和OOP来编写自定义损失函数. 标签:TensorFlo ...
TensorFlow笔记-06-神经网络优化-损失函数,自定义损失函数,交叉熵
TensorFlow笔记-06-神经网络优化-损失函数,自定义损失函数,交叉熵神经元模型:用数学公式比表示为:f(Σi xi*wi + b), f为激活函数神经网络是以神经元为基本单位构成的激 ...
python自定义损失函数_tensorflow 自定义损失函数示例代码
这个自定义损失函数的背景:(一般回归用的损失函数是MSE, 但要看实际遇到的情况而有所改变) 我们现在想要做一个回归,来预估某个商品的销量,现在我们知道,一件商品的成本是1元,售价是10元. 如果我们 ...
Keras自定义损失函数出现：ValueError: Unknown loss function: focal_loss
Keras自定义损失函数出现:ValueError: Unknown loss function: focal_loss 1.软件环境 2.问题描述 3.解决方法 4.结果预览 1.软件环境 Wind ...
在Keras使用center-losss损失函数\Keras自定义损失函数
目录 1.站在巨人的肩膀上 2.Keras的损失函数 3.在Keras实现center-loss损失函数 3.1.导入库和定义常量 3.2.实现多元分类softmax损失函数 3.3.实现center ...
R语言构建xgboost模型：自定义损失函数（目标函数、loss function、object function）、评估函数（evaluation function）
R语言构建xgboost模型:自定义损失函数(目标函数.loss function.object function).评估函数(evaluation function) 目录
R语言构建xgboost模型使用早停法训练模型（early stopping）：自定义损失函数（目标函数,loss function）、评估函数（evaluation function）
R语言构建xgboost模型使用早停法训练模型(early stopping):自定义损失函数(目标函数.loss function.object function).评估函数(evaluation ...
sklearn基于make_scorer函数为Logistic模型构建自定义损失函数并可视化误差图(lambda selection)和系数图（trace plot）+代码实战
sklearn基于make_scorer函数为Logistic模型构建自定义损失函数并可视化误差图(lambda selection)和系数图(trace plot)+代码实战 # 自定义损失函数 i ...

【Tensorflow】op的理解和自定义损失函数