7.1 TensorFlow笔记(基础篇):加载数据之预加载数据与填充数据
TensorFlow加载数据
TensorFlow官方共给出三种加载数据的方式:
1. 预加载数据
2. 填充数据
预加载数据的缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存.填充的方式也有数据量大,消耗内存高的缺点,并且数据类型的转换等中间环节增加了不少开销(之前的笔记示例中主要使用的这两种方式).最好用第三种方法,在图中定义好文件读取的方法,让Tensorflow 自己从文件中读取数据,并解码成可使用的样本集.
CODE : 预加载数据与填充数据
import tensorflow as tf
import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'# 预加载数据
# 缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存
x1 = tf.constant([2,3,4])
x2 = tf.constant([4,0,1])
y = tf.add(x1,x2)with tf.Session() as sess:print(sess.run(y))# 填充数据
# 设计图
a1 = tf.placeholder(tf.int16)
a2 = tf.placeholder(tf.int16)
b = tf.add(x1,x2)
# 用 python 产生数据
li1 = [2,3,4]
li2 = [4,0,1]
# 打开一个会话,将数据填充给后端
with tf.Session() as sess:print(sess.run(b,feed_dict={a1: li1,a2: li2}))# 填充的方式也有数据量大,消耗内存高的缺点,并且数据类型的转换等中间环节增加了不少开销.
# 这时最好用第三种方法,在图中定义好文件读取的方法,让Tensorflow 自己从文件中读取数据,并解码成可使用的样本集运行结果:
[6 3 5]
[6 3 5]相关
在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步:
1. 把样本数据写入TFRecords二进制文件 : http://blog.csdn.net/fontthrone/article/details/76727412
2. TensorFlow笔记(基础篇):加载数据之从队列中读取:http://blog.csdn.net/fontthrone/article/details/76728083
3. python中的argparse模块:http://blog.csdn.net/fontthrone/article/details/76735591
7.1 TensorFlow笔记(基础篇):加载数据之预加载数据与填充数据相关推荐
- 7.3 TensorFlow笔记(基础篇):加载数据之从队列中读取
前言 整体步骤 在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 1. 把样本数据写入TFRecords二进制文件 2 ...
- 7.2 TensorFlow笔记(基础篇): 生成TFRecords文件
前言 在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步: 1. 把样本数据写入TFRecords二进制文件 2. 从队列 ...
- 6.1 Tensorflow笔记(基础篇):队列与线程
前言 在Tensorflow的实际应用中,队列与线程是必不可少,主要应用于数据的加载等,不同的情况下使用不同的队列,主线程与其他线程异步进行数据的训练与读取,所以队列与线程的知识也是Tensorflo ...
- 1.1 Tensorflow笔记(基础篇): 图与会话,变量
图与会话 import tensorflow as tf import os# 取消打印 cpu,gpu选择等的各种警告 # 设置TF_CPP_MIN_LOG_LEVEL 的等级,1.1.0以后设置2 ...
- arcgis前端(2)-----＞基础篇--发布一个自定义地图及加载自定义地图/底图
arcgis前端(2)----->基础篇–发布一个自定义地图及加载自定义地图/底图 文章目录 arcgis前端(2)----->基础篇--发布一个自定义地图及加载自定义地图/底图 前言 & ...
- Google Map 开发笔记——基础篇(Javascript )
Google Map 开发笔记--基础篇 说明: 一.使用入门: 1.在您需要显示地图的 html 页面嵌入这段 script 2.地图 DOM 元素 3.初始化地图 二.地图画点.线.面 1.标记( ...
- AIR移动（Starling）开发笔记基础篇
AIR移动(Starling)开发笔记基础篇 ---------kiddyPs:文档写的不是很好,欢迎指正和扩展 Starling相关 自定义移动动画 A.自定义函数 var tw:Tween = n ...
- 小猪猪C++笔记基础篇（四）数组、指针、vector、迭代器
小猪猪C++笔记基础篇(四) 关键词:数组,Vector. 一.数组与指针 数组相信大家学过C语言或者其他的语言都不陌生,简单的就是同一个变量类型的一组数据.例如:int a[10],意思就是从a开始 ...
- MySQL学习笔记-基础篇1
MySQL 学习笔记–基础篇1 目录 MySQL 学习笔记--基础篇1 1. 数据库概述与MySQL安装 1.1 数据库概述 1.1.1 为什么要使用数据库 1.2 数据库与数据库管理系统 1.2.1 ...
最新文章
- animate用法 js原生_用 原生Javascript 创建带动画的固顶导航菜单
- MusicXML 3.0 - DTD 速查
- linux网络编程之怎么配置好unp.h文件
- 计算机二级web程序设计习题,2015年计算机二级《Web程序设计》习题及答案(5)
- RabbitMQ 从入门到精通 （一）
- r语言 柱状图加星号_R语言绘制带有显著性字母标记的柱状图
- Stack Overflow 上人气最旺的 10 个 Java 问题
- pve安装黑群晖直通硬盘_蜗牛星际装机教程篇三：手把手教你安装黑群晖NAS
- 5脚12v继电器接线图解_继电器线圈并联二极管的作用
- 元胞自动机模型01——认识元细胞机模型
- 3dmax模型带材质导出obj格式文件的方法与步骤
- 软件质量-知识点整理
- 数学建模常见算法：插值算法
- 服务发现框架 —————— 开开开山怪
- 群英荟萃 | UINO优锘科技ThingJS平台亮相华为开发者大会
- B360主板i5 8400装Win7记录
- linux mint桌面mac,清新的Linux Mint 桌面壁纸 1920 x 1200
- ＜＜MIMO-OFDM无线通信技术及MATLAB实现＞＞重要问题回复（1）
- Tms320c6678——多核导航模块（Multicore Navigator）
- 【C++】LeetCode 题库 1834. 单线程 CPU