Numpy中数据的常用的保存与读取方法
文章目录:
- 1.保存为二进制文件(.npy/.npz)
- numpy.save
- numpy.savez
- numpy.savez_compressed
- 2.保存到文本文件
- numpy.savetxt
- numpy.loadtxt
在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多.
下面就常用的保存数据到二进制文件和保存数据到文本文件进行介绍:
1.保存为二进制文件(.npy/.npz)
numpy.save
参数介绍
numpy.save(file, arr, allow_pickle=True, fix_imports=True)
file:文件名/文件路径
arr:要存储的数组
allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)
fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)
使用
>>> import numpy as np
#生成数据
>>> x=np.arange(10)
>>> x
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) #数据保存
>>> np.save('save_x',x) #读取保存的数据
>>> np.load('save_x.npy')
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
numpy.savez
参数介绍
numpy.savez(file, *args, **kwds)
file:文件名/文件路径
*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名
kwds:(可选参数,默认即可)
使用
>>> import numpy as np
#生成数据
>>> x=np.arange(10)
>>> x
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> y=np.sin(x)
>>> y
array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 ,
-0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) #数据保存
>>> np.save('save_xy',x,y) #读取保存的数据
>>> npzfile=np.load('save_xy.npz')
>>> npzfile #是一个对象,无法读取
<numpy.lib.npyio.NpzFile object at 0x7f63ce4c8860> #按照组数默认的key进行访问
>>> npzfile['arr_0']
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> npzfile['arr_1']
array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 ,
-0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])
更加神奇的是,你可以不适用Numpy默认给数组的Key,而是自己给数组有意义的Key,这样就可以不用去猜测自己加载数据是否是自己需要的.
#数据保存
>>> np.savez('newsave_xy',x=x,y=y) #读取保存的数据
>>> npzfile=np.load('newsave_xy.npz') #按照保存时设定组数key进行访问
>>> npzfile['x']
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> npzfile['y']
array([ 0. , 0.84147098, 0.90929743, 0.14112001, -0.7568025 ,
-0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])
简直不能太爽,深度学习中,有时候你保存了训练集,验证集,测试集,还包括他们的标签,用这个方式存储起来,要啥加载啥,文件数量大大减少,也不会到处改文件名去.
numpy.savez_compressed
注:函数所需参数和numpy.savez一致,用法完成一样.
2.保存到文本文件
numpy.savetxt
fname:文件名/文件路径,如果文件后缀是
.gz
,文件将被自动保存为.gzip
格式,np.loadtxt可以识别该格式
X:要存储的1D或2D数组
fmt:控制数据存储的格式
delimiter:数据列之间的分隔符
newline:数据行之间的分隔符
header:文件头步写入的字符串
footer:文件底部写入的字符串
comments:文件头部或者尾部字符串的开头字符,默认是'#'
encoding:使用默认参数
使用
>>> import numpy as np
#生成数据
>>> x = y = z = np.ones((2,3))
>>> x
array([[1., 1., 1.],
[1., 1., 1.]]) #保存数据
np.savetxt('test.out', x)
np.savetxt('test1.out', x,fmt='%1.4e')
np.savetxt('test2.out', x, delimiter=',')
np.savetxt('test3.out', x,newline='a')
np.savetxt('test4.out', x,delimiter=',',newline='a')
np.savetxt('test5.out', x,delimiter=',',header='abc')
np.savetxt('test6.out', x,delimiter=',',footer='abc')
保存下来的文件都是友好的,可以直接打开看看有什么变化.
numpy.loadtxt
fname:文件名/文件路径,如果文件后缀是
.gz
或.bz2
,文件将被解压,然后再载入
dtype:要读取的数据类型
comments:文件头部或者尾部字符串的开头字符,用于识别头部,尾部字符串
delimiter:划分读取上来值的字符串
converters:数据行之间的分隔符
.......后面不常用的就不写了
使用
- np.loadtxt('test.out')
- np.loadtxt('test2.out', delimiter=',')
参考资料:
官方API-Routines
Numpy中数据的常用的保存与读取方法相关推荐
- 如何用matlab读取npz文件,Python Numpy中数据的常用的保存与读取方法
在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多. 下面就常用的保存数据到二进制文件和保存数据到文本文件 ...
- python怎么读取txt文件数据保存数组中-Python Numpy中数据的常用的保存与读取方法...
在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多. 下面就常用的保存数据到二进制文件和保存数据到文本文件 ...
- python读取sav文件_Numpy中数据的常用的保存与读取方法
小书匠 深度学习 文章目录: 在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多. 下面就常用的保存数据到 ...
- python如何读取数据保存为新格式_Python Numpy中数据的常用保存与读取方法
在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多. 下面就常用的保存数据到二进制文件和保存数据到文本文件 ...
- Excel中数据汇总常用的几种方法,sumif、合并计算、数据透视表
Excel中数据汇总常用的几种方法: 如图,我们想要求出每个人的数量是多少,可以用3种方法. 第一种: 函数sumif(),首先把名字列出来,可以用删除重复项,其次在名字的后面用=sumif()来实现 ...
- python 写txt 换行_python 批配换行Numpy数组的保存与读取方法
1. 数组以二进制格式保存 np.save和np.load是读写磁盘数组数据的两个主要函数.默认情况下,数组以未压缩的原始二进制格式保存在扩展名为npy的文件中,以数组a为例 np.save(&quo ...
- opengl中的Floatbuffer和IntBuffer与java中数据的存储方式不同的解决方法,编辑一个自己的BufferUtil工具类
opengl中的Floatbuffer和IntBuffer与java中数据的存储方式不同的解决方法,编辑一个自己的BufferUtil工具类 参考文章: (1)opengl中的Floatbuffer和 ...
- Tensorflow2 图像分类-Flowers数据深度学习模型保存、读取、参数查看和图像预测
目录 1.原文完整代码 1.1 模型运行参数总结 1.2模型训练效果 编辑2.模型的保存 3.读取模型model 4.使用模型进行图片预测 5.补充 如何查看保存模型参数 5.1 model_wei ...
- JAVA中方法的类型转换_Java中几种常用数据类型之间转换的方法
Java中几种常用的数据类型之间转换方法: 1. short-->int 转换 exp: short shortvar=0; int intvar=0; shortvar= (short) in ...
最新文章
- andriod之对话框--标准对话框、列表对话框、自定义对话框
- 为什么“无人问津”的Lisp可以这么狂?
- Boost:BOOST_CURRENT_FUNCTION的测试程序
- 【Cracking the Code Interview(5th edition)】一、数组与字符串(C++)
- 2018-行远自迩,登高自卑
- app商城源码_海量的SpringBoot和SSM项目【附带源码+视频教程】快速成为全栈
- [CTO札记]Disney也进军数字出版市场了
- Redis 那么快之底层 ziplist 的奥秘!
- How to recover deleted data from SQL Server
- Zotero数据及文件同步
- ActivityGroup简介
- 2022(2021JCR)SCI期刊影响因子完整版
- java ee jaas_Java Web系列:JAAS认证和授权基础
- gin 渲染不同目录下的模板(支持多层目录)
- 服务器解压gz文件命令,gz解压(手机怎么解压gz文件)
- Android手机怎么找回微信好友,安卓手机微信好友删除怎么找回?这三种方法真香...
- android 5.1 壁纸路径,Android5.1 壁纸来源选项中有两个“壁纸”选项
- python教学小说05 宽容之心,是容纳世界的神奇变量。
- android setMargin失效不起作用
- python 公司年会抽奖_python实现年会抽奖程序
热门文章
- DNS(计算机域名)三种查询
- 解锁三星bl锁有几种方法_如何判断三星手机bootloader是否解锁_免费解锁BL的3个方法...
- [Android相机]通过手机摄像头识别环境亮度
- 数据仓库工程师面试经验(2019)
- 计算机专业英语实战记录(整理了上千个相关单词)
- [华为 HCNA ] VLAN的介绍和划分
- Win7系统中,如何关闭Windows默认的防火墙? win7如何关闭防火墙
- 修改win7的登录界面背景与关机背景
- 《Boosting Data-Driven Evolutionary Algorithm With Localized Data Generation》笔记
- 右键-打开方式里没有EXCEL,找到路径也打不开的解决方法