【puthon】把大量csv文件写入h5文件制作数据集

背景

每一个样本的数据被写入了一个csv中，在制作数据集时，需要先将大量的csv文件写入到一个h5文件中

样例代码

import os
import sys
import h5py
import numpy as np'''
arg[1]: bins file folder path
arg[2]: x of shape
arg[3]: y of shape
arg[4]: h5 file name
'''if len(sys.argv) != 5:exit(-1)data_folder=sys.argv[1]
shape_x = int(sys.argv[2])
shape_y = int(sys.argv[3])total_count = len([name for name in os.listdir(data_folder)]) #  if os.path.isfile(name)h5f = h5py.File(sys.argv[4], 'w')
dset = h5f.create_dataset('spectrum_bins', (total_count,shape_x,shape_y))      # ,  chunks=(1, sys.argv[2],sys.argv[3])n = 0
for dp, d, name in os.walk(data_folder):file_path = os.path.join(dp, ''.join(name))if os.path.isdir(file_path):continueprint("open file ", file_path)csv = np.genfromtxt(file_path, delimiter=",", dtype='float32')dset[n,:,:] = csv#print(dset[n])n=n+1
h5f.close()

【puthon】把大量csv文件写入h5文件制作数据集相关推荐

文件操作ofstream,open,close，ifstream,fin，按照行来读取数据， fstream，iosin iosout，fio.seekg()，文件写入和文件读写，文件拷贝和文件
1.ofstream,open,close 写入文件 #include<iostream> #include<fstream> using namespace std; ...
【Hadoop】HDFS文件写入与文件读取过程
HDFS文件写入与文件读取过程 1. 文件读取过程 2. 文件写入过程 1. 文件读取过程详细过程: 客户端通过调用FileSystem对象的open()来读取希望打开的文件. Client向Nam ...
golang 文件（文件打开，文件写入，文件读取，文件删除）的基本操作
代码如下复制代码 package main import ( "bufio" //缓存IO "fmt" "io/ioutil" ...
python文件写入_python 文件读写操作
读文件打开一个文件用open()方法(open()返回一个文件对象,它是可迭代的): >>> f = open('test.txt', 'r') r表示是文本文件,rb是二进制文件 ...
PHP文件创建/PHP文件写入/PHP文件打开/PHP文件读取
/**php丶文件创建/写入/读取/覆盖**/ $myfile = fopen("newfile.txt", "w") or die("Una ...
golang基础-终端读(Scanln\bufio)、bufio文件读、、ioutil读读压缩、缓冲区读写、文件写入、文件拷贝
终端读写Scanln.Sscanf bufio带缓冲区的读 bufio文件读(1) bufio文件读(2) 通过ioutil实现读读取压缩文件文件写入文件拷贝终端读写Scanln.Sscanf ...
文件的记录c语言程序,计算机二级-C语言-程序填空题-190110记录-文件写入与文件读出显示...
//给定程序功能是:从键盘输入若干行文本(每行不超过80个字符),写到文件myfile4.txt中,用-1(独立一行)作为字符串输入结束的标志,然后将文件的内容读到显示在屏幕上.文件的读写分别由自定义 ...
php文件写入生成文件,PHP 文件操作类(创建文件并写入) 生成日志
欢迎进入Linux社区论坛,与200万技术人员互动交流 >>进入 PHP 文件操作类(创建文件并写入) 生成日志 /** * 文件操作(生成日志)支持多条插入 * (如果插入多条语句并换行 ...
javaSE commons-io第三方插件, FileUtils工具类,复制文件夹、文件,写入/读取文件
commons-io插件下载:https://pan.baidu.com/s/16-lyGR0KKp943pIOCYTVcg 密码:x1t9 在项目中导入classpath: 1.创建lib文件夹 ...

【puthon】把大量csv文件写入h5文件制作数据集

背景

样例代码

【puthon】把大量csv文件写入h5文件制作数据集相关推荐

最新文章

热门文章