python 制作二进制文件数据集(bin)
为了方便进行深度学习的程序调用与实现,需要将excel的数据文件转换为二进制文件。好处就是接口统一,读写速度快,节约空间。
一、调用库
使用xlrd读入execel表格,经过处理后转换为对应的dataframe结构,再使用pickle库保存。
二、实例
import struct
import os
import pickle, glob#写入bin文件
#假设已生成datafarme。
binname = './test.bin'
binfile = open(binname , 'rb+') #打开bin文件
pickle.dump(datafarme,binfile) #写入datafarme#读取bin文件
binname = './test2.bin'
binfile2 = open(binname,'rb')
readdata = pickle.load(binfile2 )
print(readdata.shape)
三、读写文件参数
open(binname , 'rb+') ,后面一个参数的选择如下图所示
参考文献:
https://blog.csdn.net/qq_32166627/article/details/68946809
https://blog.csdn.net/and_then111/article/details/86744938
python 制作二进制文件数据集(bin)相关推荐
- python制作图片数据集_Pytorch自己加载单通道图片用作数据集训练的实例
pytorch 在torchvision包里面有很多的的打包好的数据集,例如minist,Imagenet-12,CIFAR10 和CIFAR100.在torchvision的dataset包里面,用 ...
- python制作印刷体数据集:数字符号数据集(字符串转图片)
做OCR项目,需要有很多印刷体的数据集,靠人工手动截图标注显然不现实,于是"人生苦短,我用python" 思路:数据集分两类,一类是长浮点数,模拟财务报表中的上亿元金额: 比如79 ...
- python制作图片数据集 h5py_python库——h5py入门讲解
转载自http://m.blog.csdn.net/csdn15698845876/article/details/73278120 h5py简单介绍 h5py文件是存放两类对象的容器,数据集(dat ...
- python制作图片数据集 h5py_基于h5py的使用及数据封装代码
1. h5py简单介绍 h5py文件是存放两类对象的容器,数据集(dataset)和组(group),dataset类似数组类的数据集合,和numpy的数组差不多.group是像文件夹一样的容器,它好 ...
- python制作图片数据集_制作图片数据集
在学习卷积神经网络的时候,遇到了cifar10图像数据集,用着挺好,但不想局限于固定的几种图像的识别,所以就有了自己制作数据集来识别的想法. 一.cifar10数据集. 据原网站介绍,数据集为二进制. ...
- python制作图片数据集,Python 3 生成手写体数字数据集
0.引言 平时上网干啥的基本上都会接触验证码,或者在机器学习学习过程中,大家或许会接触过手写体识别/验证码识别之类问题,会用到手写体的数据集: 自己尝试写了一个生成手写体图片的python程序,在此分 ...
- python制作图像数据集_详细图像数据集增强原理的python代码
导读 在深度学习时代,数据的规模越大.质量越高,模型就能够拥有更好的泛化能力,数据直接决定了模型学习的上限.然而在实际工程中,采集的数据很难覆盖全部的场景,比如图像的光照条件,同一场景拍摄的图片可能由 ...
- 制作视频数据集(一):截取视频帧
** 制作视频数据集(一):截取视频帧 ** 1.smart player截取视频帧 直接下载smart player截取即可,我是觉得这个软件截取更简单一些,但我下载之后截取页面显示不了文件,搞不了 ...
- python处理MNIST数据集
1. MNIST数据集 1.1 MNIST数据集获取 MNIST数据集是入门机器学习/模式识别的最经典数据集之一.最早于1998年Yan Lecun在论文: Gradient-based learni ...
最新文章
- C++学习笔记24,方法重写与方法隐藏
- CRSLab:可能是最适合你的对话推荐系统开源库
- AtCoder Regular Contest 105 部分 NIM游戏
- 【Elasticsearch】Elasticsearch 基于scoll技术滚动搜索大量数据
- 手机上删掉的照片怎么找回来?
- 安全监控、告警及自动化!
- 一生温暖纯良,不舍爱与自由
- 一口气看完了蔡学镛的--爪哇夜未眠(第二版)
- 全新UI多用户任务悬赏系统源码+带三级分销推广
- Filezilla server连接Ubuntu被服务器拒绝及中文乱码问题解决
- 漫威漫画公司(Marvel Comics)简介
- 计算机考试怎么复制粘贴文件,复制粘贴,教您电脑复制粘贴不能用了怎么解决...
- matlab中argmax_argmin(matlab中argmin函数)
- Java大学生特训营 疫情地图项目实战课
- 计算机专业答辩评分表,计算机本科专业毕业论文评分标准.doc
- 遥感图像-Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data高光谱数据深度特征对齐神经
- SCIPY类库——最小二乘法应用
- flash按钮控制播放
- java中的类跟结构体_C#中的结构体与类的区别
- 课程设计:小型宾馆管理系统01
热门文章
- TCP/IP(四):TCP 与 UDP 协议简介
- centos6.5和centos7.5统一字符集为zh_CN.UTF-8解决系统和MySQL数据库乱码问题
- jquery正则表达式验证:验证全是数字
- [js高手之路]构造函数的基本特性与优缺点
- homebrew 常用命令
- iOS UISegmentedControl 的使用
- Google Mesa概览
- 关于“收获”啰嗦几句。
- vue --- mintUI中Swipe(轮播图)的使用
- npm --- 包的发布与导入