HDF5数据库和mysql数据库_hdf5存储数据
一.python读取txt文件
最简单的open函数:
-- coding: utf-8 --
with open("test.txt","r",encoding="gbk",errors='ignore') as f:
print(f.read())
1234这里用open函数读取了一个txt文件,”encoding”表明了读取格式是“gbk”,还可以忽略错误编码。 另外,使用with语句操作文件IO是个好习惯,省去了每次打开都要close()。
二.python读取json文件
简单的test.json文件如下:
{
"glossary": {
"title": "example glossary",
"GlossDiv": {
"title": "S",
"GlossList": {
"GlossEntry": {
"ID": "SGML",
"SortAs": "SGML",
"GlossTerm": "Standard Generalized Markup Language",
"Acronym": "SGML",
"Abbrev": "ISO 8879:1986",
"GlossDef": {
"para": "A meta-markup language, used to create markup languages such as DocBook.",
"GlossSeeAlso": ["GML", "XML"]
},
"GlossSee": "markup"
}
}
}
}
}12345678910111213141516171819202122这里需要用python的json模块处理解析:
import jsondata = json.load(open('example.json'))print(type(data))print(data)1234打印如下:
{'glossary': {'title': 'example glossary', 'GlossDiv': {'title': 'S', 'GlossList': {'GlossEntry': {'ID': 'SGML', 'SortAs': 'SGML', 'GlossTerm': 'Standard Generalized Markup Language', 'Acronym': 'SGML', 'Abbrev': 'ISO 8879:1986', 'GlossDef': {'para': 'A meta-markup language, used to create markup languages such as DocBook.', 'GlossSeeAlso': ['GML', 'XML']}, 'GlossSee': 'markup'}}}}}12可见json.load()函数返回值是dict,json数据现在就成了一个网状的Python字典。 接下来我们就可以用标准的键检索来进行解读,比如:
print(data'glossary'['GlossList'])1打印结果如下:
{'GlossEntry': {'ID': 'SGML', 'SortAs': 'SGML', 'GlossTerm': 'Standard Generalized Markup Language', 'Acronym': 'SGML', 'Abbrev': 'ISO 8879:1986', 'GlossDef': {'para': 'A meta-markup language, used to create markup languages such as DocBook.', 'GlossSeeAlso': ['GML', 'XML']}, 'GlossSee': 'markup'}}1三.python 读取HFD5文件
HDF5 是一种层次化的格式(hierarchical format),经常用于存储复杂的科学数据。例如 MATLAB 就是用这个格式来存储数据。在存储带有关联的元数据(metadata)的复杂层次化数据的时候,这个格式非常有用,例如计算机模拟实验的运算结果等等。 与HDF5 相关的主要概念有以下几个:
文件 file: 层次化数据的容器,相当于树根(’root’ for tree)组 group: 树的一个节点(node for a tree)数据集 dataset: 数值数据的数组,可以非常非常大属性 attribute: 提供额外信息的小块的元数据
-- coding: utf-8 --
创建hdf5文件
import datetimeimport osimport h5pyimport numpy as np
imgData = np.zeros((30,3,128,256))
if not os.path.exists('test.hdf5'):
with h5py.File('test.hdf5') as f:
f['data'] = imgData #将数据写入文件的主键data下面
f['labels'] = range(100)
123456789101112131415创建完成之后读取:
import datetimeimport osimport h5pyimport numpy as np
with h5py.File('test.hdf5') as f:
print(f)
print(f.keys)
123456789除了上述方法,pandas还提供一个直接读取h5文件的函数: pd.HDFStore
import datetimeimport osimport h5pyimport numpy as npimport pandas as pd
data = pd.HDFStore("dataset_log.h5")
print(type(data))123456789打印结果为:
Closing remaining open files:dataset_log.h5...done
HDF5数据库和mysql数据库_hdf5存储数据相关推荐
- access mysql 同步更新数据_[access 数据库同步]Access数据库到Mysql数据库实时更新
项目目标: 首先是将Access数据库中的大量数据(已经存好的原有百万级数据)转存到mysql数据库中,然后,随着Access中数据的增加,要同步更新mysql数据库,更新周期自定. 思路:一开始的转 ...
- 数据库【MySQL数据库介绍】
数据库[MySQL数据库介绍] 1.MySQL概要 MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司.MySQL 是一种关联数据库管理系统,关联 ...
- mysql数据库压缩备份_MySQL数据库之mysql数据库备份命令分享(mysql压缩数据库备份)...
本文主要向大家介绍了MySQL数据库之mysql数据库备份命令分享(mysql压缩数据库备份) ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 备份MySQL数据库的命令 复制代 ...
- MySQL数据库配置data文件_MySQL数据库之MySQL数据库迁移data文件夹位置详细步骤
本文主要向大家介绍了MySQL数据库之MySQL数据库迁移data文件夹位置详细步骤 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 由于yum安装mysql的时候,数据库的da ...
- mysql使用释放资源_数据库--释放mysql数据库资源
数据库--释放mysql数据库资源 背景 nikeodong 之前做了项目的数据库主从,在全备的过程发现数据库是越来越大了:最后发现是资源不释放的问题. 目的 为了解决 mysql 资源不释放的问题. ...
- 完美解答35K月薪的MySQL面试题(一)MySQL是如何存储数据的
引言:说一下以下SQL语句的整体交互流程,包括客户端与服务端的交互以及服务器内部的整体流程 BEGIN SELECT * FROM user WHERE id > 10 FOR UPDATE; ...
- oracle数据库跟mysql的区别_关于Oracle数据库与MySQL数据库的几点区别
Oracle数据库与MySQL数据库的区别是本文我们主要要介绍的内容,接下来我们就开始介绍这部分内容,希望能够对您有所帮助. Oracle与MySQL的区别: 1.在Oracle中用select * ...
- abp更改为mysql_ABPZero系列教程之拼多多卖家工具 更改数据库为MySQL数据库
本文主要向大家介绍了ABPZero系列教程之拼多多卖家工具 更改数据库为MySQL数据库 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. < 因为要部署项目到云服务器,不想 ...
- MySQL(面试+原理)(1)--MySQL是如何存储数据的
MySQL是如何存储数据的 1.MySQL的整体架构介绍 2.MySQL的磁盘文件介绍 MySQL在Linux中的数据索引文件和日志文件一般默认都在/var/lib/mysql目录下. 2.1日志文件 ...
- mysql数据库,mysql数据库监控介绍
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品.MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBM ...
最新文章
- 新手用python2还是3-新手用python2还是3
- windows命令行帮助文档如何使用
- 如何在 JS 代码中消灭 for 循环
- 纠结的velocity log那些事(出现Permission denied)
- Struts2的控制器(Controller)的工作流程图
- java实现周期任务_java定时任务的实现方式
- 28.MySQL Variables
- L2-022. 重排链表(双队列)
- 微信模板消息推送-模板再封装
- OV2640 DCMI
- 4x root 红米_小米红米Note4X获取root权限教程
- Linux启动nacos成功日志_SpringCloud Alibaba-nacos注册中心
- 2017.9.21 HTML学习总结---多媒体播放系统设计
- 第六届全国大学生生物医学工程创新设计竞赛参赛经历
- 电化学传感器原理回顾
- 发烧友labviEW随手练小试牛刀,精美奖品轻松拿,期待你的参与
- shiro、基于url权限管理、超详细
- windows+vscode+opencv源码安装配置
- hive添加udf函数
- 备战网络工程师认证考试:历年真题合集