1.pytorch读取lmdb格式文件

内容来源于songlab-cal/tape。

from torch.utils.data import Dataset
from typing import Union, List, Tuple, Sequence, Dict, Any, Optional, Collection
from pathlib import Path
# import torch
import lmdb
import pickle as pkl
import numpy as npclass LMDBDataset(Dataset):"""Creates a dataset from an lmdb file.Args:data_file (Union[str, Path]): Path to lmdb file.in_memory (bool, optional): Whether to load the full dataset into memory.Default: False."""def __init__(self,data_file: Union[str, Path],in_memory: bool = False):data_file = Path(data_file)if not data_file.exists():raise FileNotFoundError(data_file)env = lmdb.open(str(data_file), max_readers=1, readonly=True,lock=False, readahead=False, meminit=False)with env.begin(write=False) as txn:num_examples = pkl.loads(txn.get(b'num_examples'))if in_memory:cache = [None] * num_examplesself._cache = cacheself._env = envself._in_memory = in_memoryself._num_examples = num_examplesdef __len__(self) -> int:return self._num_examplesdef __getitem__(self, index: int):if not 0 <= index < self._num_examples:raise IndexError(index)if self._in_memory and self._cache[index] is not None:item = self._cache[index]else:with self._env.begin(write=False) as txn:item = pkl.loads(txn.get(str(index).encode()))if 'id' not in item:item['id'] = str(index)if self._in_memory:self._cache[index] = itemreturn item

执行下列语句：

lmdb_data = LMDBDataset("../data/fluorescence/fluorescence_train.lmdb")
lmdb_data[0]

参考文献

[1] songlab-cal/tape

python读取特殊格式文件相关推荐

python用os.system打开wav文件_使用python读取wav格式文件
** 使用python读取wav格式文件 ** - 基本概念 [采样频率] 即取样频率, 指每秒钟取得声音样本的次数.采样频率越高,声音的质量也就越好,声音的还原也就越真实,但同时它占的资源比较多.由 ...
python获取的html转换为json,python读取XML格式文件并转为json格式
XML文件如下: 红楼梦书名> 曹雪芹作者> 描述贾宝玉和林黛玉的爱情故事主要内容> 人民文学出版社出版社> 图书> 一.python读取XML格式文件代码: impor ...
python读取各种格式文件方式
python读取各种格式文件方式 1.读取图片并显示 #方法1 from PIL import Image img=Image.open('1.jpg') img.show() #方法2 import ...
Python——读取raw格式文件
Python--读取raw格式文件文章目录 Python--读取raw格式文件前言一.直接上代码前言简单记录一下python读取raw格式图像,因为reshape来来回回还交换轴搞得人头大, ...
【自动化测试】Python 读取 .ini 格式文件
大家应该接触过.ini格式的配置文件.配置文件就是把一些配置相关信息提取出去来进行单独管理,如果以后有变动只需改配置文件,无需修改代码.特别是后续做自动化的测试,需要拎出一部分配置信息,进行管理.比如 ...
python ini文件遍历_【自动化测试】Python 读取 .ini 格式文件
大家应该接触过.ini格式的配置文件.配置文件就是把一些配置相关信息提取出去来进行单独管理,如果以后有变动只需改配置文件,无需修改代码.特别是后续做自动化的测试,需要拎出一部分配置信息,进行管理.比如 ...
python读取json格式文件大量数据，以及python字典和列表嵌套用法详解
1.Python读取JSON报错:JSONDecodeError:Extra data:line 2 column 1 错误原因: JSON数据中数据存在多行,在读取数据时,不能够单单用open(), ...
怎么样用Python 读取oni 格式文件？
怎么样用Python 读取oni 文件? 什么是oni 文件? Python读取方法 python 代码示例什么是oni 文件? oni 文件是openni 的存储文件. Python读取方法先安 ...
使用 Python 读取 json 格式文件并查重
场景如下: 格式为 json 的文件中存在多行测试数据,需要判断文件中 "esbsn" 字段的值是否存在重复数据 {"time":"2022-08-0 ...

python读取特殊格式文件

python读取特殊格式文件

1.pytorch读取lmdb格式文件

参考文献

python读取特殊格式文件相关推荐

最新文章

热门文章