关于大量数据的随机打乱重保存．(少了详细解释，之后会更新)

ps:想要数据随机打乱时遇到由于数据量太大导致电脑卡死：

def myshuffle(path,save_path,b,bb):for parent, dirnames, filenames in os.walk(path):l = len(filenames)lst = list(range(l-1))random.shuffle(lst)lst.append(l)su=np.ceil(l/b)for id in range(su):if id < su-1:for i in range(b):si = lst[id * b + i]neg_patch_sum = np.load(os.path.join(path, 'neg' + str(si) + '.npy'))if i == 0:sample = np.copy(neg_patch_sum)else:sample = np.concatenate((sample, neg_patch_sum), axis=0)lst1 = list(len(sample))random.shuffle(lst1)npy = sample[lst1]for ii in range(b):iii = id * b + iinp.save(os.path.join(save_path, 'neg%d.npy' % iii), npy[ii * bb:(ii + 1) * bb])else:for i in range(l-su*b):si = lst[id * b + i]neg_patch_sum = np.load(os.path.join(path, 'neg' + str(si) + '.npy'))if i == 0:sample = np.copy(neg_patch_sum)else:sample = np.concatenate((sample, neg_patch_sum), axis=0)lst1 = list(range(len(sample)))random.shuffle(lst1)npy = sample[lst1]for ii in range(l-su*b):iii = id * b + iiif ii < l-su*b-1:np.save(os.path.join(save_path, 'neg%d.npy' % iii), npy[ii * bb:(ii + 1) * bb])else:np.save(os.path.join(save_path, 'neg%d.npy' % iii), npy[ii * bb:])

关于大量数据的随机打乱重保存．(少了详细解释，之后会更新)相关推荐

数据对齐的理解与一道组成原理题的详细解释
首先需要解释的是数据对齐到底是什么,为什么有,如何处理. 以2012年408统考的一道题目为例,详细解释其中的细小知识点: 某计算机存储器按照字节编址,采用小端方式存储数据,假定编译器规定int和sh ...
go golang 判断base64数据获取随机字符串截取字符串
go golang 判断base64数据获取随机字符串截取字符串先少写点,占个坑,以后接着加. 1,获取指定长度随机字符串 func RandomDigits(length int) strin ...
【python-numpy 】中的随机打乱数据方法np.random.shuffle
描述: shuffle() 方法将序列的所有元素随机排序. #实验可得每次shuffle后数据都被打乱,这个方法可以在机器学习训练 #的时候在每个epoch结束后将数据重新洗牌进入下一个epoch的学 ...
excel取整数的函数_函数010 EXCEL如何随机打乱数据，不重复随机数来帮忙！
今天我们继续学习我们函数实战系列!一个不小心,我们已经更新9期了,今天就是第十期!具体讲点啥? 第十期-生成随机不重复数据! 顺势我们把相关的随机函数也学习一下,一举两得! 在EXCEL的中,要生成随 ...
python随机打乱一个文本中每行数据
如果你有一个文本,其中有很大数据,每行为一条数据,按照某种顺序进行着排列,出于某种目的,你需要将所有的数据顺序进行随机打乱. 可以用如下python代码瞬间实现: import randomout_f ...
随机打乱数据的几种方式
基于pytorch indices = torch.randperm(len(dataset)).tolist() dataset = torch.utils.data.Subset(dataset, ...
GEE系列：第9单元在GEE中生成采样数据【随机采样】
GEE从入门到实战的10个系列单元: GEE系列:第1单元 Google地球引擎简介 GEE系列:第2单元探索数据集 GEE系列:第3单元栅格遥感影像波段特征及渲染可视化 GEE系列:第4单元 ...
python 随机排序_Python 如何随机打乱列表(List)排序
场景: 现在有一个list:[1,2,3,4,5,6],我需要把这个list在输出的时候,是以一种随机打乱的形式输出. 专业点的术语:将一个容器中的数据每次随机逐个遍历一遍. 注意:不是生成一个随机的 ...
华为发布智能数据解决方案FusionData，重定义数据基础设施，释放数据价值
[中国,北京,2019年6月5日]华为在北京发布智能数据解决方案FusionData,支持智能的数据全生命周期管理:从数据接入.数据处理和数据使能三个层面,重定义数据基础设施,帮助客户打造领先的智能数 ...

关于大量数据的随机打乱重保存．(少了详细解释，之后会更新)

关于大量数据的随机打乱重保存．(少了详细解释，之后会更新)相关推荐

最新文章

热门文章