20亿行21.3G的文本数据打乱操作只需要2.2G的内存执行19分钟

2024-05-09 04:49:38

运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统

需要内存：至少8GB，本工具软件实际消耗的内存大约在2.2GB左右

需要固态硬盘：固态硬盘剩余空间必须是被打乱数据大小的3倍，如果只有机械硬盘，

也可以运行此软件，就是机械硬盘的速度只有固态硬盘速度的1/10

操作系统本身消耗3.8GB的内存，本工具软件消耗2.2G，总共消耗6G的内存，
所以使用本软件至少需要8G的内存

支持1列N行格式和多列N行格式的数据的打乱操作，
也支持30G、50G、100G、 200G、 300G、 400G、 500G、甚至1000G大小的TXT格式数据行打乱操作，如果超过1000G，购买更大容量的固态硬盘可以增加内存到16G

递增生成20亿个整数每行一个整数.wmv
测试过程中只录制了78% --- 100%部分的完整的视频（视频大小192 KB,时长1分钟）
链接：https://pan.baidu.com/s/1Bb7pja8S22OR-aau_-bQuw
提取码：gwy2

20亿行整数打乱测试视频.wmv
测试过程中录制了100%的完整的视频（视频大小29.6 MB,时长22分钟）
链接：https://pan.baidu.com/s/1urrcZ6KRr5IknDp3lQoEqg
提取码：1dks

以上工具生成的测试数据由小到大排列一共20亿行，如下图所示：

由文本数据行工具打乱后的数据样子如下图所示：

20亿行21.3G的文本数据打乱操作只需要2.2G的内存执行19分钟相关推荐

面对 20 亿行代码，Google 如何管理？
面对"Google 这家公司有多大?"这种问题,你可能会用收入.股票价格.客户数量或者是形而上学的影响力来回答这个问题.但是,这还不是全部.Google 作为全球最大的互联网公司, ...
2020 年腾讯新增 20 亿行代码，鹅厂第一编程语言还是它
点击上方好好学java ,选择星标公众号重磅资讯,干货,第一时间送达今日推荐:推荐19个github超牛逼项目!个人原创100W +访问量博客:点击前往,查看更多近日,腾讯发布了<20 ...
腾讯 2020年新增 20 亿行代码，C++蝉联腾讯最受欢迎的编程语言
作为国内科技巨头,腾讯的产品早已覆盖到了每个国人手中,不过这家公司对于自身技术一直比较「低调」.3 月 18 日下午,腾讯今天对外发布 2020 年度<腾讯研发大数据报告>,披露了 202 ...
mysql文本数据_mysql操作文本数据
有时为了更快速地插入大批量数据或交换数据,需要从文本中导入数据或导出数据到文本. 一. 建立测试表,准备数据首先建立一个用于测试的表示学生信息的表,字段有id.姓名.年龄.城市.薪水.Id和姓名不 ...
IBM开源了5亿行代码数据集，里面最多的编程语言却不是Python
谷歌服务包含 20 亿行代码,一辆汽车的系统包含 1 亿行代码--写代码.debug 这么大的工作量不交给 AI 来做能行? 机器之心报道,编辑:小舟.陈萍. 让 AI 自动生成代码,是很多开发者的梦 ...
为何Google将几十亿行源代码放在一个仓库？| CSDN博文精选
作者 | Rachel Potvin,Josh Levenberg 译者 | 张建军编辑 | apddd [AI科技大本营导读]与大多数开发者的想象不同,Google只有一个代码仓库--全公司使用不 ...
为何Google将几十亿行源代码放在一个仓库？
作者 | Rachel Potvin,Josh Levenberg 译者 | 张建军编辑 | apddd [AI科技大本营导读]与大多数开发者的想象不同,Google只有一个代码仓库--全公司使用不 ...
20 亿个数字在 4G 内存中如何去重排序：快来试一试 BitMap
作者 l 会点代码的大叔(CodeDaShu) 有一道流传广泛的面试题: 给你一台 4G 内存的机器,一组 20 亿个无序正整数,如何快速地判断一个正整数 N 是否在这组数字中?或者如何快速地对这组数 ...
为什么Google上十亿行代码都放在同一个仓库里?
导读:相对于一般公司,Google 使用了单一代码仓库,很多人不理解为什么这么做.本文作者是谷歌基础设施小组的工程师,对这个问题进行了详细解读.译者在翻译过程中受益良多,也相信大家看完之后会认为自己还 ...

最新文章

热门文章