java如何读取rfid的数据_100G 数据如何先随机读取1%?

　　100G 数据如何先随机读取1%?今天番茄加速就来给大家介绍下。

　　对于动辄就几十或几百个 G 的数据，在读取的这么大数据的时候，我们有没有办法随机选取一小部分数据，然后读入内存，快速了解数据和开展 EDA ?

　　使用 Pandas 的 skiprows 和概率知识，就能做到。解释具体怎么做，如下所示，读取某 100 G 大小的 big_data.csv 数据

　　使用 skiprows 参数，

　　x > 0 确保首行读入，

　　np.random.rand() > 0.01 表示 99% 的数据都会被随机过滤掉

　　言外之意，只有全部数据 1% 才有机会选入内存中。

　　import pandas as pd

　　import numpy as np

　　df = pd.read_csv("big_data.csv",

　　skiprows =

　　lambda x: x>0and np.random.rand() > 0.01)

　　print("The shape of the df is {}.

　　It has been reduced 100 times!".format(df.shape))

　　使用这种方法，读取的数据量迅速缩减到原来的 1% ，对于迅速展开数据分析有一定的帮助。

java如何读取rfid的数据_100G 数据如何先随机读取1%?相关推荐

C语言文件读取错误怎么解决,c语言中文件随机读取出错如何解决
在一个链表中找出相同的结点的算法与之相似,不过对于文件来说有点烦. 因为在C语言中对流式文件进行操作时,打开文件后,有一个读写位置指针,记录的是读写时在文件中的位置,其初始状态与打开方式有关.r.r+ ...
php随机抽取txt一行_PHP随机读取TXT文件某行内容
正文最近在开发一个类似"一言"的一句话输出平台,数据方面我没有用到 MySQL 也没用到 sqlite,因为我打算用TXT格式的文本来储存数据,理由很简单,TXT写出写入的速度都 ...
树莓派 rfid_树莓派工控机做Modbus RTU主站读取RFID数据
KUNBUS Revpi Core 3是工业级的树莓派,可作为小型的工业PC用,外观十分小巧,操作简单,DIN导轨模块化安装,RevPi core 3能与RevPi IO连接,能实时对这些IO的控制. ...
使用Java读取 “Python写入redis” 的数据踩坑记录
https://my.oschina.net/u/2338224/blog/3061507 使用Java读取 "Python写入redis" 的数据踩坑记录 https://seg ...
java获取xlsx某列数据_Java读取Excel指定列的数据详细教程和注意事项
本文使用jxl.jar工具类库实现读取Excel中指定列的数据. jxl.jar是通过java操作excel表格的工具类库,是由java语言开发而成的.这套API是纯Java的,并不依赖Windows ...
java读取excel数据的方法是_java怎么读取excel文件里的数据
展开全部下面是一个简单的读取例子,如果报"java.io.IOException: Invalid header signature; read 4503608217567241, exp ...
JAVA导入大量数据的Excel，如何分块读取并避免内存溢出？
当需要将大量数据导入到Java应用程序中时,经常会遇到内存不足的问题.在这种情况下,将数据分成块并一次读取一个块是一种可行的解决方案.本篇文章将介绍如何使用Java分块读取Excel数据,并导入到数据 ...
java读取hadoop数据_从Hadoop URL中读取数据_hadoop 数据读取_hadoop读取文件
3.5 Java接口在本小节,我们要深入探索Hadoop的Filesystem类:与Hadoop的文件系统交互的API. 虽然我们主要关注的是HDFS的实现DistributedFileSyste ...
java实现读取excel表格中的数据，兼容xls和xlsx
前言利用 java 实现读取 excel 表格中的数据,兼容 xls 与 xlsx 格式,不用额外做区分,写不同的实现方法. 引入的依赖包 <dependency><groupId ...

java如何读取rfid的数据_100G 数据如何先随机读取1%?

java如何读取rfid的数据_100G 数据如何先随机读取1%?相关推荐

最新文章

热门文章