names文件和data文件_data.table让你的读取速度提升百倍

不知道大家有没有用read.table和read.csv读取过文件，当文件不大的时候你可能还感觉不出读取速度，但是当文件比较大的时候，比如有上万行的时候，你就会感觉到等待时间明显变长，甚至无法忍受。

今天小编给大家安利一个实用的R包data.table, 这个包可以明显的提升大文件的读取速度。下面我们就来做一个实验。我们随机生成一个100万行10列的文件，保存到你的电脑上，文件的大小可以达到173MB。接下来我们分别用传统的read.csv和data.table包里面的fread函数来读取这个超大的文件，然后比较两种方法的读取速度。

# 加载data.table包
library(data.table)# 数据读取性能对比分析
# Create a large .csv file
set.seed(100)
m <- data.frame(matrix(runif(10000000), nrow=1000000))
write.csv(m, 'm2.csv', row.names = F)
# Time taken by read.csv to import
system.time({m_df <- read.csv('m2.csv')})
# Time taken by fread to import
system.time({m_dt <- fread('m2.csv')})

我们可以看到传统的read.csv读取该文件所需要的时间为48.84秒，而利用data.table包中的fread函数来读取只需要0.47秒，速度整整提升了100倍。、

> # Time taken by read.csv to import
> system.time({m_df <- read.csv('m2.csv')})用户  系统  流逝
48.84  1.09 50.72
> # Time taken by fread to import
> system.time({m_dt <- fread('m2.csv')})
用户 系统 流逝
0.47 0.08 0.31

大家赶紧试试吧！

【R语言】data.table让你的读取速度提升百倍mp.weixin.qq.com

names文件和data文件_data.table让你的读取速度提升百倍相关推荐

在Python中文件用Feather格式，与 CSV说再见，速度提升 150 倍！
转载:再见 CSV,速度提升 150 倍!_菜鸟学Python的博客-CSDN博客为什么要和CSV再见? 好了说了那么久,来介绍下为什么要和CSV再见.其实也谈不上彻底再见吧,日常还是要用的,这里再 ...
mysql8.0.18ZIP版下载与安装(以及无my-default.ini文件和data文件夹的解决方法）
mysql8.0.18ZIP版下载与安装(以及无my-default.ini文件和data文件夹的解决方法) 参考文章: (1)mysql8.0.18ZIP版下载与安装(以及无my-default.i ...
【云原生AI】Fluid + JindoFS 助力微博海量小文件模型训练速度提升 18 倍
简介: 深度学习平台在微博社交业务扮演着重要的角色.计算存储分离架构下,微博深度学习平台在数据访问与调度方面存在性能低效的问题.本文将介绍微博内部设计实现的一套全新的基于 Fluid(内含 Jindo ...
镭速-文件传输数据实时对比！一秒将传输速度提升100倍
上世纪90年代,万维网的出现,使信息传输发生了翻天覆地的变化,大多数企业采用http超文本传输协议进行数据传输.然而随着社会的不断进步和科技发展,以及互联网新时代的引领,各行各业更是产生了大量前所未有 ...
lammps教程：如何从dump文件导出带键角的data文件
大家好,我是小马老师. 本文介绍从dump文件导出data文件的方法. 在lammps模拟中,可能会遇到从前一个模拟dump文件中提取data文件的情况. 平常用的最多的方法是用ovito打开dump ...
mysql ibdata作用_mysql data文件夹下ibdata1 文件作用
ibdata1这个文件超级大, 查了一下, 大概的作用如下是储存的格式 INNODB类型数据状态下, ibdata用来储存文件的数据而库名的文件夹里面的那些表文件只是结构而已由于mysql4.1 ...
mysql data文件夹下的ibdata1 文件作用
这个文件超级大, 查了一下, 大概的作用如下是储存的格式 INNODB类型数据状态下, ibdata用来储存文件的数据而库名的文件夹里面的那些表文件只是结构而已由于mysql4.1默认试inno ...
mysql 删除数据后myd_Windows下的MySQL删除data文件夹后……
MySQL删除data文件夹后,怎么都无法启动了,出现错误: 150106 9:28:43 [Note] Plugin 'FEDERATED' is disabled. wampmysqld: Tab ...
用复制mysql/data 文件夹下面的数据库的形式来复制数据库出现的问题
用复制mysql/data 文件夹下面的数据库的形式来复制数据库出现的问题用复制mysql/data 文件夹下面的数据库的形式来复制数据库出现的问题提示找不到表,我去看了一下,丢失了很多个表: ...

names文件和data文件_data.table让你的读取速度提升百倍

names文件和data文件_data.table让你的读取速度提升百倍相关推荐

最新文章

热门文章