R语言和Julia以及Python使用Feather包共享数据

1, Feather包介绍

Feather是一种数据存储格式, 介绍博客.

这里介绍, 使用R语言生成的Feather格式的文件, 使用python和julia进行读取.

这样, 在使用三个软件时, 更快捷, 更无缝对接.

2, Feather安装方法

2.1 R中Feather安装

# install.packages("devtools")
devtools::install_github("wesm/feather/R")

2.2 python中Feather安装

python

pip install feather-format

2.3 Julia中Feather安装

Julia

Pkg.add("Feather")

3, 生成数据5000*10000的数据框

3.1 使用R语言生成数据框

# data.frame
# 生成一个1000行, 100000列的数据框
library(feather)
test = data.frame(matrix(rnorm(500000000),5000,100000))
# 保存到D盘
write_feather(test,"d:/test.feather")# 测试读取时间
system.time({test1 = read_feather("d:/test.feather")})

3.2 数据大小

770 MB (807,599,328 字节)

4, 三款软件读取feather文件测试

4.1 R读取:read_feather

# 测试读取时间
test1 = read_feather("d:/test.feather")

结果显示0.68s, 非常快.

> system.time({test1 = read_feather("d:/test.feather")})user  system elapsed0.36    0.19    0.68

4.2 python读取:feather.read_dataframe

import feather
test = feather.read_dataframe("d:/test.feather")
type(test)
test.shape

In [3]: %time test=feather.read_dataframe("d:/test.feather")
Wall time: 3.41 s

结果: 花费时间3.41s

4.3 Julia读取:Feather.read

# Pkg.add("Feather")
using Feather
test1 = Feather.read("d:/test.feather")
size(test1)
typeof(test1)

julia> @time a = Feather.read("d:/test.feather");3.675274 seconds (26.43 M allocations: 1.771 GiB, 9.46% gc time)

结果花费3.67s

结论

1, feather格式的数据可以在R,python,julia进行读取和保存, 方便软件间的数据交流.
2, feather格式的数据, 是压缩数据, 比csv和txt更具有优势
3, R语言用于数据建模, python进行程序编写, julia速度更具有优势, 三种软件的结合, 更加完美.

希望大家在数据科学的道路上越走越远, 共同努力.

微信公众号

R语言和Julia以及Python使用Feather包共享数据相关推荐

r语言和python-PythonR语言-python和r相遇
前言如果你是数据分析领域的新兵,那么你一定很难抉择--在进行数据分析时,到底应该使用哪个语言,R还是Python?在网络上,也经常出现诸如"我想学习机器语言,我应该用哪个编程语言" ...
r语言和python-R VS Python：R语言是否真的过时了？
自从CDA数据分析师开设了Level1 业务数据分析师 R专题之后,很多学生对此产生了疑惑.特别是在挖掘建模工具的选择上,甚至出现了选择恐惧症.在此,摘抄了浩彬老撕的文章,以及之前零零散散看的一 ...
r语言和python-r语言和python
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! r的取值范围是,r=1表示完全正相关! r=-1表示完全负相关! r=0表示完全 ...
r语言和python-R语言和Python一块学习会弄混吗
原标题:R语言和Python一块学习会弄混吗感谢关注天善智能,走好数据之路↑↑↑ 欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答.求职一站式搞定 ...
r语言和python-r语言和python的详细对比
r语言和python的对比,两者各有千秋,究竟要学哪一个,可根据自己的实际需求来作出选择,当然,最好是两者都学. 01 开发目的 R语言 R是由统计学家开发的,它的出生就肩负着统计分析.绘图.数据挖掘 ...
R语言和python语言的区别在什么地方，各自的应用场景是什么
R语言和Python语言都是广泛使用的数据分析和科学计算语言,但它们有一些不同之处. R语言是一种专门用于数据分析和统计建模的编程语言.它提供了许多内置的数据结构和函数,可以方便地进行数据处理.可视化 ...
R语言和Python连接hive
连接原理:R语言和Python连接,R中读取的数据可以传递到python中进行处理,同理python中的结果可以传递到R语言中进行,二者满足双向传递.而Python连接hive的方法较多且简单,因此采 ...
生物学经典blast比对算法，R语言和Python如何实现？
Blast比对算法原理与实现方式做生物的同学肯定听说过blast比对这个方法,一般在NCBI等网站上可以在线进行比对,也可以在本地服务器进行比对,那么blast算法究竟是怎么实现对不同序列的比对呢? ...
数据挖掘r语言和python知乎_Hellobi Live |R语言爬虫实战案例分享：网易云课堂、知乎live、今日头条、B站视频...
课程名称 R语言爬虫实战案例分享:网易云课堂.知乎live.今日头条.B站视频网络数据抓取是数据科学中获取数据中的重要途径,但是一直以来受制于高门槛,都是专业程序员的专属技能.直到R语言和Pytho ...