R语言并行计算的原理和案例
来源 | R友舍
众所周知,在大数据时代R语言有两个弱项,其中一个就是只能使用单线程计算。但是R在2.14版本之后,R就内置了parallel包,强化了R的并行计算能力。
parallel包实际上整合了之前已经比较成熟的snow包和multicore包,multicore无法在windows下运行。parallel包可以很容易的在计算集群上实施并行计算,在多个CPU核心的单机上,也能发挥并行计算的功能。我们今天就来探索一下parallel包在多核心单机上的使用。
parallel包的思路和lapply函数很相似,都是将输入数据分割、计算、整合结果。只不过并行计算是用到了不同的cpu来运算。
这样的计算过程可以使用如下方式来表述:
1、启动M个附属进程,并初始化
2、针对于任务,为每个附属进程分发所有的数据
3、将任务粗略的分为M个块儿(chunks),并将这些块儿发送到附属进程(包含需要的R代码)
4、等待所有的附属进程完成计算任务,并返回结果
5、对于其他任务也同样重复2-4
6、关闭附属进程
在parallel包里,对应上述两种并行化方式有如下两个核心函数(针对于lapply函数的并行化,mclapply在windows上不能使用):
parLapply(cl, x, FUN, ...)
mclapply(X, FUN, ..., mc.cores)
案例1、不使用并行计算,直接使用lapply(隐式循环函数,它实际就是对不同的数据应用了相同的函数):
fun <- function(x){
return (x+1);
}
system.time({
res <- lapply(1:5000000, fun);
});
user system elapsed
21.42 1.74 25.70
案例2、使用parallel包来加速
library(parallel)
#打开四核,具体核数根据机器的核数决定
cl <- makeCluster(getOption("cl.cores", 4));
system.time({
res <- parLapply(cl, 1:5000000, fun)
});
user system elapsed
6.54 0.34 19.95
#关闭并行计算
stopCluster(cl);
看看单核机器跑出来的结果:
user system elapsed
29.30 9.23 97.22
所以,并非核数越多越好,看机器配置。
这个函数有两点要注意:
首先要先用detectCores函数确定系统核心数目,对于Window系统下的Intel I5或I7 处理器,一般使用detectCores(logical = F)来获得实际的物理核心数量。
由于这个函数使用的是调用Rscript的方式,这个例子里,对象被复制了三份,因此内存会吃的很厉害,在大数据条件就要小心使用。
案例3、在Linux下使用mclapply函数的效果如下:
mc <- getOption("mc.cores", 3)
system.time({
res <- mclapply(1:5000000, fun, mc.cores = mc);
});
user system elapsed
6.657 0.500 7.181
foreach包是revolutionanalytics公司贡献给R开源社区的一个包,它能使R中的并行计算更为方便。与sapply函数类似,foreach函数中的第一个参数是输入参数,%do%后面的对象表示运算函数,而.combine则表示运算结果的整合方式。下面的例子即是用foreach来完成前面的同一个任务。如果要启用并行,则需要加载doParallel包,并将%do%改为%dopar%。这样一行代码就能方便的完成并行计算了。
案例4、foreach包的使用:
library(foreach)
# 非并行计算方式,类似于sapply函数的功能
x <- foreach(x=1:1000,.combine='rbind') %do% func(x)
# 启用parallel作为foreach并行计算的后端
library(doParallel)
cl <- makeCluster(4)
registerDoParallel(cl)
# 并行计算方式
x <- foreach(x=1:1000,.combine='rbind') %dopar% func(x)
stopCluster(cl)
最担心的事情终于发生了,APP已经可以一键“脱掉”你的衣服了
我造的假我自己打,Adobe推出“反PS”
中国诚信全球垫底?讲讲《Science》现在的论文有多不靠谱
R语言并行计算的原理和案例相关推荐
- R语言生存分析数据分析可视化案例
目标 本文的目的是对如何在R中进行生存分析进行简短而全面的评估.关于该主题的文献很广泛,仅涉及有限数量的(常见)问题.最近我们被客户要求撰写关于生存分析的研究报告,包括一些图形和统计输出. 可用的R包 ...
- R语言条件Logistic回归模型案例:研究饮酒与胃癌的关系
R语言条件Logistic回归模型案例:研究饮酒与胃癌的关系 目录 R语言条件Logistic回归模型案例:研究饮酒与胃癌的关系 #样例数据
- R语言泊松回归(poisson)模型案例:基于robust包的Breslow癫痫数据集
R语言泊松回归(poisson)模型案例:基于robust包的Breslow癫痫数据集 目录 R语言泊松回归(poisson)模型案例:基于robust包的Breslow癫痫数据集 #数据加载
- R语言广义线性模型Logistic回归案例代码
R语言广义线性模型Logistic回归案例代码 在实际应用中,Logistic模型主要有三大用途: 1)寻找危险因素,找到某些影响因变量的"坏因素",一般可以通过优势比发现危险因素 ...
- R语言并行计算RC~bray-curtis~距离
R语言并行计算RCbray-curtis距离 群落构建分析是微生物生态学分析的重要组成部分,成为目前文章发表的热点技术.之前我们介绍了计算beta-NTI(beta nearest taxon i ...
- R语言并行计算spearman相关系数
R语言并行计算spearman相关系数,加快共现网络(co-occurrence network)构建速度 利用spearman相关性分析是构建共现网络的重要方法,但由于OTU table往往有 ...
- k均值聚类算法案例 r语言iris_K-means算法原理
聚类的基本思想 俗话说"物以类聚,人以群分" 聚类(Clustering)是一种无监督学习(unsupervised learning),简单地说就是把相似的对象归到同一簇中.簇内 ...
- R语言并行计算 deviation of null beta diversity(beta多样性零偏差)
群落构建分析是微生物生态学分析的重要组成部分,成为目前文章发表的热点技术.之前我们介绍了计算beta-NTI(beta nearest taxon index)来进行群落构建分析(https:// ...
- r语言kmeans聚类(真实案例完整流程)
K-means介绍 k-means算法简介: K-means算法是IEEE 2006年ICDM评选出的数据挖掘的十大算法中排名第二的算法,排名仅次于C4.5算法.K-means算法的思想很简单,简单来 ...
- R语言并行计算beta-NTI值
目录 一.beta-NTI(nearest taxon index)简介 二.系统发育信号(phylogenetic signal)检测 三.R代码并行实现beta-NTI计算 参考文献 一.beta ...
最新文章
- 关于scrollTop为0以及解决方法
- ALS爱立思脚本调用参考
- GUI应用程序架构的十年变迁:MVC,MVP,MVVM,Unidirectional,Clean
- 007--C++动态内存(数组)
- mysql 如何提高批量导入的速度
- Javascript中常用的经典技巧
- 使用不同的膨胀和腐蚀方法对图像进行处理
- Codeforces Round #439 (Div. 2)题解
- shine 插件_《SHINE》正式上线|GBZ将你带入重重的紫色迷雾中
- 随笔20220506
- mac打不开磁盘映像资源忙
- 泰山OFFICE技术讲座:标点关系穷举研究-07
- 微信气泡主题设置_米老鼠微信主题怎么设置? 米老鼠微信主题气泡设置教程来啦!...
- BZOJ3811: 玛里苟斯
- 美景本天成,妙笔偶得之——“妙笔”是怎样炼成的?
- 国际金融——我国服务贸易逆差的成因及对策研究
- 水果药理、吃水果治病
- CCD与CMOS区别
- 性能达到原生MySQL七倍,华为云Taurus技术解读
- unity沙子堆积_unity游戏逼真沙子和白雪粒子特效渲染创建插件Basic Sand amp; Snow 1.0 - 素材巷...
热门文章
- windows下 Mysql 错误1067 Can't open and lock privilege tables: Table 'mysql.user' doesn't exist
- 打开游戏要运行19.8亿次 if 语句?黑客嘲讽RockStar游戏代码太烂了
- 程序员30多岁了还单身的原因
- Lambda 表达式入门,这篇够了!
- 别人工作2年半跳槽面试阿里,成功拿到offer,为什么你不可以?
- 高T技术大牛的百度十年:白天求生存,晚上求发展
- 实施微服务架构的关键技术
- Facebook是如何大幅提升TLS连接效率的?
- *第三周*数据结构实践项目一【顺序表的基本运算】
- mysql基础之mariadb集群主从架构半同步复制