说明
- 环境说明
安装Rhadoop的准备环境
- 必要的包
- 环境变量的设置
安装Rhadoop
- rhdfs的安装只需要在user-client上安装即可
- rmr2的安装每个节点都需要安装
测试
- rhdfs
- rmr2
Rhadoop中各个包在集群中的安装情况
补充
相关类型的文章

说明

环境说明

操作系统：centos7.2
hadoop环境使用的是2.7.2
java使用的是1.8

安装Rhadoop的准备环境

必要的包

install.packages("rJava")
install.packages("reshape2")
install.packages("Rcpp")
install.packages("iterators")
install.packages("itertools")
install.packages("digest")
install.packages("RJSONIO")
install.packages("functional")
install.packages("caTools")

环境变量的设置

HADOOP_CMD环境变量的设置(易错)：
要把hadoop的bin下的hadoop赋给HADOOP_CMD

HADOOP_CMD=/opt/hadoop-2.7.2/bin/hadoop

HADOOP_STREAMING环境变量的设置（rmr需要）：

export  HADOOP_STREAMING=/opt/hadoop-2.7.2/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar

安装Rhadoop

rhdfs的安装(只需要在user-client上安装即可)

R CMD INSTALL rhdfs_1.0.8.tar.gz

rmr2的安装（每个节点都需要安装）

R CMD INSTALL rmr2_3.3.1.tar.gz

测试

rhdfs

>library("rhdfs")
> hdfs.init()
16/08/01 15:55:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
> hdfs.ls("/")permission         owner      group size          modtime     file
1 drwxr-xr-x          root supergroup    0 2016-07-31 14:53 /library
2 drwxr-xr-x Administrator supergroup    0 2016-07-31 16:37    /user

rmr2

Rhadoop中各个包在集群中的安装情况

Package	Where to Install
plyrmr	On every node in the cluster
ravro	Only on the node that runs the R client
rhbase	Only on the node that runs the R client
rhdfs	Only on the node that runs the R client
rmr2	On every node in the cluster

补充

官方github上的文档可以参考以下，对于重要的地方我个人认为还是提示的不错

相关类型的文章

张丹（统计之都）
sparkexpert
sparkexpert

Rhadoop的安装相关推荐

linux安装R包的安装
首先在linux系统下,需要安装好R语言,由于依赖环境较多,一般会通过第三方软件库进行安装,比如说miniconda等 R包分以下几种: 镜像包:一般安装方式为:install.packages('' ...
r语言工作路径linux,R语言实用基础知识_工作路径-注释-安装和卸载R包_2019-12-01...
R语言的实用基础知识有很多,都是我在工作和学习中所整理的,有的是看书整理的,也有的是从网络上的各种博客.各种资源获取的,所以我采用日更的方式进行支持整理和更新,希望能够帮到屏幕前的你! 今天是我日更的 ...
HIVE攻略 JFK_Hive安装及使用攻略
目录Hive的安装 Hive的基本使用:CRUD Hive交互式模式数据导入数据导出 Hive查询HiveQL Hive视图 Hive分区表 1. Hive的安装系统环境装好hadoop的环境后 ...
RHadoop实验 – 统计邮箱出现次数
RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现.有了RHad ...
大数据集群的部署安装
如果基础知识不足不知道具体怎么调的可以私信我一定尽我所能同时希望您能指出文章的不足之处您的意见对我非常宝贵同时欢迎各位大神来对本文留下评论我会努力写出更好的文章准备工作首先准备一台虚拟 ...
RHadoop培训之 Java基础课
关于作者张丹(Conan), 程序员Java,R,PHP,Javascript weibo:@Conan_Z blog: http://blog.fens.me email: bsspirit@gm ...
大数据介绍及集群安装
大数据介绍及集群安装第一部分 <大数据概述> 传统数据如何处理? 什么是大数据? 传统数据与大数据的对比大数据的特点? 大数据前/后服务器系统安装部署区别是什么?. 大数据生态系统以及 ...
Hive 安装及使用攻略
前言 Hive是Hadoop一个程序接口,Hive让数据分析人员快速上手,Hive使用了类SQL的语法,Hive让JAVA的世界变得简单而轻巧,Hive让Hadoop普及到了程序员以外的人. 从Hiv ...
RHadoop培训之 R基础课
RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现.有了RHad ...
linux环境下nacos的安装+启动，阿里云服务器安装nacos
nacos安装+启动(linux环境): 基础:安装java环境官网下载压缩包:如 nacos-server-1.2.1.tar.gz 放在自定义目录下 # 解压 tar -xvf nacos-se ...

Rhadoop的安装

说明