R语言和大数据的结合

R还是把数据load到本地进行计算的，这样的方式在大数据时代多少显得落伍。目前R和hadoop结合的有hadoop、rhive、rhbase、sparkr等等，rhive和rodps采用的方法是类似的，用lib结合接口进行访问。

安装R语言

R3.3版本会出现各种so不存在的问题，退回去到R3.1版本时候就顺利安装。
在安装R环境之前，先安装好中文（如果没有的话图表中显示汉字成框框了）和tcl/tk包(少了这个没法安装sqldf)
sudo yum install fonts-chinese tcl tcl-devel tclx tk tk-devel -y
安装中文字体后重新加载 service xfs reload (不过在有台机器上总是失败，后来重启机器OK)
sudo service xfs reload
有些包会需要rgl，调用opengl的库，所以还要安装opengl包
sudo yum install mesa-libGLU mesa-libGLU-devel -y
sudo yum install gcc-gfortran gcc gcc-c++ readline-devel libXt-devel -y

wget --no-check-certificate
tar xvf R-3.1.0.tar.gz
./configure --enable-R-shlib=yes --enable-BLAS-shlib=yes --with-lapack --with-libpng --with-x=no --with-tcltk
sudo sh -c "make"
sudo sh -c "make install"

sudo R CMD javareconf JAVA_HOME=$JAVA_HOME
进入到r中进行
install.packages('rJava')
选择22

安装DBI
install.packages("DBI")
选择22

安装RSQLite
install.packages("RSQLite")
选择22

配置 odps_config.ini
project_name=myprj
access_id=xxx
access_key=yyy
end_point=http://service-corp.odps.aliyun-inc.com/api #办公网段
dt_end_point=http://dt-corp.odps.aliyun-inc.com/ #办公网段

验证
Sys.getenv('RODPS_CONFIG');
最后安装RODPS包
install.packages('RODPS',repos='http://odps.alibaba-inc.com/rodps')

安装RStudio

R装在工作的笔记本电脑上，由于内存的限制，只能用于一些很小的数据集的分析，所以更好的方式是，在Linux上配置一个R加rstudio-server，然后可以通过web直接访问R的功能。

下载rstudio-server的rpm包安装即可
wget http://download2.rstudio.org/rstudio-server-0.97.551-x86_64.rpm
rpm -ivh --nodeps rstudio-server-0.97.551-x86_64.rpm
启动命令

坑爹的是启动失败并没有任何错误提示，在/var/log/messages找到错误信息
安装时如果提示缺少libR.so；使用make unsintall卸载，然后重新安装一次R，指定了enable-R-shlib以后就不再报错。
启动正常以后ps aux能够看到/usr/lib/rstudio-server/bin/rserver
就说明已经启动了

配置文件位于/etc/rstudio/rserver.conf
www-port=80,80是默认的http服务端口号。
rsession-ld-library-path=/opt/local/lib:/opt/local/someapp/lib 指定额外的库地址
rsession-which-r=/usr/local/bin/R 指定R软件位置
auth-required-user-group=rstudio_users 限制可登陆R用户
rsession-memory-limit-mb=4000 限制使用的最大内存
rsession-stack-limit-mb=10 限制最大的栈大小
rsession-process-limit=100 限制最多进程数
session-timeout-minutes=30 进程超时时间
r-libs-user=~/R/packages 设置默认的R包
limit-file-upload-size-mb=100 设置最大的上传文件大小
r-cran-repos=http://cran.case.edu/ 设置默认的CRAN

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

登陆访问

打开localhost测试地址；

此外，还需要设置环境变量才可以访问，使用下面命令设置当前session的环境变量
Sys.setenv(RODPS_CONFIG ="odps_config.ini")
library('RODPS_CONFIG')
如下图

最新进展

R还是把数据load到本地进行计算的，这样的方式在大数据时代多少显得落伍。目前R和HADOOP结合的有hadoop、rhive、rhbase、sparkr等等，rhive和rodps采用的方法是类似的，用lib结合接口进行访问。比较彻底的是sparkR，在api和运行时做了修改。使用R或Python的DataFrame API能获得和Scala近乎相同的性能。

调用MaxCompute数据方面，可以先把语言转换为SQL脚本在调用。

R语言和大数据的结合相关推荐

python和r语言做大数据_R和python大数据
数据科学界华山论剑:R与Python巅峰对决如果你是数据分析领域的新兵,那么你一定很难抉择--在进行数据分析时,到底应该使用哪个语言,R还是Python?在网络上,也经常出现诸如"我想学习 ...
R语言实现金融数据的时间序列分析及建模
R语言实现金融数据的时间序列分析及建模一移动平均移动平均能消除数据中的季节变动和不规则变动.若序列中存在周期变动,则通常以周期为移动平均项数.移动平均法可以通过数据显示出数据长期趋势的变动 ...
R语言入门第二集实验一：R 语言数据结构、数据导入与数据处理
R语言入门第二集实验一:R 语言数据结构.数据导入与数据处理一.资源 R语言基本数据结构练习和数据的导入和处理对象常用函数练习--东北大学大数据班R语言实训第一次作业" R(4)求解数据 ...
《多元统计分析与R语言》大作业
<多元统计分析与R语言>大作业免责声明:答案仅供参考. 现收集2002-2020湖南省交通事故相关数据,如下表时间交通事故发生数总计(起) 交通事故死亡人数总计(人) 交通事故受伤人 ...
R语言把dataframe数据转化为tibble格式、查看每个数据列的缺失值个数、使用数据列的均值对数据列的缺失值进行填充
R语言把dataframe数据转化为tibble格式.查看每个数据列的缺失值个数.使用数据列的均值对数据列的缺失值进行填充目录
R语言进行dataframe数据内连接（Inner join）：使用R原生方法、data.table、dplyr等方案
R语言进行dataframe数据内连接(Inner join):使用R原生方法.data.table.dplyr等方案目录 R语言进行dataframe数据内连接(Inner join):使用R原生 ...
R语言可视化dataframe数据、并自定义设置坐标轴各个标签使用不同的色彩
R语言可视化dataframe数据.并自定义设置坐标轴各个标签使用不同的色彩目录 R语言可视化dataframe数据.并自定义设置坐标轴各个标签使用不同的色彩
R语言ggplot2可视化数据点注释、标签显示不全、发生边界截断问题解决实战
R语言ggplot2可视化数据点注释.标签显示不全.发生边界截断问题解决实战目录 R语言ggplot2
R语言进行dataframe数据左连接（Left join）：使用R原生方法、data.table、dplyr等方案
R语言进行dataframe数据左连接(Left join):使用R原生方法.data.table.dplyr等方案目录 R语言进行dataframe数据左连接(Left join):使用R原生方法 ...

R语言和大数据的结合

R语言和大数据的结合相关推荐

最新文章

热门文章