Spark 0.9的安装配置
一、上传scala2.10.3到linux
下载scala 2.10.3文件。网上的scala-2.10.3.tgz、scala-2.10.3.rpm,前者支持unix,后者专门给linux使用。但我这里还是使用了前者,因为是绿色的,方便配置。
二、上传Spark0.9的解压后文件
三、配置相关文件
1、.bash_profile文件
export SCALA_HOME=/home/kituser/bigdata/scala-2.10.3
export SPARK_HOME=/home/kituser/bigdata/spark-0.9.0
export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/target/spark-examples_2.10-0.9.0-incubating.jar
export CLASSPATH=$CLASSPATH:$SPARK_HOME/assembly/target/scala-2.10:$SPARK_HOME/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.0.0-mr1-cdh4.2.0.jar
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME:$SPARK_HOME/sbin
Spark 0.9的文件结构做了调整,原来的一个命令放在了新增的sbin目录下。
2、设置conf/slaves
四、验证Spark
1、单机运行:
run-example org.apache.spark.examples.SparkPi local
2、集群运行(运行Start-all.sh,启动各节点后):
run-example org.apache.spark.examples.SparkPi spark://kit-b5:7077
run-example org.apache.spark.examples.SparkLR spark://kit-b5:7077
run-example org.apache.spark.examples.SparkKMeans spark://kit-b5:7077 /home/kituser/bigdata/spark-0.9.0/data/kmeans_data.txt 2 1
hadoop fs -put /home/kituser/bigdata/spark-0.9.0/data/kmeans_data.txt hdfs://kit-b5:8020/kmeans_data.txt
run-example org.apache.spark.examples.SparkKMeans spark://kit-b5:7077 hdfs://kit-b5:8020/kmeans_data.txt 2 1 同上
3、从HDFS读取文件并运行WordCount(启动hadoop、spark后):
$ MASTER=spark://kit-b5:7077 spark-shell
scala> val file = sc.textFile("hdfs://kit-b5:8020/kmeans_data.txt");
scala> file.count();
scala> val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_);
scala> count.collect();
转载于:https://www.cnblogs.com/lam99v/p/3557323.html
Spark 0.9的安装配置相关推荐
- 最新版spark1.1.0集群安装配置
和分布式文件系统和NoSQL数据库相比而言,spark集群的安装配置还算是比较简单的: 很多教程提到要安装java和scala,但我发现spark最新版本是包含scala的,JRE采用linux内嵌的 ...
- mysql8.0.17压缩包安装教程_mysql 8.0.16 压缩包安装配置方法图文教程
本文为大家分享了mysql 8.0.16 压缩包安装配置方法,供大家参考,具体内容如下 运行环境:windows 10 x64 1.下载zip安装包: mysql8.0 for windows zip ...
- 新版mysql的下载教程_Mysql最新版8.0.21下载安装配置教程详解
一.下载 1.下载安装包 mysql下载路径:https://dev.mysql.com/downloads/file/?id=496745 2.解压压缩包 解压到安装的目录: 3.在此目录下新建my ...
- WSL 2.0+LAMP+WordPress 安装配置
长流程WSL2.0+LAMP+WordPress 安装配置 不少小网站跑的WordPress,网上共享空间或者VPS又是Linux系统,所以自己在Windows上搭个仿真的坏境当练手十分好玩.笔者大感 ...
- mysql 8.0.24版本安装配置方法图文教程
文章来源: 学习通http://www.bdgxy.com/ 普学网http://www.boxinghulanban.cn/ 智学网http://www.jaxp.net/ 本文记录了mysql 8 ...
- mysql 8.0.28版本安装配置方法图文教程
mysql 8.0.28版本安装配置方法图文教程 从 Mysql 官网下载 mysql 下载完成后直接双击进行安装,打开后的页面如下所示: 选择自定义custom,接着下一步 将MySQL Serve ...
- win10 spark+scala+eclipse+sbt 安装配置
转载请务必注明原创地址为:http://dongkelun.com/2018/03/... 1.首先安装配置jdk1.8以上,建议全部的安装路径不要有空格 2.安装spark 2.1 下载 下载地址: ...
- hadoop2.2.0 集群安装配置
本集群由6台虚拟机组成,全部安装centos6.4的32位系统. 一.前期工作 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK ...
- win8mysql安装教程zip_mysql 8.0.18.zip安装配置方法图文教程(windows 64位)
关于卸载以前安装版的数据库,大家可以参考一下这篇文章. 卸载前记住一定要记得复制保留以前的数据,安装版的数据是在 mysql5.7所有安装版本卸载教程,建议:大家卸载完一定要重启一下. 目录 1.先去 ...
最新文章
- android4.4 添加快捷开关(以截屏为例)
- git进入项目目录 windows_Windows下搭建Git服务器
- java 如何实现导出文件
- 机器学习——线性回归数学推导
- java channel源码_java nio ServerSocketChannel源码分析
- 《信息安全系统设计基础》实验一 开发环境的熟悉
- log添加 oracle redo_添加Redo log Member/Group-Oracle
- 升级dedecms5.5后,出现提示保存目录数据时失败,请检查你的输入资料是否存在问题...
- matlab实现移位寄存器,Matlab移位寄存器的实现
- 计算机专业如何改革创新的生力军,年轻干部如何真正成为改革创新的生力军?...
- SAP系统里的统驭科目
- 研究生留学资助项目突遭暂停,美国两大科研机构设限,上千访问学者或受影响...
- 糖尿病性视网膜病变分级诊断
- 技术美术知识学习_04:PBR的个人理解
- Python实战小项目—绘制玫瑰花送给女朋友叭
- python zxing 识别条码_详解利用python识别图片中的条码(pyzbar)及条码图片矫正和增强...
- 网站QQ扫码登录代码及详细说明
- 灵机一栋团队alpha冲刺 Ⅰ
- 【专题:毫米波】简介
- 基于STM32F429控制ADC
热门文章
- Python文档阅读笔记-OpenCV中Template Matching
- Java笔记-ConcurrentLinkedQueue的基本使用和注意事项
- C++设计模式-采用装饰模式用户和管理员加载不同的模块(Qt框架实现)
- Qt文档阅读笔记-Q_CLASSINFO官方解析与实例
- Qt工作笔记-QFileSystemModel创建文件系统信息模型
- 匿名内部类 handler
- matlab 反激变压器,基于matlab的反激电路设计..doc
- linux编译lnx文件命令_Linux常用命令手册
- C语言判断某个字符串中 是否存在子字符串
- 高内聚低耦合通俗理解_带你从入门到精通——「高内聚低耦合」