最新版spark1.1.0集群安装配置
和分布式文件系统和NoSQL数据库相比而言,spark集群的安装配置还算是比较简单的:
很多教程提到要安装java和scala,但我发现spark最新版本是包含scala的,JRE采用linux内嵌的版本也是可以的!
- 在主节点(bluejoe0)上安装spark1.1.0:
wget http://mirror.bit.edu.cn/apache/spark/spark-1.1.0/spark-1.1.0-bin-hadoop2.3.tgz
tar -zxvf spark-1.1.0-bin-hadoop2.3.tgz
ln -s spark-1.1.0-bin-hadoop2.3 spark - 启动spark-shell:
cd /usr/local/spark/bin
./spark-shell
可以看到spark已经自带了scala 2.10: - 输入测试程序:
scala> val data = Array(1, 2, 3, 4, 5)
data: Array[Int] = Array(1, 2, 3, 4, 5)scala> val distData = sc.parallelize(data)
distData: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:14scala> distData.reduce(_+_)
- 可以观察4040端口:
- 也可以测试PI的计算:
./bin/run-example SparkPi
14/11/23 16:08:25 INFO SparkContext: Job finished: reduce at SparkPi.scala:35, took 1.008332384 s
Pi is roughly 3.1403 - 也可以采用spark-submit来提交任务:
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[6] /usr/local/spark/lib/spark-examples-1.1.0-hadoop2.3.0.jar 1000
14/11/23 16:07:30 INFO SparkContext: Job finished: reduce at SparkPi.scala:35, took 46.220537186 s
Pi is roughly 3.14172056 - 现在安装几个从节点,scp spark.tgz文件到其它节点,如:bluejoe4,bluejoe5,bluejoe9
- 注意设置好ssh无密码登录;
- 修改conf/slaves
# A Spark Worker will be started on each of the machines listed below.
bluejoe4
bluejoe5
bluejoe9 - 在bluejoe0上启动spark集群:
./sbin/start-all.sh
此时可以在浏览器上观察到3个从节点的情况: - 再测试在集群上计算PI的程序:
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://bluejoe0:7077 /usr/local/spark/lib/spark-examples-1.1.0-hadoop2.3.0.jar 1000
14/11/23 16:05:00 INFO SparkContext: Job finished: reduce at SparkPi.scala:35, took 26.322514766 s
Pi is roughly 3.14159516此时观察浏览器的显示:
转载于:https://www.cnblogs.com/bluejoe/p/5115916.html
最新版spark1.1.0集群安装配置相关推荐
- ElasticSearch-2.0.0集群安装配置与API使用实践
ElasticSearch是基于全文搜索引擎库Lucene构建的分布式搜索引擎,我们可以直接使用ElasticSearch实现分布式搜索系统的搭建与使用,都知道,Lucene只是一个搜索框架,它提供了 ...
- hadoop2.2.0 集群安装配置
本集群由6台虚拟机组成,全部安装centos6.4的32位系统. 一.前期工作 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK ...
- Spark-1.4.0集群搭建
主要内容 Ubuntu 10.04 系统设置 ZooKeeper集群搭建 Hadoop-2.4.1集群搭建 Spark 1.4.0集群搭建 假设已经安装好Ubuntu操作系统 Ubuntu 10.04 ...
- spark-1.2.0 集群环境搭建
1.下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.t ...
- redis3.0.0 集群安装详细步骤
2019独角兽企业重金招聘Python工程师标准>>> redis3.0.0 集群安装详细步骤 博客分类: 缓存 Redis集群部署文档(centos6系统) (要让集群正常工作至少 ...
- redis cluster 集群 安装 配置 详解
redis cluster 集群 安装 配置 详解 张映 发表于 2015-05-01 分类目录: nosql 标签:cluster, redis, 安装, 配置, 集群 Redis 集群是一个提供在 ...
- 一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
- 原创:centos7.1下 ZooKeeper 集群安装配置+Python实战范例
centos7.1下 ZooKeeper 集群安装配置+Python实战范例 下载:http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeepe ...
- websphere一直安装部署_WebSphere集群安装配置及部署应用说明
<WebSphere集群安装配置及部署应用说明>由会员分享,可在线阅读,更多相关<WebSphere集群安装配置及部署应用说明(27页珍藏版)>请在人人文库网上搜索. 1.We ...
最新文章
- mysql中的cache和buffer_mysql Cache和Buffer区别有哪些?
- STL容器存储的内容动态分配情况下的内存管理
- 《从零开始学Swift》学习笔记(Day 70)——Swift与Objective-C混合编程之Swift与Objective-CAPI映射...
- 一些重要的算法The Most Important Algorithms
- 【备忘录】Product cost collectors – 成本收集器
- 文件头_常见文件文件头
- oracle移植mysql方案_系统从MySQL迁移至ORACLE实现方案
- java opencv yuv_JavaCV与OpenCV的区别和使用中遇到的问题
- 聊聊高并发(三十六)Java内存模型那些事(四)理解Happens-before规则
- Github Actions:再次改变软件开发
- 水星怎么设置网速最快_水星无线路由器如何设置网速限制 水星路由器怎么让别人网速限制方法...
- 高能街访 | 为什么他们都纷纷为深圳打Call?
- Android 渗透测试学习手册 第二章 准备实验环境
- E20180404-ts
- JAVA“类”数组的创建与调用
- python计算图片的信源熵值(信息熵)
- 大龄程序员的成长之路
- 关于VScode中如何修改默认的中文注释格式(包括去除斜体和修改颜色)
- Hash的简介与hashlib模块的使用、模拟撞库与密码加盐
- 如何配置和测试ChatBot
热门文章
- C# - 企业框架下的存储过程输出参数
- asp.net 模板页中 控件 ID和Name 的变化
- 牛腩新闻发布系统——触发器使用
- TypeScript泛型详解
- 记模拟面试日记2(更新...)
- es6 日期字符串转日期_小数转成百分数,日期字符串互相转换,这几个SQL问题该如何解决?...
- hadoop安装详细步骤_LED透明屏安装步骤详细说明
- 为什么家里电信宽带不能用路由器了?要怎么解决?
- 社保必须交满15年才能享受吗?
- 有时我都非常讨厌自己,特别容易相信人