Docker 下安装 Spark

1. 安装Docker, 见上篇。

2. 安装ubuntu: docker run --name dcSpark ubuntu

3. 运行 Bash: docker exec -ti dcSpark /bin/bash

4. apt-get update

5. apt-get install software-properties-common

6. 添加PPA软件源： add-apt-repository ppa:webupd8team/java

7. 然后更新系统,刷新软件源： apt-get update

8. 安装 JDK: apt-get install oracle-java8-installer

9. 查看版本： java -version

 1 ## Java
 2 sudo apt-get update
 3 sudo apt-get install default-jdk
 4
 5 ## Scala
 6 sudo apt-get remove scala-library scala
 7 sudo wget http://scala-lang.org/files/archive/scala-2.12.1.deb
 8 sudo dpkg -i scala-2.12.1.deb
 9 sudo apt-get update
10 sudo apt-get install scala
11
12 ## SBT
13 echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
14 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
15 sudo apt-get update
16 sudo apt-get install sbt

下载Spark:

mkdir download

cd download

wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

解压：

1 sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/
2 cd /usr/local
3 sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark
4 sudo chown -R hadoop:hadoop ./spark

运行 Spark Shell, 到 Spark的目录下，执行

./bin/spark-shell

测试：（Scala)

1 val textFile = sc.textFile("file:///usr/local/spark/README.md")
2
3 textFile.count()  // RDD 中的 item 数量，对于文本文件，就是总行数
4 // res0: Long = 95
5
6 textFile.first() // RDD 中的第一个 item，对于文本文件，就是第一行内容
7 // res1: String = # Apache Spark

参考： http://www.powerxing.com/spark-quick-start-guide/

转载于:https://www.cnblogs.com/ybst/p/9050660.html

Docker 下安装 Spark相关推荐

Spark- Linux下安装Spark
Spark- Linux下安装Spark 前期部署 1.JDK安装,配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器 ...
docker下安装Nginx的方法
这篇文章主要介绍了docker下安装Nginx的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下一. 环境说明 docker: 18.03.1-ce nginx: 1.15.1 二. 拉 ...
docker下安装nacos 并使用mysql数据库
没做出来腾讯云有机会用虚拟机试试参考资料 https://www.e-learn.cn/content/java/2357340 https://blog.csdn.net/xieqing_x ...
OrangePi 5 Docker下安装OpenWRT作软路由（同样适用于树莓派等设备）
OrangePi5 Docker下安装OpenWRT作软路由(同样适用于树莓派等设备) 说明本文的软路由作为家中的二级路由,用一根网线连接主路由的LAN口和二级路由的WAN口(当主路由使用配置类似) ...
Docker下安装MCR windows镜像安装Matlab 静默安装MCR silent install 无交互安装无Gui安装控制台安装
Docker下安装MCR windows镜像安装Matlab 静默安装MCR silent install 无交互安装无Gui安装控制台安装转载请注明出处:https://blog.csdn.n ...
Mac上docker下安装mongodb出错？
docker下安装mongodb步骤(包括出错解决办法)(Mac) 前提是你的电脑得装了docker,这里就不说docker怎么装了! first step:拉取官方的最新版本的镜像: $ docke ...
docker下安装php扩展swoole
docker下安装php拓展swoole docker下安装php拓展,docker下可用的命令少,安装起来可没那么方便了,我这里用的ubuntu系统,安装了集成环境dnmp 若是一开始知道要用到sw ...
docker下安装jupyterHub
docker下安装jupyterHub 安装docker 什么是docker 安装docker 1)centOs 2)Windows 3)Mac docker的基本操作 1)列出机器上的镜像(imag ...
docker下的spark集群，调整参数榨干硬件
本文是<docker下,极速搭建spark集群(含hdfs集群)>的续篇,前文将spark集群搭建成功并进行了简单的验证,但是存在以下几个小问题: spark只有一个work节点,只适合处 ...

Docker 下安装 Spark

Docker 下安装 Spark相关推荐

最新文章

热门文章