夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。
夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性。
年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及。
——诸葛亮《诫子书》
于文章中出现的任何错误请大家批评指出，一定及时修改
有任何想要讨论和学习的问题可联系我：yangmq@aliyun.com

文章目录

Spark下载和安装（学习笔记）
一、Spark下载和安装

Spark下载和安装（学习笔记）

一、Spark下载和安装

Spark安装运行环境
Spark是Scala写的，运行在JVM上，所以运行环境Java7+
如果使用Python API，需要安装Python2.6+或者Python3.4+
Spark下载
服务器：centos7
下载地址：http://spark.apache.org/downloads.html
wget https://www.apache.org/dyn/closer.lua/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
搭建Spark不需要Hadoop，如有hadoop集群，可下载相应的版本
下载后解压
Spark目录
bin包含用来和Spark交互的可执行文件，如Spark shell
core，Streaming，python，…包含主要组件的源代码
examples包含一些单机Spark job，你可以研究和运行这些例子
Spark的shell
spark的shell使你能够处理分布在集群上的数据
Spark把数据加载到节点的内存中，因此分布式处理可在秒级完成
快速使迭代式计算，实时查询、分析一般能够在shells中完成
Spark提供了Python shells 和 Scala shells
Spark的Python shells
位置：bin/pyspark
./pyspark 运行
Spark的Scala shells
位置：bin/spark-shell
./spark-shell 运行
Scala shells的例子
创建helloSpark文件
vi helloSpark
内容
hello Spark
hello World
hello Spark ！
wq保存
Scala shell执行
val lines = sc.textFile("../../helloSpark")
lines.count() 得到数量
vlines.first()得到第一行
修改Spark日志级别
修改日志级别log4j.rootCategory = WARN,console
在conf文件夹下有log4j.properties.template
cp 一份修改名称 log4j.properties
找到log4j.rootCategory = INFO,console进行修改

Spark下载和安装（学习笔记）相关推荐

第13课 spark内核架构解密学习笔记
第13课 spark内核架构解密学习笔记 2016.01.16 内容: 1.通过手动绘图的方式解密spark内核架构 2.通过案例验证spark内核架构 3.spark架构思考第一阶段:彻底精通s ...
OpenStack Pike安装学习笔记
此文原创,绝大部分资料翻译自OpenStack官方安装GUIDE,转载请注明出处. 目录目录... 1 前言... 4 OpenStack参考架构... 4 硬件架构及配置... 5 控制器节点.. ...
大数据集群安装学习笔记
目录 1 安装部署........................................................................... 4 1.1 solr单节点安装 ...
TexLive发行版下载与安装教程笔记
TexLive发行版下载与安装打开 tug.org/texlive官方网址打开连接有texlive的下载链接下载IOS光盘镜像文件选择最近的下载镜像源选择4G的 texlive2021进行下 ...
puppet最新源码包安装学习笔记
最近去面试了2家大的电商网站的运维工作,公司对系统的自动化管理,虚拟化,mysql集群,系统性能的优化和shell及python编程的要求都比较高,虽然没有面试成功,但也明白了2013年自己学习的目标 ...
ubuntu软件安装 caffe相关软件安装学习笔记
@解压rar文件 sudo 7z x filename.rar @解压zip文件 unzip archive_name.zip @解压TAR文件 # tar -cvf archive_name.tar ...
18、HTTP基本操作及源码编译安装学习笔记
HTTPHyper Text Transfer Protocol超文本传输协议 HTMLHyper Text Mark-up Language超文本标记语言 URIUniform Resource I ...
python：下载精美壁纸--学习笔记
个人学习记录一.效果展示这里贴一个还不错的某壁纸网:Wallpaper Abyss - HD Wallpapers, Background Images 下载的结果展示: 下载进度展示: 二.完整 ...
linux+python+djiango+mysql编译安装学习笔记
1 环境准备 oel5.8 32位 Database version : 5.0.77 MySQL-python-1.2.3.tar.gz Python-2.7.5.tar.bz2 setuptool ...

Spark下载和安装（学习笔记）

文章目录

Spark下载和安装（学习笔记）

一、Spark下载和安装

Spark下载和安装（学习笔记）相关推荐

最新文章

热门文章