MAC系统中搭建Spark大数据平台(包括Scala)

总体介绍:
大家Spark大数据平台,包括三部分内容:JDK,Scala,Spark
这三者是依次依赖的关系,Spark依赖于Scala环境(Spark是使用Scala语言开发),Scala语言必须运行与JVM上,所以,Scala依赖于Java环境。
1、JDK安装
确保你本地以及安装了 JDK 1.5 以上版本,并且设置了 JAVA_HOME 环境变量及 JDK 的bin目录。
大家可以自行搜索相关安装,最后需要验证一下是否安装成功:
1.1 java安装是否成功:
localhost:~ didi$ java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)
1.2 java编译器安装是否成功:
localhost:~ didi$ javac -version
javac 1.8.0_102

如果大家Java环境没有安装成功,可以参考:java环境安装和配置

2、Scala环境配置
Spark运行的基础是Scala。Scala安装非常简单,两步1、下载scala压缩包;2、配置Scala的bin目录的环境变量
2.1 下载Scala压缩包
Scala官网下载地址:下载地址
2.2 解压缩
将Scala压缩包scala-2.11.8.tgz解压缩到/usr/local/Cellar文件夹下面,生成scala-2.11.8文件夹
2.3 配置环境变量
使用sudo su进入管理员权限,配置/etc/profile文件,添加如下内容:
export PATH="$PATH:/usr/local/Cellar/scala-2.11.8/bin"
2.4 测试安装是否成功:
localhost:~ didi$ scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102).
Type in expressions for evaluation. Or try :help.scala> 

OK!Scala安装成功。

3、Spark环境安装和配置
3.1 下载Spark压缩包spark-2.0.1-bin-hadoop2.7.tgz
官网下载地址:点击这里,我选择下载的版本如下:
3.2 解压缩压缩文件到指定文件夹/usr/local/Cellar,生成spark-2.0.1-bin-hadoop2.7文件夹
tar -zxvf spark-1.2.0-bin-hadoop1.tgz
3.3 配置环境变量

使用sudo su进入管理员权限,配置/etc/profile文件,添加如下内容:
export PATH="$PATH:/usr/local/Cellar/spark-2.0.1-bin-hadoop2.7/bin"

3.4 修改Spark的配置文件conf目录

cp spark-env.sh.template spark-env.sh
修改spark-env.sh中的内容,加入如下配置:
</pre><pre code_snippet_id="1961561" snippet_file_name="blog_20161101_7_9283581" name="code" class="html">export SCALA_HOME=/usr/local/Cellar/scala-2.11.8/bin
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g

3.5 运行Spark

./start-all.sh

3.6 使用spark shell进行测试

localhost:bin didi$ spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/11/01 21:09:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/11/01 21:09:47 WARN Utils: Your hostname, localhost resolves to a loopback address: 127.0.0.1; using 10.97.182.157 instead (on interface en0)
16/11/01 21:09:47 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
16/11/01 21:09:48 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
Spark context Web UI available at http://10.97.182.157:4040
Spark context available as 'sc' (master = local[*], app id = local-1478005788625).
Spark session available as 'spark'.
Welcome to____              __/ __/__  ___ _____/ /___\ \/ _ \/ _ `/ __/  '_//___/ .__/\_,_/_/ /_/\_\   version 2.0.1/_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)
Type in expressions to have them evaluated.
Type :help for more information.scala> 

OK!Spark环境搭建成功!

总结,在安装环境的时候,我们需要首先弄清楚各个环境和依赖之间的关系,这样安装和配置环境的时候,会更加的自信和有条理。
祝大家学习和工作顺利。共同研究大数据。

MAC系统中搭建Spark大数据平台(包括Scala)相关推荐

  1. 重点人口动态管控轨迹分析系统开发,可视化大数据平台建设

    重点人口动态管控轨迹分析系统开发,可视化大数据平台建设 重点人口动态管控轨迹分析系统的可视化及辅助决策功能可以为重点人口动态管控提供强有力的支持,能够有效地利用各种警力.信息和资源等,为提升公安部门预 ...

  2. Apache开源顶级项目Ambari搭建HDP大数据平台

    搭建Hortonworks Data Platform大数据平台 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项 ...

  3. 搭建旅游大数据平台,打造全域旅游新体验

    我国旅游产业正处于高速发展的黄金期,预计到2020年,我国旅游市场总规模将达到67亿人次.为了更好地满足如此庞大的出行群体的需求,提升旅游业的信息化服务能力,国务院日前正式发布了<"十 ...

  4. spark java8 scala_在 Ubuntu16.04 中搭建 Spark 单机开发环境 (JDK + Scala + Spark)

    1.准备 本文主要讲述如何在Ubuntu 16.04 中搭建 Spark 2.11 单机开发环境,主要分为 3 部分:JDK 安装,Scala 安装和 Spark 安装. 需要注意的是,Spark 版 ...

  5. Spark大数据平台应用实战

    对于一个具有相当技术门槛与复杂度的平台,Spark从诞生到正式版本的成熟,经历的时间如此之短,让人惊诧.2009年,Spark诞生于伯克利大学AMPLab,于2010年正式开源,2013年成为了Apa ...

  6. hadoop与spark大数据平台培训推荐书目

    书单推荐 1.Hadoop技术内幕:深入解析YARN架构设计与实现原理 http://e.dangdang.com/products/1900396100.html 2.Hadoop权威指南:大数据的 ...

  7. 大数据平台技术——Scala+Hbase学习

    文章目录 Scala部分 2.Hbase部分 2.1 简介 什么是HBase 与其他部分的关系 Hbase的数据模型 HBase架构 Hbase访问接口 Hbase存储格式 2.2 安装与运行 2.3 ...

  8. 大数据平台在分布式服务中的应用

    对大数据平台的一些理解 大数据是目前比较火的领域,它涉及的领域比较广泛,例如数据挖掘.机器学习等等:所有这些基于数据的操作能够正常工作的前提是:搭建相应的大数据收集平台,在该平台中能够通过主动和被动的 ...

  9. 基于大数据平台的毕业设计01:基于Docker的HDP集群搭建

    前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分. ...

最新文章

  1. 机器人瓦力船长机器人_警察“瓦力”来啦!机器人巡逻南京路 这样的它你喜欢吗?...
  2. Linux 禁ping和开启ping操作
  3. nodejs之async异步编程
  4. HP DL360 G7安装esxi 6.0
  5. SAP Marketing 和SAP marketing Cloud的区别
  6. LintCode 633. 寻找重复的数(这个题要复习)
  7. oracle--逻辑对象--bai
  8. java页面跳转t赋值_java servlet 几种页面跳转的方法及传值
  9. 3d激光雷达开发(PassThrough滤波器)
  10. 虚拟机安装菜鸟教程(1)—CentOS6.4系统VMware安装及配置详细教程
  11. Linux内核探索之路——关于书
  12. 谷歌浏览器访问接口无返回
  13. python网络测速_网络测速命令--speedtest
  14. AndroidStudio高德地图获取key
  15. 如何降低开关电源空载损耗
  16. 邮箱 万维网通讯 smtp
  17. HTML5期末大作业:商城网站设计——仿天猫在线商城(HTML和CSS实现天猫在线商城网站)...
  18. VK1623,DICE(邦定COB)/COG(绑定玻璃用)段码LCD液晶显示驱动芯片,支持最大48EGx8COM
  19. matlab 中atan2函数的介绍
  20. 搞定Markdown中的图片,一劳永逸的方法!

热门文章

  1. 通过身份证号码 判断下性别,兼容十五位身份证号码
  2. java集合UML类图 总览
  3. 监管大棒落下,杜均交易所生意梦碎
  4. STM32物联网项目-有刷直流电机
  5. FairMOT配置(笔记本3060显卡+VS2017+Win10+CUDA11.1)
  6. 使用QLExpress动态制定计算公式
  7. 互联网营销到底怎么做,什么网络营销方法最靠谱?
  8. 床前明月光,熊猫在烧香
  9. 全面了解数据中心绝热冷却系统
  10. 阿里云smtp 发邮件配置