MAC系统中搭建Spark大数据平台(包括Scala)
MAC系统中搭建Spark大数据平台(包括Scala)
localhost:~ didi$ java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)
localhost:~ didi$ javac -version
javac 1.8.0_102
如果大家Java环境没有安装成功,可以参考:java环境安装和配置
export PATH="$PATH:/usr/local/Cellar/scala-2.11.8/bin"
localhost:~ didi$ scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102).
Type in expressions for evaluation. Or try :help.scala>
OK!Scala安装成功。
export PATH="$PATH:/usr/local/Cellar/spark-2.0.1-bin-hadoop2.7/bin"
3.4 修改Spark的配置文件conf目录
cp spark-env.sh.template spark-env.sh
修改spark-env.sh中的内容,加入如下配置:
</pre><pre code_snippet_id="1961561" snippet_file_name="blog_20161101_7_9283581" name="code" class="html">export SCALA_HOME=/usr/local/Cellar/scala-2.11.8/bin
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
3.5 运行Spark
./start-all.sh
3.6 使用spark shell进行测试
localhost:bin didi$ spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/11/01 21:09:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/11/01 21:09:47 WARN Utils: Your hostname, localhost resolves to a loopback address: 127.0.0.1; using 10.97.182.157 instead (on interface en0)
16/11/01 21:09:47 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
16/11/01 21:09:48 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
Spark context Web UI available at http://10.97.182.157:4040
Spark context available as 'sc' (master = local[*], app id = local-1478005788625).
Spark session available as 'spark'.
Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 2.0.1/_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)
Type in expressions to have them evaluated.
Type :help for more information.scala>
OK!Spark环境搭建成功!
MAC系统中搭建Spark大数据平台(包括Scala)相关推荐
- 重点人口动态管控轨迹分析系统开发,可视化大数据平台建设
重点人口动态管控轨迹分析系统开发,可视化大数据平台建设 重点人口动态管控轨迹分析系统的可视化及辅助决策功能可以为重点人口动态管控提供强有力的支持,能够有效地利用各种警力.信息和资源等,为提升公安部门预 ...
- Apache开源顶级项目Ambari搭建HDP大数据平台
搭建Hortonworks Data Platform大数据平台 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项 ...
- 搭建旅游大数据平台,打造全域旅游新体验
我国旅游产业正处于高速发展的黄金期,预计到2020年,我国旅游市场总规模将达到67亿人次.为了更好地满足如此庞大的出行群体的需求,提升旅游业的信息化服务能力,国务院日前正式发布了<"十 ...
- spark java8 scala_在 Ubuntu16.04 中搭建 Spark 单机开发环境 (JDK + Scala + Spark)
1.准备 本文主要讲述如何在Ubuntu 16.04 中搭建 Spark 2.11 单机开发环境,主要分为 3 部分:JDK 安装,Scala 安装和 Spark 安装. 需要注意的是,Spark 版 ...
- Spark大数据平台应用实战
对于一个具有相当技术门槛与复杂度的平台,Spark从诞生到正式版本的成熟,经历的时间如此之短,让人惊诧.2009年,Spark诞生于伯克利大学AMPLab,于2010年正式开源,2013年成为了Apa ...
- hadoop与spark大数据平台培训推荐书目
书单推荐 1.Hadoop技术内幕:深入解析YARN架构设计与实现原理 http://e.dangdang.com/products/1900396100.html 2.Hadoop权威指南:大数据的 ...
- 大数据平台技术——Scala+Hbase学习
文章目录 Scala部分 2.Hbase部分 2.1 简介 什么是HBase 与其他部分的关系 Hbase的数据模型 HBase架构 Hbase访问接口 Hbase存储格式 2.2 安装与运行 2.3 ...
- 大数据平台在分布式服务中的应用
对大数据平台的一些理解 大数据是目前比较火的领域,它涉及的领域比较广泛,例如数据挖掘.机器学习等等:所有这些基于数据的操作能够正常工作的前提是:搭建相应的大数据收集平台,在该平台中能够通过主动和被动的 ...
- 基于大数据平台的毕业设计01:基于Docker的HDP集群搭建
前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分. ...
最新文章
- 机器人瓦力船长机器人_警察“瓦力”来啦!机器人巡逻南京路 这样的它你喜欢吗?...
- Linux 禁ping和开启ping操作
- nodejs之async异步编程
- HP DL360 G7安装esxi 6.0
- SAP Marketing 和SAP marketing Cloud的区别
- LintCode 633. 寻找重复的数(这个题要复习)
- oracle--逻辑对象--bai
- java页面跳转t赋值_java servlet 几种页面跳转的方法及传值
- 3d激光雷达开发(PassThrough滤波器)
- 虚拟机安装菜鸟教程(1)—CentOS6.4系统VMware安装及配置详细教程
- Linux内核探索之路——关于书
- 谷歌浏览器访问接口无返回
- python网络测速_网络测速命令--speedtest
- AndroidStudio高德地图获取key
- 如何降低开关电源空载损耗
- 邮箱 万维网通讯 smtp
- HTML5期末大作业:商城网站设计——仿天猫在线商城(HTML和CSS实现天猫在线商城网站)...
- VK1623,DICE(邦定COB)/COG(绑定玻璃用)段码LCD液晶显示驱动芯片,支持最大48EGx8COM
- matlab 中atan2函数的介绍
- 搞定Markdown中的图片,一劳永逸的方法!