Spark Livy

简介

livy为Spark提供了REST接口，有如下特性:
* 提供交互式shell
* 批量提交
* 多用户使用用一个服务(用户模拟)
* 可以从任何地方使用REST的方式提交
* 无需对代码进行任何修改

获取源码，进行编译(如果编译不通过需使用vpn)

git clone git@github.com:cloudera/livy.git
cd livy-master
mvn -Dspark.version=1.6.2 -Dmaven.test.skip package

配置

vim conf/livy-env.sh
export SPARK_HOME=/usr/install/spark
export HADOOP_CONF_DIR=/usr/install/hadoop/etc/hadoop/confvim spark-blacklist.conf
注释spark.master
# spark.mastervim livy.conf
//默认使用hiveContext
livy.repl.enableHiveContext = true
//开启用户代理
livy.impersonation.enabled = true
//设置session空闲过期时间
livy.server.session.timeout = 1h

启动livy

nohup sudo -u admin ./livy-server >/dev/null 2>&1 &

通过端口8998访问

项目地址

https://github.com/cloudera/livy

Spark Livy相关推荐

浅谈Spark Livy
Spark Livy 什么是Livy Livy的特点 Livy的运作流程阐述 Livy的安装.启动.访问 Livy的使用 1. 什么是Livy livy是cloudera开发的通过REST来连接.管理 ...
livy使用样例_hue 集成spark+livy
hue 集成spark+livy 一.先决条件安装hue.hadoop. 二.spark on yarn 安装 1.添加环境变量 vim /etc/profile SCALA_HOME=/opt/s ...
spark livy
livy是cloudera开发的通过REST来连接.管理spark的解决方案,此文记录在使用livy中遇到的一些问题. livy的安装 livy安装不多赘述,可以从github上自己build,也可以 ...
SPARK+LIVY
Apache Livy简介 Apache Livy是由Cloudera Labs贡献的基于Apache Spark的开源REST服务,它不仅以REST的方式代替了Spark传统的处理交互方式,同时也提 ...
Spark Livy 指南及livy部署访问实践
背景: Apache Spark 是一个比较流行的大数据框架.广泛运用于数据处理.数据分析.机器学习中,它提供了两种方式进行数据处理,一是交互式处理:比如用户使用spark-shell,编写交互式代码 ...
主流大数据技术全体系参数与搭建与后台代码工程框架的编写（百分之70）
之前查阅源码啊,性能测试啊调优啊..基本告一段落,项目也接近尾声,那么整理下spark所有配置参数与优化策略,方便以后开发与配置: Spark安装配置与代码框架 spark-default.conf ...
1668智能下数教程视频_你需要的教程合集更新
最近又收集了一波网络安全资源,在文章最底部.花了将近一天时间整理,只求各位小哥哥能点个在看,分享给身边的朋友. 网络安全 --职业发展(渗透的最底部) 2019网络安全初识与职业发展https://p ...
大数据学习路线2019版（附全套视频教程及网盘下载）
什么是大数据? 大数据(BIG DATA)是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的 ...
千峰教学视频(官方)
JAVA –基础 2019千锋Java初识与职业发展 https://pan.baidu.com/s/1rCPncEyQHehIPgNQBEvcXQ 2019千锋Java工具教程 https://pa ...

Spark Livy

简介

项目地址

Spark Livy相关推荐

最新文章

热门文章