安装

前提：需要安装HADOOP/HDFS/YARN、SPARK等组件，并且配置环境变量

1. 下载livy安装包

从 livy官网下载界面

cd /opt
wget https://dlcdn.apache.org/incubator/livy/0.7.1-incubating/apache-livy-0.7.1-incubating-bin.zip

2. 解压安装包

unzip apache-livy-0.7.1-incubating-bin.zip

3. 配置

修改livy-env.sh

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home
HADOOP_CONF_DIR=/Users/xxx/Documents/software/hadoop-3.3.1/etc/hadoop
SPARK_HOME=/Users/xxx/Documents/software/spark-3.2.1
SPARK_CONF_DIR=/Users/xxx/Documents/software/spark-3.2.1/conf

配置livy.conf

# 配置livy会话所使用的spark集群部署模式
livy.spark.master = yarn
# 配置livy会话所使用的Spark集群部署模式
livy.spark.deploy.mode = cluster
# 默认使用hiveContext
livy.repl.enable.hive-context = true
# 开启用户代理
livy.impersonation.enabled = true
# 配置session空闲过期时间
livy.server.session.timeout = 1h
# 配置thriftserver
livy.server.thrift.enabled = true
livy.server.thrift.port = 10002
# 配置 recovery
livy.server.recovery.mode = recovery
livy.server.recovery.state-store = filesystem
livy.server.recovery.state-store.url = hdfs://10.253.128.30:9000/livy/

配置log4j

cp log4j.properties.template log4j.properties

拷贝jersey-core-1.9.jar包到jars目录下

4. 启动livy

# 进入到livy目录下
cd /opt/livy-0.7.1
bin/livy-server start

访问livy-ui

curl http://ip:8998/ui

Livy配置项

配置	header默认值	说明
livy.server.spark-home		spark目录
livy.spark.master
livy.spark.deploy-mode
livy.spark.scala-version
livy.spark.version
livy.session.staging-dir
livy.file.upload.max.size
livy.file.local-dir-whitelist
livy.repl.enable-hive-context
livy.environment
livy.server.host
livy.server.port	8998
livy.ui.basePath
livy.ui.enabled
livy.server.request-header.size	131072
livy.server.response-header.size	131072
livy.server.csrf-protection.enabled	false
livy.impersonation.enabled	false
livy.superusers	null
livy.server.access-control.enabled	false
livy.server.access-control.allowed-users	*
livy.server.access-control.modify-users	null
livy.server.access-control.view-users	null
livy.keystore
livy.keystore.password
livy.key-password

Livy 使用

livy-session

通过livy-session, 可以通过rest来执行spark-shell，用于处理交互式的请求

session的创建

curl -XPOST 'http://10.253.128.30:8998/sessions' -H 'Content-Type:application/json' --data '{"kind": "spark"}'

session查看
http://10.253.128.30:8998/ui
session使用 curl -XPOST ‘http://10.253.128.30:8998/sessions/2/statements’ -H ‘Content-Type:application/json’ --d ‘{“code”: “sc.textFile(”“)”}’

注意：待到livy server的状态转换成idle的时候，向其发送请求，才会去执行。执行时，其状态转变成busy。执行完毕之后，状态又变成idle

livyy-batch

通过livy-batch处理非交互式请求，即，相当于spark-submit操作。
examples:

curl -XPOST  -H 'Content-Type:application/json' http://10.253.128.30:8998/batches --data '{"conf": {"spark.master": "yarn-cluster"}, "file": "hdfs://", "className":"", "name":"", "executorCores": "","executorMemory":"512m", "driverCores": 1, "driverMemory":"512m", "queue":"default","args":[\"100\"] }'

【大数据】Spark开源REST服务--Apache Livy的安装和使用相关推荐

Spark开源REST服务——Apache Livy（Spark 客户端）
文章目录一.概述二.Apache Livy模块介绍 1)Client 2)router 3)权限管理 4)生成 Spark App 5)交互式 Driver 6)状态数据存储三.Apache L ...
apache atlas 案例_大数据元数据开源解决方案apache atlas
[实例简介] 大数据元数据开源解决方案apache atlas,提供数据治理,元数据管理等功能 [实例截图] [核心代码] apache-atlas-1.1.0-sources.tar └── apa ...
荐六十款针对Hadoop和大数据顶级开源工具
为什么80%的码农都做不了架构师?>>> 荐六十款针对Hadoop和大数据顶级开源工具 2015-08-10 10:37 布加迪编译 51CTO 字号: T | T 说到处理 ...
【合集】云栖大会珍贵技术资料：20+覆盖容器技术、智能工业、大数据、开源数据库等（下）...
2019独角兽企业重金招聘Python工程师标准>>> 云栖社区从几百位讲师中精挑细选了若干精华,其中涵盖了智能物流.大数据.开源数据库.智能工业.容器技术以及智能应用实践等. 作为 ...
基于大数据的情报分析与服务系统架构设计
一.大数据在军事领域中的应用技术作为一项从大量数据中获取有用知识的实用技术,已被广泛应用于各行各业并取得了较大的经济和社会效益,而其在军事领域的应用也具有很大的潜力. 1 提升情报获取能力现代战 ...
大数据Spark企业级实战 PDF 下载和目录
大数据Spark企业级实战 PDF完整版下载地址 http://download.csdn.net/detail/laoge/9504794 基本信息书名:大数据Spark企业级实战定价:12 ...
【大数据Spark系列】Spark教程：详细全部
Spark作为Apache顶级的开源项目,是一个快速.通用的大规模数据处理引擎,和Hadoop的MapReduce计算框架类似,但是相对于MapReduce,Spark凭借其可伸缩.基于内存计算等特点 ...
大数据|Spark技术在京东智能供应链预测的应用案例深度剖析（一）
大数据|Spark技术在京东智能供应链预测的应用案例深度剖析(一) 2017-03-27 11:58 浏览次数:148 1. 背景前段时间京东公开了面向第二个十二年的战略规划,表示京东将全面走向技 ...
【云周刊】第135期：云栖大会珍贵技术资料：20+覆盖容器技术、智能工业、大数据、开源数据库
摘要: 云栖大会珍贵技术资料合集:覆盖容器技术.智能工业.大数据.开源数据库等,阿里公开内部超大规模分布式机器学习平台,机器学习能为你的业务做什么?有些事情你肯定猜不到!...更多精彩技术资讯,尽在云 ...

【大数据】Spark开源REST服务--Apache Livy的安装和使用

安装

1. 下载livy安装包

2. 解压安装包

3. 配置

4. 启动livy

Livy配置项

Livy 使用

livy-session

livyy-batch

【大数据】Spark开源REST服务--Apache Livy的安装和使用相关推荐

最新文章

热门文章