利用 livy 远程提交 spark作业

2024-06-02 04:53:16

1. 下载，安装 livy

下载地址：http://livy.io/quickstart.html

下载之后，解压即可运行

2. 配置环境变量

export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

`3.配置主机和端口（可跳过，直接用默认值）`

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主机）
 livy.server.host = 0.0.0.0

# What port to start the server on.（端口）
 livy.server.port = 8998

# Time in milliseconds on how long Livy will wait before timing out an idle session.（超时时长，即session多久未用之后，自动kill掉）livy.server.session.timeout = 1h

这里需要创建logs文件夹

mkdir logs

chmod -R 777 logs

4. 开启livy服务

./bin/livy-server

5.REST Api (以下url均以host:port开头，默认为 localhost:8998)

1）GET /sessions

Returns all the active interactive sessions.返回所有活跃的session

2)POST /sessions

Creates a new interativeScala,Python, or R shell in the cluster. 创建一个session，即新开一个shel

Request Body

name	description	type
kind	The session kind (required)	session kind
proxyUser	User to impersonate when starting the session	string
conf	Spark configuration properties	Map of key=val

3)GET /sessions/{sessionId}
Returns the session information. 返回相应session的信息

4）DELETE /sessions/{sessionId}

Kills the Session job.

5) GET /sessions/{sessionId}/statements

返回session的所有statement的信息

6）POST /sessions/{sessionId}/statements

Runs a statement in a session. 即提交一个语句，运行

7) GET /sessions/{sessionId}/statements/{statementId}

获取相应statement的信息

利用 livy 远程提交 spark作业相关推荐

livy使用样例_黑猴子的家：利用 livy 远程提交 spark作业
livy是cloudera开发的通过REST来连接.管理spark的解决方案,此文记录在使用livy中遇到的一些问题 1.livy的下载 livy安装不多赘述,可以从github上自己build,也可 ...
【收藏】使用springboot构建rest api远程提交spark任务
使用springboot构建rest api远程提交spark任务 https://blog.csdn.net/hlp4207/article/details/100831384
Kettle与Hadoop（九）提交Spark作业
实验目的: 配置Kettle向Spark集群提交作业. 实验环境: Spark History Server: 172.16.1.126 Spark Gateway: 172.16.1.124 172 ...
spark系列-应用篇之通过livy提交Spark任务
#前言上一篇使用yarn api的提交spark任务比较麻烦, 这次我们使用livy来提交spark任务.livy的使用十分简单,功能上比yarn api还要强大,支持提交spark代码片断,ses ...
Spark 作业提交
Spark 作业提交一.作业打包jar 1.工程目录结构 2.不同运行模式的打包方式 Local模式与Yarn模式不同就在于:Local模式运行时jar包仅在本地存在,而Yarn模式需要在每台从机的 ...
Spark学习（四） -- Spark作业提交
标签(空格分隔): Spark 作业提交先回顾一下WordCount的过程: sc.textFile("README.rd").flatMap(line => line.s ...
Hadoop入门（十二）Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
利用博客提交作业的程序设计课程实践模式
(本文基于本人近三年来的工作写成,发表于<计算机教育>2014年第18期) 利用博客提交作业的程序设计课程实践模式贺利坚卢云宏 (烟台大学计算机学院,山东烟台 264005) ...
本地提交spark_Spark在Windows下运行，本地提交spark到远程yarn集群
[问题]Spark在windows能跑集群模式吗? 我认为是可以的,但是需要详细了解cmd命令行的写法.目前win下跑spark的单机模式是没有问题的. [关键点]spark启动机制容易被window ...

最新文章

热门文章