hue是不是集成了oozie_在hue里面集成spark2,使用oozie的调度
1.Oozie共享库添加Spark2
1.1查看当前Oozie的share-lib共享库HDFS目录
oozie admin -oozie http://10.100.200.11:11000/oozie -sharelibupdate
1.2.在Oozie的/user/oozie/share/lib/lib_20181112142531创建spark2目录
sudo -u oozie hdfs dfs -mkdir /user/oozie/share/lib/lib_20181112142531/spark2
1.3.向spark2目录添加spark2的jars和oozie-sharelib-spark*.jar
注意;这里要将mysql和oracle的驱动包提前放在 /opt/cloudera/parcels/SPARK2/lib/spark2/jars 这个目录下。因为后期可能spark-sql可能会用到这个包。
进入上图的目录当中,然后执行文件的上传操作
sudo -u oozie hdfs dfs -put *.jar /user/oozie/share/lib/lib_20181112142531/spark2
cd /opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-yarn/lib/spark 然后
sudo -u oozie hdfs dfs -put oozie-sharelib-spark*.jar /user/oozie/share/lib/lib_20181112142531/spark2
1.4.修改目录权限
sudo -u hdfs hdfs dfs -chmod -R 775 /user/oozie/share/lib/lib_20181112142531/spark2
1.5 .更新Oozie的share-lib
oozie admin -oozie http://10.100.200.11:11000/oozie -sharelibupdate
1.6.确认spark2已经添加到共享库
oozie admin -oozie http://10.100.200.11:11000/oozie -shareliblist
2.创建Spark2的Oozie工作流
2.1 新建workflow
在命令行将Spark2自带的example例子上传到自己指定的目录当中。
sudo -u hdfs hdfs dfs -put spark-examples_2.11-2.1.0.cloudera3.jar /user/gxg/
这里需要注意的是,这样设置的话oozie还是加载不到spark2的程序,还是相当于spark1的程序在调用。所以这个时候,我们需要配置spark的相关参数设置。
求pi的主类名称 org.apache.spark.examples.SparkPi
hue里面设置spark运行的参数: oozie.action.sharelib.for.spark spark2
设置完成之后,我们就可以保存然后启动spark2的程序了。
参考文档如下:
https://blog.csdn.net/worldchinalee/article/details/80594593
https://blog.csdn.net/zkf541076398/article/details/79941598
hue是不是集成了oozie_在hue里面集成spark2,使用oozie的调度相关推荐
- Hue编译安装适配sparksql(hue+livy+sparksql+pyspark)
一.前言 本篇文章带大家一起编译hue.并使用hue适配livy+spark,通过结合Hue.Livy和Spark SQL,可以在一个友好的Web界面中编写和执行SQL查询,并在远程的Spark集群上 ...
- Hue创建oozie workflow调度,Hue创建workflow,HUE配置邮件告警
1.配置sqoop驱动 注:配置此驱动,解决在workflow中sqoop无法找到mysql驱动报错 (1)上传mysql-connector-xxx.jar cp mysql-connector-j ...
- 【直播】李祖贤:集成学习答疑直播之五 -- 常用集成思路
集成学习答疑直播之五 – 常用集成思路 集成学习 是首个横跨3个周期的长期组队学习,在 第24期组队学习 中进行到"第二期-模型集成思路"阶段.组队学习期间,课程设计者每周针对 ...
- jira集成开发代码_7种JIRA集成可优化您的Java开发流程
jira集成开发代码 有哪些最佳集成可以用来优化JIRA工作流程? 我喜欢寻找在工作流程中提高效率的方法. 看着那些小小的自动化和流畅的流程,我的脸上露出了微笑. 我知道我并不孤单,有时花费更多的时间 ...
- apache camel_轻量级的开源集成:Apache Camel还是Spring集成?
apache camel 首先,为全面披露信息,在过去的1.5年中, 我一直担任 FuseSource(现为Red Hat) 的顾问,为零售,运输,银行/金融等不同行业的大型和小型公司提供SOA和集成 ...
- 轻量级的开源集成:Apache Camel还是Spring集成?
首先,为全面披露信息,在过去的1.5年中, 我一直担任 FuseSource(现为Red Hat) 的顾问,为零售,运输,银行/金融等不同行业的大型和小型公司提供SOA和集成项目支持.我的专长是使用该 ...
- php集成paypal接口,PHP中集成PayPal标准支付,php集成paypal标准_PHP教程
PHP中集成PayPal标准支付,php集成paypal标准 PayPal支付功能其实一直在更新文档和接口,这里说的是一个简单的支付功能大概流程如下 1,在网站的结账页面,设置一个提交到PayPal网 ...
- 机器学习算法——集成学习1(个体与集成)
集成学习(Ensemble Learning)通过构建并结合多个学习器来完成学习任务. 上图为集成学习的一般结构:先产生一组"个体学习器",再用某种策略将它们结合起来. 个体学习器 ...
- “磁”话有理(七)——磁集成类型之电感与电感集成
"磁"话有理(七)--磁集成类型之电感与电感集成 电感与电感集成实质是电感与电感绕成耦合形式,根据绕组电压的形式分为绕组电压成比例类型和绕组电压有相位差类型 1. 绕组电压成比例类 ...
最新文章
- TCP连接的状态转换图深度剖析
- mysql safe 关闭_新手请教,mysqld经常自动关闭是什么原因?-问答-阿里云开发者社区-阿里云...
- 模型压缩高达75%,推理速度提升超20%,百度Paddle Lite v2.3正式发布
- android点击下拉历史记录,uni-app,社交应用中,聊天页面下拉onPullDownRefresh获取历史消息,数据合并之后,滚动到下拉之前的位置,页面看不见闪动,完美解决...
- 新款iPad Pro曝光:搭载A14x仿生芯片 支持5G
- Docker学习总结(23)——Docker搭建大规模测试环境的实践
- JavaScript学习笔记
- mac视频播放器哪个最好用?不妨试试OmniPlayer Pro mac中文版吧
- php开发自学经典.pdf_PHP从入门到精通(第4版) 明日科技 中文完整pdf扫描版[42MB]
- 飞鹅云打印机api接口asp版,asp源码对接飞鹅云小票打印机
- 常用电子面单接口API demo下载(菜鸟快递鸟)
- Go语言中间件框架 Negroni 的静态文件处理源码分析
- xlsx VLOOKUP 怎么用
- python身份证识别
- 从“上云”到“云管理”,中国首个多云管理平台评估标准有何妙处?
- 【404 App】2.0全新版本正式来袭之ALL模块。
- Triton针对工业系统的形势分析以及检测手段 || 后附今日情报资源
- Thinkpad笔记本刷BIOS教程
- 【Deeplearning】暗影精灵3安装Windows10+Ubuntu18.04双系统及CUDA10.0配置
- 学生选课系统c语言程序总结,学生选课系统C语言程序代码总结.doc
热门文章
- Mac下图像标注工具labelImg的安装
- 无心剑英译罗兰《境由心造》
- 【BZOJ2539】【codevs1221】丘比特的烦恼,trie树+几何判断+费用流
- 【codevs1851】越狱,快速幂数学
- 提供做某事Do you want me to..._45
- 2017.10.9 DZY Loves Math V 失败总结
- 2017.7.19 Race 思考记录
- 2017.5.6 联合权值 思考记录
- 仿链家地图找房_我在深圳的第一个家 是在有着6000套房的工业区里
- 【英语学习】【Level 07】U03 Amazing wonders L3 A pearl of East Asia