赫拉(hera)分布式任务调度系统之开发中心(三)
文章目录
- 赫拉
- 简介
- 目录介绍
- 创建一个脚本
- 执行选中的代码
- 上传资源
- 同步任务
- 脚本自动保存
- 加入群聊
赫拉
大数据平台,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,shell脚本调度。怎么样让大量的ETL任务准确的完成调度而不出现问题,甚至在任务调度执行中出现错误的情况下,任务能够完成自我恢复甚至执行错误告警与完整的日志查询。hera任务调度系统就是在这种背景下衍生的一款分布式调度系统。随着hera集群动态扩展,可以承载成千上万的任务调度。它是一款原生的分布式任务调度,可以快速的添加部署wokrer节点,动态扩展集群规模。支持shell,hive,spark脚本调度,可以动态的扩展支持python等服务器端脚本调度。
项目地址:git@gitee.com:dfire/hera.git
赫拉(hera)分布式任务调度系统之架构,基本功能(一)
赫拉(hera)分布式任务调度系统之项目启动(二)
赫拉(hera)分布式任务调度系统之开发中心(三)
赫拉(hera)分布式任务调度系统之版本(四)
赫拉(hera)分布式任务调度系统之Q&A(五)
简介
开发中心,顾名思义。我们进行开发的地方(当然我们也可以直接在调度中心加任务,建议任务首先在开发中心测试,通过之后再加到调度中心)。
项目地址:git@gitee.com:scx_white/hera.git
目录介绍
如图所示,开发中心有两个文件夹。分别是个人文档
、共享文档
。这两个文件夹不允许删除。
- 个人文档
提供给账户登录者使用的,私人目录可以在这里创建,执行任务时的用户,以创建者为准 - 共享文档
文件夹内的脚本对所有用户可见,执行时任务的用户以实际的登录者为准
创建一个脚本
鼠标放在个人中心,然后点击鼠标右键选择新建shell脚本。
然后在编辑区
写入要执行的脚本内容点击执行
即可
此时在编辑区
下方会有当前执行任务
的日志信息
输出
当然也可以通过点击下方历史日志
看所有日志信息。
执行选中的代码
我们可以通过在编辑区
使用鼠标选中
我们要执行的代码
,然后点击执行选中代码
即可
上传资源
当需要上传资源(py, jar, sql, hive, sh, js, txt, png, jpg, gif
等等)时要注意,要保证我们的master
和work
有hadoop
环境,能够执行hadoop fs -copyFromLocal
命令。
上传完资源后。
最上方会返回该资源文件的使用地址。
/hera/hdfs-upload-dir/hera-20181229-110455.sql
如果我们是使用spark-submit
或者hive udf
的 add jar
命令,直接加上hadoop
路径即可。
比如:
add jar hdfs:///hera/hive_custom_udf/2dfire-hivemr-log.jar;
或者:
spark2-submit --class com.dfire.start.App \
--jars hdfs:///spark-jars/common/binlog-hbase-1.1.jar \
当然如果是一些python脚本,或者txt。我们需要下载下来执行的。就需要执行
download[hdfs:///hera/hdfs-upload-dir/hera-20181229-110455.sql hera.sql]
启动download
为hera
的定制命令。[]
分为两部分,使用空格
分开。空格左部分为hdfs文件的路径
,空格右部分为重命名后的文件名
。
同步任务
暂未开发
脚本自动保存
当在开发中心写脚本时,脚本会自动保存。当然也可以通过点击保存脚本进行手动保存。
加入群聊
个人微信(失效加我拉你进去)
赫拉(hera)分布式任务调度系统之开发中心(三)相关推荐
- 赫拉(hera)分布式任务调度系统之项目启动(二)
文章目录 赫拉 创建表 打包部署 测试 TIPS 加入群聊 赫拉 大数据平台,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,shell脚本调度.怎么样让大量的ETL任务准确 ...
- 赫拉(hera)分布式任务调度系统
相关介绍 赫拉(hera)分布式任务调度系统之架构,基本功能(一) 赫拉(hera)分布式任务调度系统之项目启动(二) 赫拉(hera)分布式任务调度系统之开发中心(三) 赫拉(hera)分布式任务调 ...
- 赫拉(hera)分布式任务调度系统之操作文档
文章目录 前言 操作文档 登录和注册 用户 用户组 总结 首页 机器组监控 系统管理 用户管理 用户组 用户 总结 监控管理 机器组管理&worker管理 任务管理 任务详情 任务依赖 上游任 ...
- 分布式任务调度系统V1
分布式任务调度系统V1目标 初步目标实现,实现任务的下发分配,分布式任务执行,支持任务分片(在代码上支持),任务执行记录. 任务调度系统构思 基于C/S架构实现,基于长连接来管理实现,当前版本的逻辑架 ...
- 【Python】轻量级分布式任务调度系统-RQ
一 前言 Redis Queue 一款轻量级的P分布式异步任务队列,基于Redis作为broker,将任务存到redis里面,然后在后台执行指定的Job.就目前而言有三套成熟的工具cele ...
- 这些优秀的国产分布式任务调度系统,你用过几个?
2019独角兽企业重金招聘Python工程师标准>>> 分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大.高并发的特点,对数据处理的要求较高,既要保 ...
- 探寻繁杂定时任务的解决方案:分布式任务调度系统
导语:本文我们从架构和技术实现上来为大家讲解腾讯云分布式任务调度系统TCT(Tencent Cloud Task)如何实现任务调度的精准实时.稳定高效,以及任务的切分和编排.(编辑:中间件小Q妹) 0 ...
- 分布式任务调度系统-定时任务的解决方案
导语:在前面我们讲过了阿里云分布式任务调度平台,今天我们从架构和技术实现上来为大家讲解腾讯云分布式任务调度系统TCT(Tencent Cloud Task)如何实现任务调度的精准实时.稳定高效,以及任 ...
- 开源分布式任务调度系统就选它!
分布式任务调度这个话题是每个后端开发和大数据开发都会接触的话题.因为应用场景的广泛,所以有很多开源项目专注于解决这类问题,比如我们熟知的xxl-job. 那么今天要给大家推荐的则是另一个更为强大的开源 ...
最新文章
- EID-:宏病毒组技术在新发腹泻病毒鉴定中的应用
- 多个表关联的查询语句
- 实现接口Controller定义控制器
- c语言中dfs用pos做参数,使用DFS解决8-Puzzle
- hdu 5086(dp)
- BASIC-12 十六进制转八进制
- 人为什么会出轨?麻省理工学院告诉你:男女配对的真相
- 现代软件工程 (备份)
- json转string工具_不要再重复造轮子了,这款开源工具类库贼好使!
- anaconda进出某个环境
- Python中的staticmethod和classmethod
- Leetcode那点事儿
- Exchange 2013CU17和office 365混合部署-设置属性筛选(三)
- GOOGLE本地搜索
- java web表单系统
- 冯扬文:基于数据仓库的集装箱运价信息集成研究
- 大数据杀熟!我被美团会员割了韭菜
- matlab信道容量函数,一般信道容量迭代算法1
- photoshop7.0 排版一寸照片、2寸照片
- matlab函数equalize