基于kettle8的web端调度监控平台
转自: http://www.demodashi.com/demo/14488.html
基于web版kettle开发的用户专业版B/S架构工具: https://blog.csdn.net/weixin_34015336/article/details/86007813
Kettle的Web版分享: https://www.oschina.net/question/2615834_2149419?sort=time&p=1
webkettle: https://gitee.com/liuxiaogang1987/kettle
Kettle的Web版分享: https://www.oschina.net/question/2615834_2149419?sort=time&p=1
Kettle(Pentaho)实现web方式远程执行job或transformation: https://blog.csdn.net/u010735147/article/details/81911451
kettle web化: https://www.cnblogs.com/bener/p/10596181.html
基于spring-boot的kettle调度: https://www.jianshu.com/p/f84b36e4912e
技术:spring+springmvc +beetlsql+quartz+kettle8
运行环境:jvm
概述
Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成,通过调用kettle的API来执行转换和作业,并且使用quartz框架完成调度工作。此版本基于kettle-8.0.0.0-28版本的API开发的,目前可以基本可以支持所有的组件,包括大数据组件(hbase、hive、hdfs等)。
详细
一、背景
Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。
二、项目介绍
Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成,通过调用kettle的API来执行转换和作业,并且使用quartz框架完成调度工作。
此版本基于kettle-8.0.0.0-28版本的API开发的,目前可以基本可以支持所有的组件,包括大数据组件(hbase、hive、hdfs等)。
三、项目结构
四、部署
基础环境
操作系统:windows(linux类似)
预装软件:jdk1.8、mysql、tomcat、kettle8.0
将源码中kettle-scheduler.sql导入mysql数据库。
将源码编译打包后解压到tomcat下的webapps目录下。
配置km\WEB-INF\classes\resource\db.properties
jdbc.driver=com.mysql.jdbc.Driver //mysql驱动
jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false //mysql的jdbc url
jdbc.username=root //mysql用户名
jdbc.password=123456 //mysql密码
配置km\WEB-INF\classes\resource\ kettle.properties
kettle.home=WEB-INF\\lib //kettlehome路径, 此处不用修改,但是需要将kettle8.0的环境变量文件kettle.properties拷贝替换掉项目路径km\WEB-INF\lib\.kettle下的同名文件
kettle.plugin=E:\\zhaxiaodong\\plugins //kettle插件目录,可以自定义一个目录,然后将data-integration\plugins目录下所需的插件拷贝到此目录下
kettle.script=Html\\js\\libs\\url //kettle所用到的js文件,目前未使用到
kettle.loglevel=detail //kettle日志级别
kettle.log.file.path=D:\\data-integration\\logs //执行kettle转换和作业产生的日志存放的路径
kettle.file.repository=D:\\data-integration\\test //存放上传的文件作业或文件转换的路径,此功能已屏蔽,无需修改
将data-integration目录下的simple-jndi和system文件夹拷贝到apache-tomcat-9.0.12\bin目录下
配置\apache-tomcat-9.0.12\conf\ server.xml
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> //配置端口号
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true">
<Context path="/km" docBase="/km" reloadable ="true" debug="0" privileged="true"> </Context>
…
</Host>
启动tomcat
Windows:apache-tomcat-9.0.12\bin\startup.bat;
Linux: apache-tomcat-9.0.12\bin\startup.sh;
访问http://localhost:8080/km进入系统。
五、使用说明
登陆
访问http://localhost:8080/km进入登陆界面,用户名admin,密码admin
首页
首页主要是显示监控信息,当一个任务(作业或转换)启动后,这个任务就处于被系统的监控状态下,首页展示了总监控任务数、监控作业数、监控转换数、转换监控记录(仅显示5条)、作业监控记录(仅显示5条)以及7天内作业和转换的监控状况。
资源库管理
管理kettle数据库资源库的信息,可以新增、修改、删除数据库资源库。
任务管理 – 作业管理
管理作业定时任务,可以新增、修改、删除作业定时任务,启动后作业即开始运行。
任务管理 – 转换管理
管理转换定时任务,可以新增、修改、删除转换定时任务,启动后转换即开始运行。
任务管理 – 执行策略
管理执行策略,可以新增、修改、删除执行策略(定时执行策略)。
监控管理 – 作业监控
处于运行的作业会被系统监控,此处显示被监控的作业的监控信息,包括总作业任务数、总执行成功次数、总执行失败次数以及每个作业的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。
监控管理 – 转换监控
处于运行的转换会被系统监控,此处显示被监控的转换的监控信息,包括总转换任务数、总执行成功次数、总执行失败次数以及每个转换的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。
用户管理
此菜单只有admin用户登陆时显示,用户管理用户,admin用户可以新增用户、编辑用户、删除用户。
六、其他
最后希望大家可以一起维护此项目,如有问题可加入qq群提问 点击链接加入群聊【QQ群:817362677】【kettle-scheduler交流群】:https://jq.qq.com/?_wv=1027&k=59nBFXl
基于kettle8的web端调度监控平台相关推荐
- 开源mysql web平台_Yearning Mysql–Web端SQL审核平台
介绍 Yearning MYSQL 是一个SQL语句审核平台.提供查询审计,SQL审核等多种功能,支持Mysql,可以在一定程度上解决运维与开发之间的那一环,功能丰富,代码开源,安装部署容易! 开源地 ...
- websocket 发送图片_基于WebSocket的web端IM即时通讯应用的开发
基于WebSocket的web端IM即时通讯应用的开发 功能列表: 1.Web端的IM即时通讯应用 2.支持上线.下线.实时在线提醒 3.单聊.群聊的建立 4.普通文字.表情.图片的传输(子定义富文本 ...
- 医药/医疗/互联网医疗服务平台/问诊/挂号/开药/处方/医生/医院/问诊订单管理/移动端问诊医疗系统/医生端处方开药系统/web端医药服务平台管理/axure原型/rp源文件/健康咨询/视频问诊/统计
医药/医疗/互联网医疗服务平台/问诊/挂号/开药/处方/医生/医院/问诊订单管理/移动端问诊医疗系统/医生端处方开药系统/web端医药服务平台管理/处方管理/axure原型/rp源文件/健康咨询/视频 ...
- web端业务数据管理平台+Axure运营数据管理平台+月度数据统计分析+年度排行榜数据统计页面分析+运营大数据统计管理后台+用户信息管理+Axure通用web端高保真交互业务数据管理平台
作品介绍:原型内容包含:web端业务数据管理平台+Axure运营数据管理平台+月度数据统计分析+年度排行榜数据统计页面分析+运营大数据统计管理后台+用户信息管理+Axure通用web端高保真交互业务数 ...
- 智慧、智能图书馆管理平台系统+web端业务数据管理平台+Axure通用web端高保真交互业务数据管理平台+铭牌管理+设备监控+系统管理+内容管理+机构列表管理+用户权限管理+专题管理+服务包管理
作品介绍:智慧.智能图书馆管理平台系统+web端业务数据管理平台+Axure通用web端高保真交互业务数据管理平台+铭牌管理+设备监控+系统管理+内容管理+机构列表管理+用户权限管理+专题管理+服务包 ...
- 猿人学web端爬虫攻防平台第七题动态字体
本人呢很喜欢爬虫,但是技术不好,所以呢就一直慢慢的摸索着,也不知道那什么练手进行学习,直到我在偶然的机会接触到了猿人学,发现了 猿人学web端爬虫攻防平台这个网站,久旱逢甘霖,他乡遇故知呀(蹩脚的词语 ...
- 基于ELK搭建网站实时日志监控平台
基于ELK搭建网站实时日志监控平台 1 为什么要用到ELK 早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail.如果服务部署了好几台,就要分 ...
- 买卖汽车电商交易平台、选车社区论坛、买新车、二手车交易平台、移动端汽车电商平台、web端汽车运营管理平台、供应商管理、营销商管理、新车交易管理、调车管理、汽车顾问、车库管理、出入库管理、Axure原型
买卖汽车电商交易平台.选车社区论坛.买新车.二手车交易平台.移动端汽车电商平台.web端汽车运营管理平台.供应商管理.营销商管理.新车交易管理.调车管理.汽车顾问.车库管理.出入库管理.Axure原型 ...
- 808协议 java_基于JT/T808协议的车辆监控平台架构方案
技术支持QQ:78772895 1.车载终端协议网关采用mina/netty+spring架构,独立于其他应用,主要负责维护接入终端的tcp链接.上行以及下行消息的解码.编码.流量控制,黑白名单等安全 ...
- 基于STM32MP1和QT的疫情监控平台
目录 1.前言 2.数据接口的获取 3.Qt界面的实现 4.在开发板上运行Qt程序 5.使用无线模块联网 6.代码下载 1.前言 之前我使用桌面版本Qt实现了肺炎疫情监控平台:基于Qt的新冠肺炎疫情数 ...
最新文章
- 微型三维图像传感器采用飞行时间技术
- SQL Server 2005实现负载均衡的详细介绍
- System Center Virtual Machine Manager 2012 SP1系列文章
- FFmpegInterop 库在 Windows 10 应用中的编译使用
- 数据科学家提高效率的 40 个 Python 技巧
- 2016福州大学软件工程第四次团队作业-系统设计成绩汇总
- 有关技术管理的一些思考
- C++初始化vector<vector<int>>
- SAE助力「海底小纵队学英语」全面拥抱Serverless,节省25%以上成本
- 安恒发布态势感知通报预警中心——“先知”
- 了解常见的网络架构图
- 服务器虚拟化相关技术介绍,虚拟化技术介绍
- python 聚类 客户细分_KMeans聚类:商城客户细分数据
- 高中python教程_杭师大顶级初高中Python课程师训,酷哥优秀教师授课获赞!
- Verilog语法+:的说明
- 腾讯 Code Review 规范出炉!你还敢乱写代码??
- Python数据分析入门笔记10——简单案例练习(学生信息分析)
- git+commitize+cz-customizable 代码 提交规范
- 如何高效阅读英文文献
- 第二章 信息系统服务管理