转自:   https://blog.csdn.net/weixin_34015336/article/details/86007813

kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍: https://www.cnblogs.com/majinju/p/5739820.html

Kettle的Web版分享: https://blog.csdn.net/u014256350/article/details/51733944

Kettle(Pentaho)实现web方式远程执行job或transformation: https://blog.csdn.net/jianglibo1024/article/details/54835656

一种基于kettle的web端交换管理方法与流程:  http://www.xjishu.com/zhuanli/55/201710066927.html

Web中集成Kettle: https://qq85609655.iteye.com/blog/1306555

web应用集成kettle: https://download.csdn.net/download/sxrenchao/9329209

KETTLE WEB管理控制台设计: https://blog.csdn.net/jdk2006/article/details/50559410

Kettle Web端的使用: https://my.oschina.net/hbt/blog/522053

Kettle的Web版分享: https://www.oschina.net/question/2615834_2149419

ETL工具 ,基于Kettle实现的Web版ETL工具: https://download.csdn.net/download/u010572994/10681413

一种基于kettle的web端交换管理方法: http://xueshu.baidu.com/usercenter/paper/show?paperid=72fba748737e4739578207d62423b5c0&site=xueshu_se

Kettle(Pentaho)实现web方式远程执行job或transformation: https://www.cnblogs.com/John-Young/p/6349252.html

如何在 GitHub 上找到免费且实用的软件?:  https://blog.csdn.net/sinat_33224091/article/details/93149403

G码云: https://gitee.com/liuxiaogang1987/kettle

kettleweb应用:https://cloud.tencent.com/developer/information/kettleweb%E5%BA%94%E7%94%A8

ETL工具kettle与java结合使用程序生成一个简单的转化文件:https://bbs.csdn.net/topics/390369075

基于Kettle的数据传输平台的设计与实现: http://xuewen.cnki.net/CMFD-1016219876.nh.html

通过Kettle调用Rest API获取信息: http://tech.it168.com/a2015/0707/1744/000001744190.shtml

基于kettle8的web端调度监控平台: http://www.demodashi.com/demo/14488.html

kettlewebtest: http://www.pudn.com/Download/item/id/3346340.html

The integration of Kettle in Web: https://www.programering.com/a/MzN2AzNwATU.html

KETTLE WEBSERVICE 调用: https://ask.hellobi.com/blog/andy/2739

kettle8调度监控平台(kettle-scheduler)开源: https://www.liangzl.com/get-article-detail-30916.html

kettle8调度监控平台(kettle-scheduler)开源: https://www.liangzl.com/get-article-detail-30916.html

Kettle通过Webservice获取天气信息: http://blog.itpub.net/10009036/viewspace-1398948/

在web中集中kettle:  http://www.360doc.com/content/14/1102/11/1180274_421875421.shtml

Kettle (5) - 获取 Web 数据:  https://www.jianshu.com/p/300e997d8351

Kettle(Pentaho)实现web方式远程执行job或transformation: https://www.cnblogs.com/John-Young/p/6349252.html

Kettle(Pentaho)实现web方式远程执行job或transformation: https://www.cnblogs.com/John-Young/p/6349252.html

Kettle(Pentaho)实现web方式远程执行job或transformation:https://blog.csdn.net/u010735147/article/details/81911451

G码云:https://gitee.com/majinju/kettle-manager/

基于spring-boot的kettle调度: https://www.jianshu.com/p/f84b36e4912e

Pentaho Kettle解决方案:使用PDI构建开源ETL解决方:http://www.java1234.com/a/javabook/javabase/2016/0510/6082.html

ETL工具kettle与java结合使用程序生成一个简单的转化文件: https://bbs.csdn.net/topics/390369075

kettle集成到web项目中: https://ask.hellobi.com/question/14607

webKettleETL产品介绍: https://gitee.com/zixuedanxin/kettle/

基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版B/S架构: https://download.csdn.net/download/goldthreefat/10963345

kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍: https://www.cnblogs.com/majinju/p/5739820.html

kettle之牛刀小试: https://jianchen.iteye.com/blog/1111532

java中调用kettle作业以及生成web service 接口: https://www.cnblogs.com/kenlyy/p/4987527.html

基于B/S架构的kettle7版本的作业和转换集成管理工具: https://blog.csdn.net/angle860123/article/details/78533887

Javaweb整合mongo和kettle6.0的环境配置: https://www.cnblogs.com/checkman/p/5847496.html

Kettle 的 Web 端管理工具 Kettle-Manager : https://www.oschina.net/p/kettle-manager

kettle调用webservice: https://blog.csdn.net/weixin_39937329/article/details/78710150

Kettle的Web版分享: https://www.oschina.net/question/2615834_2149419?sort=default

G码云: https://gitee.com/zixuedanxin/kettle/

kettle web化: https://www.cnblogs.com/bener/p/10596181.html

Kettle (5) - 获取 Web 数据: https://www.cnblogs.com/guohu/p/10721196.html

java web项目整合kettle进行数据自动导入: https://blog.csdn.net/Airch7/article/details/84351427

kettle整合到web项目并运用quartz实现定时任务:https://my.oschina.net/pvpCC9IFwqz4/blog/1814033

web版kettle.rar: https://download.csdn.net/download/u013522009/9751852

开源ETL工具-kettle初识: https://zhuanlan.zhihu.com/p/24835051

Kettle的Web版分享: https://www.oschina.net/question/2615834_2149419?p=2

kettle web端监控需求分析: https://www.cnblogs.com/zk263235046/p/5602781.html

Kettle与java项目集成: https://blog.csdn.net/kone0611/article/details/83659191

一种基于kettle的web端交换管理方法: http://www.vipzhuanli.com/pat/books/201710066927.9/1.html

kettle Web端 资源库操作(查询): https://www.cnblogs.com/zk263235046/p/5653556.html

基于kettle的简单HTTP接口监控: https://blog.csdn.net/xueba207/article/details/39693411

一种基于kettle的web端交换管理方法: http://www.vipzhuanli.com/patent/201710066927.9/

在Web中集成Kettle: http://m.dataguru.cn/thread-485584-1-1.html

代码地址如下:
http://www.demodashi.com/demo/13399.html

# webKettleETL产品介绍

  • 精卫ETL平台,创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。
  • 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户.
  • 模型模块进行ETL模型开发,在B/S系统中用拖拽的方式设计数据流逻辑。
  • 其他六个模块为用户专业调度管理系统,更多是面向业务运维人员,关注于整个流程的执行情况和数据的导入导出细节信息,以及对任务的综合调度。完全支持集群和单机两种运行模式。并通过用户权限的管控让平台的资源分配变得更加专业。

# 模块展示

  • 平台

展示平台概况

  • 模型设计

进行ETL模型设计调试

  • 任务管理

对ETL任务进行综合的调度管理以及监控

  • 日志

ETL任务的执行日志模块

  • 节点管理

ETL任务的执行引擎节点管理

  • 定时调度

定时ETL任务管理

  • 用户管理

精卫平台的用户权限管理系统

# webKettleETL技术实现

  • 精卫ETL是基于流行的ETL工具kettle开发的B/S架构版本的ETL产品,所使用的底层引擎是调用kettle的api
  • ETL任务以元数据的方式储存在资源库里面,精卫通过读取资源库元数据,对元数据进行解析后可将ETL任务通过MXGraph展现至B/S架构的精卫系统中,实现了在B/S架构上面开发ETL任务的功能,属于精卫系统的模型开发模块功能.
  • 通过对元数据的操作可以对ETL任务进行综合性的管理以及监控,通过Quartz定时框架可以实现对任务的定时调度
  • 根据kettle执行引擎可以部署多台服务器节点的特性,再通过精卫系统跟远程的节点发送HTTP请求,可以实现在多节点上分布式的执行ETL任务,并可以实现实时监控ETL的任务运行情况
  • 基于高度自由化的B/S框架,可以嵌入多元化的需求,于是我们在精卫中添加了用户管理模块,通过用户权限的概念对所有的ETL任务进行人性化的运维管理
  • 整个项目使用Maven进行构建管理,多模块之间低耦合,高拓展性

# webKettleETL整体功能流程


#技术选型

  • 核心框架:Spring Framework
  • 任务调度:Spring + Quartz
  • 持久层框架:MyBatis
  • 会话管理:Spring-Session
  • 日志管理:Log4j
  • 前端框架:EXTJS3.4+MXGraph2.3
  • 项目管理: Maven3.2.3
  • ETL底层引擎:kettle7.0

项目结构

项目结构图

# 说明

  1. 本系统采用单资源库模式,数据源连接在dispatch-servlet.xml中配置,系统启动后就会读取该资源库
  2. 数据库脚本都在kettle-scheduler项目的scripts目录下
  3. 数据库暂时只支持MySQL,本系统在MySQL5.5.20版本上测试,其他版本尚未测试
  4. 本例使用Maven3.2.3构建,启动服务器后访问http://localhost:8080/
  5. 支持IE9及以上、FireFox等浏览器,IE6-IE8需要做特殊化处理,其他浏览器未测试
  6. jdk版本需要1.8以上基于web版kettle开发的用户专业版B/S架构工具

代码地址如下:
http://www.demodashi.com/demo/13399.html

注:本文著作权归作者,由demo大师代发,拒绝转载,转载需要作者授权

基于web版kettle开发的用户专业版B/S架构工具相关推荐

  1. 使用基于Web的交互式开发工具Zeppelin

    使用基于Web的交互式开发工具Zeppelin 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称): ...

  2. Dipforge 3.0 a3 发布,基于 Web 的集成开发环境

    Dipforge 3.0 a3 主要是增强了 Web IDE,增加了一些改进的图标. Dipforge 是一个应用服务器,提供了快速企业开发,无需 CRUD,侧重于解决实际的问题. Dipforge  ...

  3. 直播系统定制开发——海量用户实时消息系统架构演进实践

    1.引言 一套完整的直播系统定制开发核心功能有两个: 1)实时音视频的推拉流: 2)直播间消息流的收发(包括聊天消息.弹幕.指令等). 本文主要分享的是百度直播的消息系统的架构设计实践和演进过程. * ...

  4. python django mysql web页面多级联动_Python Web实战:Python+Django+MySQL实现基于Web版的增删改查...

    前言 本篇使用Python Web框架Django连接和操作MySQL数据库学生信息管理系统(SMS),主要包含对学生信息增删改查功能,旨在快速入门Python Web,少走弯路.效果演示在项目实战最 ...

  5. Python Web实战:Python+Django+MySQL实现基于Web版的增删改查

    本文使用Python Web框架Django连接和操作MySQL数据库学生信息管理系统(SMS),主要包含对学生信息增删改查功能. 1.创建项目(sms) 创建Django项目 django-admi ...

  6. 一个快速实现彩屏应用的跨平台快速原型开发工具平台,最重要的是还免费!8ms.xyz平台原以为是单片机版墨刀,今天上去玩了才知道平台厉害的很,基于WEB端免搭建开发环境,跑的还是C代码编译出来的程序!

    哈哈哈哈,最近发现一个好用的在线编译.下载.烧录的跨平台快速原型开发工具平台,名字好记–8ms,单看名字是真的不知道干嘛的,不知道为啥叫这个?不多想了,好用就得分享给大家,独乐乐不如众乐乐呀-- 好用 ...

  7. 基于Web开发资料专集

    本专集包含的内容如下: [color=#008B8B] 网页设计制作标准规范 [color=#008B8B] 网站工程的管理与规范 [color=#008B8B] 网站项目管理规范手册 [color= ...

  8. 分享]基于Web开发资料专集

    分享]基于Web开发资料专集 [这个贴子最后由huili46在 2006/02/17 04:17pm 第 4 次编辑] 本专集包含的内容如下: [color=#008B8B] 网页设计制作标准规范 [ ...

  9. PHP基于Web的subversion用户管理系统(源代码+论文)

    本系统主要是基于Web的subversion系统的用户管理系统.在开源软件世界,并行版本系统(cvs)一直是版本控制长久以来的唯一选择,但是,和其它许多工具一样,cvs开始显露出衰老的迹象,而subv ...

  10. 用WEB技术栈开发NATIVE应用:WEEX SDK原理详解

    摘要: WEEX依旧采取传统的web开发技术栈进行开发,同时app在终端的运行体验不输native app.其同时解决了开发效率.发版速度以及用户体验三个核心问题.那么WEEX是如何实现的?目前WEE ...

最新文章

  1. eBCC性能分析最佳实践(1) - 线上lstat, vfs_fstatat 开销高情景分析...
  2. 以后谁再问你【跳跃表】,就把这文章扔给他!
  3. jsecharts如何改变占比_echarts.js多图表数据展示使用小结_蓝戒的博客
  4. Js Call方法详解(js 的继承)
  5. mormot数据库连接+查询+序列为JSON
  6. Python中带下划线_的变量和函数命名的用法
  7. 数字调制系统工作原理_空间光调制器工作原理是什么 空间光调制器工作原理...
  8. spine 导出纹理_Spine 纹理打包Texture packing_官方文档中文版
  9. =空值返回空值_@ParameterizedTest在@CvsSource中具有空值
  10. 论文笔记--跨媒体语义共享子空间学习理论与方法研究-2015
  11. ASP.NET生成Excel并下载
  12. 深圳试行“智能行人过街系统”,行人违规将被“拉出来示众”
  13. android经典动态壁纸,Android动态壁纸解析
  14. postgresal去重_postgresql数据库去重方法
  15. 9款主流图表控件轻松实现数据可视化
  16. html怎么使表格居中,html怎么使表格居中
  17. Gamecenter 测试失败的解决方案
  18. python 视图对象_Python之路【第二十八篇】:django视图层、模块层
  19. Matlab/Simulink 自动代码生成 基于模型设计学习教程(2)---- 闪烁灯实验
  20. mysql var和varp的区别_了解T-SQL stdev、stdevp、var和varp

热门文章

  1. 自然语言处理技术的进展和趋势
  2. 【3分钟带你学】Ajax
  3. 计算机系统应用软件的核心是什么,计算机系统软件的核心是什么?
  4. 双硬盘分别装windows和linux,双硬盘分别安装windows和Ubuntu20双系统
  5. 公有云与私有云优劣势调研
  6. [4G/5G/6G专题基础-157]: 无线数据承载DRB与无线信令承载SRB
  7. 对接亚马逊 SP-API(Amazon Selling Partner API) 第五章:Reports 模块
  8. SP商BI平台(MP子平台)——通信增值业务运营SP公司
  9. Python sklearn针对不同人群的差异化保险费用定价方案
  10. 二阶系统级联_IIR数字滤波器的级联型结构中每个二阶级联子系统的系数可多带带控制一对零点或极点,有利于控制系统的频响...