Kettle工具使用及总结
Kettle工具使用及总结
一、kettle安装及报错:
kettle主要用于数据清洗,即常见ETL工具,拥有图形化界面且免费的优点。其下载包直接解压打开就能用,遇到的问题:
1.连接MySQL报错:
①报错:
Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.
org.gjt.mm.mysql.Driver
原因:没有识别到连接数据库的驱动jar包
解决方法:
将驱动jar包复制粘贴到data-integration\lib文件下(data-integration为kettle安装目录);重启spoon。
操作完成之后反复尝试还是报相同的错,识别不到,则说明你的kettle版本与你的驱动版本不容,无法识别。(例如我的kettle7.0无法识别mysql-connector-java-8.0.19.jar)。那么只有换版本或者换连接的数据库(这里我放弃连接MySQL,转为连接sqlserver)
②报错:
Error connecting to database: (using class org.gjt.mm.mysql.Driver)
Unknown initial character set index '255' received from server. Initial client character set can be forced via the 'characterEncoding' property.
原因:你导入的jar包被kettle识别,但是它与你本地MySQL版本不容
解决方法:换连接驱动的jar包(因为驱动版本是跟数据库版本一致的,间接说明你的kettle与MySQL版本不容)
连接SQL server:
连接成功:
操作:(本案例演示csv文件拆分字段转存sqlserver数据库)
二、kettle实例
(1)建立作业,连接数据库
(2)执行sql脚本(对数据库表初始化操作)
下面的sql脚本在sqlserver运行不出错,但在kettle就会报错(不知道为什么,所以现在我sql脚本没有写,不过想想确实还不如直接去数据库客户端里建表方便)
IF NOT EXISTS (select * from dbo.sysobjects where xtype='U' and Name = 'kettle_test')
BEGIN
CREATE TABLE kettle_test
(
kind varchar(255),
time varchar(255),
processingDepartment varchar(255),
content varchar(255)
);
END
执行结果出错(如下图),后来我把sql语句删了,动手在数据库里建的表。
(3)在转换1中新建一个转换;完成输入csv文件,字段切分,输出到表的操作
(这里,观察左菜单栏就会发现它的数据清洗功能)
①给转换建立数据库连接;
②进行csv文件输入:
CSV输入设置
拆分字段:
Excel输入设置
从输入组件中拖入EXCEL输入,点击设置:
(1)在弹出框中选择“表格类型”为“Excel 2007 XLSX (Apache POI)”;
(2)点击“文件或目录“后的“浏览”选择需要导入的Excel表格,点击“增加”添加至选中文件列表中;
(3)单击“工作表”,在工作表页面选择“获取工作表名称”,选择相应的“可用项目”添加至“你的选择”中;
(4)单击“字段”,在字段页面点击“获取来自头部数据的字段”,(所以Excel表格最好带有列字段列名),并可以对获取的数据字段类型进行调整,可以点击“预览记录”查看数据;
表输出设置
展开"输入"列表将"表输出"模块拖入右侧空白区域;
⑤点击文件,保存
⑥返回作业,为转换1设置:
(4)保存,执行
Kettle工具使用及总结相关推荐
- kettle增加字段报错_【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中
每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定. 放弃不难,但坚持很酷~ 最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现.本文章记录了数据导入 ...
- kettle工具的设计原则
Kettle工具在设计初,就考虑到了一些设计原则.这些原则里借鉴了以前使用过的其他一些ETL工具积累下的经验和教训. 易于开发:作为数据仓库和ETL开发者,你只想把时间用在创建BI解决方案上.任何用于 ...
- ETL数据清洗Kettle工具
文章目录 一.简介 二.资源库(新建.管理) 三.转换 1. 新建数据源 2. 简单的输入输出 配置步骤 2.1 配置表输入 2.2 配置表输出 2.3 保存 2.4 启动与执行结果 3. 转换 1. ...
- kettle工具下载、安装、数据迁移、定时任务详解
kettle工具下载.安装.数据迁移.定时任务详解 篇幅有点长,将这五个内容放在了一篇文章里,其中最主要的是数据迁移和定时任务 目录 目录 一.简单介绍 二.下载 三.安装 四.数据迁移:包括单表整体 ...
- Kettle工具入门
Kettle工具入门 Kettle工具入门 Kettle是什么? 为什么要用Kettle? 怎么用Kettle? 下载运行 简单应用 表到表转换 json到表的操作 参考 Kettle是什么? Ket ...
- kettle工具的作用和使用
最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表.于是该项目用到了Kettle,用了之后才发现,这是个好东西啊. 一 ...
- etl调度工具 ctm_技术篇之kettle工具介绍
前面我们说了中台的定义今天让我们一起学习新的内容01PARTKettle基本介绍 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix等多个操作系统上运行 ...
- 通过kettle工具的作业发送邮件
1.打开kettle工具,创建作业 创建一个作业,并添加Start控件.发送邮件控件.成功控件.以及作业跳连线 2.配置Start控件 双击Start控件,进入"作业定时调度" 点 ...
- Kettle工具的基本使用
2.1 Kettle简介 2.1.1 Kettle概述 Kettle是国外免费的开源轻量级ETL工具,是基于Java语言开发的,可以在Windows.Linux,UNIX系统上运行,且绿色不需安装,可 ...
最新文章
- RHEL 5搭建Samba服务器详细过程
- 【图像处理】纹理检测算法
- 通过追源码解决:xmlrpc.client设定请求超时时间
- 对抗训练硬核分析:对抗样本与模型参数的关系
- Java黑皮书课后题第3章:*3.20(科学:风寒温度)编写一个程序,提示用户输入一个温度值和一个风速值。如果输入值合法,那么显示风寒温度,否则显示温度或风速是不合法数据
- 福特打造自动驾驶汽车,你的专属安全智能护卫
- 你胆敢不加break试试?
- 游戏大厅 从基础开始(6)--绕回来细说聊天室(中)之女仆编年史1
- 怎么判断一个字符串的最长回文子串是否在头尾_LeetCode 第 131 号问题:分割回文串...
- LeetCode - Remove Nth Node From End of List
- 使用Calendar增加日期
- 《设计模式》组合模式---伊利工厂
- 一张图了解软件测试流程
- JAVA宠物寄养管理系统计算机毕业设计Mybatis+系统+数据库+调试部署
- 使用Python开发小说下载器,不再为下载小说而发愁
- vb如何调用计算机日历,跪求vb.net简易日历制作的源代码
- java xml pull解析_Android App中使用Pull解析XML格式数据的使用示例
- CC2530——点对点通信
- 马云重构阿里:或分拆成30家公司 整合3家上市【来源:《财经》】
- P3373(线段树2)
热门文章
- 微信公众平台小程序(应用号)开始内测了
- 在C#代码中应用Log4Net(四)在Winform和Web中捕获全局异常
- windows下Apache 启动出错的解决
- Asp.net上传文件至目录
- Leetcode 70.爬楼梯
- 论文写作--表格解读
- tensorflow基础:tf.data.Dataset.from_tensor_slices()
- 解决ORA-00054资源正忙的问题
- 集合源码(一)之hashMap、ArrayList
- 在代码中加载storyBoard中的ViewController