Kettle刚用的时候发现了很多问题，网上的资料也不多，简单记录一下遇到的一些问题，和一些使用技巧。

问题

1）kettle读取excel格式固定，一个excel输入节点，字段填写后是按顺序把第n列的数据给第n个字段，不是按表头去赋值的，也就是说自动获取表头字段不能随意地改变顺序、删除。

2）excel输入要注意选择sheet，不选他会把所有sheet都读入，有些sheet可能数据连格式都不一样。

3）js脚本输入字段是中文，想要使用这个字段需要先赋值给英文变量，比如输入有个“姓名”需要先写

var name = 姓名;

技巧

1）输入中有“自定义常量数据”节点，可以供其他节点当参数。

2）查询里面有“模糊匹配”节点，这个东西真的好用，他可以计算两个字符串的相似程度，比如excel有个字段公司名称，但是人手动输入可能与数据库中存的标准名称差几个无关紧要的字，比如：
数据库中存的：神马街道搓澡股份有限公司
有些人就填写：神马街道搓澡公司
以前我会去匹配一些没用字符串然后去掉，去匹配比如去掉街道以及公司等，用：%搓澡%去匹配，但是效果极差，而且去掉多了容易出现匹配了两个以上的情况。
模糊匹配里选择算法Pair letters Similarity效果比较好，计算结果是0~1的小数，数字越大相似度越高，可以设置阈值0.6~1来增加匹配正确性。
匹配源数据不要太多，能少则少，不然匹配速度慢。

记录使用Kettle导入excel数据心得相关推荐

Kettle把Excel数据导入数据库
目录一.使用Kettle导入Excel 二.表输出三.作业一.使用Kettle导入Excel 1.双击"转换": 2.点击页签"核心对象",展开" ...
sql server 导入excel数据表
sql server 导入excel数据表之前谈到过在sql server中对用户的购买记录做过关联分析,数据来源是来自sql server数据库,但有的时候,数据源来自于其他文件,比如excel文 ...
php导入excel先检查,php 如何在导入Excel数据时检查Mysql数据库内容是否存在，避免重复录入？：怎么样筛选excel表格重复的数据库...
php 如何在导入Excel数据时检查Mysql数据库内容是否存在,避免重复录入? 如果不想每询一次以提前做一个统询 $sql=mysql_query("select distinct Co ...
MySQL批量导入Excel数据
1.确定需要导入数据的表名称以及字段,然后在新建的Excel表中,按照表字段正确排序:(注:(Excel文件的名称最好和数据库的名称一致,sheet表的名字最好和表名称一致,方便需要导入多张表数据时一 ...
【Python处理EXCEL】基础操作篇：在Python中导入EXCEL数据
一.前期准备此篇使用两种导入excel数据的方式,形式上有差别,但两者的根本方法实际上是一样的. 首先需要安装两个模块,一个是pandas,另一个是xlrd. 在顶部菜单栏中点击文件,再点击设置,然 ...
php 表格导入excel插件,BootStrap Fileinput插件和表格插件相结合实现导入Excel数据的文件上传、预览、提交的步骤...
这篇文章主要介绍了BootStrap Fileinput插件和Bootstrap table表格插件相结合实现文件上传.预览.提交的导入Excel数据操作步骤,需要的朋友可以参考下 bootstrap ...
python实现自动导入excel数据到MySQL中
最近工作遇到了把excel数据自动导入到MySQL的需求,在考虑了kettle后,不太容易实现导入excel数据自动生成表的问题,于是乎,把解决方法转移到了python,结果python确有实现办法, ...
ASP导入Excel数据提示：外部数据库驱动程序（1）中的意外错误解决办法
ASP导入Excel数据提示:外部数据库驱动程序(1)中的意外错误解决办法最近拿起很久以前写的ASP导入excel数据程序测试时,发现好好的程序出现运行问题,之前都是好好的.真是怪事. 怎么 ...
mysql如何批量导入excel_MySQL批量导入Excel数据
1.确定需要导入数据的表名称以及字段,然后在新建的Excel表中,按照表字段正确排序:(注:(Excel文件的名称最好和数据库的名称一致,sheet表的名字最好和表名称一致,方便需要导入多张表数据时一 ...
c 导入oracle数据库,c导入excel数据到数据库
报表工具如何实现多次导入Excel 很多人在开发报表的时候会遇到将多张表样相同的excel导入到模板,然后提交至数据库中.但问题是很多情况,在线导入不支持一次性选择多个excel,一次只能选择一个ex ...

记录使用Kettle导入excel数据心得

问题

技巧

记录使用Kettle导入excel数据心得相关推荐

最新文章

热门文章