Kettle使用_31 CSV文件输入跳过前几（首）行之过滤记录

Kettle使用_31 CSV输入结合过滤记录

需求：对csv文件输入不在第一行的情况进行数据装载，这里假定数据在第6行。

解决方法：通过CSV文件输入结合过滤记录组件，即在CSV文件输入里指定行号，在过滤记录里通过条件刷选记录并输出到文件或者数据库内。

#Ⅱ 步骤-Step by Step

-- 1 准备个csv文件,内容见下,列分隔符是制表符即"\t"(可以是任意单字符分隔符),行分隔符是换行("LF")。

12 36 78

17 91 16

24 83 50

14 38 67

id seq age name

1   2   18 John

2   3   37 Mike

3   4   27 Doris

# 注,上述准备的数据列数并不统一,即第5行之前都是3列，之后是4列。

-- 2 打开Kettle,新建立个转换,从"输入"里拖个"CSV文件输入"组件，双击该组件进行配置。

-- 3 详细配置内容有:

a) 文件名

b) 列分隔符

c) 在"行号字段"里起个名字，如rn

d) 字段映射里填写字段名和类型

-- 4 在"流程"里拖个"过滤记录"组件，SHIFT连接"CSV文件输入"与"过滤记录"组件,双击该组件进行配置。

a) 编写记录过滤条件，即rn>=6,

b) 指定TRUE时对应的步骤，此步骤连接文本输出或者表输出。当前演示为表输出。

-- 5 在"输出"里拖个"表输出"组件，SHIFT连接"过滤记录"与"表输出"组件,双击该组件进行配置。

a) 勾选"指定数据库字段"

b) 在"数据库字段"选项选中rn后删除该字段

-- 6 保存转换后运行验证结果

完整流程：

Kettle使用_31 CSV文件输入跳过前几（首）行之过滤记录相关推荐

Kettle使用_12 CSV文件仅并发运行与复制数量
Kettle使用_12 CSV文件仅并发运行与复制数量需求: 通过并行方式完成customers-100.txt(该文件有2.4万条记录)的文本输出. 解决方法:结合CSV文本输入和文件文本输出组件 ...
Kettle使用_11 CSV文件输入输出复制数量
Kettle使用_11 CSV文件输入输出复制数量需求: 通过并行方式完成customers-100.txt(该文件有2.4万条记录)的文本输出. 解决方法:结合CSV文本输入和文件文本输出组件解决 ...
kettle动态csv导入mysql_使用kettle 定时同步csv文件数据到数据库表
背景最近由Java工程师转岗为ETL数据工程师,虽然以前也有为数据集成的项目储备过kettle相关的知识,但是一直没有在生产环境中实际使用过kettle.然后最近刚好有一个比较小的活,需要每天定时同 ...
python关闭csv文件_使用Python编辑csv文件时跳过标题
使用Python编辑csv文件时跳过标题我使用下面引用的代码使用Python编辑csv.代码中调用的函数形式代码的上半部分. 问题:我希望下面引用的代码从第2行开始编辑csv,我希望它排除包含标题的 ...
php 读csv跳过标题,请问怎么使用Python编辑csv文件时跳过标题
使用Python编辑csv文件时跳过标题我使用下面引用的代码使用Python编辑csv.代码中调用的函数形式代码的上半部分. 问题:我希望下面引用的代码从第2行开始编辑csv,我希望它排除包含标题的 ...
java删除csv一行_在Java中读取CSV文件时跳过第一行
嘿家伙我正在编写解析器代码来读取.csv文件并将其解析为 XML.这是我的代码,它工作正常,但我希望它跳过文件中的第一行.所以我决定设置一个HashMap,但它似乎确实有效: for (int i = ...
python 读取.csv文件，跳过第一行的表头：drop
在读取.csv文件时,第一行的表头的附带信息一般是不需要的,如图: 如何从第二行开始读取文件,采用drop代码可以为: df_negA = pd.read_csv('/NewpositiveA.csv ...
python导入csv文件是如何预览后10行-使用python中的csv reader只读取前N行csv文件
我将一些csv文件的第二列中包含的文本添加到一个列表中,以便稍后对列表中的每个项目执行情绪分析.我的代码目前完全适用于大型csv文件,但是我对列表中的项目执行的情感分析花费了太长时间,这就是为什么我只 ...
python中csv文件通过什么表示字符_python – 如果行包含CSV文件中的字符串,则删除该行...
我在删除包含一列中的字符串的文本文件中的行时遇到问题.到目前为止,我的代码无法删除该行,但它能够读取文本文件并将其作为CSV文件保存到单独的列中.但这些行不会被删除. 这就是该列中的值如下所示: Sh ...

Kettle使用_31 CSV文件输入跳过前几（首）行之过滤记录

Kettle使用_31 CSV文件输入跳过前几（首）行之过滤记录相关推荐

最新文章

热门文章