Kettle8.2转换组件之唯一行（哈希值）

Kettle8.2转换组件之唯一行（HashSet）

一、相关说明
二、设计转换
三、转换配置
四、运行转换
五、查看结果

一、相关说明

需求说明：
从Excel读取数据，去除其中重复的字段，并把结果数据保存在数据库表中。
唯一行组件说明：
唯一行（哈希值）就是删除数据流重复的行。删除重复的行，并仅筛选作为该步骤输入数据的惟一行。它跟踪内存中的重复行，并且不需要排序输入来处理重复行。
注意： 唯一行（哈希值）和（排序记录+去除重复记录）效果一样的，但是实现的原理不同！唯一行（哈希值）执行的效率会高一些！由于内存分配问题，此步骤适用于非客户机机器。所需的内存和硬件数量将根据您正在处理的数据的大小而变化。另外，您也可以将此步骤与Spark处理引擎一起使用，以帮助克服内存约束问题。

二、设计转换

输入：Excel输入
转换：唯一行（哈希值）
输出：表输出

三、转换配置

Step1：Excel输入组件配置
- 双击组件，写上步骤名称等
Step2：唯一行（哈希值）组件配置
- 双击打开，设置步骤名称
- 配置信息，如下
Step3：表输出组件配置
- 双击打开，设置步骤名称
- 配置信息，如下
- 保存转换
  
  上述配置好后，点击确定即可！

四、运行转换

点击运行按钮，成功运行如下：

五、查看结果

数据库表中查看结果
Preview data中查看结果
执行流程
E：Excel读取源文件中的数据到行集中进行缓存
T：通过Hop读取行集中的数据流，通过经唯一行（哈希值）删除重复记录，将结果数据缓存再rowsets中
L：通过Hop读取上一个步骤传递过来的行集数据，并将其写出到数据库表中

Kettle8.2转换组件之唯一行（哈希值）相关推荐

Kettle8.2转换组件之拆分字段
Kettle8.2转换组件之拆分字段一.相关说明二.设计转换三.转换配置四.运行转换五.查看结果一.相关说明需求说明: 从数据库表读取数据,将name字段内容拆分为first_name和 ...
Kettle 常用的转换组件都在这里
关注[郑大钱呀][公][众][号],我们一起交流,一起学习,写作不易,还请大家多多关注. 文章目录前言 Concat fields组件值映射组件增加常量组件增加序列组件字段选择组件计算器组 ...
SSIS数据转换组件_复制转换、数据转换、行计数
一复制转换复制列转换是一种很简单的转换机制.它主要是将一列或多列地数据复制一份.然后后续的工作可以对复制的列中的数据做任何操作.而不影响被复制列的数据.下面我们接着上一篇的条件性拆分的包来介绍如何 ...
Kettle8.2查询组件之数据库连接
Kettle8.2查询组件之数据库连接一.相关说明二.设计转换三.转换配置四.运行转换五.结果分析一.相关说明数据库查询组件说明: 数据库连接可以执行两个数据库的查询,和单参数的表输入. ...
Kettle8.2脚本组件之javascript脚本
Kettle8.2脚本组件之javascript脚本一.相关说明二.设计转换三.转换配置四.运行转换五.结果查看一.相关说明脚本组件说明: 脚本就是直接通过程序代码完成一些复杂的操作. ...
Kettle8.2输入组件之多文件合并
Kettle8.2输入组件之多文件合并一.需求说明二.设计转换三.转换配置四.运行转换五.结果分析一.需求说明需求说明: 数据往往也是以多个文件的形式出现,有的数据还会分散在多个子文件夹 ...
JS组件系列——BootstrapTable 行内编辑解决方案：x-editable
JS组件系列--BootstrapTable 行内编辑解决方案:x-editable 参考文章: (1)JS组件系列--BootstrapTable 行内编辑解决方案:x-editable (2)ht ...
组件、局部的组件、表行组件、组件数据传递
组件:基础的基础知识点组件(Component,Portlet) 组件组件就是页面上的一小块区域内容,完成一个小的页面功能,请参照视频第六课. 综合例 <div id="myAp ...
地图分幅组件的实现(一) ——图号和经纬度转换组件
地图分幅组件的实现(一) --图号和经纬度转换组件分类: GIS制图2011-04-08 10:39 334人阅读评论(0) 收藏举报当前的制图一般有两种分幅方式,经纬分幅和矩形分幅.国内制图 ...

Kettle8.2转换组件之唯一行（哈希值）

Kettle8.2转换组件之唯一行（HashSet）

一、相关说明

二、设计转换

三、转换配置

四、运行转换

五、查看结果

Kettle8.2转换组件之唯一行（哈希值）相关推荐

最新文章

热门文章