【Kettle】血统分析

在转换中，血统就是说你要知道一个数据是从哪里来的，在哪个步骤中，增加了或修改了这个数据，最后输出到哪个数据库表中。

本篇通过job，先把资源库导出成xml文件，然后通过分析xml文件，把想要的信息输入到数据库表中进行保存。当要查询表来源时，只需要查询存储资源库的表即可。

job：

job中的转换：

1. 导出资源库到XML文件

2. Get data from XML（解析导出的资源库XML文件）

输出的字段名如下，其中“.”表示在“内容”标签中设置的循环路径：

transname（转换名称）：./info/name

step_name（步骤名称）：./step/name

step_type（步骤类型）：./step/type

database（连接的数据库）：./connection/name

tablename（输出的表名）：./step/table

schema（表所在的schema名）：./step/schema

sql（生成表的SQL）：./step/sql

3. 表输出

【Kettle】血统分析相关推荐

ETL之Kettle
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行. 说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使用. ...
数据地图、血缘分析与数据资产详解
数据地图数据地图是数据治理的重要功能之一.顾名思义一下,是不是就是数据的地图?是的!就是所有已经被管理好的数据的地图.这个地图主要解决以下几个问题 : 1> 平台有多少数据资源? 2> ...
教程：群体演化方法分析玉米的驯化与改良
一般文章在筛选正选择区间时,大多不考虑群体的演化历史,即不考虑群体大小的变化,只进行亚群之间各种群体遗传参数的对比,这可能会产生大量的假阳性.另一方面,研究一般也不考虑遗传信息的迁 ...
ETL学习总结（1）——ETL 十大功能特性详解
前言 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行.说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使 ...
元数据管理系统解决方案及产品调研-数仓系列（一）
元数据管理系统产品选型分析 1 概述需要给目前数据仓库适用一套元数据管理系统,目的减少人为的维护工作量.web页面协同工作(多人统一入口使用).元数据权限管理等 1.1 应用背景目前数据 ...
【收藏】关于元数据(Metadata)和元数据管理，这是我的见过最全的解读！
本文主要从元数据的定义.作用.元数据管理现状.管理标准和元数据管理功能等方面讲述了我对元数据(Metadata)和元数据管理的认知及理解. 元数据管理一.元数据的定义按照传统的定义,元数据(Met ...
数据治理：元数据及元数据管理策略、方法和技术
导读:这篇文章来自笔者的<一本书讲透数据治理:战略.方法.工具与实践>,可能是电子版流出,不知被哪位大佬摘录到公众号上了.在公众号搜索了下,这篇文章还挺受欢迎,多个数据类公众号都转载了,全 ...
聊一聊数据仓库中的元数据管理系统
原文地址一.元数据的定义按照传统的定义,元数据(Metadata)是关于数据的数据.在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据:元数据是描述数 ...
数据仓库--基本概念
0x00 前言整理一些数据仓库中的常用概念.大部分概念不是照搬书上的准确定义,会加入很多自己的理解. 0x01 概念数据仓库(Data Warehouse) 数据仓库,英文名称为Data Ware ...

【Kettle】血统分析

【Kettle】血统分析相关推荐

最新文章

热门文章