使用Grabit自定义SQL收集metadata

Grabit 是马哈鱼数据血缘分析器的一个支持工具，它从各种数据源中收集SQL脚本，然后将它们上传到马哈鱼，以便对这些SQL脚本进行数据血缘分析，分析结果可以在马哈鱼中查看。同时，数据血缘结果将被提取到本地目录中。

Grabit目前支持图形化界面和命令行两种方式操作，本文主要介绍Grabit如何使用命令行从数据库中获取DDL。

获取DDL

下载Grabit
在Grbit目录中，参考conf-template/dbname-config-template.json配置文件，新建配置文件，填写其中的数据库连接信息databaseServer对象，马哈鱼服务器连接信息SQLFlowServer以及数据库类型databaseType等参数，具体参数含义请参考官方文档：Grabit Using Document
指定配置文件路径/f conf-path，运行start脚本
在data/job/metadata/metadata.json文件可查看从数据库中导出的metadata数据
在logs/grabit.log中查看运行日志，成功后在马哈鱼上的Joblist页面查看结果

自定义SQL获取DDL

Grabit中维护了从指定数据库获取DDL的SQL脚本，在 SQL conf 下载这些SQL。
conf目录中是Grabit获取各个数据库的DDL所执行的SQL，通过执行这些SQL获取表，视图，存储过程DDL。

例如获取oracle的query.sql脚本的SQL:

SELECTv.text sourceCode,'view' as dbOjbType,'"'||v.VIEW_NAME||'"' as dbObjName,'"'||v.OWNER||'"."'||v.VIEW_NAME||'"' as groupName,'"'||'%database'||'"' as databaseName,'"'||v.OWNER||'"' as schemaName
FROM all_views v where v.OWNER = '%schema' and v.OWNER not in ('SYS', 'SYSTEM');SELECTv.text sourceCode,'procedure' as dbOjbType,'"'||v.name||'"' as dbObjName,'"'||v.OWNER||'"."'||v.name||'"' as groupName,'"'||'%database'||'"' as databaseName,'"'||v.OWNER||'"' as schemaName
FROM all_source v where type='PROCEDURE' and v.OWNER = '%schema' and v.OWNER not in ('SYS', 'SYSTEM')
UNION ALL
SELECTv.text sourceCode,'trigger' as dbOjbType,'"'||v.name||'"' as dbObjName,'"'||v.OWNER||'"."'||v.name||'"' as groupName,'"'||'%database'||'"' as databaseName,'"'||v.OWNER||'"' as schemaName
FROM all_source v where type='TRIGGER' and v.OWNER = '%schema' and v.OWNER not in ('SYS', 'SYSTEM')
UNION ALL
SELECTv.text sourceCode,'function' as dbOjbType,'"'||v.name||'"' as dbObjName,'"'||v.OWNER||'"."'||v.name||'"' as groupName,'"'||'%database'||'"' as databaseName,'"'||v.OWNER||'"' as schemaName
FROM all_source v where type='FUNCTION' and v.OWNER = '%schema' and v.OWNER not in ('SYS', 'SYSTEM');SELECTmv.QUERY sourceCode,'materialized view' as dbOjbType,'"'||mv.MVIEW_NAME||'"' as dbObjName,'"'||mv.OWNER||'"."'||mv.MVIEW_NAME||'"' as groupName,'"'||'%database'||'"' as databaseName,'"'||mv.OWNER||'"' as schemaName
FROM all_mviews mv where mv.OWNER = '%schema' and mv.OWNER not in ('SYS', 'SYSTEM');

当然，Grabit也支持自定义这些SQL，如果你想要自定义SQL来获取DDL，那么你需要按照以下的结果集结构编写SQL。

1，每个SQL查询的结果都必须包含五个结构：

sourceCode 获取的DDL文本
dbOjbType 类型，例如table，view，function等
dbObjName 名称
groupName 所属组名称
databaseName 所属database名称
schemaName 所属schema名称

例如：

SELECTv.text sourceCode,'function' as type,'"'||v.name||'"' as name,'"'||v.OWNER||'"."'||v.name||'"' as groupName,'"'||'%database'||'"' as databaseName,'"'||v.OWNER||'"' as schemaName
FROM all_source v where type='FUNCTION' and v.OWNER = '%schema' and v.OWNER not in ('SYS', 'SYSTEM')

2，将SQL脚本命名为你想要覆盖的conf模板目录中的SQL脚本文件名
3，再当前Grabit的工作目录下新建conf/dbname目录，其中dbname是你想要替换脚本的数据库名称，和模板目录中的名称一致，比如oracle
4，最后将自定义的脚本放在当前conf/dbname/目录下。

例如，想要修改/conf/oracle/query.sql脚本，你需要将自定义的SQL放在conf/oracle/query.sql文件中。
再参考conf-template/dbname-config-template.json配置文件，新建配置文件填写好数据库的连接信息，最后运行start脚本即可。

参考

马哈鱼数据血缘关系分析工具中文网站: https://www.sqlflow.cn

马哈鱼数据血缘关系分析工具在线使用:https://sqlflow.gudusoft.com

Grabit使用文档：https://github.com/sqlparser/sqlflow_public/tree/master/grabit

感兴趣的联系：Zy2133223