Vertica是一款基于列存储的MPP架构的数据库，Vertica Reader插件实现了从Vertica读取数据的功能。本文为您介绍Vertica Reader的实现原理、参数和示例。

注意 Vertica Reader仅支持使用独享数据集成资源组，不支持使用默认资源组和自定义资源组。

实现原理

在底层实现上，Vertica Reader通过JDBC连接远程Vertica数据库，并执行相应的SQL语句，从Vertica数据库中读取数据。

Vertica Reader通过JDBC连接器连接至远程的Vertica数据库，根据您配置的信息生成查询SQL语句，发送至远程Vertica数据库，执行该SQL并返回结果。然后使用数据同步自定义的数据类型拼装为抽象的数据集，传递给下游Writer处理。

对于您配置的table、column和where等信息，Vertica Reader将其拼接为SQL语句发送至Vertica数据库。

对于您配置的querySql信息，Vertica直接将其发送至Vertica数据库。

Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认Vertica驱动和您的Vertica服务之间的兼容能力。数据库驱动使用如下版本。

com.vertica

vertica-jdbc

7.1.2

参数说明

参数

描述

是否必选

默认值

datasource

数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。

是

无

jdbcUrl

描述的是到对端数据库的JDBC连接信息，使用JSON的数组进行描述，并支持一个库填写多个连接地址。

如果配置多个连接地址，Vertica Reader可以依次验证IP的可连接性，直到选择一个合法的IP。如果全部连接失败，则Vertica Reader报错。

说明 jdbcUrl必须包含在connection配置单元中。

jdbcUrl的格式和Vertica官方一致，并可以连接附件控制信息。例如，jdbc:vertica://1**.0.0.1:3306/database。

否

无

username

数据源的用户名。

否

无

table

选取的需要同步的表名称。

是

无

password

数据源指定用户名的密码。

否

无

table

选取的需要同步的表。使用JSON的数组进行描述，支持同时读取多张表。

当配置为多张表时，您需要保证多张表的schema结构一致，Vertica Reader不检查表的逻辑是否统一。

说明 table必须包含在connection配置单元中。

是

无

column

所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息 。默认使用所有列配置，例如[ * ]。

支持列裁剪，即列可以挑选部分列进行导出。

支持列换序，即列可以不按照表schema信息顺序进行导出。

支持常量配置。

column必须显示指定同步的列集合，不允许为空。

是

无

splitPk

Vertica Reader进行数据抽取时，如果指定splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。

推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片不容易出现数据热点。

目前splitPk仅支持整型数据切分，不支持字符串、浮点、日期等其它类型 。如果您指定其它非支持类型，Vertica Reader将报错。

如果设置splitPk为空，底层将视作您不允许对单表进行切分，因此使用单通道进行抽取。

否

无

where

筛选条件，Vertica Reader根据指定的column、table和where条件拼接SQL，并根据该SQL进行数据抽取。

例如在测试时，可以指定where条件。在实际业务场景中，通常会选择当天的数据进行同步，可以将where条件指定为gmt_create > $bizdate。

where条件可以有效地进行业务增量同步。

where条件不配置或者为空，视作全表同步数据。

否

无

querySql

在部分业务场景中，where配置项不足以描述所筛选的条件，您可以通过该配置型来自定义筛选SQL。配置该项后，数据同步系统会忽略tables、columns和splitPk配置项，直接使用该项配置的内容对数据进行筛选。

当您配置querySql时，Vertica Reader直接忽略table、column和where条件的配置。

否

无

fetchSize

该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。

说明 fetchSize值过大(>2048)可能造成数据同步进程OOM。

否

1,024

向导开发介绍

暂不支持向导模式开发。

脚本开发介绍

配置一个从Vertica读取数据的作业，使用脚本开发的详情请参见通过脚本模式配置任务。

{

"type": "job",

"steps": [

{

"stepType": "vertica", //插件名。

"parameter": {

"datasource": "", //数据源名。

"username": "",

"password": "",

"where": "",

"column": [ //字段。

"id",

"name"

],

"splitPk": "id",

"connection": [

{

"table": [ //表名。

"table"

],

"jdbcUrl": [

"jdbc:vertica://host:port/database"

]

}

]

},

"name": "Reader",

"category": "reader"

},

{

"stepType": "stream",

"parameter": {

"print": false,

"fieldDelimiter": ","

},

"name": "Writer",

"category": "writer"

}

],

"version": "2.0",

"order": {

"hops": [

{

"from": "Reader",

"to": "Writer"

}

]

},

"setting": {

"errorLimit": {

"record": "0" //错误记录数。

},

"speed": {

"throttle": false, //false代表不限流，下面的限流速度不生效；true代表限流。

"concurrent": 1, //作业并发数。

}

}

}