GBase 8a MPP Cluster 数据加载参数及语句

CHARACTER SET : 用来指定待加载数据文件的编码格式，目前支持GBK和UTF8 两种格式。省略时，认为不需要转码。
DATA_FORMAT：用来指定使用哪种方式解析数据文件并加载。指定为3，表示使用文本方式加载。指定为4，表示使用定长方式加载。如果某列数据可能包含了行分隔符，则需要在SQL中输入'HAVING LINES SEPARATOR'子句。指定为5，表示使用文本文件宽松模式，即数据源文件为包围符中含有换行符和包围符文本文件，或多列少列文本文件。
NULL_VALUE：用于指定空值字符，支持不超过15个任意字符的组合，参数值以引号包围，指定方式与字段包围符一样。
TERMINATED BY：用于指定字段分隔符，支持不超过 15 个任意字符的组合，支持任意字符，参数值以引号包围，仅当使用文本方式加载时有效。可使用字符本身(仅限可见字符，如： "|")、 C 风格转义字符(如： "\a")、 \xhh 十六进制(如： "\xFF")或 x''十六进制(如： "x'09'")四种方式指定。例如： '|'，表示用|作为分隔字符。
ENCLOSED BY：用于指定字段包围符，支持任意单字符，参数值以单引号包围，仅当使用文本方式加载时有效。可使用字符本身(仅限可见字符，如："|")、 C 风格转义字符(如： "\a")、 \xhh 十六进制(如： "\xFF")或 x''十六进制(如："x'09'")四种方式指定。
PRESERVE [LEADING | TRAILING] BLANKS：用于设定是否保留字段内容两端的空格， 可选参数可以选择保留左边空格或者右边空格， 默认不保留空格。
AUTOFILL：用于设定是否启用缺失列自动补齐功能，启用该参数后，对缺失分割符的字段数据按照 default 值或者 NULL值进行加载，默认不自动补齐。
LENGTH：在使用定长模式加载时，用于设定字段长度的参数。定长格式数据导入时，设置每个字段的长度，有多个字段时，用逗号分隔。
TABLE_FIELDS：用于指定列加载，对于日期时间类型可以设置每一列的格式。 对于数据加载过程中，数据文件中不需要加载的字段，可以使用table_fields 参数中的 filler 关键字将其忽略掉。
SET：指定列值加载，加载系统将待加载文件和指定加载列值加载到集群系统的表中。
TERMINATED BY：行分隔符，支持任意单字符，参数值以引号包围。指定方式与包围符一样。默认行分隔符为'\n'。
MAX_BAD_RECORDS：在每次加载的任务中，设定错误数据行数的上限。当本次加载任务产生的错误数据行数大于 max_bad_records 设定的值时，加载任务回滚，加载工具报错退出。不指定该参数表示不限制错误条数，指定该参数时，此参数取值范围为： [0, 4294967295]。 0 表示只要有错误数据就报错退出。
DATE FORMAT：用来指定 date 列类型的默认格式，如'%Y-%m-%d'。
DATETIME FORMAT ： 用来指定datetime列的默认格式，如'%Y-%m-%d %H:%i:%s'。
TIMESTAMP FORMAT ： 用来指定timestamp列的默认格式，如'%Y-%m-%d %H:%i:%s.%f'。
TIME FORMAT：用来指定 time 列的默认格式，如'%H:%i:%s'。
TRACE：用来指示本次加载是否保存错误数据溯源。如果指定为 0，则不溯源。如果指定为 1，则进行溯源。默认值为 1。
TRACE_PATH：用来指定本次加载过程中产生的错误数据和日志存放路径。在禁用日志汇总功能时，该参数才能起作用 ， 默认值为加载节点的“ $GBASE_BASE/log/gbase/loader_logs”中。
NOSPLIT：用来指定本次加载任务中是否禁用分块加载功能，指定该参数将禁用分块加载功能。不指定该参数，在集群加载时，将自动启动分块加载功能，按照数据量和参与运算的加载节点数对数据进行均匀分块，以均衡数据服务器和数据处理节点的负载，优化加载性能。
PARALLEL：用来控制集群加载并行度，取值范围[0,1024]。默认值为 0，表示并行度取值是线程池最大可用线程数。
MAX_DATA_PROCESSORS：用来指定本次加载任务中参与数据解析的处理的最大节点数，取值范围[1, 4294967295]，默认值 16。
MIN_CHUNK_SIZE：用来指定本次加载任务中数据分块的最小粒度，取值范围[1, 4294967295]，默认值 64M。
SKIP_BAD_FILE：用来指定本次加载任务中是否忽略不存在或没有读取权限的数据文件继续加载。如果指定为 0，则加载报错终止。如果指定为 1，则忽略异常文件继续加载。默认值为
IGNORE NUM LINES： 配置该参数加载工具会将本次加载指定的所有数据文件的表头进行过滤，跳过每个文件的前 NUM 行（表头所占行数） ， NUM 取值范围为[0， MAX_UINT]
FILE_FORMAT ： 用 来 指 定 被 加 载 文 件 的 格 式 。 枚 举 型 参 数 ， 取 值 为UNDEFINED 、 UNCOMPRESSED 、 GZIP 、 SNAPPY 、 LZO ， 默 认 为UNDEFINED。指定为 UNDEFINED，表示不指定格式，按文件后缀自动判断文件格式；指定为 UNCOMPRESSED，表示按普通文本方式加载文件；指定为 GZIP，表示按 GZIP 格式加载文件；指定为 SNAPPY，表示按 SNAPPY格式加载文件；指定为 LZO，表示按 LZO 格式加载文件。

LOAD DATA INFILE ‘file_list’ INTO TABLE [dbname.]tbl_name [options] options:

[CHARACTER SET charset_name]

[DATA_FORMAT number

[HAVING LINES SEPARATOR]] [NULL_VALUE ‘string’]

[FIELDS [TERMINATED BY ‘string’]

[ENCLOSED BY ‘string’]

[PRESERVE BLANKS]

[AUTOFILL] [LENGTH ‘string’]

[TABLE_FIELDS ‘string’] ]

[LINES [TERMINATED BY ‘string’] ]

[MAX_BAD_RECORDS number]

[DATETIME FORMAT format]

[DATE FORMAT format]

[TIMESTAMP FORMAT format]

[TIME FORMAT format]

[TRACE number]

[TRACE_PATH ‘string’]

[NOSPLIT] [PARALLEL number]

[MAX_DATA_PROCESSORS number]

[MIN_CHUNK_SIZE number]

[SKIP_BAD_FILE number]

[SET col_name = value[,…]]

[IGNORE NUM LINES]

[FILE_FORMAT format]

GBase 8a MPP Cluster 数据加载参数及语句相关推荐

DEV05 GBase 8a MPP Cluster 数据库性能优化
GBase 8a MPP Cluster 数据库性能优化一.数据库为何要优化 (一)从 DBA 角度谈数据库为何要优化 (二)数据库产品的选型: (三)从 DE(开发工程师)角度谈数据库为何要优化 ...
GBase 8a MPP Cluster SQL基础
一.SQL语言基础知识 1.SQL语句根据其可实现功能,分为以下几类: 1.1 DDL语句:用来创建数据库以及定义其表结构.视图索引等. 关键词有CREATE.DROP.ALTER.RENAME等 1 ...
GBase 8a MPP Cluster技术先进性
GBase 8a MPP Cluster作为行业内最先进的MPP数据库分析,从产品成熟性.稳定性.高可用性.高可靠性和高安全性方面具有以下优势,整理如下. 1)低硬件成本:完全使用X86架构的PC S ...
【GBASE】南大通用GBase 8a MPP Cluster技术特点
GBase 8a MPP Cluster 具有多样化的平台选择.与时俱进的逻辑架构.海量数据高效存储.海量数据高速加载.海量数据高性能分析.弹性服务器资源伸缩.完善的系统资源管理.多级别的高可用.跨数 ...
GBase 8a MPP Cluster 产品简介
1 GBase 8a MPP Cluster 产品简介产品简介南大通用大规模分布式并行数据库集群系统,简称:GBase 8a MPP Cluster, 它是在 GBase 8a 列存储数据库基础上 ...
GBase 8a MPP Cluster 维护-日志篇
日志介绍 1.1 关于日志日志描述 GBase 8a MPP Cluster 集群不同的日志保存路径不同,主要日志分类见下表详细日志查看参见附录日志参考. 表 :日志分类说明日志类型日志描述 ...
E01 GBase 8a MPP Cluster V95 安装和卸载
GBase 8a MPP Cluster V95 安装和卸载一.集群节点环境设计二.安装前准备工作三.集群的安装 1.在集群所有节点上创建DBA用户 2.在集群所有节点上创建安装目录并授权 3. ...
GBase 8a MPP Cluster 认证培训资料汇总
一.课前准备: <GBase 8a MPP Cluster GDCA 认证培训课前准备> https://blog.csdn.net/wiserhowe/article/details/1 ...
GBase 8a MPP Cluster GDCA 认证培训课前准备
GBase 8a MPP Cluster GDCA 认证培训课前准备一. GBase 数据库软件获取 1. GBase 8a 数据库安装包.企业管理器和手册下载二. 自己完成操作系统环境准备 (一 ...

GBase 8a MPP Cluster 数据加载参数及语句

GBase 8a MPP Cluster 数据加载参数及语句相关推荐

最新文章

热门文章