什么是外部表

在GBase 8t中，支持创建一种不受数据库服务器管理的数据表，表的数据来源于格式化的数据文件，数据库使用FIFO VP以Nonblocking的方式来操作表中的数据，因此可以实现高速的数据导入导出。

创建外部表

外部表可以采用以下三种方法创建：

1.使用带有列指定的 CREATE EXTERNAL TABLE 语句

CREATE EXTERNAL TABLE et_state

(code CHAR(2),sname CHAR(15))

USING (DATAFILES ("DISK:/data/NA_states.unl", "DISK:/data/SA_states.unl"));

2.使用带有一个 SAMEAS 子句的 CREATE EXTERNAL TABLE

CREATE EXTERNAL TABLE et_state SAMEAS state

USING (DATAFILES ("DISK:/data/states.unl"));

3.使用 SELECT 语句从一个数据源选择构成外部表的数据

SELECT *

FROM state

INTO EXTERNAL et_state

USING (DATAFILES("DISK:/data/states.unl"));

使用外部表进行数据导入

下面是一个数据加载的例子：

欲加载的表结构如下：

create table warehouse

(

w_id smallint not null ,

w_ytd decimal(12,2),

w_tax decimal(4,4),

w_name char(10),

w_street_1 char(20),

w_street_2 char(20),

w_city char(20),

w_state char(2),

w_zip char(9)

) ;

create unique index idx_warehouse on warehouse(w_id);

数据文件路径为/home/informix/data/warehouse.unl，使用外部表进行数据加载时要保证每行数据末尾都要有一个分隔符，否则会报错，这与使用load进行数据导入时不同。

如下为数据导入步骤，

1，创建表warehouse，不创建表warehouse上的索引

2，创建外部表warehouse_ext

drop table if exists warehouse_ext;

create external table warehouse_ext sameas warehouse

using

(datafiles("DISK:/home/informix/data/warehouse.unl"),

format "delimited",

DELIMITER "|",

rejectfile "/home/informix/data/warehouse.err",

maxerrors 10000

);

3，手工做一个检查点

使用使用onmode -c将表结构刷会磁盘，否则在数据加载过程中会先写物理日志，影响数据加载的速度。

4，修改表warehouse为裸表

这样才能使用到Informix中的Light Append，加快数据导入的速度

alter table warehouse type(raw);

5，打开PDQ,进行数据导入，并创建表上的索引

set pdqpriority 100;

insert into warehouse select * from warehouse_ext;

alter table warehouse type(standard);

create unique index idx_warehouse on warehouse(w_id);

数据导入导出监控

可以使用onstat使用来查看数据的导入导出速度

查看数据导入进度：

[informix@centos7 ~]$ onstat -g lap

GBase 8t V8.5 Server Version 12.10.FC4G1AEE -- On-Line -- Up 00:01:06 -- 2394568 Kbytes

Light Append Info

session id address cur_ppage la_npused la_ndata la_nrows bufcnt

la_nrows为当前导入的记录数

查看数据导出进度：

[informix@centos7 ~]$ onstat -g scn

GBase 8t Database Server Version 12.10.FC4G1AEE -- On-Line -- Up 02:09:24 -- 1385528 Kbytes

Light Scan Info

descriptor address next_lpage next_ppage ppage_left bufcnt look_aside

RSAM batch sequential scan info

SesID Thread Partnum Rowid Rows Scan'd Scan Type Lock Mode Notes

" 88 167 50013c 3041907 1185648 Light +Test Forward row lookup,Must copy,"

RSAM batch index scan info

SesID Thread Partnum Scan Type Lock Mode Notes

Rows Scan 为当前导出的记录数

注意事项

在使用外部表进行数据加载的时候有两点需要注意，

使用Light Append加快数据导入的速度，与light scan不同的是，我们没有办法强制启用light append，而只能在同时满足如下2个特定条件的情况下，数据库优化器将自动启用。

Ø Raw table 即对表的操作取消日志

create raw table…，或者通过alter table tabname type(raw);来创建或者修改为rawtable。对临时表with no log情况也有效。

Ø No Index 表没有任何索引

在创建完外部表后需要手工做一个检查点的操作，否则会将数据先写入物理日志，再往dbspace上写。我们可以使用onstat -D监控数据读写情况，使用外部表进行数据加载时，是不会写物理日志或只有少量的物理日志读写，如没有手工做检查点，则会看到有大量的物理日志读写，这一步完全是可跳过的。

使用外部表进行数据导出

使用外部表进行数据导出时大体的步骤与上面的相同，只是在进行数据导出时需要打开轻量扫描的开关

set environment IFX_BATCHEDREAD_TABLE '1';