Postgresql中序列正确使用建议

由于序列也是类似整型类型，我们先看一下PG中的整型数值类型的有效范围：

smallint - int2 - A 2-byte integer, -32768 to 32767
integer - int4 -A 4-byte integer, -2147483648 to 2147483647
bigint - int8 -An 8-byte integer, -9223372036854775808 to +9223372036854775807

PG中有序列类型，使用该类型，会自动创建一个序列，序列类型如下：

smallserial  2 bytes small autoincrementing integer  1 to 32767
serial  4 bytes autoincrementing integer    1 to 2147483647
bigserial   8 bytes large autoincrementing integer  1 to 9223372036854775807

一般创建序列的时候，大部分人可能会使用int4类型的，或者是serial类型，该类型上限是2147483647，对于一些使用环境，可能很就会达到该上限值。报错如下：

ERROR:  nextval: reached maximum value of sequence "xxxxx" (2147483647)

我们可以在日常监控中监控序列的剩余值，然后根据阈值抛出告警，可以使用以下查询：

SELECTseqs.relname AS sequence,format_type(s.seqtypid, NULL) sequence_datatype,CONCAT(tbls.relname, '.', attrs.attname) AS owned_by,format_type(attrs.atttypid, atttypmod) AS column_datatype,pg_sequence_last_value(seqs.oid::regclass) AS last_sequence_value,TO_CHAR((CASE WHEN format_type(s.seqtypid, NULL) = 'smallint' THEN(pg_sequence_last_value(seqs.relname::regclass) / 32767::float)WHEN format_type(s.seqtypid, NULL) = 'integer' THEN(pg_sequence_last_value(seqs.relname::regclass) / 2147483647::float)WHEN format_type(s.seqtypid, NULL) = 'bigint' THEN(pg_sequence_last_value(seqs.relname::regclass) / 9223372036854775807::float)END) * 100, 'fm9999999999999999999990D00%') AS sequence_percent,TO_CHAR((CASE WHEN format_type(attrs.atttypid, NULL) = 'smallint' THEN(pg_sequence_last_value(seqs.relname::regclass) / 32767::float)WHEN format_type(attrs.atttypid, NULL) = 'integer' THEN(pg_sequence_last_value(seqs.relname::regclass) / 2147483647::float)WHEN format_type(attrs.atttypid, NULL) = 'bigint' THEN(pg_sequence_last_value(seqs.relname::regclass) / 9223372036854775807::float)END) * 100, 'fm9999999999999999999990D00%') AS column_percent
FROMpg_depend dJOIN pg_class AS seqs ON seqs.relkind = 'S'AND seqs.oid = d.objidJOIN pg_class AS tbls ON tbls.relkind = 'r'AND tbls.oid = d.refobjidJOIN pg_attribute AS attrs ON attrs.attrelid = d.refobjidAND attrs.attnum = d.refobjsubidJOIN pg_sequence s ON s.seqrelid = seqs.oid
WHEREd.deptype = 'a'AND d.classid = 1259;

如下一个例子：

create table test(id serial primary key, value integer);
select setval('test_id_seq', 2000000000);
#通过上面的查询可以看到使用了93.13%sequence   | sequence_datatype | owned_by | column_datatype | last_sequence_value | sequence_percent | column_percent
-------------+-------------------+----------+-----------------+---------------------+------------------+----------------test_id_seq | integer           | test.id  | integer         |          2000000000 | 93.13%           | 93.13%

虽然正常序列的取值是正数，但是也可以使用负数填充：

postgres=# alter sequence test_id_seq no minvalue start with -1 increment -1 restart;
ALTER SEQUENCE
postgres=# select nextval('test_id_seq');nextval
----------1
(1 row)postgres=# select nextval('test_id_seq');nextval
----------2
(1 row)

如果使用序列的列没有特别含义，正数值使用即将耗尽的时候，业务上可以使用负数表示，而且序列值消耗没有特别大，那么可以考虑使用负数，因为这样调整不需要改变列的属性，只是调整的序列起始值。但是如果序列值消耗很快，那么也只有2倍的数值可以使用，这只是一个缓兵之计。

单独创建序列使用和直接使用序列类型的区别：

单独创建序列使用，删除表后，序列不会自动清理
使用序列类型smallserial,serial,bigserial,删除表的时候会一起删除对应序列

postgres=# create table t1(a serial);
CREATE TABLE
postgres=# \d t1 Table "public.t1"Column |  Type   | Collation | Nullable |            Default
--------+---------+-----------+----------+--------------------------------a     | integer |           | not null | nextval('t1_id_seq'::regclass)postgres=# drop table t1;
DROP TABLE
postgres=# \dsList of relationsSchema |    Name     |   Type   |  Owner
--------+-------------+----------+----------postgres=# create sequence seq_test;
CREATE SEQUENCE
postgres=# create table t1(a int default nextval('seq_test'));
CREATE TABLE
postgres=# drop table t1;
DROP TABLE
postgres=# \dsList of relationsSchema |    Name     |   Type   |  Owner
--------+-------------+----------+----------public | seq_test       | sequence | postgres

如果要手动创建序列，那么使用owned by是一个不错的方法

#如下是用owned by绑定到列，删除表的时候，也会随表删除
postgres=# create sequence seq_test;
CREATE SEQUENCE
postgres=# create table t1(id int default nextval('seq_test'));
CREATE TABLE
postgres=# alter sequence seq_test owned by t1.id;
ALTER SEQUENCE
postgres=# \d  t1Table "public.t1"Column |  Type   | Collation | Nullable |            Default
--------+---------+-----------+----------+-------------------------------id     | integer |           |          | nextval('seq_test'::regclass)postgres=# \dsList of relationsSchema |    Name     |   Type   |  Owner
--------+-------------+----------+----------public | seq01       | sequence | postgrespublic | seq_test    | sequence | postgrespublic | test_id_seq | sequence | postgres
(3 rows)postgres=# drop table t1;
DROP TABLE
postgres=# \dsList of relationsSchema |    Name     |   Type   |  Owner
--------+-------------+----------+----------public | seq01       | sequence | postgrespublic | test_id_seq | sequence | postgres
(2 rows)

如果为了解决耗尽的问题，序列所在列需要更改为bigint的时候，一定要注意，因为int更改为bigint,需要重写表。下面的方法不需要重写表，但是需要回填数据，可以参考一下：

#比如下面表需要更改id的类型为bigint,并且id为主键
postgres=# \d  testTable "public.test"Column |  Type   | Collation | Nullable |             Default
--------+---------+-----------+----------+----------------------------------id     | integer |           | not null | nextval('test_id_seq'::regclass)value  | integer |           |          |
Indexes:"test_pkey" PRIMARY KEY, btree (id)#添加一列id_new，类型为bigint,并在该列建立一个唯一索引
postgres=# alter table test add column id_new bigint;
ALTER TABLE
postgres=# CREATE UNIQUE INDEX CONCURRENTLY test_id_new ON test (id_new);
CREATE INDEX
#创建一个序列，并从表记录最大值开始，这里假设为2147483776，设置该序列为新列的默认填充，别绑定到该列
CREATE SEQUENCE test_id_new_seq START 2147483776 AS bigint;
ALTER TABLE test ALTER COLUMN id_new SET DEFAULT nextval ('test_id_new_seq');
alter sequence test_id_new_seq owned by test.id_new;#现在可以看到新旧两列都会有自动填充
postgres=# select * from test;id     | value |   id_new
------------+-------+------------2000000007 |       |2000000008 |       |2000000009 |       |2000000010 |       |2000000011 |       | 21474837762000000012 |       | 21474837772000000013 |       | 21474837782000000014 |       | 2147483779#接下来是最关键的一步，把所有操作放在一个事物
BEGIN;
ALTER TABLE test DROP CONSTRAINT test_pkey;  --删除旧列约束
ALTER TABLE test ALTER COLUMN id DROP DEFAULT;  --删除旧列默认值
ALTER TABLE test RENAME COLUMN id TO id_old; --需改旧列名字
ALTER TABLE test RENAME COLUMN id_new TO id; --修改新列名字为要使用的列
ALTER TABLE test ALTER COLUMN id_old DROP NOT NULL; --删除旧列的非空约束
ALTER TABLE test ADD CONSTRAINT id_not_null CHECK (id IS NOT NULL) NOT VALID;  --新列添加非空约束，但是暂时不生效
COMMIT;#上面新的列因为设置为not valid,所以null值是可以存在的，现在我们需要回填数据到新加的列
WITH unset_values AS (SELECTid_oldFROMtestWHEREid IS NULLLIMIT 5000)
UPDATEtest
SETid = unset_values.id_old
FROMunset_values
WHEREunset_values.id_old = test.id_old;#一旦回填数据完成，也就是上面语句更新的行数为0，我们就可以验证约束，然后转为主键，删除独立的not null约束
ALTER TABLE test VALIDATE CONSTRAINT id_not_null;
ALTER TABLE test ADD CONSTRAINT test_pkey PRIMARY KEY USING INDEX test_id_new;
ALTER TABLE test DROP CONSTRAINT id_not_null;
#最后删除旧列
ALTER table test drop column id_old;
#已经转换为bigint
postgres=# \d  testTable "public.test"Column |  Type   | Collation | Nullable |               Default
--------+---------+-----------+----------+--------------------------------------value  | integer |           |          | id     | bigint  |           | not null | nextval('test_id_new_seq'::regclass)
Indexes:"test_pkey" PRIMARY KEY, btree (id)

最后再在PostgreSQL10中，引入了identity column，用于解决序列的很多问题，所以现在推荐使用该方式。具体不再详述。
可以参考Postgresql鲜为人知的一些功能(一)

我们最后总结一下序列的正确使用姿势：

优先使用identity column方式，因为避免了很多坑
使用序列类型，最好直接使用bigserial，避免出现序列值耗尽的情况
如果是自己创建的序列，然后设置列的默认值，则使用owned by方式绑定到列。
如果序列使用的是int4类型的，消耗比较慢，在业务可接受的时候，可以选择负数，这样就有2倍的值可用。
int修改为bigint一定要注意，不要直接改，因为会重写表，可以尝试通过本篇文章的方法进行列替换，回填旧数据的方式。

参考：
https://www.crunchydata.com/blog/the-integer-at-the-end-of-the-universe-integer-overflow-in-postgres
https://mp.weixin.qq.com/s/5kQRShiNBC5ViL6ttMFnFg
https://www.postgresql.org/docs/current/datatype-numeric.html#DATATYPE-INT
https://www.postgresql.org/docs/current/sql-createsequence.html