摘要：防止数据泄露可以有两种技术路径。一是权限管理，采用最小化授权原则对使用数据的用户和应用程序授权。另一种是数据加密，包括使用SQL函数加密和透明加密。

本文分享自华为云社区《【安全无小事】你应该知道的数仓安全——加密函数》，原文作者：zhangkunhn。

前言

最近遇到一个客户场景，涉及共享schema的权限问题。场景简单可以描述为：一些用户是数据的生产方，需要在schema中创建表并写入数据；另一些用户是数据的消费方，读取schema中的数据做分析。对于该schema权限管理的一种实现方法是数据生产方在每次创建新表后告知管理员用户使用grant select on all tables in schema语法来授予消费方权限。这种方法有一定的局限性。如果生产方在schema下面又创建了一些新表，为了授权消费方使用这些新表还需要告知管理员用户再次使用grant select on all tables in schema来授权。有没有简单的应对方案？答案是肯定的，可以使用Alter default privilege。Alter default privilege用于将来创建的对象的权限的授予或回收。

语法介绍

 ALTER DEFAULT PRIVILEGES[ FOR { ROLE | USER } target_role [, ...] ][ IN SCHEMA schema_name [, ...] ]abbreviated_grant_or_revoke;

其中abbreviated_grant_or_revoke子句用于指定对哪些对象进行授权或回收权限。对表授权语法是：

 GRANT { { SELECT | INSERT | UPDATE | DELETE | TRUNCATE | REFERENCES } [, ...] | ALL [ PRIVILEGES ] }ON TABLES TO { [ GROUP ] role_name | PUBLIC } [, ...]

参数说明

target_role

已有角色的名称。如果省略FOR ROLE/USER，则缺省值为当前角色/用户。

取值范围：已有角色的名称。

schema_name

现有模式的名称。

target_role必须有schema_name的CREATE权限。

取值范围：现有模式的名称。

role_name

被授予或者取消权限角色的名称。

取值范围：已存在的角色名称。

详见ALTER DEFAULT PRIVILEGES语法说明

场景示例

 testdb=# create user creator1 password 'Gauss_234';  CREATE USERtestdb=# create user creator2 password 'Gauss_234';  CREATE ROLEtestdb=# create user user1 password 'Gauss_234';CREATE USER--创建共享schema，授予creator1和creator2创建权限，授予user1使用权限testdb=# create schema shared_schema;  CREATE SCHEMAtestdb=> grant create, usage on schema shared_schema to creator1;GRANTtestdb=> grant create, usage on schema shared_schema to creator2;GRANTtestdb=# grant usage on schema shared_schema to user1;GRANT--将creator1和creator2在shared_schema中创建表的select权限授予user1testdb=# alter default privileges for user creator1, creator2 in schema shared_schema grant select on tables to user1;ALTER DEFAULT PRIVILEGES--切到creator1，建表testdb=# \c testdb creator1You are now connected to database "testdb" as user "creator1".testdb=> create table shared_schema.t1 (c1 int);CREATE TABLE--切到creator2，建表testdb=> \c testdb creator2You are now connected to database "testdb" as user "creator2".testdb=> create table shared_schema.t2 (c1 int);CREATE TABLE--切到user1，查询OKtestdb=> \c testdb user1You are now connected to database "testdb" as user "user1".testdb=> select * from shared_schema.t1 union select * from shared_schema.t2;c1 ----(0 rows)

查看默认权限的授予现状

查询系统表pg_default_acl可以查看当前哪些schema被授予了默认权限。从defaclacl字段可以看到creator1和creator2分别授予了user1对shared_schema中对象的select权限（r表示read）。

 testdb=# select r.rolname, n.nspname, a.defaclobjtype, a.defaclacl fromtestdb-#     pg_default_acl a, pg_roles r, pg_namespace ntestdb-#     where a.defaclrole=r.oid and a.defaclnamespace=n.oid;rolname  |    nspname    | defaclobjtype |     defaclacl      ----------+---------------+---------------+--------------------creator1 | shared_schema | r             | {user1=r/creator1}creator2 | shared_schema | r             | {user1=r/creator2}(2 rows)

一些细节

所有在共享schema中创建对象的用户都应该出现在alter default privileges for user之后的列表中。否则，如果有用户creator3没有在列表中，其在共享schema中创建的对象或者说那些Owner是creator3的对象将不能被user1查询。因为共享schema中creator3用户创建的表没有授予user1默认权限。

 testdb=# create user creator3 password 'Gauss_234';CREATE USERtestdb=# grant create, usage on schema shared_schema to creator3;GRANTtestdb=# \c testdb creator3You are now connected to database "testdb" as user "creator3".testdb=> create table shared_schema.t3 (c1 int);CREATE TABLEtestdb=> \c testdb user1You are now connected to database "testdb" as user "user1".testdb=> select * from shared_schema.t3;ERROR:  permission denied for relation t3

管理员可以通过alter default privileges for user将creator3放入列表中为user1授予访问creator3用户创建表的默认权限，也可以由creator3用户自己通过alter default privileges授权给user1. 前面语法参数说明中有如果省略FOR ROLE/USER，则缺省值为当前用户。

 testdb=> \c testdb creator3You are now connected to database "testdb" as user "creator3".testdb=> alter default privileges in schema shared_schema grant select on tables to user1;ALTER DEFAULT PRIVILEGEStestdb=> \c testdb user1You are now connected to database "testdb" as user "user1".testdb=> select * from shared_schema.t3;ERROR:  permission denied for relation t3testdb=> \c testdb creator3testdb=> create table shared_schema.t4 (c1 int);CREATE TABLEtestdb=> \c testdb user1You are now connected to database "testdb" as user "user1".testdb=> select * from shared_schema.t4;c1 ----(0 rows)

上述代码第3行为当前用户在shared_schema下面创建的表的select权限授予user1。第7行user1查询shared_schema.t3报权限不足，是因为alter default privileges只处理将来的对象。shared_schema.t3在是之前创建的。我们新建表shared_schema.t4，user1用户查询正常。

如果要处理已有表的权限，使用grant语句。参见grant语法说明。

 testdb=> \c testdb creator3You are now connected to database "testdb" as user "creator3".testdb=> grant select on all tables in schema shared_schema to user1;ERROR:  permission denied for relation t1testdb=> grant select on table shared_schema.t3 to user1;GRANTtestdb=> \c testdb user1You are now connected to database "testdb" as user "user1".testdb=> select * from shared_schema.t3;c1 ----(0 rows)

代码第3行中shared_schema中包含有3个用户创建的表，而creator3只是表t3的创建者(Owner)。所以授予整个schema的权限会报错，只授予creator3是Owner的表t3之后，user1用户查询正常。

alter default privileges只处理将来的对象，grant只处理已有的对象。进一步的，这两种语法授予权限时涉及的对象仅包括Owner是当前用户的对象。如果要为共享schema下面所有Owner的对象授予权限，需要使用管理员用户使用alter default privileges for user语法和grant语法。

透明加密

透明加密的应用场景

透明加密能够保障用户数据安全。更换磁盘、磁盘流出或者运维非法直接读取磁盘文件会绕过认证、权限管理和审计，从而导致数据泄露的风险。客户对业务数据有很高机密性要求时建议使用透明加密。

透明加密的原理

透明加密功能是对存在硬盘上的用户数据加密存储，对用户及上层使用SQL的应用不感知。透明的含义是指对客户来说是无感知的，仅需要创建GaussDB(DWS)集群时配置透明加密。目前支持行存表和列存表文件的加密存储，支持集群级别的透明加密配置。

集群级别的透明加密意味着集群中的所有库，库中的所有表都是加密存储。集群级别的透明加密还意味着需要在创建集群时进行配置，集群创建之后不可修改，既不能将非加密集群修改为加密集群，也不能将加密集群修改为非加密集群。

加密算法

透明加密核心是算法和密钥。我们采用AES-128算法，加密模式使用CTR。CTR流加密可以保证明文和密文长度相等，不会导致加密后数据存储空间膨胀。

密钥管理

使用华为公有云KMS服务管理，保证了用户的密钥安全。
加密密钥层次结构有三层。按层次结构顺序排列，这些密钥为主密钥（CMK）、集群密钥 (CEK)、数据库密钥 (DEK)。

主密钥保存在KMS中，用于给CEK加密。
CEK用于加密DEK，CEK明文保存在集群内存中，密文保存在服务管理面中。
DEK用于加密数据库中的数据，DEK明文保存在集群内存中，密文保存在服务管理面中。

密钥轮转

出于安全考虑，用户可以执行密钥轮转操作。密钥轮转只轮转集群密钥，不论转数据库秘钥。

透明加密的后续演进

集群级透明加密的优点是所有数据包括用户表和系统表都加密，适用于所有加密需求。一枚硬币的两面性告诉我们，优点也可能是缺点。对所有数据库对象加密会对数据导入和查询带来性能上的开销。

为解决此问题，后续考虑支持细粒度透明加密。比如可以支持表级透明加密，用户在创建表时指定属性为加密表，该用户表的数据会加密存储。用户可以在包含敏感数据的表中开启加密属性，在查询和使用过程中不感知加解密过程。由于加密粒度较小，对性能的影响也较小。

透明加密是保障用户核心数据安全的有效手段。从使用场景和原理介绍了GaussDB(DWS)数仓的透明加密特性，指出了后续透明加密特性的研究方向。

SQL函数加密

技术背景

密码学中密码算法可以分为三类：哈希函数、对称密码算法和非对称密码算法。

哈希函数

哈希函数又称为摘要算法，对于数据data，Hash函数会生成固定长度的数据，即Hash(data)=result。这个过程是不可逆的，即Hash函数不存在反函数，无法由result得到data。在不应保存明文场景，比如口令(password)属于敏感信息，系统管理员用户也不应该知道用户的明文口令，就应该使用哈希算法，存储口令的单向哈希值。

实际使用中会加入盐值和迭代次数，避免相同口令生成相同的哈希值，以防止彩虹表攻击。

对称密码算法

对称密码算法使用相同的密钥来加密和解密数据。对称密码算法分为分组密码算法和流密码算法。

分组密码算法将明文分成固定长度的分组，用密钥对每个分组加密。由于分组长度固定，当明文长度不是分组长度的整数倍时，会对明文做填充处理。由于填充的存在，分组密码算法得到的密文长度会大于明文长度。

流密码算法将明文逐比特与密钥流运算。流密码算法不需要填充，得到的密文长度等于明文长度。

非对称密码算法

非对称密码算法，又称为公钥密码算法。算法使用两个密钥：公钥和私钥。公钥向所有人公开，私钥保密。非对称密码算法应用于密钥协商、数字签名、数字证书等领域。

技术实现

GaussDB(DWS)主要提供了哈希函数和对称密码算法。哈希函数支持sha256, sha384, sha512和国密sm3。对称密码算法支持aes128, aes192, aes256和国密sm4。

哈希函数

md5(string)

将string使用MD5加密，并以16进制数作为返回值。MD5的安全性较低，不建议使用。

gs_hash(hashstr, hashmethod)

以hashmethod算法对hashstr字符串进行信息摘要，返回信息摘要字符串。支持的hashmethod：sha256, sha384, sha512, sm3。

testdb=# SELECT gs_hash('GaussDB(DWS)', 'sha256');gs_hash
------------------------------------------------------------------cc2d1b97c6adfba44bbce7386516f63f16fc6e6a10bd938861d3aba501ac8aab
(1 row)

对称密码算法

gs_encrypt(encryptstr, keystr, cryptotype, cryptomode, hashmethod)
采用cryptotype和cryptomode组成的加密算法以及hashmethod指定的HMAC算法，以keystr为密钥对encryptstr字符串进行加密，返回加密后的字符串。
支持的cryptotype：aes128, aes192, aes256, sm4。
支持的cryptomode：cbc。
支持的hashmethod：sha256, sha384, sha512, sm3。

testdb=# SELECT gs_encrypt('GaussDB(DWS)', '1234', 'aes128', 'cbc',  'sha256');gs_encrypt
--------------------------------------------------------------------------------------------------------------------------AAAAAAAAAADlzZYiNQK1uB+p1gza4Lu3Moj3HdP4E1uJmqfDYBaXDLMt7RZoE0YVx9h2dMRYBQ5fhFNqqM49sUkeS72o8kX5vWRQvfW3fuocGyp+b+lX9A==
(1 row)

gs_decrypt(decryptstr, keystr，cryptotype, cryptomode, hashmethod)

采用cryptotype和cryptomode组成的加密算法以及hashmethod指定的HMAC算法，以keystr为密钥对decryptstr字符串进行解密，返回解密后的字符串。解密使用的keystr必须保证与加密时使用的keystr一致才能正常解密。

testdb=# SELECT gs_decrypt('AAAAAAAAAADlzZYiNQK1uB+p1gza4Lu3Moj3HdP4E1uJmqfDYBaXDLMt7RZoE0YVx9h2dMRYBQ5fhFNqqM49sUkeS72o8kX5vWRQvfW3fuocGyp+b+lX9A==', '1234', 'aes128', 'cbc',  'sha256');gs_decrypt
--------------GaussDB(DWS)
(1 row)

效果分析

有个student表，有id，name和score三个属性。name可以使用哈希函数加密保存，score可以使用对称密码算法保存。

testdb=# create table student (id int, name text, score text);
CREATE TABLE
testdb=# insert into student values (1, gs_hash('alice', 'sha256'), gs_encrypt('95', '12345', 'aes128', 'cbc', 'sha256'));
INSERT 0 1
testdb=# insert into student values (2, gs_hash('bob', 'sha256'), gs_encrypt('92', '12345', 'aes128', 'cbc', 'sha256'));
INSERT 0 1
testdb=# insert into student values (3, gs_hash('peter', 'sha256'), gs_encrypt('98', '12345', 'aes128', 'cbc', 'sha256'));
INSERT 0 1

没有密钥的用户即使拥有了select权限也无法看到name和score这两列加密数据。

testdb=# select * from student;id |                               name                               |                                                          score
----+------------------------------------------------------------------+--------------------------------------------------------------------------------------------------------------------------1 | 2bd806c97f0e00af1a1fc3328fa763a9269723c8db8fac4f93af71db186d6e90 | AAAAAAAAAAB26RmKZdGciLdOM1Z0sjsHg6Qh1b8taF3cY5KDVm+faJK5AT9tjufkr3Wogj3tIpFfiIEb6+miGqPHWcmKnFsArAMoBG9pPDawGs1Qze7xGg==2 | 81b637d8fcd2c6da6359e6963113a1170de795e4b725b84d1e0b4cfd9ec58ce9 | AAAAAAAAAAB26RmKZdGciLdOM1Z0sjsHZOHH7URkyme6r8Hfh1k0UsVbgbREjFMkgB52w+7GtUGqGgUik07ghajSD9PMIDLd/49wBCVROm2/HSOw6jzbxA==3 | 026ad9b14a7453b7488daa0c6acbc258b1506f52c441c7c465474c1a564394ff | AAAAAAAAAAB26RmKZdGciLdOM1Z0sjsHwv6p/OAfDUyVULAqpaHIrYJYMcqLmQSj3K/REyavfMoKB7hgUpEPXfHRutWur37bru68jjt5XcBHFBjZeMgowA==
(3 rows)

拥有密钥的用户可以通过解密查看到加密数据。

testdb=# select id, gs_decrypt(score, '12345', 'aes128', 'cbc', 'sha256') from student;id | gs_decrypt
----+------------1 | 952 | 923 | 98
(3 rows)

总结

数据加密是防止未授权访问和防护数据泄露的有效技术。介绍了密码算法的基本原理和GaussDB(DWS)数仓的加密函数，包括哈希函数gs_hash，对称密码算法gs_encrypt/gs_decrypt。举例说明了加密函数的使用场景。

想了解GuassDB(DWS)更多信息，欢迎微信搜索“GaussDB DWS”关注微信公众号，和您分享最新最全的PB级数仓黑科技~

点击关注，第一时间了解华为云新鲜技术~

你应该知道的数仓安全相关推荐

从数仓到数据中台，谈技术选型最优解
本文根据颜博老师在[Deeplus直播第218期]线上分享演讲内容整理而成. 颜博马蜂窝数仓研发总监现任马蜂窝数据仓库团队负责人,曾供职于京东.IBM.亚信等公司. 数据行业老兵一名,历经传统数据 ...
Apache Doris在美团外卖数仓中的应用实践
来自:美团技术团队美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景.MOLAP引擎使用了Apache Kylin.ROLAP我们经过综合考虑,选择了Apache Doris.本 ...
数仓建模项目_音乐数据项目火力全开，技能双倍提升！
↑ 点击上方"尚学堂"关注我们音乐数据中心数仓综合项目 1项目介绍音乐数据中心项目是大型企业级综合数仓项目,此项目针对音乐数据进行分析,构建数据仓库,建立用户.机器.内容等主题 ...
Apache Flink不止于计算，数仓架构或兴起新一轮变革
作者 | 蔡芳芳采访嘉宾 | 王峰(莫问) 维基百科的"Apache Flink"词条下,有这么一句描述:"Flink 并不提供自己的数据存储系统,但为 Amazon ...
ODS DWD DWS ADS 数仓分层
数仓分层 ODS:Operation Data Store 原始数据 DWD(数据清洗/DWI ) data warehouse detail 数据明细详情,去除空值,脏数据,超过极限范围的明细解析 ...
Hive 数仓中常见的日期转换操作
(1)Hive 数仓中一些常用的dt与日期的转换操作下面总结了自己工作中经常用到的一些日期转换,这类日期转换经常用于报表的时间粒度和统计周期的控制中日期变换: (1)dt转日期 to_date(f ...
数仓dw怎么建_网易严选如何打造数仓规范和评价体系
数据为王的时代,数据量从最初的几十 G,慢慢沉淀到几十 T,甚至几十 PB 的量.数据工程师,也从最初的 ETL 工程师慢慢成长为数据全栈工程师:采集.同步.模型.离线.实时.规范.平台.工具.产品. ...
数据仓库建设从0到1-一文带你深入建设金融数仓体系
前言本文讲述了金融数据仓库从无到有的整体设计思路,以及对数据建模.质量控制.元数据管理及开发规范各方面的经验思考,希望对大家在数仓建设工作方面有所帮助. 背景自2018年以来,随着业务体系的不断丰 ...
大数据架构详解_【数据如何驱动增长】（3）大数据背景下的数仓建设 amp; 数据分层架构设计...
背景了解数据仓库.数据流架构的搭建原理对于合格的数据分析师或者数据科学家来说是一项必不可少的能力.它不仅能够帮助分析人员更高效的开展分析任务,帮助公司或者业务线搭建一套高效的数据处理架构,更是能够从 ...
埋点、数仓到中台：数据体系的从0到1
本文由作者董小矿于社区发布前言:有幸深度参与了公司从无数据,到有数据,到开始重视数据,最后能够尊重数据结果,参考数据进行决策的过程.本篇文章是笔者在这个过程中,作为数据产品搭建数据指标体系,如何 ...

你应该知道的数仓安全

前言