HBase配置AES加密

版本：

HDP：3.0.1.0

HBase：2.0.0

一、前言

为了避免第三方非法访问我们的重要数据，我们可以给HBase配置加密算法，目前HBase只支持使用aes加密算法，用于保护静态的HFile和WAL数据。

HBase配置的AES加密是一种端到端的加密模式，其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密，当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询，只有经过认证的客户端才能查看解密内容。

详情可以参考HBase官方文档：http://hbase.apache.org/book.html#hbase.encryption.server

二、AES算法简介

这里只是对AES算法的一个简单说明。

AES是一个对称加密算法，如下图所示:

下面简单介绍下各个部分的作用与意义：

密钥K

用来加密明文的密码，在对称加密算法中，加密与解密的密钥是相同的。密钥为接收方与发送方协商产生，但不可以直接在网络上传输，否则会导致密钥泄漏，通常是通过非对称加密算法加密密钥，然后再通过网络传输给对方,实际中，一般是通过RSA加密AES的密钥，传输到接收方，接收方解密得到AES密钥，然后发送方和接收方用AES密钥来通信。

密钥是绝对不可以泄漏的，否则会被攻击者还原密文，窃取机密数据。

AES加密函数

设AES加密函数为E，则 C = E(K, P),其中P为明文，K为密钥，C为密文。也就是说，把明文P和密钥K作为加密函数的参数输入，则加密函数E会输出密文C。

AES解密函数

设AES解密函数为D，则 P = D(K, C),其中C为密文，K为密钥，P为明文。也就是说，把密文C和密钥K作为解密函数的参数输入，则解密函数会输出明文P。

三、配置步骤

接下来主要介绍需要在hbase-site.xml文件内增加哪些配置。最后通过ambari页面将自定义配置加到hbase-site.xml中。分为以下几步：

使用keytool实用程序为AES加密创建适当长度的密钥。
```
cd /usr/hdp/3.0.1.0-187/hbase/conf/
# 生成hbase.jks
keytool -keystore hbase.jks -storetype jceks -storepass admin123 -genseckey -keyalg AES -keysize 128 -alias hbase
```
- hbase.jks：表示生成的jks文件存储路径。
- admin123：代表存储的密码。
- AES：表示加密的类型，目前仅支持AES。
- 128：表示密钥的长度，AES支持128位长度。
- hbase：为密钥文件的别名。
在密钥文件上设置适当的权限，并将其分发给所有HBase服务器。上一个命令在/usr/hdp/3.0.1.0-187/hbase/conf/目录下创建了一个名为hbase.jks的文件。设置此文件的权限和所有权，以便只有HBase服务帐户用户可以读取该文件，并将密钥安全地分发给所有HBase服务器。
```
# 在每台机器上执行以下命令：
cd /usr/hdp/3.0.1.0-187/hbase/conf
chmod 600 hbase.jks
chown hbase:hadoop hbase.jks
# 通过scp命令将文件传输到各节点的指定位置
scp -r hbase.jks root@xxx:/usr/hdp/3.0.1.0-187/hbase/conf
# 拷贝完成后，也需要设置文件的相关权限，600。
```
配置HBase daemons

在集群的hbase-site.xml中设置以下属性，配置HBase守护程序以使用由KeyStore文件支持的密钥提供程序或检索集群主密钥。在下面的示例中，admin123为密码，可自定义。
```
# 自定义hbase-site：
hbase.crypto.keyprovider=org.apache.hadoop.hbase.io.crypto.KeyStoreKeyProvider
hbase.crypto.keyprovider.parameters=jceks:///usr/hdp/3.0.1.0-187/hbase/conf/hbase.jks?password=admin123
```
默认情况下，HBase服务帐户名称将用于解析群集主密钥。但是，您可以使用任意别名（在keytool命令中）存储它。在这种情况下，请将以下属性设置为您使用的别名。
```
# 自定义hbase-site：
hbase.crypto.master.key.name=hbase
```
您还需要确保您的HFile使用HFile v3，以便使用透明加密。这是HBase 1.0以后的默认配置。对于以前的版本，请在hbase-site.xml文件中设置以下属性。
```
# 自定义hbase-site：
hfile.format.version=3
```

配置Configure WAL encryption

通过设置以下属性，在每个RegionServer的hbase-site.xml中配置WAL加密。您也可以将这些包含在HMaster的hbase-site.xml中，但是HMaster没有WAL并且不会使用它们。

# 自定义hbase-site：
hbase.regionserver.hlog.reader.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogReader
hbase.regionserver.hlog.writer.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogWriter
hbase.regionserver.wal.encryption=true

配置hbase-site.xml文件的权限。

由于密钥库密码存储在hbase-site.xml中，因此需要确保只有HBase用户可以使用文件所有权和权限读取hbase-site.xml文件。
```
chmod -R 600 hbase-site.xml
```
将上述配置添加到自定义hbase-site中，重启HBase服务。

创建加密类型为AES的表

**格式：**create ‘<table name>’, {NAME => ‘<column family name>’, ENCRYPTION => ‘AES’}

create 'hbase_1102',  {NAME=>'cf1', ENCRYPTION => 'AES'}, {NAME=>'cf2'}
put'hbase_1102', '001','cf1:name','Tom'
put'hbase_1102', '001','cf1:gender','man'
put'hbase_1102', '001','cf2:chinese','90'
put'hbase_1102', '001','cf2:math','91'
put 'hbase_1102', '001','cf2:math','91', 1557566858555
# 删除hbase的一条数据
delete 'hbase_1102', '001', 'cf2:math'
# 根据时间戳来获取数据
get 'hbase_1102','001',{COLUMN=>'cf2:math',TIMESTAMP=>1555768605232}

四、总结

HBase目前只支持AES加密，它是一种端到端的加密模式，其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密，当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询，只有经过认证的客户端才能查看解密内容。

关于HBase自定义扩展加密方式，比如支持SMS4加密/解密，正在研究。等实现了的话，再好好跟大家分享。

------