hive的自定义函数以及自定义加密函数
hive对于敏感数据的加密还不够完善,现在开发一个udf函数,自己设置密钥(hive的加密函数等级比较低,也没有集成自己加密的密钥函数,所以自己开发一个),如果要加密一些数据则可以自己使用特定的密钥进行加密解密,这样很好的方便数据的加密下面将实现过程如下:
1,写一个Java类专门进行加密算法,这个代码网上很多都写好了,可以直接抄一个过来,代码如下:
package hive_udf;import sun.misc.BASE64Decoder;
import sun.misc.BASE64Encoder;import javax.crypto.*;
import javax.crypto.spec.SecretKeySpec;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import java.security.SecureRandom;
import java.util.Scanner;/** AES对称加密和解密*/public class AES {
public static final String ENCODE_RULES = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";
/** 加密* 1.构造密钥生成器* 2.根据ecnodeRules规则初始化密钥生成器* 3.产生密钥* 4.创建和初始化密码器* 5.内容加密* 6.返回字符串*/public static String AESEncode(String encodeRules,String content){
try {
//1.构造密钥生成器,指定为AES算法,不区分大小写KeyGenerator keygen=KeyGenerator.getInstance("AES");
//2.根据ecnodeRules规则初始化密钥生成器//生成一个128位的随机源,根据传入的字节数组SecureRandom random = SecureRandom.getInstance("SHA1PRNG");
random.setSeed(encodeRules.getBytes());
keygen.init(128, random); //3.产生原始对称密钥SecretKey original_key=keygen.generateKey();
//4.获得原始对称密钥的字节数组byte [] raw=original_key.getEncoded();
//5.根据字节数组生成AES密钥SecretKey key=new SecretKeySpec(raw, "AES");
//6.根据指定算法AES自成密码器Cipher cipher=Cipher.getInstance("AES");
//7.初始化密码器,第一个参数为加密(Encrypt_mode)或者解密解密(Decrypt_mode)操作,第二个参数为使用的KEYcipher.init(Cipher.ENCRYPT_MODE, key);
//8.获取加密内容的字节数组(这里要设置为utf-8)不然内容中如果有中文和英文混合中文就会解密为乱码byte [] byte_encode=content.getBytes(StandardCharsets.UTF_8);
//9.根据密码器的初始化方式--加密:将数据加密byte [] byte_AES=cipher.doFinal(byte_encode);
//10.将加密后的数据转换为字符串//这里用Base64Encoder中会找不到包//解决办法://在项目的Build path中先移除JRE System Library,再添加库JRE System Library,重新编译后就一切正常了。//11.将字符串返回return new BASE64Encoder().encode(byte_AES);} catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IllegalBlockSizeException | BadPaddingException e) {e.printStackTrace();}//如果有错就返加nulllreturn null;}
/** 解密* 解密过程:* 1.同加密1-4步* 2.将加密后的字符串反纺成byte[]数组* 3.将加密内容解密*/public static String AESDncode(String encodeRules,String content){
try {
//1.构造密钥生成器,指定为AES算法,不区分大小写KeyGenerator keygen=KeyGenerator.getInstance("AES");
//2.根据ecnodeRules规则初始化密钥生成器//生成一个128位的随机源,根据传入的字节数组SecureRandom random = SecureRandom.getInstance("SHA1PRNG");
random.setSeed(encodeRules.getBytes());
keygen.init(128, random);
//3.产生原始对称密钥SecretKey original_key=keygen.generateKey();
//4.获得原始对称密钥的字节数组byte [] raw=original_key.getEncoded();
//5.根据字节数组生成AES密钥SecretKey key=new SecretKeySpec(raw, "AES");
//6.根据指定算法AES自成密码器Cipher cipher=Cipher.getInstance("AES");
//7.初始化密码器,第一个参数为加密(Encrypt_mode)或者解密(Decrypt_mode)操作,第二个参数为使用的KEYcipher.init(Cipher.DECRYPT_MODE, key);
//8.将加密并编码后的内容解码成字节数组byte [] byte_content= new BASE64Decoder().decodeBuffer(content);
/** 解密*/byte [] byte_decode=cipher.doFinal(byte_content);
return new String(byte_decode, StandardCharsets.UTF_8);} catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IOException | IllegalBlockSizeException | BadPaddingException e) {e.printStackTrace();}//如果有错就返加nulllreturn null;}
public static void main(String[] args) {
Scanner scanner=new Scanner(System.in);
/** 加密*/System.out.println("使用AES对称加密,请输入加密的规则");
String encodeRules=scanner.next();
System.out.println("请输入要加密的内容:");
String content = scanner.next();
System.out.println("根据输入的规则"+encodeRules+"加密后的密文是:"+ AESEncode(encodeRules, content));/** 解密*/System.out.println("使用AES对称解密,请输入加密的规则:(须与加密相同)");encodeRules=scanner.next();
System.out.println("请输入要解密的内容(密文):");content = scanner.next();
System.out.println("根据输入的规则"+encodeRules+"解密后的明文是:"+ AESDncode(encodeRules, content));}}
2,写一个hive的udf类,集成hiveUdf,代码实现如下:
package hive_udf;import org.apache.hadoop.hive.ql.exec.UDF;
public class AesUdf extends UDF {//String password = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";public String evaluate ( String content,String password ,String type) throws Exception {
// if (content == null) return null;
//
// if(! type.equals("encode") && ! type.equals("decode")){
// throw new Exception("Parmeter one is needed encode/decode");
// }if(!content.equals(null) & type.equals("jiami")){//进行加密return AES.AESEncode (password, content);}else{if(!content.equals(null) & type.equals("jiemi")){//进行解密return AES.AESDncode(password, content);}return content;}}public static void main(String[] args) {try {
// System.out.println("开始加密");
// System.out.println("没加密前原始数据为 test");System.out.println(new AesUdf().evaluate("test","1234abcd","jiami"));
// System.out.println("加密后为"+new AesUdf().evaluate("test","1234abcd","jiami"));
// String result = new AesUdf().evaluate("test","1234abcd","jiami");
// System.out.println("不加密也不解密,数据为"+new AesUdf().evaluate("test","1234abcd","jiami1"));
// System.out.println("开始解密");System.out.println(new AesUdf().evaluate("result","1234abcd","jiemi"));
// System.out.println("解密后的值为"+new AesUdf().evaluate(result,"1234abcd","jiemi"));} catch (Exception e) {e.printStackTrace();}}
}
上面代码可以自己手动设定密钥,自己记住就行,后面可以直接加密解密,一般不同的数据都有自己的密钥,不能共用一个密钥
3,将代码打成jar包,以及依赖关系如下
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>org.example</groupId><artifactId>hive</artifactId><version>1.0-SNAPSHOT</version><properties><maven.compiler.source>8</maven.compiler.source><maven.compiler.target>8</maven.compiler.target></properties><dependencies><dependency><!-- hive的udf依赖的包 --><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency></dependencies><!-- 打包类的依赖的jar的插件 --><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><version>3.0.0</version><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins></build>
</project>
4,将打成的jar包上传到hdfs上,过程如下:
#一定记得,不然创建函数的时候会报警Class com.zmlearn.udf.AESUDF not found,因为没有执行权限
chmod 777 hive-1.0-SNAPSHOT.jar
hadoop fs -mkdir /hive_UDF
hadoop fs -put /root/data/hive-1.0-SNAPSHOT.jar /hive_UDF
5.进入hive客户端,创建UDF函数。
create function test.AES_UDF as 'hive_udf.AesUdf' using jar 'hdfs://namenode:9000/hive_UDF/hive-1.0-SNAPSHOT.jar';
加上库名是为了在哪个库下面生效,如果不加的话默认是default库
6.使用创建的UDF函数:
select AES_UDF(a.name,'1234abcd','jiami') as jiam,AES_UDF(AES_UDF(a.name,'1234abcd','jiami'),'1234abcd','jiemi') as jiem,name,id from student a;
以上就是hive实现加密解密的udf函数的设计,目前我使用没问题,加密解密数据都正常,如果大家使用我上面的函数有问题,欢迎大家来找我私聊
hive的自定义函数以及自定义加密函数相关推荐
- postgresql安装所需函数插件(比如加密函数hamc()函数使用)
1.postgresql 执行命令,添加加密函数支持 create extension pgcrypto; 2.hmac函数的使用 用户密码的使用,jpa使用用户实体类密码添加注解,直接使用jpa进行 ...
- php加密js函数输出,PHP加密函数 Javascript/Js 解密函数的实现方法
这篇文章主要为大家详细介绍了PHP加密函数 Javascript/Js 解密函数的实现方法,具有一定的参考价值,可以用来参考一下. 感兴趣的小伙伴,下面一起跟随512笔记的小玲来看看吧! 以下函数代码 ...
- c mysql加密解密_mysql内置加密函数对数据加密
1 目的 有些业务场景,数据库中的敏感数据需要存储为密文形式,这里使用mysql内置加密函数对数据进行加密. 2 加密算法 对称加密算法:AES 加密后数据转换为:十六进制 3 内置函数说明 函数 说 ...
- mysql div函数,MySQL运算符和函数
--数据库运算符和函数 1.字符函数: (1)concat:字符连接 select concat("mysql","imooc"); +------------ ...
- Hive内置运算函数,自定义函数(UDF)和Transform
4.Hive函数 4.1 内置运算符 内容较多,见<Hive官方文档> 4.2 内置函数 内容较多,见<Hive官方文档> https://cwiki.apache.org ...
- hive 元数据 自定义_Hive中的用户自定义函数
1.1 关于自定义函数 1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展. 2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考 ...
- Hive之函数与自定义函数
系统自带的函数 1)查看系统自带的函数hive> show functions; 2)显示自带的函数的用法hive> desc function upper; 3)详细显示自带的函数的用法 ...
- Hive 内置函数及自定义函数
1.内置函数 使用如下命令查看当前hive版本支持的所有内置函数 show functions; 部分截图: 可以使用如下命令查看某个函数的使用方法及作用,比如查看 upper函数 desc func ...
- 大数据入门教程系列之Hive内置函数及自定义函数
本篇文章主要介绍Hive内置函数以及自定义UDF函数和UDFT函数,自定义UDF函数通过一个国际转换中文的例子说明. 操作步骤: ①.准备数据和环境 ②.演示Hive内置函数 ③.自定义UDF函数编写 ...
最新文章
- 元旦特惠!无人机/ROS2/三维重建点云/SLAM/多传感器/相机标定/深度估计等重磅干货教程...
- 引用和const 引用的区别(转自chinaitlab)
- Hello Blazor:(14)CSS隔离
- 网格布局之网格元素放置算法
- 字典树 HDU1251
- java设计模式(五)--建造者模式(Builder)
- pythoncharm安装配置_pycharm的安装与配置
- 精选 | 2018年4月R新包推荐
- 数字孪生可视化开发技术(ThingJS)学习笔记
- 中国GPS开发工具市场现状研究分析与发展前景预测报告(2022)
- 三层交换机划分VLAN
- SharePoint Online:软件边界和限制
- hdc bind error : The HTTP response from the server [502] did not permit the HTTP upgrade to WebSocke
- 伪原创视频需要改什么 改视频md5的软件
- 如何高效建立知识库?
- 《戴维斯王朝》,关于一个家族祖孙三代的投资故事
- SCN Headroom过低问题处理
- matlab接入交易,金字塔与MATLAB通过数据库交易对接
- 【视频课】超口碑王圣元的Python课程,基础入门+金融案例+数据分析全套!
- 空间数据索引RTree完全解析