1.开发背景

由于各种原因，在实际生产环境中Mysql或者其他的业务库，有很多敏感数据并没有加密，同样，业务库数据同步到Hive仓库后也并没有加密，这样就存在数据安全问题，但是由于涉及到的库和表太多，用人工去排查显然是不符合实际的，所以急需开发这样一套程序去对进行排查。

2.开发目标

能够把每个库每个表中可能包含敏感信息的字段找出来并存储在Mysql中(敏感信息包括身份证，手机号，邮箱，银行卡号等),并以邮件的形式通知给对应负责人及时进行处理。如果负责人确认该字段不是敏感字段，无需加密，则需要把该表的该字段加入白名单，下次扫描的时候就会自动忽略

3.使用技术

第一版：java hive mysql

升级版：sparksql sparkcore hive mysql datax python

流程图：

分析

每个表中随机抽取20条数据，对这些数据的每个字段根据相关正则进行匹配，如果该字段的所有数据都匹配不上正则，说明不包含敏感数据，则不做任何处理，如果有部分匹配上了，则存储在Mysql数据库的时候，将result_flag置为5，如果全部匹配的话，则将result_flag置为10

4.开发结果

表结果：

邮件结果：

数据治理之敏感数据探查相关推荐

美团配送数据治理实践
背景大数据时代的到来,让越来越多的企业看到了数据资产的价值.将数据视为企业的重要资产,已经成为业界的一种共识,企业也在快速探索应用场景和商业模式,并开始建设技术平台. 但这里要特别强调一下,如果在大 ...
数据治理系列文章：（7）数据安全
概述数据安全是一个非常重要的领域,特别是随着近几年社会面对数据安全问题的关注和国家相关数据安全法规的颁布,数据安全在各行各业都产生了强烈的需求,如何在传统数据治理的基础上消除安全隐患.强化安全属性, ...
数据仓库amp;数据指标amp;数据治理体系搭建方法论
数据仓库的基本概念数据仓库概念英文名称为Data Warehouse,可简写为DW或DWH.数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).它 ...
美团配送数据治理实践【转载美团技术团队博客】
大数据时代的到来,让越来越多的企业看到了数据资产的价值.将数据视为企业的重要资产,已经成为业界的一种共识,企业也在快速探索应用场景和商业模式,并开始建设技术平台. 但这里要特别强调一下,如果在大数据& ...
Informatica：全局数据治理
Informatica 的数据治理框架提供了必要的环境和对基本原则的理解,帮助在组织内构建有效的数据治理能力.它有助于确定组织为获得早期价值和动力可借助的能力,以及可减少组遇到的障碍和风险的潜在改进和 ...
2W字剖析数据治理平台建设经验(建议收藏)
点击上方 "大数据肌肉猿"关注, 星标一起成长点击下方链接,进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群 00 前言阿里巴巴一直将数据作为自己的核心资 ...
浅谈数据治理体系演进
网易内部如严选.云音乐.传媒等数据团队对数据内容体系的治理思路都是将治理规范融入到开发过程中,将治理的动作提前,这其实就是"开发治理一体化":事后依赖数据资产健康评估和治理工具进行 ...
2万字揭秘阿里巴巴数据治理平台建设经验
全网最全大数据面试提升手册! 00 前言阿里巴巴一直将数据作为自己的核心资产与能力之一,通过多年的实践探索建设数据应用,支撑业务发展.在不断升级和重构的过程中,我们经历了从分散的数据分析到平台化能力 ...
阿里巴巴数据治理平台建设经验
阿里巴巴一直将数据作为自己的核心资产与能力之一,通过多年的实践探索建设数据应用,支撑业务发展.在不断升级和重构的过程中,我们经历了从分散的数据分析到平台化能力整合,再到全局数据智能化的时代.如今,大数 ...

数据治理之敏感数据探查

1.开发背景

2.开发目标

3.使用技术

分析

4.开发结果

数据治理之敏感数据探查相关推荐

最新文章

热门文章