1、敏感数据识别

数据分类分级的准确度和效率取决于工具的识别能力是否强大，即“工具是不是真的能够看到数据、看懂数据”。

1.1落地难点

数据分类分类大多数安全工具都是基于模式匹配和相对敏感级别来执行的，然后将该结果记录在存储库中或作为文档上的标签或标签，敏感数据识别策略是数据识别的一个核心能力点。

市面上很多工具大多会选择从具备明显数据特征的数据切入。如身份证号码有固定的编码，手机号码有固定的位数格式，姓名、民族等都具有易于定义和区分的含义，识别策略较容易设计。

客户特定且不断增长的业务数据，在数据分类分级的框架下往往不具备明显的数据特征，甚至还可能存在歧义。比如一个姓名，他可能是企业员工，也可能是企业用户，在不同的业务场景和数据类别中，其重要程度和敏感度是不一样的。例如，数字35可以是门牌号、温度——实际上是任何东西，当数据分类分级产品仅限于模式匹配以进行发现和分类时，几乎无法发现某个数据特征不明显的业务数据是什么。

1.2技术实现

1.2.1常规识别技术

     ①基于规则的自动识别，比如：正则表达式、关键字、算法、数据字典、包含、等于、字段名等规则。

通过用户自定义规则，自动识别敏感数据，使用自带的规则或自定义规则，对其结构化表或者非结构化文件进行整体扫描。

如何发现敏感数据字段？

通过定期全库扫描，识别敏感字段（周期触发）。如果新增或修改表和字段，增量扫描识别出敏感字段，需要监听数据库对表或字段的操作，来指定表或字段进行敏感识别扫描，需结合数据库代理服务。

日常的一些敏感数据识别

银行卡号、证件号、手机号，有明确的规则，可以根据正则表达式和算法匹配；姓名、特殊字段，没有明确信息，可能是任意字符串，可以通过配置关键字来进行匹配；营业执照、地址、图片等，没有明确规则，可以通过自然语言算法来识别，使用开源算法库。

    ②字段名匹配

针对已经做过元数据梳理或者人工分类分级的客户，可以把敏感数据的字段名导出来，在数据分类分级工具中输入敏感数据在数据库中对应表字段的名称，可以直接100%匹配到敏感数据，这种方式可以避免重复工作。

    ③人工辅助的数据资产识别

技术工具识别出来的结果再精准也不如人工，所以在敏感数据识别环节要预留人工二次确认的环节，提高准确性。

能落地的数据分类分级工具必须经过大量项目的沉淀，通过深度接触客户的业务，理解具体场景中的数据含义，掌握各种数据处理活动中的数据流动情况，再将这些知识和经验集成到工具中，才能发挥实际作用。

1.2.2AI（人工智能）和ML（机器学习）

理想化的数据分类分级技术工具应具备数据分类的语义能力——判断数据的实际情况和业务场景，而不是依赖于预配置的标识符。

安全厂商正在努力摆脱算法模式匹配，并正在添加基于人工智能/机器学习的功能，使技术工具的语义功能可以识别出“真正”的数据。

下面简单介绍一下基于人工智能的敏感数据发现。

    ①基于 NLP 自然语言技术的自动识别

自然语言处理（NLP）是指机器理解并解释人类paralyzes写作、说话方式的能力。NLP的目标是让计算机／机器在理解语言上像人类一样智能。

插入一段科普：人工智能三大阶段

阶段 1——机器学习：智能系统使用一系列算法从经验中进行学习。

阶段 2——机器智能：机器使用的一系列从经验中进行学习的高级算法，例如深度神经网络。人工智能目前处于此阶段。

阶段 3——机器意识：不需要外部数据就能从经验中自学习。

具体的算法模型不展开讨论，AI技术对于敏感数据的自动识别有关键意义。目前业内智能化打标一般指的是针对敏感数据进行打标。借助正则表达式、关键词、文档指纹、NLP、OCR、机器学习等先进AI技术提取敏感数据特征，建立相应敏感识别规则，然后统一录入规则引擎。

    ②机器学习

机器学习是未来战略技术趋势之一，当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法，机器学习在当前的大数据技术中扮演着重要的角色。机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能.在计算机系统中，“经验”通常以“数据”形式存在，因此,机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法,即“学习算法”。

• 基于相似度算法

基于相似度算法可准确检测以文档形式存储的非结构化数据，例如 Word 与 PowerPoint 文件、PDF 文档、财务、并购文档，以及其他敏感或专有信息。

首先，手工或者通过感知算法提取文档指纹特征，以检测原始文档的已检索部分、草稿或不同版本的受保护文档。第二步进行敏感文件的学习和训练，获得敏感内容的文档时，采用语义分析的技术进行分词，提出来需要学习和训练的敏感信息文档的指纹模型，然后利用同样的方法对被测的文档或内容进行指纹抓取，将得到的指纹与训练的指纹进行比对，根据预设的相似度阈值去确认被检测文档是否为敏感信息文档。

• 基于非监督学习算法

基于无监督学习算法，人工无需打标签，进行特征设计与提取。

比如敏感图像场景提取目标关键点、文档数据根据语义提取特征向量。首先选取 K-means、DBSCAN 等聚类算法其中之一作为训练算法，然后将敏感数据待分类的数目赋为聚类“簇”的个数，将输入的样本数据进行聚类，聚类完成形成不同“簇”的数据集合，人工对这些“簇”的部分样本进行分析并确定相应“簇”的类别，比如敏感型、非敏感型。

• 基于监督学习算法

基于监督学习算法需收集一定数量的训练数据，同时对数据进行人工打标签，比如敏感 / 非敏感标签（二分类场景）。然后选择相应的监督学习算法，比如支持向量、决策树、随机森林、神经网络等，再对训练数据进行模型训练与调参。训练完成，将输出的模型应用在新的数据进行智能识别与预测，自动化输出数据类型--敏感 / 非敏感数据。

目前有公司宣称利用机器学习和聚类算法实现规模数据分类，以自动化发现个人数据以及其他敏感数据，但算法的效率、识别精度以及可扩展性仍然是一系列有挑战性的关键问题。

    ③深度学习

深度学习是机器学习的一大分支，在自然语言处理中需应用深度学习模型，如卷积神经网络、循环神经网络等，通过对生成的词向量进行学习，以完成自然语言分类、理解的过程。

与传统的机器学习相比，基于深度学习的自然语言处理技术具备以下优势：

(1)深度学习能够以词或句子的向量化为前提，不断学习语言特征，掌握更高层次、更加抽象的语言特征，满足大量特征工程的自然语言处理要求。

(2)深度学习无需专家人工定义训练集，可通过神经网络自动学习高层次特征

简单例举机器学习中三种敏感数据识别的算法模型，具体技术细节不展开讨论。通过机器学习算法对数据进行多维度元数据特征向量自动提取，对相似字段的数据字段进行聚合归类。数据分类分级工具在有足够数据样板的条件下是可以支持机器学习的，通过各种AI算法自动完成敏感数据识别、分类分级，缩减了所投入的人力成本，敏感数据识别规则的沉淀随着分类分级工作的深入开展，边际成本递减。

1.3敏感数据识别存在的问题

• 全库扫描占用资源较大，是否可以使用采样的方式
• 应对增量数据如何处理，除了执行定期扫描是否还有其他方式
• 脏数据的判断识别，有的字段是NULL或者空格的，是否可以直接默认是定义为敏感级别
• 数据打标签，是对全库字段打标，还是只对采样数据进行打标，并单独存库用走后期的统计分析。
• 机器学习和聚类算法是否成熟，需要考虑精确度和效率。

2、分类分级进阶功能

2.1数据资产管理

支持数据源手动添加、自动发现、API 对接三种模式。

• 手工添加数据库，配置数据库的详细连接信息。
• API 通用接口对接其他数据平台的元数据。
• 自动发现在通过IP地址区间和端口扫描自动化发现网络环境中存在的数据库。

2.2数据分类分级

数据自动分类分级。对识别到的数据资产结合内置识别模型和配置的分类分级规则进行分析，自动完成敏感数据识别和数据分类分级。

分类分级结果展示。完成分类分级自动打标后，需展示本次自动识别的数据分类分级结果清单以供查看和批准，并支持手工修改。

2.3数据资产地图