前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

数据安全的四大核心功能如下所示

认证(authentication)

认证指的是向一个系统或是用户提出怀疑，让其证明自己的身份。只有经过认证的身份才被允许进入到数据系统。

Hadoop中的认证主要有两种，简单认证和例认证。前者是一种宽松的安全体系，它信任用户自己宣称的身份。

而后者则使用像 Kerberos 这样的系统来认证用户。在企业级应用上，作为最佳实践，推荐后者。

Hadoop 甚至支持无缝地集成很多像LDAP和活动目录(active directory)这样的用户存储。

在这些存储的帮助之下，可以将 Kerberos 实现成一个认证机制。

关于 kerberos 可以参考我的这篇博客——一篇文章搞懂 HDFS 的 Kerberos 认证

授权(authorization)

授权是指授予一个通过认证的用户访问数据资源的权限。

在一个需要共享数据集群的多租户系统或是多团队企业中，政策、法规和监管规范可能会禁止一个团队去访问属于另一个团队的数据。

在这种情况下，将敏感的数据资源与那些无意或是恶意的访间隔离开就显得十分重要。

Hadoop支持不同级别的授权。对于HDFS， Hadoop提供了文件级的细粒度访问控制。

这种访问控制非常类似于那些基于UNIX的文件系统。

MapReduce 计算层在资源级别同样有访问控制列表(Access Control List，ACL)。

Hadoop服务允许有他们自己的授权功能。例如，可以使用粗粒度的访问控制机制来保护Hive的表，如SQL。

审计(auditing)

审计是深入到数据系统使用模式的一种机制。不论进行何种审计，最基本的要求都是要提供统计功能。

所有的访问和操作都需要被记录在审计日志中，以便在稍后的时间点进行审计。

在企业中，审计对于信守承诺作常重要。例行审计可以确保遵守数据策略。

有些场合可能需要即席(ad-hoc)审计，特别是当系统中出现安全漏洞时。

审计可以揭示取证信息，帮助惩罚犯罪并评估漏洞所造成的损失。

在平台级别， Hadoop支持审计。在服务级别，像Hive这样的服务会在元数据中记录所有用户相关的行为。

关于 HDFS 的日志审计可以查看我的这篇博客——

数据保护

大数据系统分布在很多机器上，这使得数据不得不从一个节点移动到另一个节点。此外它也涉及数据存储位置不可信的问题，比如云上。

这两种情况都会迫使我们在隐私和机密性上做出妥协。传输过程中的中间人可以找到那些正在传输的数据，而一个充满恶意的攻击者甚至可以操纵数据。

在其他时候，不可信的一方可以窥探或修改数据。对付这种攻击的保护措施可以通过加密技术来实现。在传输以及其他时候，可以将数据进行加密。

生成数字签名可以保护数据免受修改。在 Hadoop中，可以对通过线路的传输进行加密以便保证数据的机密性。在其他时候，操作系统级别的加密可以保护HDFS上数据的机密性。

HDFS 怎么保证数据安全？相关推荐

linux模拟内存数据落盘,Linux：保证数据安全落盘
背景在很多IO场景中,我们经常需要确保数据已经安全的写到磁盘上,以便在系统宕机重启之后还能读到这些数据.但是我们都知道,linux系统的IO路径还是很复杂的,分为很多层,每一层都可能会有buffer ...
美国云主机如何保证数据安全？
经营一家企业就会去寻找更好的工具.更先进的解决方案.高效的战略和特殊的计划,以确保有更好的业绩表现.那么,什么是云主机,它如何工作?长话短说,云主机将所有的业务资源--数据库.文件.网络.软件.存储空 ...
知识管理中如何保证数据安全，权限控制很重要
编者按:企业在知识管理的过程中常常遇到一些权限安全问题,如何解决?本文介绍了天翎知识管理系统是如何在权限这块实践,保证数据安全,为企业创新赋能的. 关键词:数据安全,权限管理,国产化,私有化部署,安全 ...
密码传输和存储，如何保证数据安全？
本文从一个输入密码登录场景说起,详细介绍了密码传输过程的改进和思路,最后展现出一个相对安全的传输和存储方案. 点击上方"后端开发技术",选择"设为星标" ,优质 ...
java如何保证数据安全_java高并发下怎么保障数据安全？有哪些办法？
近些年科技发展水平越来越快速了,这也促使了大家对于新兴软件的学习.尤其是对于java的渴求更是明显,这也进一步说明了java功能的强大.今天就来为大家介绍一下java高并发下怎么保障数据安全以及有哪些 ...
人民日报：大数据时代如何保证数据安全？
来源:人民数据本文约2100字,建议阅读5分钟. 数据不仅是数字经济的关键要素,也已成为信息时代与土地.技术.劳动力等并列的生产要素. 日前,经全国人大常委会审议,<中华人民共和国数据安全法( ...
多线程怎么保证数据安全_Python threading实现多线程提高篇线程同步，以及各种锁...
本文主要讲多线程的线程之间的资源共享怎么保持同步. 多线程基础篇见,木头人:Python threading实现多线程基础篇 Python的多线程,只有用于I/O密集型程序时效率才会有明显的提高,如 ...
synctoy 自动同步_用SyncToy给硬盘备份保证数据安全，来自微软的馅饼真香
HDD没我们想象的那样安全,HDD切忌震动.SSD也没我们想象的那样脆,SSD切忌异常断电.注意使用得当,那么HDD.SSD都是很耐用的.但是,不管我们使用SSD还是HDD,都可能遇到一些意外的风险. ...
什么是数据安全，为什么需要保证数据安全
WHAT何为数据安全? 数据安全指的是用技术手段识别网络上的文件.数据库.帐户信息等各类数据集的相对重要性.敏感性.合规性等,并采取适当的安全控制措施对其实施保护等过程. 与边界安全.文件安全.用户行 ...

HDFS 怎么保证数据安全？

前言

正文

认证(authentication)

授权(authorization)

审计(auditing)

数据保护

HDFS 怎么保证数据安全？相关推荐

最新文章

热门文章