HDFS的特性,hdfs的安全模式,Hdfs的文件权限验证
HDFS的特性
HDFS的优点
1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别或更高级别的数据存储。
2、高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上。
3、商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(廉价商业硬件)的集群上的。
4、大文件存储:HDFS采用数据块的方式存储数据,将数据物理切分成多个小的数据块。所以再大的数据,切分后,大数据变成了很多小数据。用户读取时,重新将多个小数据块拼接起来。
HDFS缺点
1、不能做到低延迟数据访问:由于hadoop针对高数据吞吐量做了优化,牺牲了获取数据的延迟,所以对于低延迟访问数据的业务需求不适合HDFS。
2、不适合大量的小文件存储 :由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验,每个文件、目录和数据块的存储信息大约占150字节。因此,如果有一百万个小文件,每个小文件都会占一个数据块,那至少需要300MB内存。如果是上亿级别的,就会超出当前硬件的能力。
3、修改文件:。HDFS适合一次写入,多次读取的场景。对于上传到HDFS上的文件,不支持修改文件。Hadoop2.0虽然支持了文件的追加功能,但不建议对HDFS上的文件进行修改。因为效率低下.
4、不支持用户的并行写:同一时间内,只能有一个用户执行写操作。
Hdfs的安全模式
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。
如果HDFS处于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制(从而达到最小副本数量要求),hdfs集群刚启动的时候,默认30S钟的时间是处于安全期的,只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作
hdfs dfsadmin -safemode
Hdfs的文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似
r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容
如果linux系统用户zhangsan使用Hadoop命令创建一个文件,那么这个文件在HDFS当中的owner就是zhangsan
HDFS文件权限的目的,防止好人做错事,而不是阻止坏人做坏事。HDFS相信你告诉我你是谁,你就是谁
HDFS的特性,hdfs的安全模式,Hdfs的文件权限验证相关推荐
- hdfs的文件权限验证
hdfs的文件权限验证 hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容 如果li ...
- HDFS 文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容 如果linux系统用户zhang ...
- Hadoop HDFS 文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute 权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容 如果linux系统用户zhang ...
- mvc4 利用filters特性来 实现自己的权限验证 之二
刚开始摸索C# MVC,也只是按图索骥,对C#的特性不是很懂,耐心看完相关文章,对特性的使用有了进一步理解. 1.特性类的命名规范:特性也是一个类,必须继承于System.Attribute类,命名规 ...
- hdfs的特性、命令、安全模式、基准测试
1.第一点:如何理解hdfs分布式文件系统,每台机器出一块磁盘,凑成一个大的硬盘,大的硬盘的容量来自各个服务器的硬盘容量之和. 你出5毛,我出5毛,大家凑成1块. 2. HDFS 是 Hadoop D ...
- Apache Durid (HDFS原理 特性 读写测试 集群部署 架构设计)
Apache Durid (HDFS 集群部署) Apache Durid (HDFS 集群部署) 1. 分布式文件HDFS 1.1 HDFS简介 1.1.1 HDFS发展历史 1.1.2 HDFS设 ...
- hdfs读写流程_必须掌握的分布式文件存储系统—HDFS
必须掌握的分布式文件存储系统-HDFSmp.weixin.qq.com HDFS(Hadoop Distributed File System)分布式文件存储系统,主要为各类分布式计算框架如Spar ...
- Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问(十五)
调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs *** 的形式!!! 所有的FS Shell命令使用URI路径作为参数. URI格式是scheme:/ ...
- hdfs user 连接_Python入门操作HDFS
点击上方蓝色字体,关注我们 读完需 7 分钟 速读需 3 分钟 在了解了Hadoop的基本使用后,需要通过编程语言进一步操作.对于没有Java基础的运维人,Python如何操作hdfs也就成了我们优先 ...
最新文章
- dtrace-debug
- PostgreSql安装(win 2003 下)
- c++ vector 实战(基本使用)
- php上传,PHP-文件上传和下载「程序员培养之路第三十八天」
- 一文带你从零认识什么是XLA
- 人生---新---起点……
- SQL Server 2014新特性探秘(1):内存数据库
- 机器学习cnn如何改变权值_五个机器学习悖论将改变您对数据的思考方式
- 高数————思维导图(上岸必备)(向量代数与几何部分)
- 计算机中缺少qt5quick.dll,qt5quick.dll
- 周立功linux内核,极速搭建周立功IMX287A ARM Linux开发环境
- 【安价】亚拉奈夫想要复兴贫弱男爵家的样子【内政】1
- 360P2建html网站,360 P2路由器密码怎么设置?
- 她力量系列七丨兰艳艳:理想温暖10年科研路,女性可以柔和,更要自信、专业 | 妇女节特辑
- 创建一个8*8的国际象棋棋盘(黑块为0,白块为1)
- 关于gvim的高级应用
- 加油吧红牛,功能饮料暴风来袭
- Android App软件框架搭建
- 【JavaMap接口】特点实现类HashMap常用方法
- 华为搅局ERP,北用友南金蝶格局改变?用户:NO,我们另有选择
热门文章
- Windows Live Messenger/MSN无法登录
- 车载开发之CarLife CarPlay HiCar
- 股票市场情绪量化模型是什么?
- EDIUS调音台的使用
- 常用字符集编码的概要特性(一)
- SSRF漏洞内网渗透利用(实例)
- 初学51单片机(网上教程http://www.51zxw.net/list.aspx?cid=473)
- 如何使用树莓派制作避障机器人
- AD19阻值图的输出
- Hexo博客Next6.0版本主题配置(背景图片加载、侧边栏社交小图标设置、设置网站图标)