HDFS

HDFS（Hadoop Distributed File System ），意为：Hadoop分布式文件系统。

是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首先要解决的问题就是海量数据的存储问题。

HDFS主要是解决大数据如何存储问题的。分布式意味着是HDFS是横跨在多台计算机上的存储系统。

HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非

常适于存储大型数据 (比如 TB 和 PB)。

HDFS使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。

适用场景：大文件、数据流式访问、一次写入多次读取、低成本部署、廉价PC、高容错

HDFS shell操作 hadoop fs [generic options]

hadoop fs -ls file:/// #操作本地文件系统

hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布式文件系统

hadoop fs -ls / #直接根目录，没有指定协议将加载读取fs.defaultFS值

hadoop fs -mkdir [-p] <path> ... -p会沿着路径创建父目录

hadoop fs -ls [-h] [-R] [<path> ...] -h人性化显示文件大小 -R递归查看指定目录及其子目录

hadoop fs -put [-f] [-p] <localsrc> ... <dst> -f 覆盖目标文件（已存在下） -p 保留访问和修改时间，所有权和权限。上传

hadoop fs -cat <src> ... 查看hdfs文件内容，对于大文件读取要慎重

hadoop fs -get [-f] [-p] <src> ... <localdst> -f 覆盖目标文件（已存在下） -p 保留访问和修改时间，所有权和权限。下载

hadoop fs -cp [-f] <src> ... <dst> -f覆盖 拷贝

hadoop fs -appendToFile <localsrc> ... <dst> 追加小文件合并

hadoop fs -mv <src> ... <dst> 移动 重命名

HDFS工作流程与机制

主角色：namenode：

NameNode是Hadoop分布式文件系统的核心，架构中的主角色。

NameNode维护和管理文件系统元数据，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。

从角色：datanode：

DataNode是Hadoop HDFS中的从角色，负责具体的数据块存储。

DataNode的数量决定了HDFS集群的整体数据存储能力。通过和NameNode配合维护着数据块

核心概念--Pipeline管道

核心概念--ACK应答响应

核心概念--默认3副本存储策略

 第一块副本：优先客户端本地，否则随机

 第二块副本：不同于第一块副本的不同机架。

 第三块副本：第二块副本相同机架不同机器。

python+大数据学习day4相关推荐

2022年Python+大数据学习路线图，源码笔记，最优学习资源
任何学习过程都需要一个科学合理的学习路线,才能够有条不紊的完成我们的学习目标.Python+大数据所需学习的内容纷繁复杂,难度较大,所以今天特别为大家整理了一个全面的Python+大数据学习路线图,帮 ...
2022新版Python+大数据学习路线图，附视频教程
互联网的未来也是人工智能的未来,那就少不了Python+大数据的助力,对于想要转行的小伙伴来说,或许这是一个新兴赛道. 第一阶段大数据开发入门学前导读:从传统关系型数据库入手,掌握数据迁移工具.B ...
python 大数据学习遇到的问题，及解决方法。
最近开始跟随<子雨大数据之Spark入门教程(Python版)> 学习大数据方面的知识. 这里是网页教程的链接: http://dblab.xmu.edu.cn/blog/1709-2/ ...
卧槽！又来一个Python大数据学习神器！
今天给大家推荐一个「宝藏号」.为什么是「宝藏号」呢?因为你关注后回复关键词,可以免费获取海量学习资源. 关注后回复关键词:AI | PPT | 干货 | Python | 机器学习 | 中台 | 大数 ...
python+大数据学习打卡day1
[大数据从0-1打卡-day1] 1.简单了解一些关于大数据的概念数据:数据就是对客观事件进行记录并可以鉴别的符号.他不仅仅是指数字,还可以是有一定意义的字母.文字.符号.语音.文字.图画.视频或者 ...
大数据学习完可以做什么
如果要推荐一种人人都能掌握的编程语言,应该没有比Python更合适的了.如果想学习大数据,可以选择从python语言入手~ Python 简单易学,用途广泛,不仅可以在日常办公中提高大家的职场效率,还 ...
Python大数据培训实例：三维空间的星星
"一闪一闪亮晶晶,满天都是小星星......" 相信很多人都听过这首<小星星>.Python大数据学习中,经常会碰到用3D散点图实现数据的情况,下面就绘制包含若干个五角 ...
python大数据零基础_零基础学习大数据人工智能，学习路线篇！
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
python 化学计量学_【强烈推荐】十三个鲜为人知的大数据学习网站
原标题:[强烈推荐]十三个鲜为人知的大数据学习网站文|邓凯数据分析重要性越来越多的管理者意识到数据分析对经济发展.企业运营的重要意义. 在古代,得琅琊阁者得天下现在,得大数据者得天下. 我总结 ...

python+大数据学习day4

HDFS

HDFS shell操作 hadoop fs [generic options]

HDFS工作流程与机制

python+大数据学习day4相关推荐

最新文章

热门文章