ipfs-hdfs分布式文件系统

2024-06-03 07:37:03

HDFS

hadoop项目的核心子项目，基于流数据模式访问和处理超大文件的需求而开发的。
数据的分布式存储和处理。
namenode 和 datanode 的内置服务器可帮助用户轻松检查群集的状态。

namenode：管理维护着文件系统树以及整个文件树内所有的文件和目录即文件系统的元数据
DateNode：管理所存储的数据；按照客户端的请求，执行在文件系统上的读写操作；大量节点构成一个集群
Block：读写最小单位，文件系统中的文件将分为一个或多个片段存储在单个数据节点中。这些文件段称为block。
首先从 NameNode 获取该文件的位置，然后从该 DataNode 获取具体的数据。
HDFS 包含大量产品硬件，组件故障频繁。因此，HDFS 应具有快速自动故障检测和恢复的机制。

IPFS

ipfs是使用p2p协议的，之前的分布式文件系统都是基于地址去寻址，比如说需要根据ip地址或者域名再加上资源名，就能得到
对应的资源，当然资源存在，但是有的场景资源已经不存在了；这个时候基于内容寻址就派上用场，
比如网络上有别的主机已经获取到这个资源，那么客户只需要向网络中发送对应内容的资源请求就可，别的节点存在该资源就会反馈。

还有一个好处就是它的文件名称和路径等都是进行hash加密的，只能根据hash串值去获取访问数据的，在一定程度上保证了安全性。

存储流程
1.将文件放入ipfs
2.ipfs返回一个文件哈希值
3.向智能合约查询工作者的公钥
4.将文件分成n份，并随机选择密钥进行加密
5.在区块链上存储加密后的份额

ipfs-hdfs分布式文件系统相关推荐

2021年大数据Hadoop（七）：HDFS分布式文件系统简介
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录 HDFS分布式文件系统 ...
Hadoop HDFS分布式文件系统常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理 ...
HDFS分布式文件系统架构
文章目录 HDFS分布式文件系统架构 1.HDFS概论与基础框架结构 HDFS基础介绍 HDFS设计架构 HDFS设计结构-NameNode HDFS设计结构-DataNode HDFS设计结构-Cl ...
大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统
文章目录前言 1.HDFS特点 2.命令行和API操作HDFS (1)Shell命令行客户端 (2)API客户端连接HDFS的两种方式 (3)API客户端上传下载文件 (4)API客户端文件详情及文 ...
HDFS:分布式文件系统(1)
HDFS:分布式文件系统目录 HDFS:分布式文件系统 1.计算机集群结构 2.HDFS优缺点 3.块Block 4.名称节点和数据结点(nameNode[NN]&DateNode[DN]) ...
0.HDFS分布式文件系统
HDFS分布式文件系统 1. Hadoop是什么(20分钟) 1.1 Hadoop架构 HDFS (Hadoop Distributed File System)文件系统:存文件读文件的一个系统 Ha ...
HDFS分布式文件系统具有哪些优点？
随着互联网数据规模的不断增大,对文件存储系统提出了更高的要求,需要更大的容量.更好的性能以及更高安全性的文件存储系统,与传统分布式文件系统一样,HDFS分布式文件系统也是通过计算机网络与节点相连,但也 ...
HDFS 分布式文件系统的搭建与使用
HDFS(Hadoop Distributed File System) 是 Hadoop 的一个重要的模块,它像磁盘阵列一样能够在分布式环境中构建一个文件系统.由于数据块从多个节上存取,也就能突破单 ...
hadoop历史背景hdfs分布式文件系统hadoop的集群模式单机模式伪分布
hadoop历史背景&hdfs分布式文件系统&hadoop的集群模式&单机模式&伪分布 1.hadoop的历史背景 lucense ---->nutch----& ...
彻底理解大数据 HDFS 分布式文件系统，这篇就够了
来源:https://www.cnblogs.com/cainiao-chuanqi/p/11420490.html 文件系统的基本概述文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得 ...

最新文章

热门文章