nfs挂载hdfs，实现云存储

　　本来不知道nfs是啥，因为群里的Harry童鞋有个问题，如何把本地目录挂载到hdfs上，搞什么云存储，说那么巧就是那么巧，HDP支持nfs，然后我就照着文档的说明去做，最后弄出来了。

　　1.修改机器上的hdfs-default.xml

　　 vi /share/lib/hadoop/conf/hdfs-default.xml

　　如果没有hdfs-default就找hdfs-site.xml 设置为如下内容，hdp的默认值是0

<property><name>dfs.access.time.precision</name><value>3600000</value>
</property>

　　2.修改hdfs-site.xml，HDP的默认值比较大，4096的，这里就不修改了

<property><name>dfs.datanode.max.xcievers</name><value>1024</value>
</property>

　　3.设置nf3的临时存储目录

<property><name>dfs.nfs3.dump.dir</name><value>/tmp/.hdfs-nfs</value>
</property>

　　4.nfs本身也有portmap和nfs3等东西，但是我们不用它们的，我们用hadoop本身自带的，分别执行以下的命令

hadoop portmap
hadoop nfs3

　　或者

hadoop-daemon.sh start portmap
hadoop-daemon.sh start nfs3

　　使用上面的命令启动的，可以用以下的命令停止

hadoop-daemon.sh stop nfs3
hadoop-daemon.sh stop portmap

　　5.安装nfs yum install nfs-utils

　　6.然后分别执行以下两句命令检查一下

　　rpcinfo -p 127.0.0.1

program vers proto port
100005 1 tcp 4242 mountd
100005 2 udp 4242 mountd
100005 2 tcp 4242 mountd
100000 2 tcp 111 portmapper
100000 2 udp 111 portmapper
100005 3 udp 4242 mountd

　　showmount -e 127.0.0.1

Exports list on $nfs_server_ip:
/ (everyone)

　　7.把本地的home/cenyuhai/nfs和hdfs做映射，做完映射之后，hdfs上的目录会出现在本地的/home/cenyuhai/nfs目录中

mount -t nfs -o vers=3,proto=tcp,nolock 127.0.0.1:/ /home/cenyuhai/nfs

　　然后我们可以看到nfs下面出现了这些目录，它们就是我在hdfs上面的目录。

转载于:https://www.cnblogs.com/cenyuhai/p/3320075.html

nfs挂载hdfs，实现云存储相关推荐

linux nfs文件挂载模拟云存储
背景产品上线前兼容性测试,云存储未到位: 系统:SUSE Linux Enterprise Server 11 SP1 解决方法其中一个服务器A开放nfs服务,模拟云存储,其它服务器挂载A的目录, ...
k8s挂载目录_云原生存储详解：容器存储与 K8s 存储卷
作者 | 阚俊宝阿里云技术专家导读:云原生存储详解系列文章将从云原生存储服务的概念.特点.需求.原理.使用及案例等方面,和大家一起探讨云原生存储技术新的机遇与挑战.本文为该系列文章的第二篇,会对容 ...
线下WINDOWS主机挂载华为云存储
解决方案弹性文件服务此方案较为简单,适用于打通VPN的本地局域网主机,windows/linux都可以使用对象存储服务对象存储服务稍复杂,可以通过obsfs并行文件系统工具挂载到linux系统 ...
网络云存储技术Windows server 2012 （项目十三 NFS共享的配置与管理）
网络云存储技术Windows server 2012 (项目十三 NFS共享的配置与管理) 目录前言一.项目背景二.项目实训题三.环境准备四.操作步骤前言网络存储技术,是以互联网为载体实 ...
华为云FusionInsight MRS HDFS组件数据存储策略配置指导
操作场景默认情况下,HDFS NameNode自动选择DataNode保存数据的副本.在实际业务中,可能存在以下场景: DataNode上可能存在不同的存储设备,数据需要选择一个合适的存储设备分级存 ...
主流分布式文件系统对比：区块链分布式技术引发云存储革命？HDFS,GFS,GPFS,FusionStorage,IPFS
https://blog.csdn.net/weixin_45494421/article/details/98760782 概要:常见的分布式文件系统有GFS.HDFS等,也有新兴的基于区块链IPF ...
EasyCVR视频云存储的架构解析与Sharelist云存挂载方法介绍
一.什么是视频云存储? 视频云存储主要用于为上层应用提供视频文件.结构化信息.事件信息的相关服务.云存储节点分为数据文件存储节点和结构化数据存储节点.数据文件存储节点主要用于视频.图片的存储.结构化数 ...
云服务器下，与嵌入式板子传递文件的几种方式 |FTP SFTP SCP TFTP NFS | 以及NFS 挂载失败常见问题
云服务器下,与嵌入式板子传递文件的几种方式一.ftp.sftp.scp 1.ftp 2.sftp 3.scp 二.tftp 1.下载tftp 2.创建tftp服务器的文件目录 3.修改配置文件 /e ...
七牛云存储挂载到阿里云ECS上的目录下，达到扩容磁盘的效果
七牛云存储挂载到阿里云ECS上,达到扩容磁盘的效果 1. 安装环境 yum install automake fuse fuse-devel gcc-c++ git libcurl-devel lib ...

nfs挂载hdfs，实现云存储

nfs挂载hdfs，实现云存储相关推荐

最新文章

热门文章