hdfs shell的基本操作以及hdfsWeb查看文件

在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作

特别注意：访问HDFS目录时，一定要带有/ 否则命令会出错！

hdfs基本操作

1、查询命令

　　hdfs dfs -ls / 查询/目录下的所有文件和文件夹

　　hdfs dfs -ls -R 以递归的方式查询/目录下的所有文件

2、创建文件夹

　　hdfs dfs -mkdir /test 创建test文件夹

3、创建新的空文件

　　hdfs dfs -touchz /aa.txt 在/目录下创建一个空文件aa.txt

4、增加文件

　　hdfs dfs -put aa.txt /test 将当前目录下的aa.txt文件复制到/test目录下（把-put换成-copyFromLocal效果一样-moveFromLocal会移除本地文件）

5、查看文件内容

　　hdfs dfs -cat /test/aa.txt 查看/test目录下文件aa.txt的内容（将-cat 换成-text效果一样）

6、复制文件

　　hdfs dfs -copyToLocal /test/aa.txt . 将/test/aa.txt文件复制到当前目录（.是指当前目录，也可指定其他的目录）

7、删除文件或文件夹

　　hdfs dfs -rm -r /test/aa.txt 删除/test/aa.txt文件（/test/aa.txt可以替换成文件夹就是删除文件夹）

8、重命名文件

　　hdfs dfs -mv /aa.txt /bb.txt 将/aa.txt文件重命名为/bb.txt

9、将源目录中的所有文件排序合并到一个本地文件

　　hdfs dfs -getmerge / local-file 将/目录下的所有文件合并到本地文件local-file中

10、查看hadoop日志的方法 ---tail命令

tail -500 hadoop-root-resourcemanager-VM-0-10-ubuntu.log

11、关闭HDFS

可以使用下面的命令关闭HDFS。

$ stop-dfs.sh

hdfsWeb查看文件

1、概述：

　　在本地的浏览器输入namenode节点服务器的ip或域名+端口（例如：我namenode几点机器ip是132.232.28.164:9870），就可以看到hdfs集群的概述：

2、查看文件：

　　点击导航栏的Utilities按钮，选择查看文件或者日志，选择查看文件之后会出现以下的界面：

3、查看数据节点信息：

　　点击导航栏的Datanodes按钮，然后出现以下页面：

此时假如点击查看具体的数据节点的时候会报错，因为你windows操作系统不能识别node101~node103，此时需要配置下widows的hosts文件，配置完了就好了。hdfs的web操作就说这么多了，剩下的大家有兴趣可以去慢慢的看了

Hadoop HDFS基本操作（ubuntu16.04 、Hadoop 3.0.3）相关推荐

Ubuntu16.04 安装 OpenMPI4.0.0
Ubuntu16.04 安装 OpenMPI4.0.0 文章目录 OpenMPI 简介一.OpenMPI 1.0.0版本下载二.OpenMPI 安装步骤 1.解压并进行配置 2.Build 并安装 ...
ubuntu16.04 在cuda9.0环境下编译安装opencv2.4.13.7
ubuntu16.04 在cuda9.0环境下编译安装opencv2.4.13.7 安装步骤: 1.安装cuda9.0:https://blog.csdn.net/zhuangwu116/articl ...
ubuntu16.04 安装cuda9.0+cudnn7.0.5+tensorflow+nvidia-docker配置GPU服务
[摘要] docker很好用,但是在GPU服务器上使用docker却比较复杂,需要一些技巧,下面将介绍一下在ubuntu16.04环境下的GPU-docker环境搭建过程. 第一步: 删除之前的nvi ...
ubuntu16.04+gtx1080ti+cuda10.0+cudnn7.4.2/cudnn7.6.4 环境配置
配置:ubuntu16.04+gtx1080ti+cuda10.0+cudnn7.4.2/cudnn7.6.4+显卡驱动NVIDIA-Linux-x86_64-410.78 tensorflow1.1 ...
hadoop搭建在Ubuntu16.04上
一.环境 Ubuntu16.04.Hadoop2.7.3.java8 系统安装完成后建议先更新一下 apt源 1.复制原文件备份 sudo cp /etc/apt/source.list /etc/a ...
Anaconda ubuntu16.04 Cuda 8.0安装pytorch
Pytorch 安装 Pytorch安装真的太让人省心了,在anaconda的环境下进行安装,只需要一个命令具体命令请查看官网pytorch 找到适合你的版本进行安装本机环境: anaconda3 ...
Ubuntu16.04编译android6.0.1源码记录
目录目录一.安装环境二.下载源码 1.下载repo 2.初始化repo 3.同步源代码关于驱动三.编译源码四.导入源码到AS 五.刷入真机六.修改源码总结: 3.同步源代码关于驱动 ...
Ubuntu16.04+GT720M + Cuda8.0+py-faster-rcnn(caffe)
Ubuntu16.04 + GT 720M + Cuda8.0+ Py-faster-rcnn(caffe) Cuda8.0 安装 cuda 的安装其实挺简单的,有两种安装方法,一种使用deb文件,另 ...
编译内核启用KASan动态检测内核内存错误功能(ubuntu16.04 4.4.0内核编译升级到linux-4.4.252版本)
目录一.编译内核并配置支持KAsan 1.下载源码 2.安装编译内核必须的库 3.清理之前内核编译生成及相关配置 4.配置内核参数 5.开始编译 6.模块(驱动)安装 7.安装新编译的内核 8.修改 ...

Hadoop HDFS基本操作（ubuntu16.04 、Hadoop 3.0.3）