Hadoop基础-HDFS集群中大数据开发常用的命令总结

　　　　　　　　　　　　　　Hadoop基础-HDFS集群中大数据开发常用的命令总结

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

　　本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令，如果想要了解更多，比如滚动编辑，融合镜像文件，目录的空间配额等运维操作，请参考我之前的笔记：https://www.cnblogs.com/yinzhengjie/p/9074730.html

1>.基本语法

[root@node105 ~]# hadoop fs

2>.查看hdfs的某个命令的帮助信息

[root@node105 ~]# hadoop fs -help put

3>.显示某个目录的信息

[root@node105 ~]# hadoop fs -ls /

4>.在hdfs上创建目录

[hdfs@node105 ~]$ hadoop fs -mkdir /data

5>.将本地的文件剪切到hdfs集群上

6>.查看文件内容

[hdfs@node105 ~]$ hadoop fs -cat /data/yinzhengjie.blog

7>.追加一个文件到hdfs中已经存在的一个文件末尾

[hdfs@node105 ~]$ hadoop fs -appendToFile ./yinzhengjie.log /data/yinzhengjie.blog

8>.显示一个文件的末尾

[hdfs@node105 ~]$ hadoop fs -tail /data/yinzhengjie.blog

9>.修改权限

[hdfs@node105 ~]$ hadoop fs -chmod 755 /data/yinzhengjie.blog

10>.修改文件的所属者

[hdfs@node105 ~]$ hadoop fs -chown root:root /data/yinzhengjie.blog

11>.从本地文件系统拷贝文件到hdfs集群中

[hdfs@node105 ~]$ hadoop fs -copyFromLocal ./yinzhengjie.log  /data

12>.从hdfs集群拷贝数据到本地

[hdfs@node105 ~]$ hadoop fs -copyToLocal /data/yinzhengjie.blog yinzhengjie.blog-2

13>.在hdfs集群中从一个目录拷贝到另外一个目录中

[hdfs@node105 ~]$ hadoop fs -cp /data/yinzhengjie.blog /yinzhengjie

14>.在hdfs就群中，从一个目录移动到另外一个目录

hdfs@node105 ~]$ hadoop fs -mv /yinzhengjie/yinzhengjie.blog /data/yinzhengjie.blog-2

15>.下载文件到本地

[hdfs@node105 ~]$ hadoop fs -get /data/yinzhengjie.blog-2 ./

16>.将hdfs中多个文件的内容下载到本地并仅生成一个文件

[hdfs@node105 ~]$ hadoop fs -getmerge /yinzhengjie-data/* ./yinzhengjie.log

17>.将本地文件上传的hdfs指定目录并改名

[hdfs@node105 ~]$ hadoop fs -put ./yinzhengjie.log /yinzhengjie-data/merge.log

18>.删除hdfs集群中国的某个文件或文件夹

[hdfs@node105 ~]$ hadoop fs -rm /yinzhengjie-data/yinzhengjie.blog-2

19>.删除空的文件夹

[hdfs@node105 ~]$ hadoop fs -rmdir /data

20>.统计hdfs文件系统可用空间信息

[root@calculation101 ~]# hadoop fs -df -h /

21>.统计文件夹的大小信息

[hdfs@calculation101 ~]$ hadoop fs -du  -h /user/

22>.设置hdfs文件中的副本数量

[root@calculation101 ~]# hadoop fs -setrep 10 /user/yinzhengjie_output/part-m-00000

Hadoop基础-HDFS集群中大数据开发常用的命令总结相关推荐

Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统
阅读目录(Content) 一.HDFS中数据块概述 1.1.HDFS集群中数据块存放位置 1.2.数据块(data block)简介 1.3.对分布式文件系统中的块进行抽象会带来很多好处二.Jav ...
Hadoop 3.x搭建基础HDFS集群
与Hadoop 2.x相比,它有一些新的特性如下: 基于JDK 1.8 HDFS可擦除编码 MR Native Task优化基于Cgroup的内存隔离和IO Disk隔离更改分配容器资源Conta ...
大数据开发技术课程报告（搭建Hadoop完全分布式集群操作集群）
文章目录大数据开发技术课程报告内容及要求一. 项目简介和实验环境二. 虚拟机的各项准备工作三. 安装JDK并配置环境变量四. 安装Hadoop并配置环境变量五. 配置Hadoop完全分布式 ...
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络为虚拟机普通用户配置 ...
【大数据之Hadoop】三十一、HDFS集群迁移之Apache和Apache集群间数据拷贝
数据迁移场景: 冷热集群数据分类存储:集群数据整体迁移:数据的准实时同步,目的在于数据的双备份可用. 数据迁移需要考虑的因素: 带宽.性能.增量同步(原始数据文件进行了追加写.被删除或重命名) ...
二、大数据之Hadoop完全分布式集群搭建
目录 Hadoop简介: (1)安装JDK和Hadoop (2)配置环境变量 (3)集群部署规划 (4)配置免密登录 (5)修改Hadoop配置文件 1.vim hdfs-site.xml 2.vim ...
数据中心安全风控_平安银行Hadoop集群跨数据中心迁移项目告捷项目骨干专访
Hadoop集群跨数据中心迁移平安银行东莞数据中心建成平安银行科技中心零售大数据团队平安银行科技中心科技运营中心群迁告捷经过平安银行科技运营中心和大数据团队的不懈努力,作为平安银行AI战略转 ...
大数据系列(一)之hadoop介绍及集群搭建
大数据系列(一)之hadoop介绍及集群搭建文章最早发布来源,来源本人原创初版,同一个作者: https://mp.weixin.qq.com/s/fKuKRrpmHrKtxlCPY9rEYg 系列 ...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本主机名 ip 对应角色 mas ...

Hadoop基础-HDFS集群中大数据开发常用的命令总结

Hadoop基础-HDFS集群中大数据开发常用的命令总结相关推荐

最新文章

热门文章