1.start-all.sh开启线程

hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名 9000代表端口号 /就代表根目录 /user就是user文件夹)

hadoop fs -ls /user(hdfs://cloud4:9000可省略)

2. -ls/-lsr 查看目录下的文件信息

hadoop fs -ls /  查看根目录下文件与文件夹

hadoop fs -lsr /    递归查看根目录下所有文件与文件夹

hadoop fs -ls    默认查看hdfs下的/user/<当前用户>  例如:/user/root  (很方便的)

3. –touchz 创建文件

可以创建一个文件

hadoop fs -touchz /hello  (创建一个hello文件)

4. –mkdir 创建文件夹

(linux中创建多级目录 mkdir –p   p表示parents)

可以创建一个或者多个文件夹(hadoop则不需要-p)

hadoop fs -mkdir /user  (创建一个user文件夹 )

5. -text/-cat查看文件内容

hadoop fs -text /hello

hadoop fs -cat /hello

6. -mv 移动/重命名

该命令选项表示移动 hdfs 的文件到指定的 hdfs 目录中。后面跟两个路径,第一个表示源文件,第二个表示目的目录

hadoop fs -mv /hello /user(文件到文件夹:是移动)

hadoop fs -mv /hello /user/hello(文件到文件:是重命名)

7. -cp 复制

该命令选项表示复制 hdfs 指定的文件到指定的 hdfs 目录中。后面跟两个路径,第

一个是被复制的文件,第二个是目的地

hadoop fs -cp /user/hello /user/root

8. -rm/-rmr 删除文件

-rm:删除文件/空白文件夹

该命令选项表示删除指定的文件或者空目录

hadoop fs -rm /user/hello

-rmr:递归删除

该命令选项表示递归删除指定目录下的所有子目录和文件

hadoop fs -rm /user

9. -put 上传文件

该命令选项表示把 linux 上的文件复制到 hdfs 中

hadoop fs -put hadoop-env.sh /user

将当前linux目录下的hadoop-env.sh文件,上传到/user(hdfs服务器上的user目录下)

hadoop fs -put hadoop-env.sh  /你叫起的名字(hello—文件名)

例如:hadoop fs -put hadoop-env.sh /hello

10.-copyFromLocal 从本地复制

用法与-put一样

hadoop fs -copyFromLocal hadoop-env.sh /user

11 -moveFromLocal从本地移动

该命令表示把文件从 linux 上移动到 hdfs 中

hadoop fs -moveFromLocal /home/repine/hehe.txt /user

12. -getmerge 合并下载到本地

该命令选项的含义是把 hdfs 指定目录下的所有文件内容合并到本地 linux 的文件中

hadoop fs -getmerge /user /home/repine/abc.txt     表示把user目录下所有文件内容复制到linux下 /home/repine/abc.txt中

13. -setrep/-setrep -R/-setrep -R -w 设置副本数量

该命令选项是修改已保存文件的副本数量,后面跟副本数量,再跟文件路径

hadoop fs -setrep 2 /user/hehe.txt   设置/user/hehe.txt副本数量为2

如果最后的路径表示文件夹,那么需要跟选项-R,表示对文件夹中的所有文件都修改副本

hadoop fs -setrep -R 2 /user   设置/user下所有文件(不是文件夹)的副本数量为2

还有一个选项是-w,表示等待副本操作结束才退出命令

hadoop fs -setrep -R -w 1 /user/hehe.txt

14. -du统计目录下个文件大小

hadoop fs -du /    查看根目录下的各个文件的大小

hadoop fs -dus /   汇总统计目录下所有文件的总大小(也就是当前文件夹的大小)

15.-count统计文件(夹)数量

hadoop fs -count /usr  递归统计当前文件下的所有信息:数字代表(文件夹总数量、文件总数量、文件总大小信息)

hadoop fs -lsr /usr    验证信息

16. –chmod/-chmod -R 修改文件权限

该命令选项的使用类似于 linux 的 shell 中的 chmod 用法,作用是修改文件的权限

hadoop fs - chmod 777 /user/hehe.txt  修改该文件的权限

如果加上选项-R,可以对文件夹中的所有文件修改权限

hadoop fs – chmod -R 777 /user  修改该文件夹下所有文件的权限

17. hadoop jar 导jar在命令行运行

//打包运行程序必备宝典

job.setJarByClass(WordCountApp.class);

在linux下 :

hadoop jar    /linux下路径/XXX.jar     /hadoop执行jar的文件或者文件夹   /hadoop下存放目录

18、报告HDFS的基本统计信息

bin/hadoop dfsadmin -report

19、安全模式

bin/hadoop dfsadmin -safemode leave/enter/get/wait

20、将HDFS中的文件复制到本地系统中

bin/hadoop dfs -get in getin

将HDFS中的in文件复制到本地系统并命名为getin

来自:http://my.oschina.net/repine/blog/268278

hadoop基本命令相关推荐

  1. Hadoop基本命令(记一次Hadoop课后实验)

    实验平台: 操作系统:Centos7 Hadoop 版本:2.10.0 JDK 版本:8 实验目的 理解 HDFS 在 Hadoop 体系结构中的角色 熟练使用 HDFS 操作常用的 Shell 命令 ...

  2. Spark+hadoop+mllib及相关概念与操作笔记

    Spark+hadoop+mllib及相关概念与操作笔记 作者: lw 版本: 0.1 时间: 2016-07-18 1.调研相关注意事项 a) 理解调研 调研的意义在于了解当前情况,挖掘潜在的问题, ...

  3. 支持kubernetes原生Spark 与其他应用的结合(mysql,postgresql,oracle,hdfs,hbase)

    安装运行支持kubernetes原生调度的Spark程序:https://blog.csdn.net/luanpeng825485697/article/details/83651742 docker ...

  4. Hadoop HDFS 基本命令

    Hadoop HDFS 基本命令 hadoop fs 具体命令 hadoop fs -help:输出这个命令参数  hadoop fs ‐help cat ­ls: 显示目录信息hadoop fs ‐ ...

  5. hadoop的基本命令、java程序处理hd…

    基本命令: hadoop fs -命令 (这里命令一般和Linux中的命令一样) ※这里一定要在~/.bashrc中进行配置,不然不会生效,在配置文件中加上下面语句 export HADOOP_HOO ...

  6. hadoop fs 基本命令

    今天由于工作需要,需要使用到hadoop fs的一些命令,就简单的总结了下: 1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的 ...

  7. 【Hadoop】HDFS基本命令

    1. 创建目录 [grid@master ~]$ hadoop fs -mkdir /test 2. 查看文件列表 [grid@master ~]$ hadoop fs -ls / Found 3 i ...

  8. hadoop(五)-hdfs命令行基本命令

    HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对HDFS的操作命令类似于Linux的shell ...

  9. Hadoop集群的基本操作(二:HBase的基本操作)

    实验 目的 要求 目的: 1.HBase的基本应用 要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: 表创建.数据查询等数据 ...

最新文章

  1. 连载MariaDB Crash Cource中文笔记(第二)
  2. 加法器的verilog实现(串行进位、并联、超前进位、流水线)
  3. [css] 你对伪类了解多少?分为几大类?
  4. [密码学基础][每个信息安全博士生应该知道的52件事][Bristol52]50.什么是BLS基于对的签名方案?
  5. [C++] pair
  6. 由先序+后序遍历确定序列是否唯一并输出一个中序序列
  7. 虎课网腾小渔C4DR21基础入门,OC渲染设置
  8. 易基因 - 外泌体let-7d-3p和miR-30d-5p作为宫颈癌及其癌前病变无创筛查的诊断标志物|早期筛查
  9. 免费网站地图制作工具 —— Sitemap X
  10. 一文了解线控制动市场格局——7家公司10款产品盘点
  11. 微信小游戏开发实战教程2-使用表格处理数据
  12. opengl画圆柱体、圆锥等并使用四元数旋转
  13. python中randon随机数
  14. 如何使用netstat命令验证DDOS入侵?
  15. 工业4.0中的人-信息-物理系统集成(HSI):设计与评估方法
  16. 个人微信小程序云开发总结心得
  17. 方程的近似解c语言程序,C语言实现二分法(方程近似解)
  18. 内存完整性已关闭,你的设备可能易受攻击已解决之处理方法
  19. 华硕天选3 win11+ubuntu20.04双硬盘双系统配置(包括ubuntu重启后无法成功进入、没有wifi图标的设置)
  20. Vue使用echarts(表格工具)

热门文章

  1. ASP.NET Core 上传多文件 超简单教程
  2. 不得不知的小程序基本知识
  3. LeetCode-Reverse Integer
  4. Android Doze模式源码分析
  5. Unieap3.5错误收集
  6. C-二维数组,多维数组
  7. 让Updatepanel中的控件触发整个页面Postback
  8. 深度linux卡在扫描硬盘,linux使用badblocks命令扫描硬盘排除故障
  9. simplexmlelement类设置编码_「软帝学院」:2019java五大常用工具类整理
  10. c语言中的tanh函数,tanh()函数,用于C ++中的复数