hadoop基本命令
1.start-all.sh开启线程
hadoop fs -ls hdfs://cloud4:9000/user (cloud4表示主机名 9000代表端口号 /就代表根目录 /user就是user文件夹)
hadoop fs -ls /user(hdfs://cloud4:9000可省略)
2. -ls/-lsr 查看目录下的文件信息
hadoop fs -ls / 查看根目录下文件与文件夹
hadoop fs -lsr / 递归查看根目录下所有文件与文件夹
hadoop fs -ls 默认查看hdfs下的/user/<当前用户> 例如:/user/root (很方便的)
3. –touchz 创建文件
可以创建一个文件
hadoop fs -touchz /hello (创建一个hello文件)
4. –mkdir 创建文件夹
(linux中创建多级目录 mkdir –p p表示parents)
可以创建一个或者多个文件夹(hadoop则不需要-p)
hadoop fs -mkdir /user (创建一个user文件夹 )
5. -text/-cat查看文件内容
hadoop fs -text /hello
hadoop fs -cat /hello
6. -mv 移动/重命名
该命令选项表示移动 hdfs 的文件到指定的 hdfs 目录中。后面跟两个路径,第一个表示源文件,第二个表示目的目录
hadoop fs -mv /hello /user(文件到文件夹:是移动)
hadoop fs -mv /hello /user/hello(文件到文件:是重命名)
7. -cp 复制
该命令选项表示复制 hdfs 指定的文件到指定的 hdfs 目录中。后面跟两个路径,第
一个是被复制的文件,第二个是目的地
hadoop fs -cp /user/hello /user/root
8. -rm/-rmr 删除文件
-rm:删除文件/空白文件夹
该命令选项表示删除指定的文件或者空目录
hadoop fs -rm /user/hello
-rmr:递归删除
该命令选项表示递归删除指定目录下的所有子目录和文件
hadoop fs -rm /user
9. -put 上传文件
该命令选项表示把 linux 上的文件复制到 hdfs 中
hadoop fs -put hadoop-env.sh /user
将当前linux目录下的hadoop-env.sh文件,上传到/user(hdfs服务器上的user目录下)
hadoop fs -put hadoop-env.sh /你叫起的名字(hello—文件名)
例如:hadoop fs -put hadoop-env.sh /hello
10.-copyFromLocal 从本地复制
用法与-put一样
hadoop fs -copyFromLocal hadoop-env.sh /user
11 -moveFromLocal从本地移动
该命令表示把文件从 linux 上移动到 hdfs 中
hadoop fs -moveFromLocal /home/repine/hehe.txt /user
12. -getmerge 合并下载到本地
该命令选项的含义是把 hdfs 指定目录下的所有文件内容合并到本地 linux 的文件中
hadoop fs -getmerge /user /home/repine/abc.txt 表示把user目录下所有文件内容复制到linux下 /home/repine/abc.txt中
13. -setrep/-setrep -R/-setrep -R -w 设置副本数量
该命令选项是修改已保存文件的副本数量,后面跟副本数量,再跟文件路径
hadoop fs -setrep 2 /user/hehe.txt 设置/user/hehe.txt副本数量为2
如果最后的路径表示文件夹,那么需要跟选项-R,表示对文件夹中的所有文件都修改副本
hadoop fs -setrep -R 2 /user 设置/user下所有文件(不是文件夹)的副本数量为2
还有一个选项是-w,表示等待副本操作结束才退出命令
hadoop fs -setrep -R -w 1 /user/hehe.txt
14. -du统计目录下个文件大小
hadoop fs -du / 查看根目录下的各个文件的大小
hadoop fs -dus / 汇总统计目录下所有文件的总大小(也就是当前文件夹的大小)
15.-count统计文件(夹)数量
hadoop fs -count /usr 递归统计当前文件下的所有信息:数字代表(文件夹总数量、文件总数量、文件总大小信息)
hadoop fs -lsr /usr 验证信息
16. –chmod/-chmod -R 修改文件权限
该命令选项的使用类似于 linux 的 shell 中的 chmod 用法,作用是修改文件的权限
hadoop fs - chmod 777 /user/hehe.txt 修改该文件的权限
如果加上选项-R,可以对文件夹中的所有文件修改权限
hadoop fs – chmod -R 777 /user 修改该文件夹下所有文件的权限
17. hadoop jar 导jar在命令行运行
//打包运行程序必备宝典
job.setJarByClass(WordCountApp.class);
在linux下 :
hadoop jar /linux下路径/XXX.jar /hadoop执行jar的文件或者文件夹 /hadoop下存放目录
18、报告HDFS的基本统计信息
bin/hadoop dfsadmin -report
19、安全模式
bin/hadoop dfsadmin -safemode leave/enter/get/wait
20、将HDFS中的文件复制到本地系统中
bin/hadoop dfs -get in getin
将HDFS中的in文件复制到本地系统并命名为getin
来自:http://my.oschina.net/repine/blog/268278
hadoop基本命令相关推荐
- Hadoop基本命令(记一次Hadoop课后实验)
实验平台: 操作系统:Centos7 Hadoop 版本:2.10.0 JDK 版本:8 实验目的 理解 HDFS 在 Hadoop 体系结构中的角色 熟练使用 HDFS 操作常用的 Shell 命令 ...
- Spark+hadoop+mllib及相关概念与操作笔记
Spark+hadoop+mllib及相关概念与操作笔记 作者: lw 版本: 0.1 时间: 2016-07-18 1.调研相关注意事项 a) 理解调研 调研的意义在于了解当前情况,挖掘潜在的问题, ...
- 支持kubernetes原生Spark 与其他应用的结合(mysql,postgresql,oracle,hdfs,hbase)
安装运行支持kubernetes原生调度的Spark程序:https://blog.csdn.net/luanpeng825485697/article/details/83651742 docker ...
- Hadoop HDFS 基本命令
Hadoop HDFS 基本命令 hadoop fs 具体命令 hadoop fs -help:输出这个命令参数 hadoop fs ‐help cat ls: 显示目录信息hadoop fs ‐ ...
- hadoop的基本命令、java程序处理hd…
基本命令: hadoop fs -命令 (这里命令一般和Linux中的命令一样) ※这里一定要在~/.bashrc中进行配置,不然不会生效,在配置文件中加上下面语句 export HADOOP_HOO ...
- hadoop fs 基本命令
今天由于工作需要,需要使用到hadoop fs的一些命令,就简单的总结了下: 1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的 ...
- 【Hadoop】HDFS基本命令
1. 创建目录 [grid@master ~]$ hadoop fs -mkdir /test 2. 查看文件列表 [grid@master ~]$ hadoop fs -ls / Found 3 i ...
- hadoop(五)-hdfs命令行基本命令
HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对HDFS的操作命令类似于Linux的shell ...
- Hadoop集群的基本操作(二:HBase的基本操作)
实验 目的 要求 目的: 1.HBase的基本应用 要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: 表创建.数据查询等数据 ...
最新文章
- 连载MariaDB Crash Cource中文笔记(第二)
- 加法器的verilog实现(串行进位、并联、超前进位、流水线)
- [css] 你对伪类了解多少?分为几大类?
- [密码学基础][每个信息安全博士生应该知道的52件事][Bristol52]50.什么是BLS基于对的签名方案?
- [C++] pair
- 由先序+后序遍历确定序列是否唯一并输出一个中序序列
- 虎课网腾小渔C4DR21基础入门,OC渲染设置
- 易基因 - 外泌体let-7d-3p和miR-30d-5p作为宫颈癌及其癌前病变无创筛查的诊断标志物|早期筛查
- 免费网站地图制作工具 —— Sitemap X
- 一文了解线控制动市场格局——7家公司10款产品盘点
- 微信小游戏开发实战教程2-使用表格处理数据
- opengl画圆柱体、圆锥等并使用四元数旋转
- python中randon随机数
- 如何使用netstat命令验证DDOS入侵?
- 工业4.0中的人-信息-物理系统集成(HSI):设计与评估方法
- 个人微信小程序云开发总结心得
- 方程的近似解c语言程序,C语言实现二分法(方程近似解)
- 内存完整性已关闭,你的设备可能易受攻击已解决之处理方法
- 华硕天选3 win11+ubuntu20.04双硬盘双系统配置(包括ubuntu重启后无法成功进入、没有wifi图标的设置)
- Vue使用echarts(表格工具)
热门文章
- ASP.NET Core 上传多文件 超简单教程
- 不得不知的小程序基本知识
- LeetCode-Reverse Integer
- Android Doze模式源码分析
- Unieap3.5错误收集
- C-二维数组,多维数组
- 让Updatepanel中的控件触发整个页面Postback
- 深度linux卡在扫描硬盘,linux使用badblocks命令扫描硬盘排除故障
- simplexmlelement类设置编码_「软帝学院」:2019java五大常用工具类整理
- c语言中的tanh函数,tanh()函数,用于C ++中的复数