hadoop常用命令
环境配置参考链接:
https://blog.csdn.net/u011596455/article/details/53115410
一、hadoop所在目录
cd usr/local/hadoop
二、启动hadoop
bash ./starth.sh
% 运行start-dfs.sh
% 运行start-yarn.sh
启动dfs,浏览器查看:
172.16.31.17:50070
启动脚本,浏览器查看:
172.16.31.17:8088
停止脚本:
bash ./stoph.sh
三、常用命令
参考链接:
https://www.cnblogs.com/LHWorldBlog/p/8514994.html
1.显示hadoop目录结构
hdfs dfs -ls -R /
2.在hadoop指定目录内创建新目录
hdfs dfs -mkdir /winnie
3.将本地文件夹存储至hadoop
hdfs dfs -put [本地目录] [hadoop目录]
4.将本地文件存储至hadoop
hdfs dfs -put [本地地址] [hadoop目录]
5.查看指定目录下内容
hdfs dfs -ls [文件目录]
6.打开某个已存在文件
hdfs dfs -cat [file_path]
7.在hadoop指定目录下新建一个空文件
hdfs dfs -touchz /winnie/test03.txt
8.将hadoop上某个文件重命名
hdfs dfs -mv /winnie/test03.txt /winnie/test.txt
9.将hadoop上某个文件down至本地已有目录下
hdfs dfs -get [文件目录] [本地目录]
10.将hadoop指定目录下所有内容保存为一个文件,同时down至本地
hdfs dfs -getmerge /winnie/hadoop-file /home/spark/hadoop-file/test.txt
11.删除hadoop上指定文件
hdfs dfs -rm [文件地址]
12.删除hadoop上指定文件夹(包含子目录等)
hdfs dfs -rm -r [目录地址]
hdfs dfs -rmr [目录地址]
13.将正在运行的hadoop作业kill掉
hadoop job -kill [job-id]
14.查看帮助
hdfs dfs -help
四、安全模式
1.退出安全模式
NameNode在启动时会自动进入安全模式,安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。
系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待几十秒即可,也可通过下面的命令退出安全模式:
/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave
2.进入安全模式
在必要情况下,可以通过以下命令吧HDFS置于安全模式:
/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter
五、补充
1.对hdfs操作的命令格式是hdfs dfs
1.1 -ls 表示对hdfs下一级目录的查看
1.2 -lsr 表示对hdfs目录的递归查看
1.3 -mkdir 创建目录
1.4 -put 从Linux上传文件到hdfs
1.5 -get 从hdfs下载文件到linux
1.6 -text 查看文件内容
1.7 -rm 表示删除文件
1.7 -rmr 表示递归删除文件
2.hdfs在对数据存储进行block划分时,如果文件大小超过block,那么按照block大小进行划分;不如block size的,划分为一个块,是实际数据大小。
3.hadoop常用命令:
hdfs dfs 查看Hadoop HDFS支持的所有命令
hdfs dfs –ls 列出目录及文件信息
hdfs dfs –lsr 循环列出目录、子目录及文件信息
hdfs dfs –tail /user/sunlightcs/test.txt 查看最后1KB的内容 hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt 从本地文件系统复制文件到HDFS文件系统,等同于put命令
hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt 从HDFS文件系统复制文件到本地文件系统,等同于get命令 hdfs dfs –chgrp [-R] /user/sunlightcs 修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样
hdfs dfs –chown [-R] /user/sunlightcs 修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行
hdfs dfs –chmod [-R] MODE /user/sunlightcs 修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行hdfs dfs –count [-q] PATH 查看PATH目录下,子目录数、文件数、文件大小、文件名/目录名
hdfs dfs –cp SRC [SRC …] DST 将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录
hdfs dfs –du PATH 显示该目录中每个文件或目录的大小
hdfs dfs –dus PATH 类似于du,PATH为目录时,会显示该目录的总大小 hdfs dfs –expunge 清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除 hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl] 获取由SRC指定的所有文件,将它们合并为单个文件,并写入本地文件系统中的LOCALDST,选项addnl将在每个文件的末尾处加上一个换行符 hdfs dfs –test –[ezd] PATH 对PATH进行如下类型的检查:-e PATH是否存在,如果PATH存在,返回0,否则返回1;-z 文件是否为空,如果长度为0,返回0,否则返回1; -d 是否为目录,如果PATH为目录,返回0,否则返回1 hdfs dfs –text PATH 显示文件的内容,当文件为文本文件时,等同于cat;文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩 hdfs dfs –help ls 查看某个[ls]命令的帮助文档
hadoop常用命令相关推荐
- hadoop常用命令总结
2019独角兽企业重金招聘Python工程师标准>>> 一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程 s ...
- 【Hadoop篇】--Hadoop常用命令总结
[Hadoop篇]--Hadoop常用命令总结 一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程 start-all.sh等价 ...
- Hadoop常用命令介绍
下面分享一篇 常用的Hadoop命令介绍,希望对Hadoop初学者的朋友有所帮助~ Hadoop常用命令介绍
- Hadoop系列-Hadoop常用命令(五)
Hadoop 常用命令 所有的 Hadoop 命令均由 bin/hadoop 脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述. 用法: hadoop [--config confdir] ...
- 虚拟机集群启动,Hadoop常用命令
虚拟机集群启动,Hadoop常用命令 (一).启动hdfs 1,namenode节点第一次初始化 在namenode安装节点执行命令: hadoop namenode -format 2,单节点启动. ...
- linux与hadoop常用命令梳理
我们使用数据库进行分析和建模,最直接的是使用本地保存好的文件直接读取进行统计等操作,实际工作中一般使用存储数据的数据平台进行操作,比较方便的是用可视化平台比如大数据交互平台hue,没当没有可视化平台的 ...
- Linux系统下的hadoop常用命令
目录 创建目录 查看目录下内容,包括文件名,权限,所有者,大小和修改时间 将本地文件或目录上传到HDFS中的路径 从本地复制文件到hdfs文件系统(与-put命令相似) 将文件或目录从HDFS中的路径 ...
- hadoop常用命令和端口说明
一.常用命令 查看版本信息 hadoop version 查看HDFS下面包含的文件目录 hdfs dfs -ls / HDFS中创建一个文件目录input hdfs dfs -mkdir /inpu ...
- Hadoop常用命令参数介绍
常用命令 - help 功能:输出这个命令参数手册 - ls 功能:显示目录信息 示例:hadoop fs -ls hdfs://hadoop-hello/ 备注:这些参数中,所有的hdfs路径都可以 ...
最新文章
- WEB文件管理器2.0版
- 单个正态总体均值的区间估计_考研数学闭关修炼习题讲解(3536)统计、估计与检验...
- Linux之dd命令详解
- nodjes 支付宝接口 - 优惠卷
- 1.极限——介绍_1
- 日历控件如何切换语言 vant_看看甘特图控件VARCHART XGantt的亮点
- matlab中的级数怎默算_matlab绘图小技巧-图像光滑数据取点
- 695.岛屿的最大面积(力扣leetcode) 博主可答疑该问题
- CSS-返回顶部代码
- 激励机制中的经济学和博弈论模型(2)
- 零基础小白如何系统的自学网络安全(包含学习路线、工作方向)
- ewebeditor漏洞大全
- matlab运行很多columns,columns函数的使用方法
- 若依项目整合eCharts实现图表统计功能
- tensorflow2.0实现DeepFM
- scrapy框架之shell
- Java POI导出Excel
- 那些会讲ppt的技术人有多爽?演讲的6个步骤
- OSPF协议(NA、NP知识)
- Python 利用4行代码实现图片灰度化