hdfs上文件常用命令
为了每次执行Hadoop的时候,不必须要前者加上hadoop的安装的绝对路径,要做的事情就是将其安装路径加入到PATH中,这样就可以直接执行hadoop命令。
如下:
vim /etc/profile中加入一句
export HADOOP_INSTALL=/usr/local/hadoop1.1.2
注意这里要写HADOOP_INSTALL,因为如果写HADOOP_HOME会在执行命令的时候提醒该已经deprecated
然后将其bin加入到PATH中
export PATH=$HADOOP_INSTALL/bin:$PATH
在使用hadoop命令的时候,必须要保证Hadoop服务启动了。
基本文件命令:格式为:hadoop fs -cmd <args>
HDFS有一个默认的工作目录 /user/$USER,$USER就是当前登录的用户名,只有将文件放入HDFS上后,才可以运行Hadoop程序来处理它。
基本的参数如下,省略了前面的hadoop fs
注意这里的path不用加上/user/$USER,默认会自动的创建父目录
在利用hadoop命令的时,默认的工作路径就是在/user/$USER
1. -ls path
列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。
2. -lsr path
与ls相似,但递归地显示子目录下的内容。
3. -du path
显示path下所有文件磁盘使用情况下,用字节大小表示,文件名用完整的HDFS协议前缀表示。
4. -dus path
与-du相似,但它还显示全部文件或目录磁盘使用情况
5. -mv src dest
在HDFS中,将文件或目录从HDFS的源路径移动到目标路径。
6. -cp src dest
在HDFS中,将src文件或目录复制到dest。
7. –rm path
删除一个文件或目录
8. –rmr path
删除一个文件或递归删除目录
注意:这里的mv cp操作的源路径和目的路径都是在HDFS中的路径文件
9. –put localSrc dest
将本地文件或目录localSrc上传到HDFS中的dest路径。
10. –copyFromLocal localSrc dest
与-put命令相同
11. –moveFromLocal localSrc dest
将文件或目录从localSrc上传到HDFS中的dest目录,再删除本地文件或目录localSrc。
12 –get [-crc] src localDest
将文件或目录从HDFS中的src拷贝到本地文件系统localDest。
13 –getmerge src localDest [addnl]
将在HDFS中满足路径src的文件合并到本地文件系统的一个文件localDest中。
14 –cat filename
显示文件内容到标准输出上。
15. -copyToLocal [-crc] src localDest
与-get命令相同。
16 -moveToLocal [-crc] src localDest
与-get命令相似,但拷贝结束后,删除HDFS上原文件。
17 -mkdir path
在HDFS中创建一个名为path的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr –p。
18 -setrep [-R] [-w] rep path
设置目标文件的复制数。
19 -touchz path
创建一个文件。时间戳为当前时间,如果文件本就存在就失败,除非原文件长充为0。
20 -test –[ezd] path
如果路径(path)存在,返回1,长度为0(zero),或是一个目录(directory)。
21 –stat [format] path
显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。
22 –tail [-f] file
显示文件最后的1KB内容到标准输出。
23 –chmod [-R] [owner][:[group]] path…
递归修改时带上-R参数,mode是一个3位的8进制数,或是[augo]+/-{rwxX}。
24 –chgrp [-R] group
设置文件或目录的所有组,递归修改目录时用-R参数。
25 –help cmd
显示cmd命令的使用信息,你需要把命令的“-”去掉
转载于:https://www.cnblogs.com/ArvinShaffer/articles/6210791.html
hdfs上文件常用命令相关推荐
- HDFS系列(3) | HDFS的Shell常用命令大全
此次更新的的博文是关于HDFS的shell的常用命令,希望大家能够喜欢 目录 一. 基本语法 二. 命令大全 三. 常用命令实操 1. 常用命令及其作用对比表 2. 常用命令的实际操作 一. 基本语法 ...
- 一文学会CentOS 文件常用命令
系列文章目录 保姆级别 VMware Workstation 16 Pro 最新安装教程 VMware 安装CentOS 保姆级别教程 一文学会CentOS 文件常用命令 如果本文对你们的开发之路有所 ...
- Apache RocketMQ在linux上的常用命令
Apache RocketMQ在linux上的常用命令 进入maven安装后的rocketmq的bin目录 1.启动Name Server 2.启动Broker 3.关闭Name Server 4 ...
- Linux Log文件常用命令
笔记:Log文件常用命令 tail tail -f xxx.log 显示最新出现的log tail -f xxx.log | grep 'xxx' 显示最新出现的带有检索词的log tail -f - ...
- HDFS文件常用命令
1.fs最常用命令 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件 ...
- HDFS的访问方式之HDFS shell的常用命令
场景 CentOS7上搭建Hadoop集群(入门级): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭 ...
- 删除svn_推荐:mac上svn常用命令及好用的工具
作者:snandy来源:https://www.cnblogs.com/snandy/p/4072857.html # Mac SVN 命令行 Mac自带了SVN命令行,如我的升级到10.10(OSX ...
- Linux 文件 常用命令
目录操作 cd:目录切换 用于切换当前工作目录至 dirName(目录参数). 其中 dirName 表示法可为绝对路径或相对路径.若目录名称省略,则变换至使用者的 home 目录 (也就是刚 log ...
- hdfs 指令_HDFS常用命令
HDFS是Hadoop中自带的分布式文件系统,具有高容错.运行在廉价的机器上和高吞吐等特性. 1.hdfs命令格式 l Hadoop fs:使用面最广,可以操作任何文件系统. l hadoop dfs ...
最新文章
- hive sql练习_SQL语句+语法 I 数据分析面试必备
- Go 语言——Tensorflow
- java 快排和堆排序
- python【蓝桥杯vip练习题库】ADV-356字符串的操作
- 一个简单的blog系统(十一) 增加文章检索功能
- 电脑微信多开方法_微信电脑端多开方法
- Python运算符和编码
- mysql 优化设计库_MySQL 数据库最优化设计原则
- RabbiMQ基础以及spring-boot-starter-amqp使用
- Java-如何挖取某个网站中的ajax请求信息
- 按功能说明计算机中有哪些类型的寄存器?
- 终极算法【5】——进化学派
- [Python]经纬度转换
- Servlet容器与Web容器详解
- mysql怎么tonumber_orcale中的to_number方法使用
- 怎样辨别光模块的真假?
- 韩寒现在这么受人关注的原因是什么?只是因为他敢发批评时政的文章吗?
- easyExcel导出某列是固定下拉选框的excel模板
- BookKeeper AutoRecovery
- [免费参加] 2015微软社区大课堂Community Camp开放报名啦!
热门文章
- Socket实现文件互传(一)
- 想进互联网大公司?那这些题你总得会吧?前端面试题2022及答案前端面试题2022及答案
- python编程题2.2:turtle库绘制风轮图形
- 《渗透测试实践指南 必知必会的工具与方法 (原书第2版)》读书摘录
- if(!)什么意思?
- 腾讯云CDN加速产品介绍第四章-CDN加速产品
- java计算机毕业设计兴澜幼儿园管理系统源码+mysql数据库+lw文档+系统+调试部署
- 最新表白墙微信小程序源码+UI很唯美
- 三种最小生成树算法的简要比较:Kruskal算法, 破圈法(管梅谷), Prim算法
- 和首席架构师吃了一顿米线,被吓住了!