hadoop之文件管理基本操作
# 格式化hdfs hadoop namenode -format # 查看hadoop下的文件夹 hadoop fs -ls # 创建hdfs文件夹 hadoop fs -mkdir /user/input # 将本地文件file.txt 复制到新建文件夹,file->hdfs hadoop fs -put /user/wangbin/input/ip_data.txt wangbin # 从hadoop复制到hadoop # 从wangbin复制到wangbin hadoop fs -put ip_list.txt /user/hadoop # 从本地复制到hdfs hadoop fs -copyFromLocal ip_data.txt /user/hadoop # 从hdfs复制到本地 hadoop fs -copyToLocal sample.txt sample.txt # 查看文件内容 hadoop fs -cat /user/output/outfile # 查看顺序文件的内容 hadoop fs -text input/numbers.seq |head # 从hdfs获取文件到本地,hdfs->file hadoop fs -get /user/output/ /home/hadoop_tp/ # 更改所有人 hadoop fs -chown -R wangbin:wangbin /user/wangbin # 删除含有文件的文件夹 hadoop fs -rmr output # 并行复制文件或文件夹,以MapReduce作业实现,-overwrite 覆盖目标文件,-update 仅更新发生变化的部分hadoop distcp ip_data.txt ip_datav2.txt # 打包project为jar包,上传文件 export HADOOP_CLASSPATH=mapReduceDemoV1.jar # 将hdfs上output目录下的多个文件合并成一个文件output-merge,并存储到本地,hdfs->file hadoop fs -getmerge output output-merge # 确定input存在,且output不存在,执行jar包 hadoop MaxTemperature sample.txt output# 将本地文件追加到hdfs,file->hdfshadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt# 将hdfs文件追加到hdfshadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt
#查看hadoop所有命令 hadoop fs #显示该目录中每个文件或目录的大小 hadoop fs -du /tmp/logs/shtermuser/-1531305777000.txt #类似于du,PATH为目录时,会显示该目录的总大小 hadoop fs –dus PATH #循环列出目录、子目录及文件信息 hadoop fs –lsr #从HDFS文件系统删除test.txt文件,rm命令也可以删除空目录 hadoop fs –rm /user/sunlightcs/test.txt #修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样 hadoop fs –chgrp [-R] /user/sunlightcs #修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行 hadoop fs –chown [-R] /user/sunlightcs #修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行 hadoop fs –chmod [-R] MODE /user/sunlightcs #清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除 hadoop fs –expunge 对PATH进行如下类型的检查: -e PATH是否存在,如果PATH存在,返回0,否则返回1 -z 文件是否为空,如果长度为0,返回0,否则返回1 -d 是否为目录,如果PATH为目录,返回0,否则返回1 hadoop fs –test –[ezd] PATH #显示文件的内容,当文件为文本文件时,等同于cat,文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩 hadoop fs –text PATH 查看某个[ls]命令的帮助文档 hadoop fs –help ls
#移动文件,源目录可以有多个,目标只能是一个 hadoop fs -mv src dst #统计hdfs对应路径下的目录个数,文件个数,文件总计大小 hadoop fs -count <hdfs path>
#创建一个0字节的空文件
hadoop fs -touchz pathname
#计算目录、文件个数和字节数
#hadoop fs -count path
#将单个src或多个srcs从本地文件系统附加到目标文件系统。 还从stdin读取输入并附加到目标文件系统。
hadoop fs -appendToFile localfile /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
#返回文件的校验信息
hadoop fs -checksum URI
#显示目录可用空间
hadoop fs -df path
#查找与指定表达式匹配的所有文件,并将选定的操作应用于它们。 如果未指定路径,则默认为当前工作目录。
hadoop fs -find / -name test -print
#显示文件和目录的访问控制列表(ACL)。 如果目录具有默认ACL,则getfacl还会显示默认ACL。
hadoop fs -getfacl [-R] <path>
#显示文件或目录的扩展属性名称和值(如果有)。
hadoop fs -getfattr [-R] -n name | -d [-e en] <path>
#以指定格式打印<path>中文件/目录的统计信息。
hadoop fs -stat [格式] <路径> ...
#将所有与指定文件模式匹配的文件截断为指定的长度。
hadoop fs -truncate [-w] <length> <paths>
转载于:https://www.cnblogs.com/wangbin2188/p/8252210.html
hadoop之文件管理基本操作相关推荐
- Hadoop学习笔记-基本操作、历史服务器和log汇总
接上篇 基本操作 上传文件 首先创建目录 [zyi@h102 sbin]$ hadoop fs -mkdir /input 在Hadoop:http://h102:9870查看 上传文件: [zyi@ ...
- Hadoop文件的基本操作
Hadoop提供了大量的API对文件系统中的文件进行操作,主要包括: (1)读取文件 (2)写文件 (3)读取文件属性 (4)列出文件 (5)删除文件 1、读取文件 以下示例中,将hdfs中的一个文件 ...
- makefile文件管理基本操作
目录 1. makefile基础规则 2. makefile的一个规则 3. makefile两个函数和clean 4. makefile3个自动变量和模式规则 练习一 练习二 C/C++Linux服 ...
- hadoop安装-redhat
1.基本准备 操作系统:redhat 5.2 jdk: jdk-6u21-linux-i586-rpm.bin(安装1.6或以上版本,安装步骤请参考其他文) hadoop:hadoop-0.21.0. ...
- Hadoop框架总结
三 Hadoop 3.1 Hadoop概述 1 Hadoop的概念及发展历史 是一个开源的, 可靠的(reliable), 可扩展的(scalable ...
- java教程+ppt
一.Java基础必知必会 1.Java初级教程 http://sishuok.com/product/41 ppt下载:http://sishuok.com/forum/posts/list/1030 ...
- 浙江省职业技能考试大纲计算机,最新修订浙江省高校招生职业技能考试大纲-计算机类...
<最新修订浙江省高校招生职业技能考试大纲-计算机类>由会员分享,可在线阅读,更多相关<最新修订浙江省高校招生职业技能考试大纲-计算机类(14页珍藏版)>请在人人文库网上搜索. ...
- 浙江计算机学考的时候考是哪些,浙江高校招生职业技能考试大纲--计算机类
2021年高职单招升学一对一咨询高职单招刘老师:dxs18583993958(微信) 浙江省高校招生职业技能考试大纲--计算机类理论知识 一.考试大纲说明 (一)考试形式 理论知识考试采用闭卷笔试形式 ...
- 大数据入门(八)win10下的wordcount
目录 方法一 上传文件到hdfs java project 方法二 参考 有两种方法:方法一需要借用eclipse自己编写代码,优点是有助于理解mapreduce,缺点复杂.方法二可以直接调用Hado ...
最新文章
- Java Socket
- JPA和Hibernate的关系(转)
- DHCP的基本介绍以及在HC3上配置DHCP中继和DHCP snooping
- 八数码(康拓展开标记)及类似题
- PHP使用GD库封装验证码类
- oracle中schema指的是什么?
- 选择时间日历控件DatePickerDialog实现(从外包项目中挖出来整理的)
- 随想录(386cpu保护模式)
- python整个小服务器
- java的create vm_JNI_CreateJavaVM(Runtime::Create())
- 网络共享计算机网络无法访问,局域网电脑无法访问共享文件网络共享失败怎么解决...
- 【搬家】VB.NET开发全功能串口调试助手
- endl 和 \n 的区别
- JVM成神之路-Java内存模型(JMM)
- django restful mysql_如何用Django和restful搭建api接口服务
- Android开发指南 1──应用程序基础
- [转NN网]求求百度给网站一点生存的空间吧!
- GreenPlum角色与权限控制
- Pentaho Kettle Solutions (读书笔记)【2. Kettle基本概念】
- [搬运]数字证书及 CA 的扫盲介绍
热门文章
- MSP432P401R TI Drivers 库函数学习笔记(四)GPIO
- C++基础知识(一)—— C++程序结构
- OpenWrt 之 MT7628 使用GPIO中断
- [NodeJs] 如何使用nodejs对base64进行编解码?
- Taro+react开发(65):h5全局重置背景样式
- 前端学习(3011):vue+element今日头条管理--关于编辑器代码段
- [css] 你知道的等高布局有多少种?写出来
- [css] css中的border:none和border:0px有什么区别?
- 工作169:vue项目报错[Vue warn]: Property “visible“ must be accessed with “$data.visible“ because properties
- 工作总结12:封装组件