hadoop之hdfs命令
目录
1:创建目录
2、查看文件,ls 没有cd命令, 需要指定绝对路径
3:上传文件 put(要先把数据上传到linux本地然后再上传)
4:下载文件 get
5:复制 cp
6:查看文件内容 cat , 如果数据量比较大,不能使用
7:移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)
8:删除文件或者目录 rmr
9:查看文件末尾 tail -f ; 一直等待查看
10、查看文件的大小
11:查看日志
12:安全模式
1:创建目录
hadoop -dfs -mkdir 目录(需要从根目录开始)
例如:在根目录创建一个data目录
hadoop -dfs -mkdir /data
hadoop -dfs -mkdir -p 目录递归创建目录
例如:在根目录下创建一个/a/b/c
hadoop -dfs -mkdir -p /a/b/c
注意:如果配置ip地址映射的话可以用主机名:50070到浏览器查看hdfs的详情
例如我的是master就是master:50070(前提是开启的hadoop集群命令是start-all.sh)
在Browse the file system中查看
2、查看文件,ls 没有cd命令, 需要指定绝对路径
例如:查看根目录
hadoop dfs -ls /
3:上传文件 put(要先把数据上传到linux本地然后再上传)
在上传过程中可以改名字
例如:将本地一个学生表上传到hdfs中
1:创建目录(/data目录已经存在)
hadoop dfs -mkdir /data/student
2:将 students.txt: linux上传到本地并且切换到文件所在目录(利用xftp传输文件,从widows中传到linux)
3:上传文件到hdfs
hadoop dfs -put students.txt /data/student
hadoop dfs -put students.txt /data/student /student.txt 改名字为student.txt
注意:传到本地是传到linux系统里,然后再从linux上传到hdfs中
4:下载文件 get
将hdfs文件下载到linux本地 可以指定目录 不指定默认是当前目录
例如:将/data/student/students.txt 下载到本地
hadoop dfs -get /data/student/students.txt 下载到当前目录
hadoop dfs -get /data/student/students.txt /usr/local/data 下载到 /usr/local/data
5:复制 cp
可以将指定文件复制到指定目录 可以在复制时更改名字
例如:将/data/a.txt 移动到 /
hadoop dfs -cp /data/a.txt /
hadoop dfs -cp /data/a.txt /c.txt 将文件复制到根目录并改名字
6:查看文件内容 cat , 如果数据量比较大,不能使用
例如:查看stdents .txt文件
hadoop dfs -cat /data/student/students.txt
7:移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)
例如 将根目录下文件a.txt移动到a目录下
hadoop dfs -mv /a.txt /a
hadoop dfs -mv /a.txt /a/b.txt 移动目录并更改名字
8:删除文件或者目录 rmr
hadoop dfs -rm /a/a.txt删除文件
hadoop dfs -rmr /a 删除目录
并没有真正删除文件,只是将文件放到了回收站中,
/user/root/.Trash/Current ; 每一个用户都有一个回收站
文件永久删除:
1、回收站自动清理
fs.trash.interval
1440
2、手动删除回收站
Hadoop dfs -rmr /user/root/.Trash/Current
3、强制删除,-skipTrash 当需要删除的文件比较大的时候
hadoop dfs -rmr -skipTrash /a
注意:最好不要永久删除或者强制删除以免数据丢失
9:查看文件末尾 tail -f ; 一直等待查看(可以用来查看日志)
例如:查看 /data/student/students.txt
hadoop dfs -tail /data/student/students.txt
10、查看文件的大小
例如:查看 /data 大小
hadoop dfs -du -h /data
11:查看日志
切换到/usr/local/soft/hadoop-2.7.6/logs
使用命令cat hadoop-root-namenode-master.log
12:安全模式
hadoop dfsadmin -safemode get 命令是用来查看当前hadoop安全模式的开关状态
hadoop dfsadmin -safemode enter 命令是打开安全模式
hadoop dfsadmin -safemode leave 命令是离开安全模式
hadoop之hdfs命令相关推荐
- hadoop和hdfs命令_Hadoop 1.x和2.x HDFS基本开发人员命令,“ hadoop”命令
hadoop和hdfs命令 In this post, we are going to discuss about Hadoop 1.x and Hadoop 2.x HDFS Basic comma ...
- Hadoop操作HDFS命令
Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录. ...
- hadoop之hdfs命令详解
目录 一.hadoop命令 1.archive 2.checknative 3.classpath 4.credential 5.distcp(比较常用) 6.fs 7.jar 8.key 9.tra ...
- hadoop系统 hdfs 命令行操作
转自:https://blog.csdn.net/sjhuangx/article/details/79796388 Hadoop文件系统shell命令列表: https://hadoop.apach ...
- Hadoop之——HDFS命令
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45769573 1.对hdfs操作的命令格式是hadoop fs 1.1 -ls ...
- hadoop 常用hdfs命令
转载于:https://www.cnblogs.com/mahailuo/p/9542654.html
- 安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法
安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法 参考文章: (1)安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法 (2)https:// ...
- Hadoop基础-HDFS集群中大数据开发常用的命令总结
Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...
- Hadoop之HDFS(一)HDFS入门及基本Shell命令操作
1 . HDFS 基本概念 1.1 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之 ...
最新文章
- Could not download lint-gradle.jar (com.android.tools.lint:lint-gradle:26.4.
- ASP.NET页面间传值方式--zt
- JavaScript禁用页面刷新
- vue+filter过滤器(多参数)传参 - 代码篇
- 性能测试之JMeter配置元件【HTTP信息头管理器】
- 单片机,微控制器和微处理器的主要区别?
- linux driver开发
- 立创EDA元件转换为AD库封装(Altium Designer)
- 【matlab】:matlab中不断的出现计算过程怎么办
- python应聘要求_python爬取招聘要求等信息实例
- 测试工具平台介绍之MeterSphere
- 基于SPringBoot的药品管理系统
- vivox50支持鸿蒙,【vivoX50Pro评测】轻薄机身内大有玄妙 深挖vivo X50系列技术创新-中关村在线...
- android内核编译 me525,今天给ME525+刷了Android 4.0系统,很流畅!
- 做VR需要UI设计师具备哪些能力?
- 中国工商银行上海市分行-存量房交易服务平台
- VMware 磁盘管理 虚拟机版本降级
- 视觉平衡与物理平衡_设计中的构图平衡,对称与反对称
- 软件测试肖sir_搭建环境讲解(03)
- 2022年全国职业院校技能大赛网络安全赛卷(中职组)卷3