102_Hadoop常用命令
Hadoop常用命令
1、实验描述
- 熟悉HDFS的命令行接口
2、实验环境
虚拟机数量:3
系统版本:Centos 7.5
Hadoop版本:Apache Hadoop 2.7.3
3、相关技能
熟悉Linux操作系统,Hadoop原理
HDFS命令行接口
4、知识点
- HDFS命令行接口
5、实验步骤
5.1进入虚拟机并启动Hadoop集群
5.1.1在master启动Hadoop集群
[zkpk@master ~]$ start-all.sh
5.1.2在master上运行jps,确认NameNode, SecondaryNameNode, ResourceManager进程启动
5.1.3在slave01上运行jps,确认DataNode, NodeManager进程启动
5.1.4在slave02上运行jps,确认DataNode, NodeManager进程启动
5.2练习hdfs命令行接口
5.2.1列出目录及文件命令
5.2.1.1hadoop fs –ls为固定的命令,-ls用来指定咱们要列出文件,path参数指定需要列出列表的父路径。path取值如果在前边加上/的话是从HDFS的根目录下开始列,否则从HDFS上的用户目录/user/username/开始列。
[zkpk@master ~]$ hadoop fs -ls <path>
5.2.2递归列出目录及文件
5.2.21hadoop fs –ls -R为固定的命令,-ls -R用来指定咱们要递归查看的文件,path参数指定需要列出列表的父路径 。
[zkpk@master ~]$ hadoop fs -ls -R <path>
5.2.3创建目录
5.2.3.1hadoop fs –mkdir为固定的命令,–mkdir用来指定创建的文件目录命令,path参数指定创建目录路径,注意,不能创建级联目录。
[zkpk@master ~]$ hadoop fs -mkdir <path>
5.2.4上传文件,有两种方式
5.2.4.1hadoop fs -put 为固定的命令,\参数指定上传文件及其本地路径,\参数指定文件上传到HDFS的路径
[zkpk@master ~]$ hadoop fs -put <src> <des>
5.2.4.2hadoop fs - copyFromLocal为固定的命令,\参数指定上传文件及其本地路径,\参数指定文件上传到HDFS的路径
[zkpk@master ~]$ hadoop fs -copyFromLocal <src> <des>
5.2.5从hdfs上传下载文件
5.2.5.1hadoop fs -get \ ;des为HDFS上的文件的绝对路径,src为本地要把下载的文件存放的位置
[zkpk@master ~]$ hadoop fs -get <des> <src>
5.2.5.2hadoop fs -copyToLocal \ ;命令copyToLocal后边必须跟两个参数,第一个是HDFS上的文件的绝对路径,第二个是本地要存档下载文件的路径,必须存在,否则报错
[zkpk@master ~]$ hadoop fs -copyToLocal <src> <des>
5.2.6删除HDFS上的文件
5.2.6.1hadoop fs –rm \ ;rm命令后边必须跟要查看的文件的路径,路径必须存在,否则报错。如果需要递归删除某个文件夹下所有的文件夹和目录,使用rmr命令就可以了。
[zkpk@master ~]$ hadoop fs -rm <path>[zkpk@master ~]$ hadoop fs -rmr <path>
6、总结
HDFS虽然是Hadoop的一个组件,但同时HDFS本身也是独立的,并不依赖与MapReduce运行环境,可以作为一个独立的分布式文件系统来使用。我们可以同过HDFS的命令行接口进一步认识HDFS。
102_Hadoop常用命令相关推荐
- Kubectl 常用命令, 开发人员常用k8s命令
Kubectl 常用命令: 什么是常用,我用的,就是常用的
- docker常用命令详解
docker常用命令详解 本文只记录docker命令在大部分情境下的使用,如果想了解每一个选项的细节,请参考官方文档,这里只作为自己以后的备忘记录下来. 根据自己的理解,总的来说分为以下几种: Doc ...
- 客快物流大数据项目(十五):DockeFile常用命令
目录 DockeFile常用命令 一.FROM 二.MAINTAINER 三.RUN
- 客快物流大数据项目(九):Docker常用命令
目录 Docker常用命令 一.帮助命令 二.镜像命令 1.搜索镜像
- linux常用命令(转载)
Linux常用命令大全(非常全!!!) 最近都在和Linux打交道,感觉还不错.我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短 ...
- maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令
maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令 在日常的工作中由于各种原因,会出现这样一种情况,某些项目并没有打包至mvnrepository. ...
- linux kvm虚拟化命令,Linux系统下kvm虚拟化(三)日常管理常用命令和配置说明
根据我们之前创建和一些操作可以知道,KVM虚拟机的管理主要是通过virsh命令对环境下kvm虚拟机进行管理,下边这里整理一些常用的配置说明以及如何进行日常管理维护. 1,查看KVM虚拟机配置文件 KV ...
- kubectl常用命令_《蹲坑学kubernetes》之十五:kubectl命令详解
kubectl用于运行Kubernetes集群命令的管理工具.本章节主要讲了kubectl基本语法和使用方法.在以后的实际工作中,使用越来越多,也会越来越熟悉. 1.kubectl语法 kubectl ...
- 计算机网络管理的常用命令,网络管理常用命令图文详解.pdf
网络工程师必备 – 网络管理常用命令图文详解 网络工程师必备 网络管理常用命令 图文详解 V1.0 V1.0 包含 ping.ipconfig.netstat.nbtstat.tracert. pat ...
最新文章
- AttributeError: ‘NoneType‘ object has no attribute ‘span‘
- 物理学家发现粒子是如何自我组装的
- 《算法导论》中parallel for 的时间复杂度
- C++读取txt文件
- Python-Django-Ajax进阶
- python列表各种切片姿势
- 洛谷 P4430 小猴打架
- 潘多拉设置有线中继_避坑指南:购买无线中继器必看
- 【Xamarin挖墙脚系列:Xamarin.IOS机制原理剖析】
- Windows CE 5.0待机界面定制之一 - Taskbar的位置
- innodb是mysql几的_MySQL几个和innodb相关的参数
- PDF怎么编辑修改内容
- python nlp 中文伪原创_人工智能伪原创工具(AI伪原创)
- Raucous Rockers
- unity 暂停按钮_Unity应用怎么暂停(Pause)
- Springboot:JWT
- 儿童摄影HTML实现
- 计算机是如何进行计算的?(二)
- 如何使用redis做一个定时任务?
- \u202a 神奇的控制字符
热门文章
- 企业级BYOD实践与挑战:如何改善BYOD策略
- html markdown 互相转换,Vue/Vue中Html和Markdown互相转换/README.md · 撒欢大魔王/LearningNotes - Gitee.com...
- 东北林业大学OJ题目3
- 各种说明方法的答题格式_说明方法的作用答题格式
- 智能科学的泉眼——人性论
- 杭州机械工程师职称评审条件
- gitlab 的备份与恢复
- 怎么看自己mysql的账号密码是多少_怎么查到mysql的账号密码是什么?
- 第一组 beta冲刺(2/3)
- (一)计算机系统基础之冯诺依曼结构主要思想