Hadoop Shell
1.熟练掌握常用的hadoop shell命令
实验原理
调用文件系统(FS)Shell命令应使用 hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,出错信息会输出到stderr,其他信息输出到stdout。
实验环境
Linux Ubuntu 14.04
hadoop-2.6.0-cdh5.4
实验内容
1.学习在开启、关闭Hadoop
2.学习在Hadoop中创建、修改、查看、删除文件夹及文件
3.学习改变文件的权限及文件的拥有者
4.学习使用shell命令提交job任务
5.Hadoop安全模式的进入与退出
实验步骤
1.打开终端模拟器,切换到/apps/hadoop/sbin目录下,启动Hadoop
view plain "copy
cd /apps/hadoop/sbin
./start-all.sh
除了直接执行start-all.sh外,还可以分步启动start-dfs.sh和start-yarn.sh。
2.执行jps,检查一下Hadoop相关进程是否启动
view plain "copy
jps
3.在/目录下创建一个test1文件夹
view plain "copy
hadoop fs -mkdir /test1
4.在Hadoop中的test1文件夹中创建一个file.txt文件
view plain "copy
hadoop fs -touchz /test1/file.txt
5.查看根目录下所有文件
view plain "copy
hadoop fs -ls /
6.还可以使用ls -R的方式递归查看根下所有文件
view plain "copy
hadoop fs -ls -R /
7.将Hadoop根下test1目录中的file.txt文件,移动到根下并重命名为file2.txt
view plain "copy
hadoop fs -mv /test1/file.txt /file2.txt
Hadoop中的mv用法同Linux中的一样,都可以起到移动文件和重命名的作用。
8.将Hadoop根下的file2.txt文件复制到test1目录下
view plain "copy
hadoop fs -cp /file2.txt /test1
9.在Linux本地/data目录下,创建一个data.txt文件,并向其中写入hello hadoop!
view plain "copy
cd /data
touch data.txt
echo hello hadoop! >> data.txt
10.将Linux本地/data目录下的data.txt文件,上传到HDFS中的/test1目录下
view plain "copy
hadoop fs -put /data/data.txt /test1
11.查看Hadoop中/test1目录下的data.txt文件
view plain "copy
hadoop fs -cat /test1/data.txt
12.除此之外还可以使用tail方法
view plain "copy
hadoop fs -tail /test1/data.txt
tail方法是将文件尾部1K字节的内容输出。支持-f选项,行为和Unix中一致。
13.查看Hadoop中/test1目录下的data.txt文件大小
view plain "copy
hadoop fs -du -s /test1/data.txt
-du 后面可以不加-s,直接写目录表示查看该目录下所有文件大小
14.text方法可以将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
view plain "copy
hadoop fs -text /test1/data.txt
15.stat方法可以返回指定路径的统计信息,有多个参数可选,当使用-stat选项但不指定format时候,只打印文件创建日期,相当于%y
view plain "copy
hadoop fs -stat /test1/data.txt
下面列出了format的形式:
%b:打印文件大小(目录为0)
%n:打印文件名
%o:打印block size (我们要的值)
%r:打印备份数
%y:打印UTC日期 yyyy-MM-dd HH:mm:ss
%Y:打印自1970年1月1日以来的UTC微秒数
%F:目录打印directory, 文件打印regular file
16.将Hadoop中/test1目录下的data.txt文件,下载到Linux本地/apps目录中
view plain "copy
hadoop fs -get /test1/data.txt /apps
17.查看一下/apps目录下是否存在data.txt文件
view plain "copy
ls /apps
18.使用chown方法,改变Hadoop中/test1目录中的data.txt文件拥有者为root,使用-R将使改变在目录结构下递归进行。
view plain "copy
hadoop fs -chown root /test1/data.txt
19.使用chmod方法,赋予Hadoop中/test1目录中的data.txt文件777权限
view plain "copy
hadoop fs -chmod 777 /test1/data.txt
20.删除Hadoop根下的file2.txt文件
view plain "copy
hadoop fs -rm /file2.txt
21.删除Hadoop根下的test1目录
view plain "copy
hadoop fs -rm -r /test1
22.当在Hadoop中设置了回收站功能时,删除的文件会保留在回收站中,可以使用expunge方法清空回收站。
view plain "copy
hadoop fs -expunge
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。
23.使用Shell命令执行Hadoop自带的WordCount
首先切换到/data目录下,使用vim编辑一个data.txt文件,内容为(hello world hello hadoop hello ipieuvre)
view plain "copy
cd /data
vim data.txt
在HDFS的根下创建in目录,并将/data下的data.txt文件上传到HDFS中的in目录
view plain "copy
hadoop fs -put /data/data.txt /in
执行hadoop jar命令,在hadoop的/apps/hadoop/share/hadoop/mapreduce路径下存在hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar包,我们执行其中的worldcount类,数据来源为HDFS的/in目录,数据输出到HDFS的/out目录
view plain "copy
hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /in /out
查看HDFS中的/out目录
view plain "copy
hadoop fs -ls /out
hadoop fs -cat /out/*
24.进入Hadoop安全模式
view plain "copy
hdfs dfsadmin -safemode enter
25.退出Hadoop安全模式
view plain "copy
hdfs dfsadmin -safemode leave
26.切换到/apps/hadoop/sbin目录下,关闭Hadoop
view plain "copy
cd /apps/hadoop/sbin
./stop-all.sh
提交
保存
发送消息
Hadoop Shell相关推荐
- Hadoop Shell命令
Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp ...
- Hadoop Shell 命令 与 WordCount
前言 在前2章内, 我们分别介绍了Hadoop安装的3种形式(Standalone mode/ Pseudo-Distributed mode/Cluster mode). 本章, 我们介绍如何使用H ...
- Hadoop Shell命令-hdfs常用命令
Hadoop Shell命令-hdfs Hadoop Shell命令 cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge ...
- [Hadoop基础]-- hadoop shell命令汇总
Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmer ...
- 实验3——Hadoop Shell基本操作
1.Hadoop Shell基本操作 系统环境 Linux Ubuntu 16.04 hadoop-2.6.0-cdh5.4 任务内容 1.学习在开启.关闭Hadoop 2.学习在Hadoop中创建. ...
- hadoop shell操作HDFS文件
一.常用的 hadoop shell 文件路径需要自己有才行,示例中的文件路径是本人自己的文件路径,不是公共文件路径,如何建立自己的数仓,查看本人 大数据单机学习环境搭建 相关文章 1.1查看 创建 ...
- Hadoop Shell 常用命令
参考链接:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoo ...
- Hadoop Shell命令详解
**说明:**调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式.所有的的FS shell命令使用URI路径作为参数. 1.cat 说明:将路径指定文件的内容输出到stdout ...
- Hadoop集群安装运行与simple hadoop shell
一.集群安装部署 1.上传hadoop安装包 使用SecureCRT连接到4台客户端机器,在mini1会话窗口按快捷键(Alt+P)打开sftp上传文件窗口,使用put命令上传(或者直接拖动文件到该窗 ...
最新文章
- 导入eclipse项目运行时run as no application
- zabbix简介(第一章第一节)
- iOS-实际项目中用到的第三方库
- os的进程调度(读书笔记)
- openssl在64位的机器上编译32位的库
- string中c_str()、data()、copy(p,n)函数的用法
- Rust 能取代 Python,更好的实现神经网络?
- java 同步原语_你所不知道的有关Java 和Scala中的同步问题
- 今天8月5号 2011-08-05
- Mybatis 项目开发实际常用SQL笔记总结
- 通过HTML5 JS实现CAD在线看图,CAD浏览器,HTML5画布和Javascript /浏览器开发的性能限制...
- 如何提高FPGA的工作频率
- Python 多维数据可视化
- 电脑参数,台式电脑怎么查看配置参数|如何查询台式机硬件配置
- 用计算机做电子贺卡送祝福,春节祝福电子贺卡模板制作
- lvm硬盘扩容了,或者使用fdisk格式化大于2T硬盘后,如何通过pvresize扩容
- 前端websocket和后端传输数据
- 微信小程序留言板设计
- TDMS如何用Excel打开编辑
- Java~设计模式之观察者模式 || 班长大喊老师来啦