Hadoop学习之web查看HADOOP以及文件的上传和下载
Hadoop学习之web查看HADOOP
1.web端查看HDFS的NameNode
浏览器输入：http://hadoop1002:9870
查看HDFS上储存的数据信息
2.Web端查看YARN的ResourceManager
浏览器输入：http://hadoop1003:8088
查看YARN上运行的Job信息
## 3.基本测试
1.小文件上传
[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -mkdir /input
将wcinput中的word.txt上传到Hadoop服务器的/input中
[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -put wcinput/word.txt /input
2021-11-07 23:15:36,408 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2.上传大文件
上传JDK
[admin@hadoop1002 hadoop-3.1.3]$ cd /opt/software/
[admin@hadoop1002 software]$ hadoop fs -put jdk-8u212-linux-x64.tar.gz /input
2021-11-07 23:17:38,955 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-11-07 23:17:44,960 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
上传完成后找到切块文件
[admin@hadoop1002 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-327896306-192.168.10.102-1635769112986/current/finalized/subdir0/subdir0
[admin@hadoop1002 subdir0]$ ll
总用量 191944
-rw-rw-r--. 1 admin admin 57 11月 2 15:15 blk_1073741827
-rw-rw-r--. 1 admin admin 11 11月 2 15:15 blk_1073741827_1003.meta
-rw-rw-r--. 1 admin admin 134217728 11月 2 15:21 blk_1073741828//这个拼接
-rw-rw-r--. 1 admin admin 1048583 11月 2 15:21 blk_1073741828_1004.meta
-rw-rw-r--. 1 admin admin 60795424 11月 2 15:21 blk_1073741829//这个拼接
-rw-rw-r--. 1 admin admin 474975 11月 2 15:21 blk_1073741829_1005.meta
拼接将切块文件拼接后看是否为完整的jdk安装包文件并查看
[admin@hadoop1002 subdir0]$ cat blk_1073741828>>tmp.tar.gz
[admin@hadoop1002 subdir0]$ cat blk_1073741829>>tmp.tar.gz[admin@hadoop1002 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 admin admin 57 11月 7 23:15 blk_1073741825
-rw-rw-r--. 1 admin admin 11 11月 7 23:15 blk_1073741825_1001.meta
-rw-rw-r--. 1 admin admin 134217728 11月 7 23:17 blk_1073741828
-rw-rw-r--. 1 admin admin 1048583 11月 7 23:17 blk_1073741826_1002.meta
-rw-rw-r--. 1 admin admin 60795424 11月 7 23:17 blk_1073741829
-rw-rw-r--. 1 admin admin 474975 11月 7 23:17 blk_1073741827_1003.meta
-rw-rw-r--. 1 admin admin 195013152 11月 7 23:38 tmp.tar.gz解压tmp.tar.gz到当前路径并查看发现正是jdk
[admin@hadoop1002 subdir0]$ tar -zxvf tmp.tar.gz
[admin@hadoop1002 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 admin admin 57 11月 7 23:15 blk_1073741825
-rw-rw-r--. 1 admin admin 11 11月 7 23:15 blk_1073741825_1001.meta
-rw-rw-r--. 1 admin admin 134217728 11月 7 23:17 blk_1073741826
-rw-rw-r--. 1 admin admin 1048583 11月 7 23:17 blk_1073741826_1002.meta
-rw-rw-r--. 1 admin admin 60795424 11月 7 23:17 blk_1073741827
-rw-rw-r--. 1 admin admin 474975 11月 7 23:17 blk_1073741827_1003.meta
drwxr-xr-x. 7 admin admin 245 4月 2 2019 jdk1.8.0_212
-rw-rw-r--. 1 admin admin 195013152 11月 7 23:38 tmp.tar.gz
下载
[admin@hadoop1002 hadoop-3.1.3]$ hadoop fs -get /input/jdk-8u212-linux-x64.tar.gz ./
2021-11-07 23:48:01,885 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
/input/jdk-8u212-linux-x64.tar.gz该路径为hadoop中 jdk文件上传后保存的绝对路径 ./下载下来之后存放与当前目录
以上就是web查看HADOOP以及文件的上传和下载的所有操作内容了，欢迎大家阅读。你的鼓励就是我创作的最大动力！！！
Hadoop学习之web查看HADOOP以及文件的上传和下载相关推荐
- 【前端学习日记】使用HTML实现文件的上传和下载
文件的上传和下载分别通过表单元素<input>和超链接标签<a>来实现. 文件的上传: 将表单元素<input>的属性type设置为"file" ...
- nginx java文件上传_Nginx实现文件的上传和下载
文件的上传只要保证特殊的地址先到达Nginx,然后通过Nginx指定至指定的服务器即可,目前配置是本机.文件的下载的做法就是把本机的当前目录下面的文件给返回回去. server { listen ; ...
- Hadoop环境下用java代码实现hdfs远程文件的上传和下载
Hadoop环境下用java代码实现hdfs远程文件的上传和下载 文章目录 Hadoop环境下用java代码实现hdfs远程文件的上传和下载 一.新建maven工程 二.文件的上传 三.文件的下载 四 ...
- 文件的上传和下载---学习笔记
文件上传原理 在TCP/IP中,最早出现的文件上传机制是FTP.它是将文件由客户端发送到服务器的标准机制. 但是JSP编程中不能使用FTP方法来上传文件,这是由JSP运行机制所决定的. JSP中上传文 ...
- 初学Java Web(7)——文件的上传和下载
文件上传 文件上传前的准备 在表单中必须有一个上传的控件 <input type="file" name="testImg"/> 因为 GET 方式 ...
- Akka实战：HTTP大文件断点上传、下载，秒传
2019独角兽企业重金招聘Python工程师标准>>> 访问:https://github.com/yangbajing/scala-applications/tree/master ...
- SpringMVC实现文件的上传与下载
文件的上传与下载可以说是工作中经常使用的功能,现在整理一下,希望能够给大家一个参考.这里以 Maven 的形式来创建项目,相关的配置文件会把主要的内容列出来,其他头文件信息不再一一全部的列出.最后会把 ...
- 手把手教你学javaweb（五）文件的上传和下载
javaweb项目文件的上传和下载 在进行文件的上传和下载之前,我们先把javaweb项目做一点点的改动,那就是将LoginServlet的跳转由原来的forward方式改为 redirect方式 ...
- ASP.NET实现文件的上传和下载
最近做的一个高校网站中涉及到了上传和下载文件的需求(具体需求为:网站公布的通知,在后台要能给每个通知添加附件,在前台要能显示并下载附件),之前只是学习过关于上传的 理论知识,这里实践了一下下,与大家分 ...
- java struts2下载文件_Struts2下多文件的上传与下载
Struts2下多文件的上传与下载 目录 多文件 上传 下载 随意文件java Struts2单例 配置 动态读取 李顺利 在网络上,对于Java处理文件上传和下载的技术比较多,而Struts作为一款 ...
最新文章
- SLAM之特征匹配（三）————RANSAC------LO-RANSAC Algorithm
- 算法---最长湍流子数组
- 2020年应届生找工作难？Python爬虫解析疫情之下用人市场中的机遇与挑战
- [CocoaPods]常见问题
- 微软职位内部推荐-Senior SW Engineer for Application Ecosystem
- 每日一题（20）——malloc与free（一）
- 网站的服务器分哪几种,服务器有哪几种分类？_服务器可分为四种类型
- HashMap（HashSet）的实现
- [渝粤教育] 西南科技大学 计算机网络应用基础 在线考试复习资料2021版(2)
- NLPIR使用（1）
- Git ssh_key生成方法
- vue导出excel表格（详细教程）
- DataStore的基础用法
- 10行代码实现抽奖助手自动参与抽奖
- RK987A键盘蓝牙连接电脑
- python3.7安装numpy库_安装了anaconda3，自带numpy库，但不能导入,问题出在哪里？
- 苹果发布会：或将发布一款付费游戏订阅服务
- sq-接口项目-外卖系统
- 番茄钟工作法--我们天生爱分享
- 机器人串联关节矩阵旋转变换推导