HADOOP：

yarn:

ResourceManager的_8088_端口：yarn的web管理界面

http://sparkproject1:8088

hdfs:

hdfs的web管理页面

http://sparkproject1:50070

yarn常用命令：

启动yarn：
./sbin/start-yarn.sh
停止：
sbin/stop-yarn.sh
?
如果配置了环境变量，则无需进入目录，直接执行即可。yarn application -list? 查看当前运行中的任务yarn logs -applicationId application_1560530316371_0005? 查看任务运行的历史日志

hdfs常用命令：

启动hdfs：
./sbin/start-dfs.sh
停止hdfs
./sbin/stop-dfs.sh单节点启动hdfs：
启动namenode
bsin/hadoop-daemon.sh start namenode
启动datanode
sbin/hadoop-daemon.sh start datanode注意：此方式只是单个节点启动namenode或datanodeHDFS shell?
查看帮助
hadoop fs -help <cmd>
hadoop fs -mkdir -p /Hadoop/Input（在HDFS创建目录）
上传
hadoop fs -put <linux上文件>  <hdfs上的路径>
如：
hadoop fs  -put  ./words.txt /     （后面的斜杠代表hdfs根目录）
hadoop fs -put /opt/spark/spark-2.0.2-bin-hadoop2.7/testt/fileTest/anlifenxi01.txt  /spark/anlifenxi01
查看文件内容
hadoop fs -cat <hdfs上的路径>
查看文件列表
hadoop fs -ls /
下载文件
hadoop fs -get <hdfs上的路径>  <linux上文件>其他：
https://blog.csdn.net/u010867462/article/details/52054069上传文件：
hadoop fs -put <linux上文件> <hdfs上的路径>    注意是两个目录！
查看HDFS文件目录：
hadoop fs -cat /words.txt查看HDFS文件系统数据的三种方法：https://blog.csdn.net/flyfish111222/article/details/51995523/查看hdfs文件中的内容：hadoop fs -cat /words.txt下载hdfs文件到linux：hadoop fs -get /words.txt

Spark：

http://192.168.31.210:4040/jobs/

hadoop：常用web界面和命令相关推荐

hadoop与spark环境搭建命令简易教程（Ubuntu18.04）
hadoop与spark环境搭建命令简易教程(Ubuntu18.04) Hadoop 一.single node cluster 二.multi node cluster 三.快速版(远程复制) Sp ...
网工必须了解的华为华三设备基础命令行与WEB界面
华为华三操作系统华为VRP (Versatile Routing Platform),通用路由平台,华为企业/运营商产品都使用该系统,目前主流的是VRP5(企业产品),数据中心/运营商产品 ...
Hadoop集群启动后利用Web界面管理HDFS
Hadoop集群启动后,可以通过自带的浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址,hadoop版本为3.0以前访问端口默认为9870,hadoop版本为 ...
hadoop常用的启动命令
本人三台节点:hadoop01,hadoop02,hadoop03(部署hive,mysql) 默认jdk,zookeeper,hadoop,hbase,kafka,flume,hue,spark已经 ...
hadoop常用命令总结
2019独角兽企业重金招聘Python工程师标准>>> 一.前述分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程 s ...
【Hadoop篇】--Hadoop常用命令总结
[Hadoop篇]--Hadoop常用命令总结一.前述分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程 start-all.sh等价 ...
Hadoop常用命令介绍
下面分享一篇常用的Hadoop命令介绍,希望对Hadoop初学者的朋友有所帮助~ Hadoop常用命令介绍
hadoop常用命令和端口说明
一.常用命令查看版本信息 hadoop version 查看HDFS下面包含的文件目录 hdfs dfs -ls / HDFS中创建一个文件目录input hdfs dfs -mkdir /inpu ...
Hadoop系列-Hadoop常用命令（五）
Hadoop 常用命令所有的 Hadoop 命令均由 bin/hadoop 脚本引发.不指定参数运行hadoop脚本会打印所有命令的描述. 用法: hadoop [--config confdir] ...

hadoop：常用web界面和命令

HADOOP：

yarn:

hdfs:

yarn常用命令：

hdfs常用命令：

Spark：

hadoop：常用web界面和命令相关推荐

最新文章

热门文章