1 获取默认配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:

1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。

2.浏览apache官网,三个配置文件链接如下:

http://hadoop.apache.org/common/docs/current/core-default.html

http://hadoop.apache.org/common/docs/current/hdfs-default.html

http://hadoop.apache.org/common/docs/current/mapred-default.html

这里是浏览hadoop当前版本号的默认配置文件，其他版本号，要另外去官网找。其中第一个方法找到默认的配置是最好的，因为每个属性都有说明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

2 常用的端口配置

2.1 HDFS端口

参数	描述	默认	配置文件	例子值
fs.default.name namenode	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075

2.2 MR端口

参数	描述	默认	配置文件	例子值
mapred.job.tracker	job-tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
job	tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task-tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

2.3 其它端口

参数	描述	默认	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:50090

转载于:https://blog.51cto.com/azurelover/1195761

hadoop常用的端口配置相关推荐

[转载]hadoop集群默认配置和常用配置
转载自 http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html, 向原作者致谢. 我基于最新版hadoop, 稍作了修改. 获 ...
阿里云服务器的端口有什么用,常用的端口有哪些,如何配置
服务器端口数最大有65535个,但是实际上常用的端口只有几十个,由此可以看出未定义的端口相当多.比如:通常TCP/IP协议规定Web采用80号端口,FTP采用21号端口等,而邮件服务器是采用25号端口 ...
路由器端口配置及常用信息查看
文章目录实验指导: 1. 路由器端口的配置 2. 可以通过show命令查看路由器的一些信息,尤其是路由表信息,对于路由器工作非常关键. 实验要求: 实验指导: 1. 路由器端口的配置要让路由器的端 ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
【保姆级教程】hadoop 3.x 环境配置——入门篇
文章目录 (一) Hadoop环境配置 1 配置服务器 1.1 虚拟机 1.2 云服务器 1.3 服务器基础配置总览 2 配置用户 3 配置JAVA 3.1 更换yum源 3.2 安装JDK 3.2. ...
在多台云服务器上的Hadoop和Spark环境配置
1.安装jdk1.8(下载地址): https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.ht ...
hadoop fs命令无法使用_「大数据」「Hadoop」HDFS的配置与管理
HDFS(Hadoop Distributed File System)是Hadoop三个基础组件之一,为另外的组件以及大数据生态中的其他组件提供了最基本的存储功能,具有高容错.高可靠.可扩展.高吞吐 ...
Hadoop手动升级HA配置手册
Hadoop手动升级HA配置手册 1 Hadoop组件升级本文是Apache hadoop.Hbase升级至CDH版hadoop.Hbase,同时涵盖了Hadoop HA的配置的操作手册.. 2 H ...
Hadoop常用操作汇总
Hadoop Streaming示例程序(wordcount) run_hadoop_word_counter.sh $HADOOP_BIN streaming \-input "${INP ...

hadoop常用的端口配置

1 获取默认配置

2 常用的端口配置

hadoop常用的端口配置相关推荐

最新文章

热门文章