『转载』hadoop2.x常用端口、定义方法及默认端口
1.问题导读
- DataNode的http服务的端口、ipc服务的端口分别是哪个?
- NameNode的http服务的端口、ipc服务的端口分别是哪个?
- journalnode的http服务的端口、ipc服务的端口分别是哪个?
- ResourceManager的http服务端口是哪个?
- NodeManager的http服务端口是哪个?
- Master的http服务的端口、ipc服务的端口分别是哪个?
- 3888是谁的端口,用来做什么?
组件 | 节点 | 默认端口 | 配置 | 用途说明 |
HDFS | DataNode | 50010 | dfs.datanode.address | datanode服务端口,用于数据传输 |
HDFS | DataNode | 50075 | dfs.datanode.http.address | http服务的端口 |
HDFS | DataNode | 50475 | dfs.datanode.https.address | https服务的端口 |
HDFS | DataNode | 50020 | dfs.datanode.ipc.address | ipc服务的端口 |
HDFS | NameNode | 50070 | dfs.namenode.http-address | http服务的端口 |
HDFS | NameNode | 50470 | dfs.namenode.https-address | https服务的端口 |
HDFS | NameNode | 8020 | fs.defaultFS | 接收Client连接的RPC端口,用于获取文件系统metadata信息。 |
HDFS | journalnode | 8485 | dfs.journalnode.rpc-address | RPC服务 |
HDFS | journalnode | 8480 | dfs.journalnode.http-address | HTTP服务 |
HDFS | ZKFC | 8019 | dfs.ha.zkfc.port | ZooKeeper FailoverController,用于NN HA |
YARN | ResourceManager | 8032 | yarn.resourcemanager.address | RM的applications manager(ASM)端口 |
YARN | ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | scheduler组件的IPC端口 |
YARN | ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | IPC |
YARN | ResourceManager | 8033 | yarn.resourcemanager.admin.address | IPC |
YARN | ResourceManager | 8088 | yarn.resourcemanager.webapp.address | http服务端口 |
YARN | NodeManager | 8040 | yarn.nodemanager.localizer.address | localizer IPC |
YARN | NodeManager | 8042 | yarn.nodemanager.webapp.address | http服务端口 |
YARN | NodeManager | 8041 | yarn.nodemanager.address | NM中container manager的端口 |
YARN | JobHistory Server | 10020 | mapreduce.jobhistory.address | IPC |
YARN | JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | http服务端口 |
HBase | Master | 60000 | hbase.master.port | IPC |
HBase | Master | 60010 | hbase.master.info.port | http服务端口 |
HBase | RegionServer | 60020 | hbase.regionserver.port | IPC |
HBase | RegionServer | 60030 | hbase.regionserver.info.port | http服务端口 |
HBase | HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。 |
HBase | HQuorumPeer | 2888 | hbase.zookeeper.peerport | HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。 |
HBase | HQuorumPeer | 3888 | hbase.zookeeper.leaderport | HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。 |
Hive | Metastore | 9083 | /etc/default/hive-metastore中export PORT=<port>来更新默认端口 | |
Hive | HiveServer | 10000 | /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口 | |
ZooKeeper | Server | 2181 | /etc/zookeeper/conf/zoo.cfg中clientPort=<port> | 对客户端提供服务的端口 |
ZooKeeper | Server | 2888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 | follower用来连接到leader,只在leader上监听该端口。 |
ZooKeeper | Server | 3888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 |
用于leader选举的。只在electionAlg是1,2或3(默认)时需要。 |
- 补充一些内容:
- 需要知道的默认配置,在Hadoop 2.2.0中,YARN框架有很多默认的参数值,如果你是在机器资源比较不足的情况下,需要修改这些默认值,来满足一些任务需要。
- NodeManager和ResourceManager都是在yarn-site.xml文件中配置的,而运行MapReduce任务时,是在mapred-site.xml中进行配置的。下面看一下相关的参数及其默认值情况:
参数名称
|
默认值
|
进程名称
|
配置文件
|
含义说明
|
yarn.nodemanager.resource.memory-mb | 8192 | NodeManager | yarn-site.xml | 从节点所在物理主机的可用物理内存总量 |
yarn.nodemanager.resource.cpu-vcores | 8 | NodeManager | yarn-site.xml | 节点所在物理主机的可用虚拟CPU资源总数(core) |
yarn.nodemanager.vmem-pmem-ratio | 2.1 | NodeManager | yarn-site.xml | 使用1M物理内存,最多可以使用的虚拟内存数量 |
yarn.scheduler.minimum-allocation-mb | 1024 | ResourceManager | yarn-site.xml | 一次申请分配内存资源的最小数量 |
yarn.scheduler.maximum-allocation-mb | 8192 | ResourceManager | yarn-site.xml | 一次申请分配内存资源的最大数量 |
yarn.scheduler.minimum-allocation-vcores | 1 | ResourceManager | yarn-site.xml | 一次申请分配虚拟CPU资源最小数量 |
yarn.scheduler.maximum-allocation-vcores | 8 | ResourceManager | yarn-site.xml | 一次申请分配虚拟CPU资源最大数量 |
mapreduce.framework.name | local | MapReduce | mapred-site.xml | 取值local、classic或yarn其中之一,如果不是yarn,则不会使用YARN集群来实现资源的分配 |
mapreduce.map.memory.mb | 1024 | MapReduce | mapred-site.xml | 每个MapReduce作业的map任务可以申请的内存资源数量 |
mapreduce.map.cpu.vcores | 1 | MapReduce | mapred-site.xml | 每个MapReduce作业的map任务可以申请的虚拟CPU资源的数量 |
mapreduce.reduce.memory.mb | 1024 | MapReduce | mapred-site.xml | 每个MapReduce作业的reduce任务可以申请的内存资源数量 |
yarn.nodemanager.resource.cpu-vcores | 8 | MapReduce | mapred-site.xml | 每个MapReduce作业的reduce任务可以申请的虚拟CPU资源的数量 |
- 原文地址:http://www.aboutyun.com/thread-7513-1-1.html
转载于:https://www.cnblogs.com/landiljy/p/6956347.html
『转载』hadoop2.x常用端口、定义方法及默认端口相关推荐
- 『转载』Debussy快速上手(Verdi相似)
『转载』Debussy快速上手(Verdi相似) Debussy 是NOVAS Software, Inc(思源科技)发展的HDL Debug & Analysis tool,这套软体主要不是 ...
- tomcat中间件的默认端口号_tomcat端口号修改(tomcat默认端口号是多少)
tomcat端口号修改(tomcat默认端口号是多少) 2020-05-07 22:25:25 共10个回答 怎么改tomcat的端口号? 修改tomcat端口号的方法:修改Server.xml文件, ...
- 华为云占用443端口_关于XAMPP默认端口80和443被占用的问题
关于安装xampp-win32-1.8.1-VC9-installer.zip后启动时候报端口80和443被占用的问题解决 xampp-win32-1.8.1-VC9-installer.zip下载地 ...
- mac设置端口号转发到默认端口80、443
1.需要这种设置的场景 我们一些开发的时候需要将一些网站的请求拦截在本地服务下. 下文将以 test.com 为例 2.设置host open /private/etc/hosts 添加如下内容 12 ...
- 怎么关闭计算机139端口,如何关闭135、139、138、137、445端口的方法 关闭电脑端口教程...
相信最近被永恒之蓝勒索病毒的消息刷屏了,全球多家医院.学校.个人等遭大范围网络攻击,电脑被锁定,文件被加密,内网被攻陷,受到攻击的地区还包括俄罗斯,西班牙.意大利等整个欧洲,包括中国也没有幸免.通过对 ...
- 『转载』在vs2008(2005)winform中,打开office文档
最近在准备毕业设计,这个阶段应该是可行性分析阶段吧,在查阅相关的技术问题,由于涉及office,所以今天写下这篇文章,以备日后查阅.这篇文章也是参阅msdn而来的,我在这里提供了实例和下载,方便大家调 ...
- 『转载』 SSL协议与数字证书原理
SSL协议与数字证书原理 1 SSL(Secure Socket Lclientyer)是netscclientpe公司设计的主要用于weserver的安全传输协议.这种协议在WESERVER上获得了 ...
- [5] 使用 TestLink 进行测试管理 『转载』
TestLink用于进行测试过程中的管理,通过使用TestLink提供的功能,可以将测试过程从测试需求.测试设计.到测试执行完整的管理起来,同时,它还提供了好多种测试结果的统计和分析,使我们能够简单的 ...
- 『总结』CSS/CSS3常用样式与web移动端资源
css/css3常用样式 强制文本显示 单行显示语法:white-space:nowrap; 让一段文字在固定宽度在一行显示,最后一个字符为省略标记(...),css样式如下 div{white-sp ...
最新文章
- java获取手机号码归属地_手机号码归属地能否取消?这些热点问题,工信部回复了...
- 统计学习:线性回归分析(1)
- 微博json文件_python 爬取微博评论 !
- Oracle执行计划 讲解(二) .
- 笨鸟先飞之ASP.NET MVC系列之过滤器(04认证过滤器)
- Palo Alto Networks 升级Traps高级终端防护产品 提升终端安全防护水平
- 软件工程:第三章:可行性分析与需求分析
- Entire Space Multi-Task Model: An Effective Approach for Estimating Post-CVR (ESSM)
- 鲁冠球:冲向世界的打铁匠
- STM32实现基于I2C的AHT20温湿度采集
- 如何利用少数粉丝,实现短时间流量倍增?
- 固态硬盘为啥这么快?带你了解固态硬盘的“秘密”……
- python另存为对话框_在保存对话框wxpython中实现“另存为”
- 2017华为算法大赛总结
- JAVA实现Excel模板导入案例分析
- 零基础Unreal Engine 4(UE4)图文笔记之基础篇-基本操作(二)
- C语言都能用来干吗、我为什么要学C语言
- Rockland 血红蛋白 β A-2 抗体说明书
- python 椭圆曲线加法_椭圆曲线密码学简介(一):实数域的椭圆曲线及其群运算规则...
- WPF-10 逻辑树和可视化树
热门文章
- 看日本雅-miyavi演唱会
- python带通滤波_python中的fft带通滤波器
- pat和ccf哪个含金量高_函授和网络教育哪个好 哪个含金量高
- umi权限路由_Umi 小白纪实(三)—— 震惊!路由竟然如此强大!
- 光遇服务器维护都在干什么,光遇:全图毕业后该做什么?老玩家建议,这四件事不做会后悔...
- c语言回文字符串原理,回文串(c语言)注意字符串比较和字符比较的区别
- 虚拟机连接网络_Parallels Desktop 16教程PD16虚拟机共享网络和桥接网络设置方法
- 【caffe-matlab】目标检测R-FCN算法于Windows下配置
- 【caffe-Windows】cifar实例编译之model的使用
- BBC:乐在其中统计学 (2010)