core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>/usr/local/data/hadoop/tmp</value><!-- 其他临时目录的父目录 --></property><property><name>fs.defaultFS</name><value>hdfs://hadoop-alone:9000</value><!--hdfs://host:port/默认的文件系统的名称。通常指定namenode的URI地址,包括主机和端口--></property><property><name>io.file.buffer.size</name><value>4096</value><!--在序列文件中使用的缓冲区大小,这个缓冲区的大小应该是页大小(英特尔x86上为4096)的倍数他决定读写操作中缓冲了多少数据(单位kb)--></property><!--ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点--><property><name>ha.zookeeper.quorum</name><value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value></property>
</configuration>

hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>3</value><!--指定dataNode存储block的副本数量,默认值是3个,该值应该不大于4--></property><property><name>dfs.blocksize</name><value>268435456</value><!--大型的文件系统HDFS块大小为256MB,先默认是128MB--></property><property><name>dfs.namenode.name.dir</name><value>file://${hadoop.tmp.dir}/dfs/name</value><!--存放namenode的名称表(fsimage)的目录,如果这是一个逗号分隔的目录列表,那么在所有目录中复制名称表,用于冗余。--></property><property><name>dfs.datanode.data.dir</name><value>file://${hadoop.tmp.dir}/dfs/data</value><!--存放datanode块的目录。如果这是一个逗号分隔的目录列表,那么数据将存储在所有命名的目录中,通常存储在不同的设备上。--></property><property><name>dfs.namenode.http-address</name><value>0.0.0.0:50070</value><!----></property><property><name>dfs.namenode.secondary.http-address</name><value>0.0.0.0:50090</value><!--secondary namenode HTTP服务器地址和端口。--></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.permissions.enabled</name><value>false</value><!-- 当为true时,则允许HDFS的检测,当为false时,则关闭HDFS的检测,但不影响其它HDFS的其它功能。--></property><property><name>dfs.nameservices</name><value>hadoop-cluster1</value><!--给hdfs集群起名字 --></property><property><name>dfs.namenode.handler.count</name><value>100</value><!-- RPC服务器的监听client线程数,如果dfs.namenode.servicerpc-address属性没有配置,则线程会监听所有节点的请求。--></property>
</configuration>

yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop-alone:8033</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop-alone:8025</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-alone:8030</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop-alone:8050</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-alone:8030</value></property>
</configuration>

mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><!--执行框架设置为 Hadoop YARN.--></property>
</configuration>

转载于:https://www.cnblogs.com/xhy-shine/p/10530729.html

Hadoop配置文件参数详解相关推荐

  1. Linux网卡配置文件-参数详解

    Linux网卡配置文件-参数详解 DEVICE=eth0 #指出网卡名称比如这个是eth0 NM_CONTROLLED=yes #network mamager的参数,实时生效,不需要重启,表示是否受 ...

  2. CI流水线配置文件参数详解(二)

    文章目录 4. 参数详解(二) 4.9 git tag打标签的使用 4.10 ``allow_failure`` 4.11 ``when`` 关键字用于实现在作业失败时或发生故障时运行的作业 (whe ...

  3. Linux ❀ Rsyslog(Syslog)服务与配置文件参数详解

    文章目录 1.日志服务简介 2.linux系统中的常见日志 3.日志服务Rsyslog (1)服务对应rpm包 (2)服务配置文件 (3)配置文件格式 服务名称 连接符号 日志等级 日志记录位置 (4 ...

  4. CI流水线配置文件参数详解(一)

    文章目录 4. 参数详解(一) 4.1 ``script`` 4.2 ``image`` 指定使用Docker镜像.如 ``iamge:name`` ,暂时忽略. 4.3 ``before_scrip ...

  5. MySQL配置文件参数详解

    [client] port = 3307 socket = /usr/local/mysql5_6/mysql.sock default-character-set=utf8 [mysql] prom ...

  6. compose配置文件参数详解

    本文介绍compose配置文件参数的使用,熟练编写compose文件 [root@docker lnmp]# cat lnmp.yaml version: '3' services:nginx:bui ...

  7. mysql配置文件参数详解 my.cnf

    My.cnf My.cnf配置选项详解:  mysqld程序--目录和文件 basedir = path使用给定目录作为根目录(安装目录). character-sets-dir = path给出存放 ...

  8. Nginx配置文件参数详解以及配置文件模板

    全局配置 详解 user nginx nginx; #定义Nginx运行的用户和用户组 worker_processes 1; #nginx进程数,通常设置等于CPU总核数或者2倍与CPU worke ...

  9. PPOCR 检测器配置文件参数详解

    文章目录 配置文件参数介绍 Global Optimizer Architecture Loss PostProcess Metric Dataset 配置文件参数介绍 以 rec_chinese_l ...

最新文章

  1. 自动化测试如何解决验证码的问题
  2. 安全篇之手机数字密码九宫格究竟哪个更安全?
  3. lazada开店平台费用都有哪些,产品如何来做定价?
  4. 不得了了!Python 又爆出重大 Bug!
  5. 我是怎样刚拿饿了么P7 offer,然后途虎一轮游的
  6. Unity2018.1中文更新日志速览版
  7. PHP如何判断提交表单中多个复选框是否选中?
  8. 大容量NoSql解决方案:Aerospike实战
  9. jq输出html 单引号引号转义符,javascript - 由于JSON中的单引号转义,jQuery.parseJSON抛出“无效的JSON”错误...
  10. Qt4_使用QXmlStreamReader读取XML
  11. Java多线程系列--“JUC锁”07之 LockSupport
  12. VALSE学习(五):看图说话-Visual Question Answering as Reading Comprehension
  13. 华为架构师_华为首席架构师刘敏:5G商业落地 中小企业如何分一杯羹?
  14. Zookeeper集群leader选举机制
  15. 【数据库】mysql日期格式转换
  16. 实验4 可视化简历生成
  17. Win Server 2008 R2
  18. How a non-windowed component can receive messages from Windows -- AllocateHWnd
  19. BeeconX路由器是什么牌子?BeeconX路由器怎么样?
  20. 支付宝AR红包关闭,看昔日“网红”如何过气

热门文章

  1. mysql5.6修改默认目录_MySQL修改默认存储路径
  2. matlab叠加定理怎么输入,自动控制原理(第2版)(余成波-张莲-胡晓倩)习题全解及MATLAB实验-----第1、2章习题解答.doc...
  3. java orm框架什么意思_ORM框架是什么
  4. java源程序可以有几个主类_Java源程序是由类定义组成的,每个程序可以定义若干个类,但只有一个类是主类。_学小易找答案...
  5. Android开发的小技巧总结
  6. 十二省联考2019游记
  7. Linux 下shell中exec解析
  8. 【Mood 16 】史上最全github使用方法:github入门到精通
  9. WM_Paint 消息疑问解析
  10. uni-app—微信公众号授权登录(截取code)