hadoop1常见配置含义
参数 取值 备注
fs.default.name | NameNode 的URI。 | hdfs://主机名/ |
dfs.hosts/dfs.hosts.exclude | 许可/拒绝DataNode列表。 | 如有必要,用这个文件控制许可的datanode列表。 |
dfs.replication | 默认: 3 | 数据复制的分数 |
dfs.name.dir |
举例:/home/username/hadoop/namenode 默认:/tmp |
当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。 |
dfs.data.dir |
举例:/home/username/hadoop/datanode 默认: /tmp |
当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。 |
mapred.system.dir | Map/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。 | 这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问。 |
mapred.local.dir | 本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方。 | 多路径有助于利用磁盘i/o。 |
mapred.tasktracker.{map|reduce}.tasks.maximum | 某一TaskTracker 上可运行的最大Map/Reduce任务数,这些任务将同时各自运行。 | 默认为2(2个map和2个reduce),可依据硬件情况更改。 |
mapred.job.tracker | JobTracker 的主机(或者IP)和端口。 | 主机:端口 。 |
mapred.hosts/mapred.hosts.exclude | 许可/拒绝TaskTracker列表。 | 如有必要,用这个文件控制许可的TaskTracker列表。 |
hadoop.job.history.user.location |
默认:mapred.output.dir/_logs/history 也可以设置为none 来停用 |
作业的历史文件记录目录 |
conf/slaves 写入全部的slave的机器名或者IP
nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。
hadoop 默认的block 是 64MB
在M/R优化的时候可以通过修改一些配置文件的值来提高性能
转载于:https://www.cnblogs.com/tonychai/p/4516514.html
hadoop1常见配置含义相关推荐
- PyCharm软件常见配置
官网下载地址:https://www.jetbrains.com/pycharm/download/#section=windows PyCharm软件安装 Pycharm下载 Python后期会有很 ...
- 《Drupal实战》——1.4 常见配置
1.4 常见配置 安装好简体中文以后,对于我们这些中文用户.开发者来说,还有几个地方需要特别设置一下(毕竟Drupal是欧美人开发的,用户习惯不同).其中的一个就是地区设置里面的默认国家.默认时区.在 ...
- Struts2学习笔记(一)--入门常见配置
Struts2框架的学习路线 l 第一天:Struts2的概述.Struts2的入门.Struts2常见的配置.Struts2的Action的编写 l 第二天:Struts2的数据的封装.结果页面配 ...
- Android 系统(140)---android.mk中几个常见配置
android.mk中几个常见配置 1.LOCAL_JACK_ENABLED 这个变量可以禁止使用Jack编译工具链编译该模块.在工作中,个人感觉目前jack工具链不是很稳定,经常会出现一些错误,比如 ...
- [转]nginx常见配置详解
一.nginx的配置文件 配置文件默认为安装目录下的conf/nginx.conf,如果有使用到其他子配置文件,可以在nginx.conf中使用include 文件路径;的方式加载使用,比如serve ...
- SpringBoot 常见配置注解使用:
SpringBoot 配置注解解析 会不断更新! 一起学习呀! application.yml 常见配置: server server.servlet.context-path 应用上下文路径 ser ...
- web服务器常见配置搭建详解(超详细)
前言: 本博客借鉴一些写的比较好的博客,进行归纳总结,整理了一篇比较详细的服务器常见配置搭建教程 一来是和大家一起分享,二来也是作为自己的学习笔记记录一下. 温馨提示: 篇幅较长,请分阶段选择性查看. ...
- 前端常见配置文件格式及选择
背景 自己撸一个脚手架的时候,需要为脚手架提供一个配置文件,然后发现有好多种配置文件的格式可以选择,比如.json .js或.yml等,一时有点迷茫应该选择哪个格式,查阅一些资料总结此文,以供查阅. ...
- 由浅入深玩转华为WLAN—13 华为胖AP的常见配置
简介 华为的胖AP从配置上面来说与AC真的没啥区别,只是一个是AC最后下发业务给瘦AP,而胖AP的话则是在射频口调用,让无线客户端能够搜索的到该SSID.另外胖AP的话,它是独自运行的,不需要AC来进 ...
最新文章
- PostgreSQL 10.1 手册_部分 II. SQL 语言_第 8 章 数据类型_8.6. 布尔类型
- Spring中配置Quartz的misfireInstruction
- Java高并发编程:定时器、互斥、同步通信技术
- ASP.NET 安全认证(二)——灵活运用 Form 表单认证中的 deny 与 allow 及保护 .htm 等文件 ....
- 【洛谷P1108】低价购买【dp练习】
- LeetCode 1065. 字符串的索引对
- VS2005+SQL2005 Reporting Service动态绑定报表(Web)
- MIUI9修改手机机型 修改王者荣耀版本
- python爬数据是什么意思-python爬虫爬取的数据可以做什么
- 前端HTML中防止用户在短时间内频繁多次点击按钮
- Unity Editor 基础篇(三):自定义窗口
- Unity学习笔记-粒子篇
- 陶瓷纤维毯行业调研报告 - 市场现状分析与发展前景预测
- 一键脚本搭建docker redis 集群(cluster)
- 【VSCode】yarn : 无法加载文件 A:\yuke\node\node_gobal\yarn.ps1,因为在此系统上禁止运行脚本。
- ipv4与ipv6的联系与区别
- 软件设计师考试(中级)考点
- AUTOSAR_SWS_SecureOnboardCommunication(7)-功能规格 -1
- MybatisPlus入门(涉及大部分常用操作)
- linux gadget 模拟鼠标,HID设备--开发板模拟鼠标
热门文章
- 【CodeForces - 574C】Bear and Poker(思维,剪枝,数学)
- 【POJ-3259】 Wormholes(判负环,spfa算法)
- 吴恩达机器学习作业(五):支持向量机
- Linux中wait接口用于延时,linux2.6驱动编写参考
- 最有效的萨克斯弱音器_1990到2016年全球自杀数据公布,中国自杀死亡率下降最显著!...
- a href=#与 a href=javascript:void(0) 的区别
- 双屏怎么快速切换鼠标_在笔记本上实现双屏设计,怎么做到的?
- hiveserver2启动不起来_给爱车配个充电宝,70迈汽车应急启动电源,让你远离搭电小广告...
- 关系数据库——范式/反范式的利弊权衡和建议
- 深度模型压缩论文(01)- Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks