HBase参数配置及说明
2019独角兽企业重金招聘Python工程师标准>>>
版本:0.94-cdh4.2.1
hbase-site.xml配置
hbase.tmp.dir
- 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的
- 线上配置
<
property
>
<
name
>hbase.tmp.dir</
name
>
<
value
>/mnt/dfs/11/hbase/hbase-tmp</
value
>
</
property
>
- 默认值:
${java.io.tmpdir}/hbase-${user.name}
写到系统的/tmp目录
hbase.rootdir
- HBase集群中所有RegionServer共享目录,用来持久化HBase的数据,一般设置的是hdfs的文件目录,如hdfs://namenode.example.org:9000/hbase
- 线上配置
<
property
>
<
name
>hbase.rootdir</
name
>
<
value
>hdfs://mycluster/hbase</
value
>
</
property
>
- 默认值:
${hbase.tmp.dir}/hbase
hbase.cluster.distributed
- 集群的模式,分布式还是单机模式,如果设置成false的话,HBase进程和Zookeeper进程在同一个JVM进程。
- 线上配置为true
- 默认值:false
hbase.zookeeper.quorum
- zookeeper集群的URL配置,多个host中间用逗号(,)分割
- 线上配置
<
property
>
<
name
>hbase.zookeeper.quorum</
name
> <
value
>inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org</
value
>
</
property
>
- 默认值:localhost
hbase.zookeeper.property.dataDir
- ZooKeeper的zoo.conf中的配置。 快照的存储位置
- 线上配置:/home/hadoop/zookeeperData
- 默认值:${hbase.tmp.dir}/zookeeper
zookeeper.session.timeout
- 客户端与zk连接超时时间
- 线上配置:1200000(20min)
- 默认值:180000(3min)
hbase.zookeeper.property.tickTime
- Client端与zk发送心跳的时间间隔
- 线上配置:6000(6s)
- 默认值:6000
hbase.security.authentication
- HBase集群安全认证机制,目前的版本只支持kerberos安全认证。
- 线上配置:kerberos
- 默认值:空
hbase.security.authorization
- HBase是否开启安全授权机制
- 线上配置: true
- 默认值: false
hbase.regionserver.kerberos.principal
- regionserver的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)
- 线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
- 默认:无
hbase.regionserver.keytab.file
- regionserver keytab文件路径
- 线上配置:/home/hadoop/etc/conf/hbase.keytab
- 默认值:无
hbase.master.kerberos.principal
- master的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)
- 线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
- 默认:无
hbase.master.keytab.file
- master keytab文件路径
- 线上配置:/home/hadoop/etc/conf/hbase.keytab
- 默认值:无
hbase.regionserver.handler.count
- regionserver处理IO请求的线程数
- 线上配置:50
- 默认配置:10
hbase.regionserver.global.memstore.upperLimit
- RegionServer进程block进行flush触发条件:该节点上所有region的memstore之和达到upperLimit*heapsize
- 线上配置:0.45
- 默认配置:0.4
hbase.regionserver.global.memstore.lowerLimit
- RegionServer进程触发flush的一个条件:该节点上所有region的memstore之和达到lowerLimit*heapsize
- 线上配置:0.4
- 默认配置:0.35
hbase.client.write.buffer
- 客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush
- 线上配置:8388608(8M)
- 默认配置:2097152(2M)
hbase.hregion.max.filesize
- 单个ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则自动split
- 线上配置:107374182400(100G)
- 默认配置:21474836480(20G)
hbase.hregion.memstore.block.multiplier
- 超过memstore大小的倍数达到该值则block所有写入请求,自我保护
- 线上配置:8(内存够大可以适当调大一些,出现这种情况需要客户端做调整)
- 默认配置:2
hbase.hregion.memstore.flush.size
- memstore大小,当达到该值则会flush到外存设备
- 线上配置:104857600(100M)
- 默认值: 134217728(128M)
hbase.hregion.memstore.mslab.enabled
- 是否开启mslab方案,减少因内存碎片导致的Full GC,提高整体性能
- 线上配置:true
- 默认配置: true
hbase.regionserver.maxlogs
- regionserver的hlog数量
- 线上配置:128
- 默认配置:32
hbase.regionserver.hlog.blocksize
- hlog大小上限,达到该值则block,进行roll掉
- 线上配置:536870912(512M)
- 默认配置:hdfs配置的block大小
hbase.hstore.compaction.min
- 进入minor compact队列的storefiles最小个数
- 线上配置:10
- 默认配置:3
hbase.hstore.compaction.max
- 单次minor compact最多的文件个数
- 线上配置:30
- 默认配置:10
hbase.hstore.blockingStoreFiles
- 当某一个region的storefile个数达到该值则block写入,等待compact
- 线上配置:100(生产环境可以设置得很大)
- 默认配置: 7
hbase.hstore.blockingWaitTime
- block的等待时间
- 线上配置:90000(90s)
- 默认配置:90000(90s)
hbase.hregion.majorcompaction
- 触发major compact的周期
- 线上配置:0(关掉major compact)
- 默认配置:86400000(1d)
hbase.regionserver.thread.compaction.large
- large compact线程池的线程个数
- 线上配置:5
- 默认配置:1
hbase.regionserver.thread.compaction.small
- small compact线程池的线程个数
- 线上配置:5
- 默认配置:1
hbase.regionserver.thread.compaction.throttle
- compact(major和minor)请求进入large和small compact线程池的临界点
- 线上配置:10737418240(10G)
- 默认配置:2 * this.minFilesToCompact * this.region.memstoreFlushSize
hbase.hstore.compaction.max.size
- minor compact队列中storefile文件最大size
- 线上配置:21474836480(20G)
- 默认配置:Long.MAX_VALUE
hbase.rpc.timeout
- RPC请求timeout时间
- 线上配置:300000(5min)
- 默认配置:60000(10s)
hbase.regionserver.region.split.policy
- split操作默认的策略
- 线上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(采取老的策略,自己控制split)
- 默认配置: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进行split操作)
hbase.regionserver.regionSplitLimit
- 单台RegionServer上region数上限
- 线上配置:150
- 默认配置:2147483647
hbase-env.sh配置
指定系统运行环境
|
JVM参数调优
|
转载于:https://my.oschina.net/sniperLi/blog/780247
HBase参数配置及说明相关推荐
- hbase参数配置及优化
为什么80%的码农都做不了架构师?>>> 接触hbase已有半年的时间,查了很多资料,也参考了很多别人心得,也希望把自己的心得以及理解写出来,我把配置hbase必调的几个参数写 ...
- Linux环境HBase安装配置及使用
Linux环境HBase安装配置及使用 1. 认识HBase (1) HBase介绍 HBase = Hadoop database,Hadoop数据库 开源数据库 官网:hbase.apache.o ...
- Yarn 内存分配管理机制及相关参数配置
理解Yarn的内存管理与分配机制,对于我们搭建.部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考. 一.相关配置情况 关于Yarn内存分配与管理,主要涉及到了ResourceM ...
- hbase安装配置(整合到hadoop)
如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方 ...
- u8虚拟服务器端口,用友u8服务器参数配置
用友u8服务器参数配置 内容精选 换一换 查询负载均衡器状态树.可通过该接口查询负载均衡器关联的监听器.后端云服务器组.后端云服务器.健康检查.转发策略.转发规则的主要信息,了解负载均衡器下资源的拓扑 ...
- hbase安装配置 整合到hadoop
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 如果想详 ...
- 【深入理解Hadoop原理】Hadoop 参数配置 详解
Hadoop 参数配置 详解 一.常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传 ...
- HBase高级配置跟调整(1)
搜搜 日榜 周榜 月榜 总榜 HBase高级配置跟调整(1) 2015-03-25 05:52 | 4932人阅读 | 来源 HBase高级配置和调整(1) 在对HBase集群进行调整之前,你需要先知 ...
- mysql属性配置提高查询_MYSQL性能优化-安装时优化参数配置提高服务性能
MYSQL性能优化一直是个头痛的问题,目前大多都是直接把页面html静态页面或直接使用了缓存技术,下面我就mysql本身的性能优化来分享一下. 安装时优化参数配置提高服务性能 在Linux下安装Mys ...
最新文章
- run cuda samples ubuntu_NVIDIA cuDNN v8 deb方法安装教程(Linux/Ubuntu)
- 与两位主席复盘IJCAI,今年得失几何?
- map和struct的多重嵌套
- zabbix—安装agent客户端(linux版)
- MySQL - 高效的设计MySQL库表
- 收藏 | 500页阿里、滴滴、快手等公司的大数据最佳实践!PDF限时下载
- linux c 进程策略 优先级,当两个线程拥有相同优先级时,linux c的线程调度策略问题...
- vuepress build提示YAMLException: end of the stream or a document separator is expected at line 7, colu
- CSS3 Media Query 响应式媒体查询
- java 字母随机数_java如何生成指定长度的随机数字和英文的字符串
- LiteOS的内核——RTOS基本的特性
- 写给小白的计算机概论
- python自动化可以做什么菜_Python自动化开发学习之三级菜单制作
- 【自用】docker命令记录
- MySQL数据库操作指令
- heapsort(Java)(最小堆)
- 中国电信无线网络服务器,电信免费升级500兆?体验过后发现事情并不简单
- 重阳重游万州文峰塔记
- 21天打卡挑战 - 经典算法之折半查找
- nrf52840开发笔记(一)------开发环境搭建