Hbase复制使用手册

1 Hbase复制简介

通过hbase的replication功能实现集群间的相互复制.

2 环境

这里hbase版本为hbase-0.98.6-cdh5.3.3

3 配置

各个集群里配置hbase-site.xml里的复制功能:

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

完整配置文件附录:

<configuration>

<property>

<name>hbase.master</name>

<value>shenl:6000</value>

</property>

<property>

<name>hbase.master.maxclockskew</name>

<value>180000</value>

</property>

<property>

<name>hbase.rootdir</name>

<value>hdfs://shenl:8020/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>shenl</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/root/zookeeper/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

</configuration>

4 使用

3.1 场景1:主节点同名表同步到各从节点

1 主节点里创建student表,指定有score和course两个列族

create 'student', 'score', 'course'

put 'student', 'xiapi001','score:english', '10'

put 'student', 'xiapi002','score:chinese', '20'

put 'student','xiapi002','course:chinese', '001'

scan 'scores'

2打开主节点里表student的复制特性

disable 'student'

alter 'student', {NAME => 'score',REPLICATION_SCOPE => '1'},{NAME => 'course', REPLICATION_SCOPE => '1'}

enable 'student'

3主节点里添加要复制的从节点的peer

add_peer '10','192.168.56.103:2181:/hbase'

set_peer_tableCFs '10','student'

4从节点里新增跟主节点一样的表

create 'student', 'score', 'course'

5主节点里新增数据到从节点里观察数据是否同步

1)  主节点里新增数据

2)  从节点里查看数据

:1 这里数据同步是从replication功能打开之后,之前的数据需要手工同步.

2同步时可以指定列族,如仅同步student的score列族:

从节点里:

6同理添加peer,重复动作 34 5,即可实现场景1.

add_peer '11','192.168.56.104:2181:/hbase'

set_peer_tableCFs '10','student'

3.2场景2:主节点不同表同步到不同集群相应表

实现方式类似3.1,通过set_peer_tableCFs设置

set_peer_tableCFs '4', "slave1:grade; scores:grade"

set_peer_tableCFs '5', "slave2:grade; scores:grade"

list_peers

3.3场景3:各主节点表同步到同从集群相应表

实现方式:

主集群1里增加peer,主集群2里增加peer,同时通过set_peer_tableCFs设置需要同步的表即可.

#主hbase1 peers:

#主hbase2 peers :

add_peer '6','192.168.56.103:2181:/hbase'

set_peer_tableCFs '5', " master2:grade"

3.4复制命令详解

Group name: replication

命令

官网解释

中文意思

add_peer

adds a replication relationship between two clusters

为两个集群添加复制管理

disable_peer

Disable a replication relationship

禁用复制关系

enable_peer

Enable a previously-disabled replication relationship

启用复制关系

list_peers

list all replication relationships known by this cluster

显示当前集群的复制关系

remove_peer

Disable and remove a replication relationship

禁用并删除复制关系

list_replicated_tables

List all the tables and column families replicated from this cluster

显示一个hbase集群下处于复制状态的表

set_peer_tableCFs

Set the replicable table-cf config for the specified peer

设置peer下的表、列族复制关系

show_peer_tableCFs

Show replicable table-cf config for the specified peer.

显示peer下表、列族复制关系

5 问题总结

1 验证是需要先核对下hbase的版本,不同版本的复制命令不同

2 同步是针对配置后复制的新数据,旧数据需要手动迁移

Hbase复制(Replication )相关推荐

  1. Linux MySQL主主复制(Replication)(MySQL数据双向同步)配置

    http://www.centos.bz/2011/07/linux-mysql-replication-two-way-sync/#配置当前从服务器 Linux MySQL主主复制(Replicat ...

  2. 理解MySQL复制(Replication)

    | 理解MySQL复制(Replication) 1.复制概述 1.1.复制解决的问题 数据复制技术有以下一些特点: (1)    数据分布 (2)    负载平衡(load balancing) ( ...

  3. mysql 环形复制_mysql复制(Replication)

    1.复制概述 1.1.复制解决的问题 数据复制技术有以下一些特点: (1)    数据分布 (2)    负载平衡(load balancing) (3)    备份 (4)    高可用性(high ...

  4. 理解MySQL——复制(Replication)

    1.复制概述 1.1.复制解决的问题 数据复制技术有以下一些特点: (1)    数据分布 (2)    负载平衡(load balancing) (3)    备份 (4)    高可用性(high ...

  5. mysql 单向复制_Mysql 复制(Replication)实现

    个人需要做一个小工程,需要将3台Mysql服务器的数据进行同步操作,经过上网查资料,并进行了实际操作完成了基本构思. 首先准备了3台Centos6.2,搭配了Apache Mysql PHP 等基本W ...

  6. SQL Server 2008 R2 中不能删除复制(replication) 的解决方法

    错误描述: Msg 15517, Level 16, State 1, Procedure sp_replcmds, Line 1 Cannot execute as the database pri ...

  7. Hbase Replication 介绍

    https://blog.csdn.net/teriy/article/details/7954203 现状 Hbase 的replication目前在业界使用并不多见,原因有很多方面,比如说HDFS ...

  8. mysql异步复制参数_MySQL Replication(异步复制)基本原理

    1.复制进程 Mysql的复制(replication)是一个异步的复制,从一个Mysql instace(称之为Master)复制到另一个Mysql instance(称之Slave).实现整个复制 ...

  9. mysql replication 原理_MySQL Replication(复制)基本原理 | 学步园

    1.复制进程 Mysql的复制(replication)是一个异步的复制,从一个Mysql instace(称之为Master)复制到另一个Mysql instance(称之Slave).实现整个复制 ...

最新文章

  1. SAP 不支持交货单中同一个物料多个行项目HU与序列号组合发货场景
  2. flash与IPhone
  3. 2020-11-29(准备考试)
  4. linux防火墙添加udp 123,centos下的ntp的安装和配置 (注意 防火牆的udp 123要打開,不然會不能用)...
  5. Algorithm, Secret key and Protocol
  6. 使用 TypeScript 自定义装饰器给类的方法增添监听器 Listener
  7. javaweb基础(40)_jdbc框架
  8. matlab 信息融合,MSDF,matlab,多传感器信息融合
  9. 计算机考试交互,2017计算机等级考试HTTP的基本概念与交互模型练习题
  10. 最会说话的人,都有这十种风度
  11. 科研|本科来自普通二本的博士3年迎来2篇Nature,创造校史!
  12. 【51nod】最大子段和
  13. java jsp 特殊标签_JSP复习(四):JSTL标记
  14. 素数筛(埃氏筛、欧拉筛)
  15. 中职学校计算机课程标准,中等职业学校课程标准发布
  16. 高数笔记(十七):二重积分的概念、性质与计算,三重积分的概念、性质与计算
  17. 易点云冲刺上市:亏损收窄、债务高企,租电脑的生意能否长久?
  18. 对接IronSource广告(视频)
  19. Linux串口驱动程序(3)-打开设备
  20. 应急管理管理局安全生产预警平台应急管理系统

热门文章

  1. wxWidgets:wxFindDialogEvent类用法
  2. wxWidgets:wxColour类用法
  3. boost::proto模块实现构建算术表达式的简单示例 带有占位符的评估器的测试程序
  4. GDCM:gdcm::ImageFragmentSplitter的测试程序
  5. GDCM:gdcm::Curve的测试程序
  6. GDCM:gdcm::XMLPrivateDictReader的测试程序
  7. boost::container模块实现插入和放置的测试程序
  8. ITK:从三个标量图像组成矢量
  9. VTK:Utilities之ArrayWriter
  10. VTK:Utilities之Scalars