Tungsten replicator简介

Tungsten是一套用于数据库集群和复制的软件集合，包括replication, management, SQL routing, and proxying。Ppc2009大会对这套软件专门做了介绍，下载地址如下

[url=http://sourceforge.net/project/showfiles.php?group_id=256125]http://sourceforge.net/project/showfiles.php?group_id=256125

tungsten replicator则是这套软件中用于数据复制的一个组件。通过在主从服务器上部署的java程序对主数据库的binlog进行跟踪，并将更新的内容解析出来发送到从服务器，而从服务器的java则将接收到的更新写入从数据库。

测试环境

Master1

192.168.1.8

Master2

192.168.1.4

Slave

192.168.1.7

由于tungsten replicator是java程序，因此需要各个服务器都架设jdk环境

Maser配置

下载tungsten replicator1.0.2的压缩包，解压到一个单独的目录。将conf目录下的replicator.properties.mysql重命名为replicator.properties，并根据实际情况修改以下内容：

#声明当前服务器是master模式

replicator.role=master

#服务启动后自动开始复制

replicator.auto_enable=true

#指定一个全局唯一的id，建议用服务器名

replicator.source_id=dev08

#指定用于存放复制数据的库名，在mysql手动生成一个空的库，并在my.cnf中将这个库加入binlog-ignore-db参数里。默认数据库为tungsten

replicator.schema=tungsten

#指定master的ip，本机则使用localhost

replicator.thl.remote_uri=thl://localhost/

#如果replicator.schema参数指定了其他的数据库名，则需要把tungsten改成指定的数据库名。

replicator.thl.url=jdbc:mysql://localhost/tungsten

#指定binlog文件所在的目录

replicator.extractor.mysql.binlog_dir=/usr/local/mysql/var

#指定binlog文件名的前缀

replicator.extractor.mysql.binlog_file_pattern=mysql-bin

#指定replicator程序使用的数据库用户名和密码，并在数据库中生成该用户，需要super权限。

replicator.thl.user=tungsten

replicator.thl.password=secret

replicator.applier.mysql.host=localhost

replicator.applier.mysql.port=3306

replicator.applier.mysql.user=tungsten

replicator.applier.mysql.password=secret

replicator.extractor.mysql.host=localhost

replicator.extractor.mysql.user=tungsten

replicator.extractor.mysql.password=secret

配置完成后使用bin目录下的trepsvc命令启动

Trepsvc start

用bin目录下的trepctl查看服务器状态

Trepctl status

Name

Value

===============================================

System ID

dev08

System Version:

1.0-beta5

System State:

ONLINE:MASTER

System Uptime (S): 282739.972s

State Uptime (S):

282739.351s

Error:

null

Error Exception:

null

Min Seq No:

0

Max Seq No:

179

Monitor Intvl (S): 282740.011

Extr Total:

179

Extr Last Seq No:

179

Extr/Sec:

6.330904427029223E-4

Recv Total:

0

Recv Last Seq No:

-1

Recv Source TS:

null

Recv Target TS:

null

Recv Latency (S):

0.0

Recv/Sec:

0.0

Apply Total:

0

Apply Last Seq No: -1

Apply Source TS:

null

Apply Target TS:

null

Apply Latency (S): 0.0

Apply/Sec:

0.0

State: ONLINE:MASTER

Seqno Range: 0 -> 179

当state为ONLINE:MASTER说明启动成功。

[font=Wingdings]

[/font]

Slave配置

由于要从2个master上同步数据，所以要将tungstereplicator解压到2个不同的目录，然后分别启动2个目录里的tungsten replicator程序。

基本配置和master相同，只是replicator.properties的内容不同，根据实际情况修改以下内容：

#声明本机是slave模式

replicator.role=slave

#服务启动后自动开始复制

replicator.auto_enable=true

#指定一个全局唯一的id，slave上2个replicator需要不同的id

replicator.source_id=dev071

#指定用于存放复制数据的库名，并在my.cnf中将这个库加入binlog-ignore-db参数里。2个replicator需要不同的库存放数据，在mysql里手动生成这2个空的库，并在my.cnf中将这2个库加入binlog-ignore-db参数里

replicator.schema=svnrep

#指定rmi端口，2个replicator需要指定不同端口

replicator.rmi_port=11000

#指定thl端口，2个replicator需要指定不同端口

replicator.thl.uri=thl://0.0.0.0:12112/

#指定master的ip，2个replicator指定不同master用于复制数据库。

replicator.thl.remote_uri=thl://192.168.1.4/

# replicator.schema参数，将svnrep改为实际的数据库名。

replicator.thl.url=jdbc:mysql://localhost/svnrep

其他配置与master相同。

配置完成后使用bin目录下的trepsvc命令启动

Trepsvc start

用bin目录下的trepctl查看服务器状态

Trepctl status

Name

Value

===============================================

System ID

dev071

System Version:

1.0-beta5

System State:

ONLINE:SLAVE

System Uptime (S): 6509.149s

State Uptime (S):

6325.891s

Error:

null

Error Exception:

null

Min Seq No:

0

Max Seq No:

5

Monitor Intvl (S): 6509.153

Extr Total:

0

Extr Last Seq No:

-1

Extr/Sec:

0.0

Recv Total:

2

Recv Last Seq No:

5

Recv Source TS:

2009-06-22 15:53:54.581

Recv Target TS:

2009-06-22 15:58:26.343

Recv Latency (S):

271.762

Recv/Sec:

3.072588835840643E-4

Apply Total:

1

Apply Last Seq No: 5

Apply Source TS:

2009-06-22 15:53:54.581

Apply Target TS:

2009-06-22 15:58:26.352

Apply Latency (S): 271.771

Apply/Sec:

1.536292765781721E-4

State: ONLINE:SLAVE

Seqno Range: 0 -> 5

当state为ONLINE:SLAVE时，说明已经复制成功。

由于当前版本的trepctl命令默认使用的是10000端口，所以查看端口为11000的replicator状态需要手动设置一下系统变量

export REPLICATOR_RMI_PORT=11000

然后再执行trepctl即可。

Tungsten replicator的一些特点

Tungsten replicator被定义为是异构数据库复制框架，可实现不同版本，不同种类数据库之间的数据库复制。根据官方的说明，现在可以实现mysql各版本件，以及mysql与oracle间的数据库复制，但是一些函数上限制还是不能避免。

本来测试这个软件是想用来代替mysql replication的，但是测试的效果不是很好，100万条记录同步，mysql replication需要4分10秒，tungsten replicator需要5分30秒。对行复制模式的binlog支持不是很好，对ddl语句支持不是很好。

由于tungsten replicator使用的是jdbc进行数据操作，所以一些在数据库中可以进行的操作会被jdbc认为是非法操作而导致复制中止，例如像datetime字段插入一个空字符。，所以如果web应用层不是java程序的话还是有一定风险的。而且java程序本身也需要一定的内存，当数据库的写入和更新操作比较频繁导致内存不够的时候，master上的tungsten会因为内存不够而出错，但是不会造成数据丢失，只是复制会中止。测试中我的服务器是2G内存，innodb_buffer_pool_size为1G，当我批量生成100万的数据的时候就会出错。tungsten默认最大内存为256M，可以通过修改wrapper.conf的wrapper.java.maxmemory参数来增加内存上限。

不过这个软件更新还是很快的，测试的时候还是1.0.1，测试完毕后就已经更新到1.0.2了。在这个软件的开发计划中，并行复制是比较让人期待的功能。