更多博文请关注:没有伞的孩子必须努力奔跑 (www.xuchanggang.cn)

一、Amoeba的简述:[来自百度百科]

     Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求,依据用户事先设置的规则,将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比,作者强调的是amoeba配置的方便(基于XML的配置文件,用SQLJEP语法书写规则,比基于lua脚本的MySQL Proxy简单)。
     Amoeba相当于一个SQL请求的路由器,目的是为负载均衡、读写分离、高可用性提供机制,而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制,第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。目前 Amoeba 已在很多 企业的生产线上面使用。
二、Amoeba解决的问题及目前存在的劣势:
1.主要解决的问题:
  (1). 数据切分后复杂数据源整合
  (2). 提供数据切分规则并降低数据切分规则给数据库带来的影响
  (3). 降低数据库与客户端连接
  (4). 读写分离路由
2.劣势:
  (1).目前还不支持事务
  (2).暂时不支持存储过程(近期会支持)
  (3).不适合从amoeba导数据的场景或者对大数据量查询的query并不合适(比如一次请求返回10w以上甚至更多数据的场合)
  (4).暂时不支持分库分表,amoeba目前只做到分数据库实例,每个被切分的节点需要保持库表结构一致
三、基于 Amoeba 实现mysql数据库读写分离的配置
1.测试环境,amoeba的要求,软件提供,简要原理图:
  (1).测试环境:
       红帽6.3系统
       amoeba服务器地址:192.168.1.104
       mysql数据库:192.168.1.102:3306(master -- rw)/192.168.1.100:3306(slave -- r)
       注:为了方便测试读写分离,我这里是不配置主从。
  (2).amoeba的要求:
       Amoeba 是基于 java 开发,所以如果要运行 Amoeba,必须先安装 jdk 以便可以运行
  (3).软件下载:[大家可以到http://www.oschina.net/p/amoeba (开源中国)下载]
      当前测试环境使用的amoeba软件下载地址:http://www.kuaipan.cn/file/id_119710994921422890.htm
      amoeba参考手册:http://docs.hexnova.com/amoeba/
      amoeba项目代码:http://sourceforge.net/projects/amoeba/files/
  (4).简要原理图:
2.我们这里将amoeba相关软件放在/tmp目录下,这里我们先配置JDK
# 解压JDK软件到/usr/local目录下
[root@centos tmp]# tar -xf jdk-7u15-linux-x64.tar.gz  -C /usr/local/
# 进入相应目录,并建立java目录
[root@centos tmp]# cd /usr/local/
[root@centos local]# mkdir java
# 将解压出来的内容移到java目录
[root@centos local]# mv jdk1.7.0_15/*  java
# 设置java环境变量
[root@centos local]# echo 'export JAVA_HOME=/usr/local/java' >> ~/.bashrc
[root@centos local]# . ~/.bashrc
# 测试jdk是否正确安装
[root@centos local]#  java -version
# *******************************
# 以下这个方法设置JDK[在下面设置amoeba时,会覆盖,所以这里的配置文件,以最下面amoeba的配置为准]
[root@centos java]# echo $JAVA_HOME
[root@centos java]# vim /etc/profile
# 在末尾添加
export JAVA_HOME=/usr/locla/java
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
[root@centos java]# source /etc/profile
# *******************************
3.配置amoeba中的dbServer.xml(后端mysql 服务器连接配置)
[root@centos java]# cd /tmp/
# 建立相应amoeba目录
[root@centos tmp]# mkdir /usr/local/amoeba
# 将压缩包解压到指定目录
[root@centos tmp]# tar -xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba
[root@centos tmp]# cd /usr/local/amoeba/
[root@centos amoeba]# cd conf/
# 准备修改配置文件
#/*  以下部分为注解
#/*  Amoeba总共有7个配置文件,分别如下:
#/*  Amoeba主配置文件($AMOEBA_HOME/conf/amoeba.xml),用来配置Amoeba服务的基本参数,如Amoeba主机地址、端口、认证方式、用于连接的用户名、密码、线程数、超时时间、其他配置文件的位置等。
#/*  数据库服务器配置文件($AMOEBA_HOME/conf/dbServers.xml),用来存储和配置Amoeba所代理的数据库服务器的信息,如:主机IP、端口、用户名、密码等。
#/*  切分规则配置文件($AMOEBA_HOME/conf/rule.xml),用来配置切分规则。
#/*  数据库函数配置文件($AMOEBA_HOME/conf/functionMap.xml),用来配置数据库函数的处理方法,Amoeba将使用该配置文件中的方法解析数据库函数。
#/*  切分规则函数配置文件($AMOEBA_HOME/conf/ruleFunctionMap.xml),用来配置切分规则中使用的用户自定义函数的处理方法。
#/*  访问规则配置文件($AMOEBA_HOME/conf/access_list.conf),用来授权或禁止某些服务器IP访问Amoeba。
#/*  日志规格配置文件($AMOEBA_HOME/conf/log4j.xml),用来配置Amoeba输出日志的级别和方式。
# 配置后端mysql 服务器连接[dbServer.xml]
[root@centos conf]# vim dbServers.xml
.........................(省略)<dbServer name="abstractServer" abstractive="true"><factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"><property name="manager">${defaultManager}</property><property name="sendBufferSize">64</property><property name="receiveBufferSize">128</property>
# 设置 mysql 数据库的端口<!-- mysql port --><property name="port">3306</property>
# 设置缺省的数据库,当连接amoeba时,操作表必须显式的指定数据库名,即采用dbname.tablename的方式,
# 不支持 use dbname指定缺省库,因为操作会调度到各个后端dbserver<!-- mysql schema --><property name="schema">kongzhong</property># 设置amoeba连接后端数据库服务器的账号和密码,需在后端数据库器上创建该用户,并授权amoeba连接<!-- mysql user --><property name="user">kongzhong123</property><!--  mysql password --><property name="password">kongzhong123</property></factoryConfig><poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool"># 最大连接数[默认]<property name="maxActive">500</property># 最大空闲连接数[默认]<property name="maxIdle">500</property><property name="minIdle">10</property><property name="minEvictableIdleTimeMillis">600000</property><property name="timeBetweenEvictionRunsMillis">600000</property><property name="testOnBorrow">true</property><property name="testOnReturn">true</property><property name="testWhileIdle">true</property></poolConfig></dbServer># 设置一个后端的dbServer,名为master ,这个可以随便取,但是为了明确其含义,最好给予特殊含义的单词,这里是主DB SERVER<dbServer name="master"  parent="abstractServer"><factoryConfig># 设置这台DB server 的ip地址<!-- mysql ip --><property name="ipAddress">192.168.1.102</property></factoryConfig></dbServer>
# 再设置一台后端mysql数据库,这里叫slave,名字需要唯一[这里可以创建N个后端数据库,只要复制下面<dbServer>...</dbServer>]<dbServer name="slave"  parent="abstractServer"><factoryConfig>
# 设置这台DB server 的ip地址<!-- mysql ip --><property name="ipAddress">192.168.1.100</property></factoryConfig></dbServer>
# 指定一个虚拟的dbServer,将上面定义的dbserver加入这个虚拟的dbserver,相当于组成一个组[这里我们将读的数据库组成一个组]
# 这里 需要将 name="mul..." 改成自己想要取的名字,这个名字也需要有含义,后面会用到<dbServer name="ReadPool" virtual="true"><poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"><!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
# 选择调度算法 1 是轮询 2 是权重 3 是HA 这里选择1 轮询<property name="loadbalance">1</property><!-- Separated by commas,such as: server1,server2,server1 -->
# 负载均衡,slave1,slave2当成2个服务器进行调度,这模拟量加权的调度算法。
# 注意这里使用的dbserver必须是已经定义了的,可以写多个,如slave1,slave2<property name="poolNames">slave</property></poolConfig></dbServer>
</amoeba:dbServers>
4. 配置 Amoeba 监听端口[amoeba.xml]
[root@centos conf]# vim amoeba.xml
.........................(省略)<proxy><!-- service class must implements com.meidusa.amoeba.service.Service --><service name="Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager"><!-- port --># 设置amoeba监听的端口(这里如果默认,后面测试需要指定端口,就是这里的端口)<property name="port">3306</property><!-- bind ipAddress --><!--# 设置监听的接口,如果不设置,则监听所有的IP[选择默认]<property name="ipAddress">127.0.0.1</property>-->
.........................(省略)<property name="authenticator"><bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
# 提供客户端连接amoeba时需要使用这里设定的账号 (这里的账号密码和amoeba连接后端数据库服务器的密码无关)<property name="user">kongzhong</property>
# 提供客户端连接amoeba时需要使用这里设定的密码<property name="password">kongzhong</property><property name="filter"><bean class="com.meidusa.amoeba.server.IPAccessController"><property name="ipFile">${amoeba.home}/conf/access_list.conf</property></bean></property></bean></property></service>
.........................(省略)<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"><property name="ruleLoader"><bean class="com.meidusa.amoeba.route.TableRuleFileLoader"><property name="ruleFile">${amoeba.home}/conf/rule.xml</property><property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property></bean></property><property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property><property name="LRUMapSize">1500</property><property name="defaultPool">master</property><!--                 -->
# 把默认注释掉的读写分离选项,把注释去掉并readpool修改成ReadPool(这个名字,我们前面在dbServer.xml里设置一个读数据库组,这里是作为只读池)<property name="writePool">master</property><property name="readPool">ReadPool</property><property name="needParse">true</property></queryRouter>
5. 配置amoeba及JAVA的环境变量
[root@centos conf]# vim /etc/profile
JAVA_HOME=/usr/locla/java
AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
[root@centos conf]# source /etc/profile
6.启动amoeba测试
# 如果确认能够正常启动,就加>>/dev/null 否则还是看一下提示信息
[root@centos conf]# amoeba start & >>/dev/null
# 检测启动情况
[root@centos conf]# netstat -tulnp |grep java
# 停止amoeba测试指令是否可用
[root@centos conf]# amoeba stop
7.在两台数据库做刚才设置中的相应操作
(1).在主DB server上操作
# 建立配置文件指定的数据库
mysql> create database kongzhong;
mysql> use kongzhong
# 创建用于测试的表
mysql> create table t1(name varchar(10));
# 插入测试数据
mysql> insert into t1 values('102');
# 授予amoeba用户连接数据库的权限
mysql> grant all privileges on kongzhong.* to 'kongzhong123'@'192.168.1.104' identified by 'kongzhong123';
mysql> flush privileges;
(2).在从DB server上操作
# 建立配置文件指定的数据库
mysql> create database kongzhong;
mysql> use kongzhong
# 创建用于测试的表
mysql> create table t1(name varchar(10));
# 插入测试数据
mysql> insert into t1 values('100');
# 授予amoeba用户连接数据库的权限
mysql> grant all privileges on kongzhong.* to 'kongzhong123'@'192.168.1.104' identified by 'kongzhong123';
mysql> flush privileges;
8.在任何一台机器上登陆测试,这里的ip地址指向amoeba所在服务器的ip地址
# 登陆相应数据库,查询当前所在数据库(相应大家都应该懂的,就不详细演示了)
[root@client102 ~]# mysql -ukongzhong -p -h192.168.1.104
[root@client100 ~]# mysql -ukongzhong -p -h192.168.1.104
[root@client104 ~]# mysql -ukongzhong -p -h192.168.1.104
9.遇到的问题
(1).报错1:
The stack size specified is too small, Specify at least 160k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
解决方法:
[root@centos bin]# cd /usr/local/amoeba/
# 修改配置文件
[root@centos amoeba]# vim bin/amoeba
将下面这行
DEFAULT_OPTS="-server -Xms1024m -Xmx1024m -Xss128k"
修改为:
DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k"
(2).报错2:
Error: JAVA_HOME environment variable is not set.
解决方法:
[root@centos local]# echo 'export JAVA_HOME=/usr/local/java' >> ~/.bashrc
[root@centos local]# . ~/.bashrc
10.需要注意的问题,思路延伸
(1).取消日志生成,不然磁盘容易爆满
[root@centos conf]# vim log4j.xml [此文件在amoeba目录下的conf目录下]
修改log4j.xml 取消日志文件生成(太大了,磁盘很容易满)
<param name="file" value="${amoeba.home}/logs/project.log"/>
改成
<param name="file" value="<![CDATA[${amoeba.home}/logs/project.log>/dev/null]]>"/>
(2).性能优化
[root@centos amoeba]# vim bin/amoeba
DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"
改成
DEFAULT_OPTS="-server -Xms512m -Xmx512m -Xmn100m -Xss1204k"

转载于:https://blog.51cto.com/634871/1335129

基于amoeba实现mysql数据库的读写分离/负载均衡相关推荐

  1. 徐无忌MySQL笔记:案例实战:如何实现MySQL数据库的读写分离?

    徐无忌MySQL笔记:案例实战:如何实现MySQL数据库的读写分离? 完成:第一遍 1.理想的主从架构实现的效果是怎样的? 主库负责所有读写操作,从库只实现对主库备份功能,这样的主从架构性价比是很低的 ...

  2. MySQL数据库集群实现负载均衡的安装配置详解

    本文我们详细地介绍了MySQL 5.0数据库集群负载均衡的安装配置工作,希望能够对您有所帮助. 本文我们主要介绍了MySQL数据库集群实现负载均衡的安装配置工作,接下来我们就让我们一起来了解一下这部分 ...

  3. 【MySQL】Spring Boot项目基于Sharding-JDBC和MySQL主从复制实现读写分离(8千字详细教程)

    目录 前言 一. 介绍 二. 主从复制 1. 原理 2. 克隆从机 3. 克隆从机大坑 4. 远程登陆 5. 主机配置 6. 从机配置 7. 主机:建立账户并授权 8. 从机:配置需要复制的主机 9. ...

  4. linux企业实战 --MySQL数据库之读写分离

    文章目录 1. MySQL读写分离 2. MySQL-proxy实现读写分离 1. MySQL读写分离 Mysql的主从复制和Mysql的读写分离两者有着紧密联系. 首先部署主从复制,只有主从复制完了 ...

  5. MySQL数据库:读写分离

    一.读写分离的原理: 1.实现原理: 读写分离解决的是,数据库的写操作,影响了查询的效率,适用于读远大于写的场景.读写分离的实现基础是主从复制,主数据库利用主从复制将自身数据的改变同步到从数据库集群中 ...

  6. amoeba实现mysql主从读写分离_利用Amoeba实现MySQL主从复制和读写分离

    在实际生产环境中,如果对数据库的读和写都在同一个数据库服务器中操作,无论是在安全性.高可用性,还是高并发等各个方面都是完全不能满足实际需求的,因此,一般来说都是通过主从复制(Master-Slave) ...

  7. MySQL数据库mycat读写分离

    mycat读写分离 Mycat的读写分离是建立在Mysq的主从复制的基础上的 修改配置文件 schema.xml <?xml version="1.0"?> <! ...

  8. Mysql数据库的读写分离

    读写分离,即在主数据库中进行写操作(也可以进行增.删.改操作),在从数据库中进行读操作.在正常情况下,我们对主数据库进行的是增.删.改.查操作,数据库的写入时间比较长,而查询时间短,所以为了提高数据库 ...

  9. Atlas实现MySQL数据库的读写分离

    在实现了mysql的主从配置后,博主这里准备实现一下mysql的读写分离 这里我选择的是360团队的Atlas作为代理当然还可以使用mycat,one proxy,proxySQL等等开源的中间件,有 ...

最新文章

  1. Android移动APP开发笔记——最新版Cordova 5.3.1(PhoneGap)搭建开发环境
  2. JQ用变量关联input name
  3. android 模拟飞行,安卓版模拟飞行 X Plane 9试玩
  4. 【Python】我的Pandas学习经历及动手实践
  5. POJ 3186Treats for the Cows(区间DP)
  6. MySQL 事务 :ACID、并发带来的问题、事务的隔离级别、事务的实现
  7. WindowsServer 2008 Ad建立ftp隔离用户
  8. 这8种保证线程安全的技术你都知道吗?
  9. RefreshLayout刷新组件,有详细注释适合使用和中高端学习
  10. Business Connectivity Services 团队博客简介
  11. 在ASP.NET中如何添加过滤器
  12. 3.2 Tensorflow基础运算
  13. 涂鸦板制作教程——其中的重做和撤消我觉得不错
  14. matlab四宫格画图_Matlab绘图初级教程
  15. 20210219 plecs为不同的PWM 配置不同的死区时间
  16. 无线系列-无线通信频段与电波传播
  17. 整人网页html语言网站,html愚人节整人一直弹的网页窗口怎么做?
  18. 反向传播算法的直观理解
  19. linux分析rna-seq,RNA-seq 分析流程(一)linux部分
  20. win10系统设置番茄家园开机音乐以及关机音乐(亲测有效)

热门文章

  1. 【python】面向对象的封装、继承、多态的练习题
  2. 如何使用JMeter发送Post请求
  3. Linux下dd查看磁盘的读写性能
  4. 初学者,学习vue应该从何下手?
  5. 7-3 sdut-求两个整数之和(I)
  6. Linux启动syslog进程,linux – 使用systemd启动的进程正在记录到/ var / log / syslog和/var/log/daemon.log...
  7. using在sql中是什么意思_扇贝英语地道表达法——“call for”是什么意思呢?
  8. Linux中w r x数学代码,Linux bc命令实现数学计算器
  9. c语言程序排奇数,十个数奇数升序排列偶数降序排列,用C语言程序表示
  10. 视频播放器+android,Android视频播放器