数据库优化三部曲(2)-读写分离-一蓑烟雨任平生

前言

上篇文章介绍了MySql的主从复制,读写分离就不写了,毕竟MySql比Oracle简单太多了(自我感觉),这篇主要写一下Oracle的读写分离,照葫芦画瓢,会了Oracle的读写分离,那么MySql的读写分离不就是张飞吃豆芽?

数据库为什么要读写分离呢?

因为面试的时候当你把数据库优化这块讲的头头是道,什么主从复制,什么读写分离,什么分库分表,都可以滔滔不绝,那么你的工资最少可以+5000块钱啊,哈哈哈,开个玩笑,任何一款软件都要依赖数据库,不然数据从哪里来,所以数据库压力是每个公司都要面对的问题,淘宝双十一,京东618,他们的数据库压力更大,扯远了,回来吧

MyCat和Sharding-jdbc哪个比较好？

今天用的中间件依旧是MyCat,为啥不选用Sharding-jdbc呢?看了知乎那篇文章狗比MyCat,这样MyCat我更不想用了,我还花了5块钱加群想咨询一些bug,谁知道进群后MyCat那群主P都不放,也不帮人解决问题,就是钱钱钱,想挣钱你开源做啥?一个开源项目想方设法吃钱,最后我遇到的所有BUG都是自己解决,Sharding-jdbc虽好,但是需要集成到项目里才可以使用,而我现在只是测试,只想用Navcia看看结果,Sharding-jdbc后期再说吧有空了总结下

废话不多说直接上硬菜

第一步:下载MyCat,上链接MyCat官网

这里不知道下载哪个版本的话,直接百度云下载我的也可以链接：一蓑烟雨任平生的MyCat

提取码：d8zt下载完直接解压即可

第二步:创建数据库用户

Oracle中数据库的含义貌似等于用户,创一个用户就多一个库,同个服务下,有N个用户,也就是N个数据库

但是在网上找的创建数据库,貌似就是我理解的服务,每次连接Oracle都要输入服务ORAL,所以在这里我创建了一个服务ZHANG,也就是百度上说的数据库,怎么创建呢?自己百度也行,我这里简单的说一下步骤
1.电脑搜索服务 Database Configuration Assistant,然后打开
2.然后点击创建数据库,下一步,全局数据库名就是服务名(全大写)
这里注意下这个root口令是你电脑的口令,如果你忘记,输入错了,可以这么找

这样子就OK了

后面就不说了,傻瓜式安装,下一步,下一步

安装完之后进行用户的创建

先用system登录数据库,或者用sys登录数据库
忘记密码的话,来来来传送门忘记密码

登录之后创建两个用户,这里我创建了xiongda,xionger

create user xiongda identified by 123456 default tablespace test;

为什么要给表空间权限呢?
------------因为不给的话就无法创建表了
加权限语句

    grant dba to xiongda;--授予DBA权限  grant unlimited tablespace to xiongda;--授予不限制的表空间  grant select any table to xiongda;--授予查询任何表  grant select any dictionary to xiongda;--授予 查询 任何字典

用户也创建了,权限也给了,然后测试下吧

这是xiongda的账号,测试完美
这是xionger的账号,也测试完美
我们打开胸大,创建一张USERS表,添加两个数据,当然我们熊二也要创建这个表,添加不添加数据都可以,如果你主从复制做过了,xionger就自动生成了USERS表

LOOK OUT:这里注意下,USERS必须全部大写,不然找不到表的bug,这个bug搞了我三小时,哎,前人种树,后人乘凉吧

第三步:修改配置文件

这里如果需要分库分表的话就需要修改三个文件,只需要读写分离的话只用修改两个文件就可以了

直接把三个文件的代码都放出来了,方便复制粘贴

schema.xml

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  <table name="users" dataNode="dn1" /></schema><dataNode name="dn1" dataHost="localhost1" database="TESTDB" /><!--<dataNode name="dn2" dataHost="localhost2" database="XIONGER" />--><dataHost name="localhost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat><writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521/zhang" user="xiongda" password="123456" >  <readHost host="hostS1" url="jdbc:oracle:thin:@127.0.0.1:1521/zhang" user="xionger" password="123456"></readHost></writeHost> </dataHost> <!--<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat><writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521/zhang" user="xionger" password="123456" >  </writeHost> </dataHost> --></mycat:schema>

server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/"><system><property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户--><property name="ignoreUnknownCommand">0</property><!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文，返回ok报文。在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误--><property name="useHandshakeV10">1</property><property name="removeGraveAccent">1</property><property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 --><property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 --><property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒--><property name="sequnceHandlerType">1</property><!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>INSERT INTO `travelrecord` (`id`,user_id) VALUES ('next value for MYCATSEQ_GLOBAL',"xxx");--><!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况--><property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property><property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false --><property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property><!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议--><!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号--><!-- <property name="processorBufferChunk">40960</property> --><!-- <property name="processors">1</property> <property name="processorExecutor">32</property> --><!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool --><property name="processorBufferPoolType">0</property><!--默认是65535 64K 用于sql解析时最大文本长度 --><!--<property name="maxStringLiteralLength">65535</property>--><!--<property name="sequnceHandlerType">0</property>--><!--<property name="backSocketNoDelay">1</property>--><!--<property name="frontSocketNoDelay">1</property>--><!--<property name="processorExecutor">16</property>--><!--<property name="serverPort">8066</property> <property name="managerPort">9066</property> <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property><property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --><!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志--><property name="handleDistributedTransactions">0</property><!--off heap for merge/order/group/limit      1开启   0关闭--><property name="useOffHeapForMerge">0</property><!--单位为m--><property name="memoryPageSize">64k</property><!--单位为k--><property name="spillsFileBufferSize">1k</property><property name="useStreamOutput">0</property><!--单位为m--><property name="systemReserveMemorySize">384m</property><!--是否采用zookeeper协调切换  --><property name="useZKSwitch">false</property><!-- XA Recovery Log日志路径 --><!--<property name="XARecoveryLogBaseDir">./</property>--><!-- XA Recovery Log日志名称 --><!--<property name="XARecoveryLogBaseName">tmlog</property>--><!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接--><property name="strictTxIsolation">false</property><property name="useZKSwitch">true</property><!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行--><property name="parallExecute">0</property></system><!-- 全局SQL防火墙设置 --><!--白名单可以使用通配符%或着*--><!--例如<host host="127.0.0.*" user="root"/>--><!--例如<host host="127.0.*" user="root"/>--><!--例如<host host="127.*" user="root"/>--><!--例如<host host="1*7.*" user="root"/>--><!--这些配置情况下对于127.0.0.1都能以root账户登录--><!--<firewall><whitehost><host host="1*7.0.0.*" user="root"/></whitehost><blacklist check="false"></blacklist></firewall>--><user name="root" defaultAccount="true"><property name="password">123456</property><property name="schemas">TESTDB</property><property name="defaultSchema">TESTDB</property><!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 --><!-- 表级 DML 权限设置 --><!--         <privileges check="false"><schema name="TESTDB" dml="0110" ><table name="tb01" dml="0000"></table><table name="tb02" dml="1111"></table></schema></privileges>     --></user></mycat:server>

rule.xml

<tableRule name="role1"><rule><columns>id</columns><algorithm>mod-long</algorithm></rule></tableRule><function name="mod-long" class="io.mycat.route.function.PartitionByMod"><!-- how many data nodes --><property name="count">2</property></function>

第三个文件就是规则,分库分表的话,有很多种方式,我只了解两种,第一种我写的这个规则,两个分片,ABABAB的存,是2的倍数就存A库,不是2的倍数就存B库,这种依赖于自增长ID,第二种是一个库存指定条数,比如A库存满5000条后存B库,以此类推,(第二种未测试),这里只测试下第一种

第四步:测试成果

1.启动MyCat服务

这样子就是成功了,当然中间会有错的时候,但是都是闪退,你也看不到bug原因,log里面也没记载,所以这里我再教你一招,可以让程序不闪退看到错误原因
就在刚才那个要双击的文件里最后一行加一个单词pause
这样子的黑窗口就不会消失的把错误原因告诉你了哈

2.启动成功后,接下来就去数据库测试下SQL
首先登陆MyCat中间件,端口号默认的8066,创建mysql一样的登录方式就可以

然后进行查找用户

select * from USERS;

我说查的xionger的数据库,你肯定会问,两个数据库都有这个表,你怎么就知道肯定是xionger的表数据呢?
看配置文件,我配置的就是查找的时候找xionger的数据,修改的时候改xiongda的数据
然后去增加的时候去增加的xiongda的数据

INSERT into USERS VALUES ('13','5555','77');

这里这个BUG我也不知道改怎么解决,百度说的类型不一样,需要转换,老哥这是数据库操作,不是代码项目操作,怎么转换?但是数据插入进去了
有知道那个bug怎么解决的可以联系我博客,让我改正下,谢谢啦

今天好晚了,我女朋友(拇指姑娘)喊我回家做饭去了,不说了,后会有期