服务器部署dble全流程

我这里使用的版本是actiontech-dble-2.20.04.0.tar，

服务器          IP地址                   描述
DBLE服务器      192.168.56.185     DBLE实例，数据库中间件，负责接收SQL进行路由分发
MySQL A服务器 192.168.56.181   物理实例A，将会创建db1,db3,db5三个schema
MySQL B服务器 192.168.56.182   物理实例B，将会创建db2,db4,db6三个schema

开始安装：

一、首先需要在dble Server服务器配置JAVA1.8的环境变量.
1、查看是否存在

which java

2、卸载

mv /usr/bin/java /usr/bin/java.bak

rpm 卸载(前体rpm安装)，如果二进制安装直接删除目录
3、解压

tar -zxvf /home/vminstall/jdk-8u152-linux-x64.tar.gz -C /usr/local/

(cdh要求jdk安装在/usr/java/目录下，若没有这个目录则创建)
5、配置全局环境变量

vi /etc/profile

内容：

#my setttings
export JAVA_HOME=/usr/local/jdk1.8.0_111/
export CLASSPATH=.:${JAVA_HOME}lib/dt.jar:${JAVA_HOME}lib/tools.jar:${JAVA_HOME}jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin:

6、使上述配置生效

source /etc/profile

二、在dble Server服务器上安装dble
1、解压
把安装介质actiontech-dble-2.20.04.0.tar.gz上传到dble server服务器上。

cd /usr/local
tar -xvf actiontech-dble-2.20.04.0.tar.gz

2、修改配置文件

cd /usr/local/dble/conf
cp -rp server_template.xml server.xml
cp -rp schema_template.xml schema.xml
cp -rp rule_template.xml rule.xml

这里简单介绍下这三个文件的作用:

rule.xml：
对分片的规则进行定义
schema.xml：
对具体的分片进行定义，定义table和schema以及dataNode之间的关系，指定每个table将要使用哪种类型的分片方法，定义每个dataNode的连接信息等等
server.xml dble：
服务器相关参数定义，包含dble性能、定时任务、端口、用户配置

三、在两套MySQL服务器上配置root用户
为了快捷安装，需要在两台MySQL Server给root可以远程登录的相关操作权限.

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;

四、在dble server上配置schema.xml文件,主要修改下列地方
这里的dataHost是节点名称。我们有两套服务器，需要配置相关writeHost的IP地址，然后Mysql的用户名和密码(为了简单方便这里暂时使用root)。

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100"><heartbeat>show slave status</heartbeat><!-- can have multi write hosts --><writeHost host="hostM1" url="192.168.56.181:3306" user="root" password="123456"></writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100"><heartbeat>show slave status</heartbeat><!-- can have multi write hosts --><writeHost host="hostM2" url="192.168.56.182:3306" user="root" password="123456"></writeHost>
</dataHost>

五、启动dble
这里通过dble命令就可以启动程序了，启动后，可以查看wrapper.log，显示Server startup successfully则成功启动。

dble start

---->wrapper.log日志

六、登录进行验证
接下来我们就可以使用root用户来登录192.168.56.185数据库中间件主机来进行管理了。这里通过181主机远程进行登录，因为185上没安装Mysql客户端。

mysql -uroot -p -P8066 -h192.168.56.185 -p123456
show databases;
use testdb;
show tables;

七、创建数据分片
之前我们配置的schema.xml文件中，我们有以下默认的配置。该文件配置了6个数据分片，分别对应不同主机不同实例中的6套schema。

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>
<dataNode name="dn3" dataHost="dataHost1" database="db_3"/>
<dataNode name="dn4" dataHost="dataHost2" database="db_4"/>
<dataNode name="dn5" dataHost="dataHost1" database="db_5"/>
<dataNode name="dn6" dataHost="dataHost2" database="db_6"/>

此时我们需要通过管理账号来进行操作。打开server.xml文件。找到用户这里。第一个定义的用户为管理用户。还有开头的端口配置，默认管理端口是9066。

<user name="man1"><property name="password">654321</property><property name="manager">true</property><!-- manager user can't set schema-->
</user>

通过管理账号man1和9066端口登录，就可以执行管理命令，这里我们按照schema.xml中dataNode的规划创建分片。这里创建很方便，可以支持dn$1-n的写法。

mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
create database @@dataNode='dn$1-6';

接下来我们可以登录MySQL A上进行验证。在A实例中，我们可以看到创建了schema db_1,db_3,db_5。和我们的schema.xml文件中配置结果一致

show databases;
+--------------------+
| Database           |
+--------------------+
| db_1               |
| db_3               |
| db_5               |
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+
7 rows in set (0.001 sec)

八、创建测试表
在dble的conf目录下面有个配置文件叫template_table.sql，这个文件是提供给我们测试一些测试用例。因为在192.168.56.185上没有安装MySQL服务，管理端口9066和服务端口8066实际都是Java在监听，我们需要先把这个文件scp到192.168.56.181上。利用181上的MySQL程序远程连接185来操作。

[

root@mycat conf]# ps -ef | grep mysql
root      3670  1287  0 00:28 pts/0    00:00:00 grep --color=auto mysql
[root@mycat conf]# netstat -anp | grep 8066
tcp6       0      0 :::8066                 :::*                    LISTEN      3432/java
[root@mycat conf]# netstat -anp | grep 9066
tcp6       0      0 :::9066                 :::*                    LISTEN      3432/java
[root@mycat conf]# scp template_table.sql root@192.168.56.181:/root---登录到181上连接管理端口8066执行脚本。[root@mysql5 ~]# mysql -uroot -p -P8066 -h192.168.56.185 -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.6.29-dble-2.20.04.0-7b5f749b8fbea5443c6e21cb520b2c2afbafa48d-20200519035722 dble Server (ActionTech)Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.MySQL [(none)]> source /root/template_table.sql---创建完之后就可以登录到testdb查询创建的表，可以看到表的类型，有全局表和分片表。
MySQL [testdb]> use testdb;
Database changed
MySQL [testdb]> show all tables;
+----------------------+----------------+
| Tables_in_testdb     | Table_type     |
+----------------------+----------------+
| tb_child1            | SHARDING TABLE |
| tb_child2            | SHARDING TABLE |
| tb_child3            | SHARDING TABLE |
| tb_date              | SHARDING TABLE |
| tb_enum_sharding     | SHARDING TABLE |
| tb_global1           | GLOBAL TABLE   |
| tb_global2           | GLOBAL TABLE   |
| tb_grandson1         | SHARDING TABLE |
| tb_grandson2         | SHARDING TABLE |
| tb_hash_sharding     | SHARDING TABLE |
| tb_hash_sharding_er1 | SHARDING TABLE |
| tb_hash_sharding_er2 | SHARDING TABLE |
| tb_hash_sharding_er3 | SHARDING TABLE |
| tb_hash_string       | SHARDING TABLE |
| tb_jump_hash         | SHARDING TABLE |
| tb_mod               | SHARDING TABLE |
| tb_parent            | SHARDING TABLE |
| tb_pattern           | SHARDING TABLE |
| tb_range_sharding    | SHARDING TABLE |
| tb_single            | SHARDING TABLE |
| tb_uneven_hash       | SHARDING TABLE |
+----------------------+----------------+
21 rows in set (0.002 sec)---接下来可以使用explain来查看分片表的执行情况。这里我不带条件查询tb_mod，可以发现使用了广播sql，会对4个分片进行扫描。为什么会是4个分片，这里我们需要看schema.xml中对表的定义。
<table name="tb_mod" dataNode="dn1,dn2,dn3,dn4" rule="rule_mod"/>[DBLE下载地址](https://github.com/actiontech/dble/releases)，
MySQL [testdb]> explain select * from tb_mod;
+-----------+----------+----------------------+
| DATA_NODE | TYPE     | SQL/REF              |
+-----------+----------+----------------------+
| dn1       | BASE SQL | select * from tb_mod |
| dn2       | BASE SQL | select * from tb_mod |
| dn3       | BASE SQL | select * from tb_mod |
| dn4       | BASE SQL | select * from tb_mod |
+-----------+----------+----------------------+
4 rows in set (0.006 sec)
如果我查询id=2,就会通过分片键进行查询，这里是取模算法，2是放在dn3分片上的。
MySQL [testdb]> explain select * from tb_mod where id=2;
+-----------+----------+---------------------------------+
| DATA_NODE | TYPE     | SQL/REF                         |
+-----------+----------+---------------------------------+
| dn3       | BASE SQL | select * from tb_mod where id=2 |
+-----------+----------+---------------------------------+
1 row in set (0.054 sec)

.
.
.
.
.
下面是我的公众号，收集了现在主流的大数据技能和架构，欢迎大家一起来学习交流。

服务器部署dble全流程相关推荐

pythonmysql部署_详解centos7+django+python3+mysql+阿里云部署项目全流程
(PS:本文假设你已经在本地联调好django和客户端,只是需要将django部署到外网) 购买阿里云服务器到[阿里云官网],选择轻量应用服务器, 步骤如图所示: 地域随便选择哪一个,镜像的话,对比 ...
路面病害检测-从数据清洗到模型部署的全流程方案
转自AI Studio,原文链接: 路面病害检测-从数据清洗到模型部署的全流程方案 - 飞桨AI Studio 1. 项目说明无论是水泥还是沥青路面,在通车使用一段时间之后,都会陆续出现各种损坏.变 ...
在Docker 上完成对Springboot+Mysql+Redis的前后端分离项目的部署（全流程，全截图）
本文章全部阅读大约2小时,包含一个完整的springboot + vue +mysql+redis前后端分离项目的部署在docker上的全流程,比较复杂,请做好心理准备,遇到问题可留言或则私信目录 ...
使用PaddleX实现车辆检测模型训练到服务化部署落地全流程
★★★ 本文源自AlStudio社区精品项目,[点击此处]查看更多精品内容 >>> 1. 项目背景随着AI技术的快速发展,深度学习技术在各个领域的应用越来越广泛.作为一种革命性的机 ...
Unicloud 阿里云服务器作图床,从上传到部署api全流程
Unicloud 阿里云服务器作图床 uniCloud提供免费10G云存储空间,不限流量,底层是阿里云OSS,因此速度非常快这个源码是利用uniCloud云存储开发的一款图床源码.和网上其他的uni ...
阿里云服务器部署app服务器端-流程步骤
简介: app服务端和web的服务端的配置是一样的.所以要搭建APP根据web服务端配置即可. 前言:app服务端和web的服务端的配置是一样的.所以要搭建APP根据web服务端配置即可. 1.购买服 ...
使用阿里云ECS服务器部署Web应用流程介绍
一.前言学习了许久的Java,也参与开发了很多的Java项目,但一直没有系统的接触学习过项目部署,而我对项目部署也很有兴趣,于是便摸索学习了一番,在这里记录一下学习过程,参考博客,遇到的问题和解决办 ...
BERT模型从训练到部署全流程
BERT模型从训练到部署全流程 Tag: BERT 训练部署缘起在群里看到许多朋友在使用BERT模型,网上多数文章只提到了模型的训练方法,后面的生产部署及调用并没有说明. 这段时间使用BERT模 ...
golang gin 服务器部署
文章目录 golang gin 服务器部署前言基本流程 1.build 项目 2.写执行脚本 run.sh 3.创建一个 service 配置文件 4.启动 5.配置反向代理和ssl证书 gola ...
覆盖5大任务，30+特色模型，高性能、全流程开发套件PaddleRS助力遥感影像智能解译化繁为简...
近年来,随着卫星技术的发展和深度学习的火热,基于深度学习的遥感影像智能解译得到了前所未有的关注,并已成功应用于建筑物变化检测.SAR影像船舶检测.道路提取.多光谱影像分类等任务中.高精度.高速度.自动 ...

服务器部署dble全流程

服务器部署dble全流程相关推荐

最新文章

热门文章