TiDB DM部署及使用

1.在中控机上安装依赖包

yum -y install wget
yum -y install epel-release git curl sshpass && \
yum -y install python-pip

2.在中控机上创建 tidb 用户，并生成 SSH 密钥

useradd -m -d /home/tidb tidb
passwd tidb
visudo
tidb ALL=(ALL) NOPASSWD: ALL
su - tidb
ssh-keygen -t rsa

3.下载及安装DM-Ansible 至中控机

wget https://download.pingcap.org/dm-ansible-v1.0.3.tar.gz
mv dm-ansible-v1.0.3 dm-ansible
cd /home/tidb/dm-ansible
sudo pip install -r ./requirements.txt

4.在中控机上配置 SSH 互信和 sudo 规则
（如果内部服务器有安全策略，禁止root登录也可以手动配置互信和sudo规则）

cd /home/tidb/dm-ansible
vi hosts.ini

替换为自己的IP

ansible-playbook -i hosts.ini create_users.yml -u root -k

5.下载 DM 及监控组件安装包至中控机

ansible-playbook local_prepare.yml

6.编辑 inventory.ini 配置文件(此处示例为dm-master和dm-worker在同一台服务器192.168.0.1 上游mysql IP为192.168.0.2 ，mysql_password为上游mysql数据库加密后的密码。使用dmctl进行密码加密，配置文件中的密码都要使用加密密码，例如密码123456

cd /home/tidb/dm-ansible/resources/bin
./dmctl -encrypt 123456

)
vi /home/tidb/dm-ansible/inventory.ini

## DM modules
[dm_master_servers]
dm_master ansible_host=192.168.0.1[dm_worker_servers]
dm-worker1 ansible_host=192.168.0.1 source_id="mysql-replica-01" server_id=101 mysql_host=192.168.0.2 mysql_user=ovation mysql_password=as1sdkfgmgOpUAhrPY0vOsg  mysql_port=3306[dm_portal_servers]
dm_portal ansible_host=192.168.0.1## Monitoring modules
[prometheus_servers]
prometheus ansible_host=192.168.0.1[grafana_servers]
grafana ansible_host=192.168.0.1[alertmanager_servers]
alertmanager ansible_host=192.168.0.1## Global variables
[all:vars]
cluster_name = test-clusteransible_user = tidbdm_version = v1.0.3deploy_dir = /data/dm/grafana_admin_user = "admin"
grafana_admin_password = "admin"

7.部署及启动DM集群

ansible-playbook deploy.yml
ansible-playbook start.yml

8.配置同步任务
（以单库全表同步为例,下游tidb为192.168.0.3）
在任意文件夹例如/home/tidb下创建任务配置文件
vi /home/tidb/task.yaml

---
name: ova # global unique
task-mode: all  # full/incremental/alltarget-database:host: "192.168.0.3"port: 4000user: "test_user"password: "NiU2SLoENJosasd12bEQFcnOLQ4dgII="
mysql-instances:             # one or more source database, config more source database for sharding merge-source-id: "mysql-replica-01"black-white-list: "instance"# number of threads to use for dump datamydumper-thread: 4# number of threads to use for load dataloader-thread: 16# number of threads to use for replicate binlogsyncer-thread: 16syncer-config-name: "global"
black-white-list:instance:do-dbs: ["test"]        # white list of upstream schemas needs to be replicated, regular expression (starts with ~) is supporteddo-tables:                        # white list of upstream tables needs to be replicated, (db-name, tbl-name) regular expression (starts with ~) is supported- db-name: "test"tbl-name: "~.*"
syncers:global:worker-count: 64batch: 5000max-retry: 100
enable-heartbeat: true

9.使用dmctl启动同步任务

/home/tidb/dm-ansible/resources/bin//dmctl --master-addr 192.168.0.1:8261
start-task /home/tidb/task.yaml

查看详细任务状态，正常状态 result 为 true，worker 内的 binlog 位置一致，同步过程中也会展示同步百分比
query-status taskname(本例为test)

TiDB DM部署及使用相关推荐

1离线 TiDB Ansible 部署方案-详解
一: 环境要求 Linux 操作系统版本要求 Linux 操作系统平台版本 Red Hat Enterprise Linux 7.3 及以上 CentOS 7.3 及以上 Oracle Enterp ...
TiDB Binlog部署
TiDB Binlog部署环境信息中控机是10.152.x.133 [tidb_servers] 10.152.x.10 10.152.x.11 10.152.x.12[tikv_servers] ...
TiDB DM 2.0 GA，数据迁移不用愁
社会数字化.智能化的发展进程中,海量的数据带来巨大挑战,各行各业都在加速数字化转型,越来越多的企业意识到数据基础设施是成功的关键.然而,作为数据基础设施的核心,传统数据库例如 MySQL 面临性能和容 ...
TiDB+TiSpark部署--安装，扩缩容及升级操作
作者: tracy0984 原文来源: https://tidb.net/blog/9dc6c38e 背景随着业务的变更,可能经常会遇到TiDB数据库的TiKV或TIDB Server节点扩缩容的需 ...
分布式数据库TiDB的部署
转自:https://my.oschina.net/Kenyon/blog/908370 一.环境 CentOS Linux release 7.3.1611 (Core) 172.26.11.91 ...
从零部署TiDB集群
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 作者 | yangyidba 来源 | 公众号「yang ...
在华为 Kylin V10 SP1操作系统，HUAWEI,Kunpeng 920 CPU(4Cores)单机上模拟部署生产环境TiDB集群...
作者:陈麒原文来源: https://tidb.net/blog/0cacc3df TiDB 集群部署在单机上模拟部署生产环境集群适用场景:希望用单台 Linux 服务器,体验 TiDB 最小的 ...
docker部署TiDB
TiDB 是 PingCAP 公司自主设计.研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Proce ...
通过 TiUP 部署 TiDB 集群的拓扑文件配置
通过 TiUP 部署或扩容 TiDB 集群时,需要提供一份拓扑文件(示例)来描述集群拓扑. 同样,修改集群配置也是通过编辑拓扑文件来实现的,区别在于修改配置时仅允许修改部分字段.本文档介绍拓扑文件的各 ...

TiDB DM部署及使用

TiDB DM部署及使用相关推荐

最新文章

热门文章