canal安装配置与mysql操作监听,我已经帮你踩过了所有的坑

废话不再多说,直接撸代码

第一步,canal配置

第二步,mysql配置

第三步,如何解决出现的错误

废话不再多说,直接撸代码

第一步,canal配置

打开canal/conf/example/instance.properties文件,配置如下

canal.instance.mysql.slaveId = 1234

canal.instance.gtidon=false

canal.instance.master.address=127.0.0.1:3306

canal.instance.master.journal.name=

canal.instance.master.position=

canal.instance.master.timestamp=

canal.instance.master.gtid=

canal.instance.rds.accesskey=

canal.instance.rds.secretkey=

canal.instance.rds.instanceId=

canal.instance.tsdb.enable=true

canal.instance.dbUsername=root #就这两行需要配置,你的数据库用户名和密码

canal.instance.dbPassword=xxxxxxx

canal.instance.connectionCharset = UTF-8

canal.instance.enableDruid=false

canal.instance.filter.regex=.*\\..*

canal.instance.filter.black.regex=canal\\..*,kettle\\..*,finebi\\..*,finedb\\..*

canal.mq.topic=example

canal.mq.partition=0

第二步,mysql配置

打开mysql安装文件夹里的my.ini文件

然后

[mysqld]

port=3306

basedir=E:/mysql-5.7.27-winx64

datadir=E:/mysql-5.7.27-winx64/data

max_connections=200

character-set-server=utf8

default-storage-engine=INNODB

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

#添加以下这三行

log-bin=mysql-bin

binlog-format=ROW

server_id=1

然后,打开命令窗口—>win+R,输入cmd,回车

输入以下命令:

mysql -uroot -p

然后输入数据库密码

然后依次执行以下几条命令

create user ‘canal’@’%’ identified by ‘canal’;

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’;

GRANT ALL PRIVILEGES ON . TO ‘canal’@’%’ ;

FLUSH PRIVILEGES;

然后重启mysql(打开任务管理器,然后点击服务,找到mysql的服务后点击重启)

第三步,如何解决出现的错误

因为错误有很多,我无法一一指出,但经过几天的纠错,总结出以下的“万能解决方法”,前提是你的代码没有错误,配置没有错误。

万能解决方法

步骤一:将你的程序中的canal的连接地址改为127.0.0.1,如下

new InetSocketAddress(“127.0.0.1”,port),这一步也可以不用,前提是经过下面的步骤可以连接成功,则不需要这一步。

步骤二:删除canal/conf/example中的meta.dat文件

步骤三:删除mysql的binlog日志,win+R 输入cmd进入命令行界面,

然后输入:mysql -uroot -p

然后:输入数据库密码

然后输入: show binary logs;

这时会显示出所有日志

然后输入:RESET MASTER;//删除所有binlog日志

此时,大功告成。下面附上简单的canal客户端代码,供大家测试使用:

import java.net.InetSocketAddress;

import java.util.List;

import com.alibaba.otter.canal.client.CanalConnector;

import com.alibaba.otter.canal.client.CanalConnectors;

import com.alibaba.otter.canal.common.utils.AddressUtils;

import com.alibaba.otter.canal.protocol.CanalEntry.Column;

import com.alibaba.otter.canal.protocol.CanalEntry.Entry;

import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;

import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;

import com.alibaba.otter.canal.protocol.CanalEntry.RowData;

import com.alibaba.otter.canal.protocol.Message;

import com.alibaba.otter.canal.protocol.CanalEntry.EventType;

public class ClientSample{

public static void main(String args[]) {

// 创建链接

CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1",11111), "example", "", "");

int batchSize = 1000;

int emptyCount = 0;

try {

connector.connect();

connector.subscribe(".*\\..*");

connector.rollback();

int totalEmptyCount = 120;

while (emptyCount < totalEmptyCount) {

Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据

long batchId = message.getId();

int size = message.getEntries().size();

if (batchId == -1 || size == 0) {

emptyCount++;

System.out.println("empty count : " + emptyCount);

try {

Thread.sleep(1000);

} catch (InterruptedException e) {

}

} else {

emptyCount = 0;

// System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);

printEntry(message.getEntries());

}

connector.ack(batchId); // 提交确认

// connector.rollback(batchId); // 处理失败, 回滚数据

}

System.out.println("empty too many times, exit");

} finally {

connector.disconnect();

}

}

private static void printEntry(List entrys) {

for (Entry entry : entrys) {

if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {

continue;

}

RowChange rowChage = null;

try {

rowChage = RowChange.parseFrom(entry.getStoreValue());

} catch (Exception e) {

throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),

e);

}

EventType eventType = rowChage.getEventType();

System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",

entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),

entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),

eventType));

for (RowData rowData : rowChage.getRowDatasList()) {

if (eventType == EventType.DELETE) {

printColumn(rowData.getBeforeColumnsList());

} else if (eventType == EventType.INSERT) {

printColumn(rowData.getAfterColumnsList());

} else {

System.out.println("-------> before");

printColumn(rowData.getBeforeColumnsList());

System.out.println("-------> after");

printColumn(rowData.getAfterColumnsList());

}

}

}

}

private static void printColumn(List columns) {

for (Column column : columns) {

System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());

}

}

}

数据库配置:

打开application.properties文件

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/数据库名?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC

spring.datasource.driverClassName=com.mysql.jdbc.Driver

spring.datasource.username=root

spring.datasource.password=数据库密码

如果大家问题解决了请给点个赞哈,谢谢。

mysql canal 安装测试_canal安装配置与mysql操作监听,我已经帮你踩过了所有的坑...相关推荐

  1. 3、配置/管理Oracle数据库---监听程序配置

    3.配置/管理Oracle数据库-监听程序配置 在成功创建Oracle数据库之后,用户可以对其进行配置和管理.需要用到网络配置助手工具 ​ 网络配置助手:主要用于Oracle数据库的监听程序.命名方法 ...

  2. mysql 安装测试ok_tpcc-mysql安装测试与使用的实例教程

    1:下载tpcc-mysql的压缩包,从下面的网站进行下载 也可直接从叶总博客直接下载: 我这边使用的就是后者. 2:安装tpcc-mysql [root@mxqmongodb2 tpccmysql] ...

  3. 云服务器环境安装、卸载与配置:mysql

    服务器 Centos7 64位 .能访问外网 yum安装稳定版mysql5.7 0.检查是否存在mysql或mariadb 若存在mysql,则需根据自己需要是否需要卸载重装 查看已经安装yum软件( ...

  4. hive mysql 远程_ubuntu中为hive配置远程MYSQL database

    一.安装mysql $ sudo apt-get install mysql-server 启动守护进程 $ sudo service mysql start 二.配置mysql服务与连接器 1.安装 ...

  5. java mysql tomcat my_Linux下java相关配置 tomcat mysql jdk

    最近有个项目要部署到linux上,在网上查了些资料,记下点遇到的问题,以便将来再用. 一:jdk安装 1.通过chmod a+x jdk-1_5_x-rc-linux-i586-rpm.bin命令使其 ...

  6. 【配置DATAGUARD 时的监听静态注册不成功】 问题解决

    问题: 我的配置如下: [oracle@localhost admin]$ rman target sys/oracle@stbdb Recovery Manager: Release 11.2.0. ...

  7. 配置ssl证书_Nginx监听443端口配置SSL证书

    1.先去宝塔:https://www.bt.cn/申请一个免费SSL证书:2.点支付订单后,还需要再列表 验证域名,验证域名需要在自己的域名解析配置txt类型字符串值如下,解析值在宝塔SSL申请列表详 ...

  8. Apache修改服务器监听端口,练习 - 04 - 配置 Apache 服务器的监听端口

    提供 Web 服务的 Apache 服务器,可以通过 httpd.conf 这个文件来设置,httpd 是 Apache 的一个主程序,你也可以把它当成就是 Apache 服务器.有时候 Apache ...

  9. Oracle 19c本地监听配置出现错误-无监听程序

    1.前提: 在IP地址和全局数据库配置无错误的情况下,一直无法测试成功. 2.状况显示 状况一:采用Net Manager配置时总是显示测不成功,无监听程序. 状况二:在命令提示符下输入lsnrctl ...

最新文章

  1. 关于Linux路由表的route命令(转)
  2. C++ 继承和派生 及 学生管理范例
  3. element显示服务器的图片,Vue+ElementUI+SpringMVC实现图片上传和回显
  4. 修饰符在python函数中的用法详细解释
  5. 1 加到 100 的 时间复杂度 C#.
  6. 编写XML XmlTextWriter与XmlDocument(转载)
  7. linux如何安装php,Linux下如何安装配置PHP
  8. WinCE学习系列(1)——在VS2008的环境下安装WinCE 5.0仿真模拟器
  9. 拓端tecdat|R语言多臂试验 - 我们应该考虑多重性吗?
  10. 数据库的表连接和函数学习
  11. for循环中包含跨服务查询优化
  12. 8本新书,为你的2020年管理之路指点迷津
  13. SPSS中的均值比较—假设检验
  14. 2019/04/11 网易互娱游戏研发工程师实习生一面面经(Offer到手)
  15. mysql死锁的例子_GitHub - yxp199249/mysql-deadlocks: 收集一些常见的 MySQL 死锁案例
  16. 基于Vue的标尺插件(刻度尺)
  17. 小米怎么和计算机连接网络设置密码,小米电视与电脑共享要用户名和密码怎么办...
  18. 前端学习笔记 - HTML+CSS
  19. 51单片机与蜂鸣器实现摩斯密码转换。
  20. 零基础入门CV赛事- 街景字符编码识别

热门文章

  1. dpt原来英文是什么_今天才发现!原来微信还可以翻译文字,还不知道就可惜了...
  2. 数据治理需要注意什么问题
  3. 大数据有哪些分析误区
  4. 5G技术对大数据产业的影响
  5. 计算相同维度向量之间的欧氏距离
  6. Java内存五大区_一:jvm的五大内存区(内存结构)
  7. oracle删除列的限制,深入理解Oracle索引(10):索引列字符类型统计信息的32位限制...
  8. App测试中ios和Android的区别1
  9. Android与物联网设备通信-自定义报文与字节序
  10. 白色情人节为你身边的程序猿献上一份礼物!