mysql canal 安装测试_canal安装配置与mysql操作监听,我已经帮你踩过了所有的坑...
canal安装配置与mysql操作监听,我已经帮你踩过了所有的坑
废话不再多说,直接撸代码
第一步,canal配置
第二步,mysql配置
第三步,如何解决出现的错误
废话不再多说,直接撸代码
第一步,canal配置
打开canal/conf/example/instance.properties文件,配置如下
canal.instance.mysql.slaveId = 1234
canal.instance.gtidon=false
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=
canal.instance.tsdb.enable=true
canal.instance.dbUsername=root #就这两行需要配置,你的数据库用户名和密码
canal.instance.dbPassword=xxxxxxx
canal.instance.connectionCharset = UTF-8
canal.instance.enableDruid=false
canal.instance.filter.regex=.*\\..*
canal.instance.filter.black.regex=canal\\..*,kettle\\..*,finebi\\..*,finedb\\..*
canal.mq.topic=example
canal.mq.partition=0
第二步,mysql配置
打开mysql安装文件夹里的my.ini文件
然后
[mysqld]
port=3306
basedir=E:/mysql-5.7.27-winx64
datadir=E:/mysql-5.7.27-winx64/data
max_connections=200
character-set-server=utf8
default-storage-engine=INNODB
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
#添加以下这三行
log-bin=mysql-bin
binlog-format=ROW
server_id=1
然后,打开命令窗口—>win+R,输入cmd,回车
输入以下命令:
mysql -uroot -p
然后输入数据库密码
然后依次执行以下几条命令
create user ‘canal’@’%’ identified by ‘canal’;
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’;
GRANT ALL PRIVILEGES ON . TO ‘canal’@’%’ ;
FLUSH PRIVILEGES;
然后重启mysql(打开任务管理器,然后点击服务,找到mysql的服务后点击重启)
第三步,如何解决出现的错误
因为错误有很多,我无法一一指出,但经过几天的纠错,总结出以下的“万能解决方法”,前提是你的代码没有错误,配置没有错误。
万能解决方法
步骤一:将你的程序中的canal的连接地址改为127.0.0.1,如下
new InetSocketAddress(“127.0.0.1”,port),这一步也可以不用,前提是经过下面的步骤可以连接成功,则不需要这一步。
步骤二:删除canal/conf/example中的meta.dat文件
步骤三:删除mysql的binlog日志,win+R 输入cmd进入命令行界面,
然后输入:mysql -uroot -p
然后:输入数据库密码
然后输入: show binary logs;
这时会显示出所有日志
然后输入:RESET MASTER;//删除所有binlog日志
此时,大功告成。下面附上简单的canal客户端代码,供大家测试使用:
import java.net.InetSocketAddress;
import java.util.List;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
public class ClientSample{
public static void main(String args[]) {
// 创建链接
CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1",11111), "example", "", "");
int batchSize = 1000;
int emptyCount = 0;
try {
connector.connect();
connector.subscribe(".*\\..*");
connector.rollback();
int totalEmptyCount = 120;
while (emptyCount < totalEmptyCount) {
Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
long batchId = message.getId();
int size = message.getEntries().size();
if (batchId == -1 || size == 0) {
emptyCount++;
System.out.println("empty count : " + emptyCount);
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
}
} else {
emptyCount = 0;
// System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
printEntry(message.getEntries());
}
connector.ack(batchId); // 提交确认
// connector.rollback(batchId); // 处理失败, 回滚数据
}
System.out.println("empty too many times, exit");
} finally {
connector.disconnect();
}
}
private static void printEntry(List entrys) {
for (Entry entry : entrys) {
if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
continue;
}
RowChange rowChage = null;
try {
rowChage = RowChange.parseFrom(entry.getStoreValue());
} catch (Exception e) {
throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
e);
}
EventType eventType = rowChage.getEventType();
System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",
entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
eventType));
for (RowData rowData : rowChage.getRowDatasList()) {
if (eventType == EventType.DELETE) {
printColumn(rowData.getBeforeColumnsList());
} else if (eventType == EventType.INSERT) {
printColumn(rowData.getAfterColumnsList());
} else {
System.out.println("-------> before");
printColumn(rowData.getBeforeColumnsList());
System.out.println("-------> after");
printColumn(rowData.getAfterColumnsList());
}
}
}
}
private static void printColumn(List columns) {
for (Column column : columns) {
System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
}
}
}
数据库配置:
打开application.properties文件
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/数据库名?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC
spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.username=root
spring.datasource.password=数据库密码
如果大家问题解决了请给点个赞哈,谢谢。
mysql canal 安装测试_canal安装配置与mysql操作监听,我已经帮你踩过了所有的坑...相关推荐
- 3、配置/管理Oracle数据库---监听程序配置
3.配置/管理Oracle数据库-监听程序配置 在成功创建Oracle数据库之后,用户可以对其进行配置和管理.需要用到网络配置助手工具 网络配置助手:主要用于Oracle数据库的监听程序.命名方法 ...
- mysql 安装测试ok_tpcc-mysql安装测试与使用的实例教程
1:下载tpcc-mysql的压缩包,从下面的网站进行下载 也可直接从叶总博客直接下载: 我这边使用的就是后者. 2:安装tpcc-mysql [root@mxqmongodb2 tpccmysql] ...
- 云服务器环境安装、卸载与配置:mysql
服务器 Centos7 64位 .能访问外网 yum安装稳定版mysql5.7 0.检查是否存在mysql或mariadb 若存在mysql,则需根据自己需要是否需要卸载重装 查看已经安装yum软件( ...
- hive mysql 远程_ubuntu中为hive配置远程MYSQL database
一.安装mysql $ sudo apt-get install mysql-server 启动守护进程 $ sudo service mysql start 二.配置mysql服务与连接器 1.安装 ...
- java mysql tomcat my_Linux下java相关配置 tomcat mysql jdk
最近有个项目要部署到linux上,在网上查了些资料,记下点遇到的问题,以便将来再用. 一:jdk安装 1.通过chmod a+x jdk-1_5_x-rc-linux-i586-rpm.bin命令使其 ...
- 【配置DATAGUARD 时的监听静态注册不成功】 问题解决
问题: 我的配置如下: [oracle@localhost admin]$ rman target sys/oracle@stbdb Recovery Manager: Release 11.2.0. ...
- 配置ssl证书_Nginx监听443端口配置SSL证书
1.先去宝塔:https://www.bt.cn/申请一个免费SSL证书:2.点支付订单后,还需要再列表 验证域名,验证域名需要在自己的域名解析配置txt类型字符串值如下,解析值在宝塔SSL申请列表详 ...
- Apache修改服务器监听端口,练习 - 04 - 配置 Apache 服务器的监听端口
提供 Web 服务的 Apache 服务器,可以通过 httpd.conf 这个文件来设置,httpd 是 Apache 的一个主程序,你也可以把它当成就是 Apache 服务器.有时候 Apache ...
- Oracle 19c本地监听配置出现错误-无监听程序
1.前提: 在IP地址和全局数据库配置无错误的情况下,一直无法测试成功. 2.状况显示 状况一:采用Net Manager配置时总是显示测不成功,无监听程序. 状况二:在命令提示符下输入lsnrctl ...
最新文章
- 关于Linux路由表的route命令(转)
- C++ 继承和派生 及 学生管理范例
- element显示服务器的图片,Vue+ElementUI+SpringMVC实现图片上传和回显
- 修饰符在python函数中的用法详细解释
- 1 加到 100 的 时间复杂度 C#.
- 编写XML XmlTextWriter与XmlDocument(转载)
- linux如何安装php,Linux下如何安装配置PHP
- WinCE学习系列(1)——在VS2008的环境下安装WinCE 5.0仿真模拟器
- 拓端tecdat|R语言多臂试验 - 我们应该考虑多重性吗?
- 数据库的表连接和函数学习
- for循环中包含跨服务查询优化
- 8本新书,为你的2020年管理之路指点迷津
- SPSS中的均值比较—假设检验
- 2019/04/11 网易互娱游戏研发工程师实习生一面面经(Offer到手)
- mysql死锁的例子_GitHub - yxp199249/mysql-deadlocks: 收集一些常见的 MySQL 死锁案例
- 基于Vue的标尺插件(刻度尺)
- 小米怎么和计算机连接网络设置密码,小米电视与电脑共享要用户名和密码怎么办...
- 前端学习笔记 - HTML+CSS
- 51单片机与蜂鸣器实现摩斯密码转换。
- 零基础入门CV赛事- 街景字符编码识别
热门文章
- dpt原来英文是什么_今天才发现!原来微信还可以翻译文字,还不知道就可惜了...
- 数据治理需要注意什么问题
- 大数据有哪些分析误区
- 5G技术对大数据产业的影响
- 计算相同维度向量之间的欧氏距离
- Java内存五大区_一:jvm的五大内存区(内存结构)
- oracle删除列的限制,深入理解Oracle索引(10):索引列字符类型统计信息的32位限制...
- App测试中ios和Android的区别1
- Android与物联网设备通信-自定义报文与字节序
- 白色情人节为你身边的程序猿献上一份礼物!