canal 日志中 ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate ...document missing 产生的可能的原因

canal 日志中经常会有日志信息

2019-08-14 15:02:24.843 [pool-2-thread-1] ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate -   [index_user_v4/j9SX_DfjTB6mcqmLCEH84g][[index_user_v4][0]] DocumentMissingException[[_doc][class757542]: document missing]
2019-08-14 15:02:24.843 [pool-2-thread-1] ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate -  [index_user_v4/j9SX_DfjTB6mcqmLCEH84g][[index_user_v4][0]] DocumentMissingException[[_doc][class757543]: document missing]
2019-08-14 15:02:24.843 [pool-2-thread-1] ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate - [index_user_v4/j9SX_DfjTB6mcqmLCEH84g][[index_user_v4][0]] DocumentMissingException[[_doc][class757546]: document missing]
2019-08-14 15:02:24.843 [pool-2-thread-1] ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate - [index_sch_dept_v4/05lvG7DGSdqF66rN81BxEA][[index_sch_dept_v4][0]] DocumentMissingException[[_doc][593887]: document missing]

分析一波可能产生的原因，目前我碰到的主要是这几点：
1.可能是当前写入数据库数据过多，有部分展示的数据未来得及传入 es，两边同步不一致，导致该信息的产生，等canal 将数据完全导入后，该信息可自动消失

2.可能是 canal 程序故障导致数据库数据没有导入到 es，可以查相应 index 中最近数据，对比数据库，找到相对应时间段重新导入，或者数据量不是很大的话可以直接全量导入（我是用 datax 完成从 mysql 导入 es 的，而且是测试环境，所以数据不一致的时候，写一个 shell 脚本执行命令，每次只需要一个 sh 命令就可以补全数据差了）

3.可能是关系表中的主表已经删除了该条数据，导致数据库和 es 中都没有该条记录，而其他表未删除相关的数据记录，所以其他表在对该数据相关联的数据有操作时，会关联到当前 index，两相查看都没有，所以也会显示这样的信息

canal 日志中 ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate ...document missing 产生的可能的原因相关推荐

Navicat 远程连接docker容器中的mysql 报错1251 - Client does not support authentication protocol 解决办法
Navicat 远程连接docker容器中的mysql 报错1251 - Client does not support authentication protocol 解决办法 1).容器中登录my ...
python捕获全局异常统一管理_python中如何用sys.excepthook来对全局异常进行捕获、显示及输出到error日志中...
使用sys.excepthook函数进行全局异常的获取. 1. 使用MessageDialog实现异常显示: 2. 使用logger把捕获的异常信息输出到日志中: 步骤:定义异常处理函数, 并使用该函 ...
canal原理的一些学习-1（canal的一些原理性介绍）
1. cannal 是什么,能做什么用 1.1 mysql的binlog 1.2 mysql 的主从复制过程 1.3 canal能够同步数据的原理 2. quick start 3. canal 的设 ...
mysql 对部分表binlog_MySQL抑制binlog日志中的BINLOG部分的方法
1.mysqlbinlog之base64-output参数 --base64-output=value This option determines when events should be dis ...
Spring Boot 2.1之后如何在启动日志中打印请求路径列表
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 作者 | 翟永超来源 | http://blog.di ...
2、MySQL错误日志（Error Log）详解
错误日志(Error Log)是 MySQL 中最常用的一种日志,主要记录 MySQL 服务器启动和停止过程中的信息.服务器在运行过程中发生的故障和异常情况等. 作为初学者,要学会利用错误日志来定位问 ...
outlook 未安装信息服务器,Outlook Web Access 未初始化并且在客户端访问服务器上的应用程序日志中记录了事件 ID 64...
Outlook Web Access 未初始化并且在客户端访问服务器上的应用程序日志中记录了事件 ID 64 07/04/2014 本文内容上一次修改主题: 2007-10-17 尝试访问 Micr ...
Presto日志中出现大量的Triggering GC to avoid Code Cache eviction bugs
问题描述: Presto日志中出现大量的 2017-07-31T15:31:21.505+0800 INFO Code-Cache-GC-Trigger com.facebook.presto.ser ...
windows log日志分割_如何将日志记录到 Windows事件日志中
每当出现一些未捕获异常时,操作系统都会将异常信息写入到 Windows 事件日志中,可以通过 Windows 事件查看器查看,如下图: 这篇文章将会讨论如何使用编程的方式将日志记录到 Window ...

canal 日志中 ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate ...document missing 产生的可能的原因

canal 日志中 ERROR c.a.otter.canal.client.adapter.es.support.ESTemplate ...document missing 产生的可能的原因相关推荐

最新文章

热门文章